引言

利用Ajax分析微博并爬取其內(nèi)容如微博內(nèi)容，點(diǎn)贊數(shù)，轉(zhuǎn)發(fā)數(shù)，評(píng)論數(shù)等。

分析

打開(kāi)陳一發(fā)微博網(wǎng)站：https://m.weibo.cn/p/1005051054009064，并同時(shí)打開(kāi)開(kāi)發(fā)者工具。

我們可以在Network中分析可以得出，微博中所有的內(nèi)容都是名為“getIndex?containerid=1076031054009064”的響應(yīng)

經(jīng)過(guò)這其中的JSON代碼分析后可以找到內(nèi)容相對(duì)應(yīng)的位置。

我們可以嘗試切換到第一個(gè)響應(yīng)中，查看返回的結(jié)果，可以看到代碼只要不到50行，所以這些數(shù)據(jù)都是瀏覽器拿到數(shù)據(jù)后再進(jìn)一步渲染出來(lái)的。

我們?cè)趪L試滾動(dòng)頁(yè)面，加載完成后會(huì)發(fā)現(xiàn)得到了新的響應(yīng)，這也對(duì)應(yīng)著加載出來(lái)的新的微博內(nèi)容。

通過(guò)前后幾次Request URL代碼的不同來(lái)看

這其中改變的只有后面的page，而其中的containerid一直都是固定的，組成是由107603加上id號(hào)。

這里還可以得到一個(gè)很重要的參數(shù) total：微博的總數(shù)量，由此我們可以用來(lái)估計(jì)page的數(shù)量。

在學(xué)習(xí)中有迷茫不知如何學(xué)習(xí)的朋友小編推薦一個(gè)學(xué)Python的學(xué)習(xí)裙【639584010】無(wú)論你是大牛還是小白，是想轉(zhuǎn)行還是想入行都可以來(lái)了解一起進(jìn)步一起學(xué)習(xí)！裙內(nèi)有開(kāi)發(fā)工具，很多干貨和技術(shù)資料分享！

代碼編寫(xiě)

這里使用urlencode()方法來(lái)將參數(shù)轉(zhuǎn)化為URL的GET請(qǐng)求參數(shù)

pyQuery來(lái)解析代碼。

代碼中，因?yàn)槭茿jax請(qǐng)求得到的內(nèi)容，所以請(qǐng)求頭必須帶上 ‘X-Requested-With’: ‘XMLHttpRequest’！

到此為止，我們便可以得到喜歡博主的所有微博內(nèi)容了。

獲取方式：點(diǎn)贊+評(píng)論