前情提要

上文采集b站動態(tài)視頻數(shù)據(jù)一文發(fā)布后，有讀者反饋到一個需求。

論文需要數(shù)據(jù)支撐，需要采集b站視頻評論內(nèi)容。

工具選擇

小白完成這個需求，依舊可以使用八爪魚采集器來做。

計劃步驟

1. 先找定位數(shù)據(jù)。瀏覽器打開一個需要采集的視頻。

2. 滾輪下拉頁面查看。頁面是否通用，有沒有特殊的內(nèi)容。（防止出現(xiàn)特殊情況，導致無法定位采集的數(shù)據(jù)。）該采集場景沒有特殊情況。

3. 直接新建一個任務。打開八爪魚采集器，新建一個自定義任務。

4. 復制剛剛打開的網(wǎng)址。將需要采集的視頻鏈接粘貼進去。

注意，新建的任務，采集器里瀏覽器cookie是空的，所以采集器里瀏覽器應該是游客狀態(tài)。

如果想采集視頻頁評論需要登錄狀態(tài)，必須先登錄一下賬號，否則無法查看更多評論。

因為b站在視頻頁這里做了限制，游客身份無法獲取數(shù)據(jù)。解決辦法很簡單，就是賬號登錄一下就可以了。

1. 登錄完，我們可以將頁面下拉到評論區(qū)?？梢哉Ｕ故驹u論數(shù)據(jù)。

2. 接下來，我們先用八爪魚采集器自帶的自動識別網(wǎng)頁。這個是自帶的相對智能的一鍵采集功能。新手可以快速上手使用。

注意：先找一個評論數(shù)保證在100個以內(nèi)的視頻進行采集規(guī)則設置。

如果評論數(shù)過多，這個自動識別網(wǎng)頁的流程會花很長時間才能跑完。

一旦點擊自動識別網(wǎng)頁，點擊取消，它的取消響應也不是那么及時，難免心里會有負擔。避免內(nèi)耗，我們還是先找一個評論數(shù)少的視頻做配置測試哈。

實操步驟

我隨便找了一個有幾十個評論數(shù)的視頻，進行操作。

直接復制網(wǎng)址到采集器中新建的自定義任務中。

直接點擊保存設置

置入眼簾的這個界面，瀏覽器中是游客狀態(tài)。

可以看到這里的頭像框是藍底白字的登錄。

我們先點擊這里登錄進行登錄操作。否則無法查看所有評論數(shù)據(jù)。

登錄后，可以查看所有評論內(nèi)容。

直接點擊自動識別網(wǎng)頁

工具會自動滾動頁面識別頁面中的數(shù)據(jù)。

這里比較自動化，但是不是很智能，因為會出錯。

它會自以為是的將一些數(shù)據(jù)進行命名。并且會出錯。比如這里圈中的幾個字段就是無效的。

接下來就需要對字段進行修改，不需要的數(shù)據(jù)進行刪除。剩下下面這三個字段的數(shù)據(jù)。

然后點擊生成采集設置。

就會得到一個基礎的采集流程。這個流程對于現(xiàn)在這個需求其實大差不差已經(jīng)完成，就是還需要在細節(jié)上進行處理。

可以看見右側(cè)出現(xiàn)了一個采集流程圖。

這個采集流程圖是剛剛工具自動識別后，我對采集的數(shù)據(jù)進行篩選之后形成的采集規(guī)則。

全程無需自己直接對這個流程圖進行操作。

接下來就是細節(jié)優(yōu)化了。

比如在添加一個評論時間。

先在操作頁面，點擊 1. 圈中的 時間 ，然后點擊 2. 圈中的 選中全部

然后點擊 采集以下元素文本

數(shù)據(jù)預覽 中就多了個 時間 字段

最后我們需要設置一個非常關(guān)鍵的配置，然后就要大功告成了。

流程圖的優(yōu)化

點擊選中右側(cè)采集流程中 打開網(wǎng)頁 這個流程塊。

點擊 高級設置。

選中 使用指定的Cookie，然后點擊 獲取當前頁面的Cookie，彈窗跳出“獲取Cookie成功”即可。

點擊 滾動網(wǎng)頁 這個流程塊。

在 基礎設置 中設置 循環(huán)次數(shù) 為100。

在 高級設置 中，

先選中 執(zhí)行前等待，設置1或2秒，

然后選中 等待指定元素出現(xiàn)，

接著點擊 1. 圈中的 箭頭樣圖標，在瀏覽器中選擇 2.圈中的 區(qū)域。

設置完成后，點擊 應用。

這樣就全部設置好了。

我們點擊保存流程。點擊采集試一試。

選擇本地采集。

采集結(jié)果如上。

還有一點瑕疵。設置點贊數(shù)空的情況設置默認值為0。

完美。

再用這個任務來采集一個評論數(shù)比較多的視頻測試一下。

沒有什么問題。

結(jié)語感悟

需求是百變的，如果有需求，就應該把他記錄下來，可以自己去尋找解決辦法，去學習。

也可以請教高手，請高手出手，可以讓你事半功倍。

謹記，靠人不如靠己。