前幾天使用了幾個p站腳本,爬取時都需要登錄賬號,而且爬取速度一言難盡,爬的快的爬取100個作品時就會被制裁一段時間,雖然擴(kuò)展性可玩性挺高,但是前面那倆缺點已經(jīng)讓我有點難以接受了. 偶然間發(fā)現(xiàn)其實圖片都是在i.pximg.net域名下,只需要把作品的id和上傳時間拼接一下

https://i.pximg.net/img-master/img/20xx/09/01/00/32/22/100775xx7_p0_master1200.jpg

就可以直接使用,放到IDM中可以直接下載,速度可以達(dá)到滿速.

方法是搜索關(guān)鍵詞后,進(jìn)入搜索結(jié)果頁面,使用開發(fā)者工具查看縮略圖的圖片鏈接可以看到

https://i.pximg.net/c/540x540_70/img-master/img/20xx/01/xx/13/53/33/104874xx_p0_master1200.jpg

已經(jīng)將id和上傳時間包含進(jìn)去,所以只需要用js獲取到圖片的鏈接即可.當(dāng)然現(xiàn)在還不能直接使用,當(dāng)獲取完鏈接之后,再批量處理一下鏈接格式即可.另外有些作品是jpg格式直接下載,小部分是需要zip格式下載,我沒有去測試,但似乎是鏈接文件格式后綴前僅為id的就是需要zip格式下載的,zip格式的下載鏈接格式

https://i.pximg.net/img-zip-ugoira/img/20xx/02/xx/20/20/35/9625xx89_ugoira1920x1080.zip

這種方法的好處就是完全不用擔(dān)心登錄賬號被p站制裁,爬取速度看你加載速度,如果網(wǎng)速好的話一秒就能爬完一頁,差不多一秒五六十張.可以配合收藏數(shù)過濾優(yōu)質(zhì)作品.另外 https://www.pixiv.net/ajax/illust/+id 會以json字符串返回作品詳細(xì)信息,不需要設(shè)置cooike和header(看到很多人寫的get其他類似url都要設(shè)置cooike,所以感覺這個還挺好),里面包含likecount和tags,可以篩選作品.

最后貼上瞎寫的代碼,因為沒學(xué)過web,都是現(xiàn)搜現(xiàn)寫,使用不是很人性化.學(xué)過web的可以自己寫個