五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

2021年最新Python爬蟲教程+實(shí)戰(zhàn)項(xiàng)目案例(新增scarpy部分+分布式爬

2023-02-24 16:52 作者:qjqjj  | 我要投稿

p31 去除爬取子頁(yè)面的代碼直接爬取圖片。 精簡(jiǎn)了代碼,減少了requests的請(qǐng)求。

import requests
from bs4 import BeautifulSoup
import os

os.mkdir(r"D:\\python_homework\\src\\爬取內(nèi)容\\")

url = 'https://www.umei.cc/weimeitupian/xiaoqingxintupian/'
url_2 = 'https://www.umei.cc'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.9071 SLBChan/105'
}

response = requests.get(url)
response.encoding = 'utf-8'
mian_page = BeautifulSoup(response.text, "html.parser")
imglist = mian_page.find("div", class_='item_list infinite_scroll').find_all("img", class_="lazy")

for i in imglist:
    img = requests.get(i.get("data-original"), headers=headers).content
    name = i.get("data-original").split("/")[-1]
    with open('D:\\python_homework\\src\\爬取內(nèi)容\\plcture\\{}'.format(name), 'wb')as fp:
        fp.write(img)
        print(name + "下載完成!")
fp.close()


2021年最新Python爬蟲教程+實(shí)戰(zhàn)項(xiàng)目案例(新增scarpy部分+分布式爬的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
定日县| 蓬莱市| 乐昌市| 河东区| 宜丰县| 肇源县| 疏附县| 宣城市| 康马县| 常德市| 高雄市| 依兰县| 六枝特区| 东宁县| 永昌县| 方正县| 宜良县| 芜湖县| 罗源县| 萝北县| 南宁市| 嘉义县| 福鼎市| 扎赉特旗| 九江市| 陈巴尔虎旗| 当涂县| 通河县| 洞头县| 栖霞市| 会东县| 阿尔山市| 巴彦县| 湖口县| 修水县| 毕节市| 衡东县| 襄城县| 湘西| 会泽县| 清徐县|