запросы + BeautifulSoup + сканирование urllib и загрузка изображений веб-сайта в локальный (2)

Python

этоПредыдущийРасширенная версия многостраничного сканирования, создание папки в соответствии с элементом для сохранения изображения каждой страницы сведений, объем данных сканирования значительно увеличился на десятки сотен.

Готов к работе

  • Среда разработки: Windows, Pycharm, Request, BeautifulSoup, urllib
  • Требуется определенный сканер Python и основа HTML

начать двигаться

Веб-сайт для сканирования на этот раз по-прежнемукрасивыйсеть Нам нужно загрузить изображение страницы сведений всего сайта на локальный

  • сделать обходчик
    1. Так как полученный формат кодировки html некорректен, формат кодировки следует указывать как utf-8
    2. Получите ссылку на страницу сведений для каждого элемента на странице
    3. Получить все ссылки на изображения (одну или несколько) на странице сведений
    4. Возьмите название элемента в виде папки и загрузите изображение страницы сведений в папку.
    5. Возьмите следующую страницу (повторите шаги 2, 3, 4)
from bs4 import BeautifulSoup
import requests
import os
import urllib.request
import time

headers = {
    "Cookie": "gsScrollPos-1702684443=0; UM_distinctid=16685e0279d3e0-06f34603dfa898-36664c08-1fa400-16685e0279e133; bdshare_firstime=1539844405694; _d_id=6556c25e9ddd0e7e71096a1e343f6b; gsScrollPos-1702684407=; CNZZDATA1254092508=1744643453-1539842703-%7C1540364765",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
path = "D://images/"

def get_links(url):
    wb_data = requests.get(url, headers=headers)  # headers 伪装
    wb_data.encoding = "utf-8"
    soup = BeautifulSoup(wb_data.text, 'lxml')

    if wb_data.status_code == 404:
        return

    if not os.path.exists(path):  # 判断该文件夹是否存在，不存在则创建
        os.mkdir(path)
    links = soup.select(".item-img")

    for link in links:
        download_img(link.get('href'))
        time.sleep(1)

    # 下一页
    next_page = soup.select(".next")[0].get("href")
    print("------ next page -------")
    get_links(next_page)

    print("------ download done -------")

def download_img(url):
        wb_data = requests.get(url, headers=headers)
        wb_data.encoding = "utf-8"
        soup = BeautifulSoup(wb_data.text, 'lxml')
        images = soup.select(".wr-single-content-list img")
        catalog = soup.select("h1")[0].get_text()  # 获取详情页标题作为文件夹名称
        catalog = path + catalog + "/"
        if not os.path.exists(catalog):
            os.mkdir(catalog)
        for index, image in enumerate(images): # enumerate 是 Python 的内置函数，用它可以同时返回索引和值
            print(index)
            img = image.get("src")
            urllib.request.urlretrieve(img, catalog + str(index) + ".jpg")
        print("-------- downloading ---------")

if __name__ == "__main__":

    get_links("http://www.shuaia.net/index.html")
  • начать ползать
Категории