предисловие

• Создание среды Python и базовые знания
• Обзор принципа рептилий
• Обзор краулерной технологии
• Сбор данных о рейтинге фильмов «Кошачий глаз»
• Данные Ajax сканируют кассовые сборы фильма «Маоянь»
• Более продвинутые, прокси, имитация входа в систему, сканирование приложений и т. д.

Создание среды Python и базовые знания

Создание среды Python

Инсталляция Анаконды

Построение среды IDE

1.1 Базовая технология Python

• тип данных
• список
• оператор цикла
• Судить приговоры
• функция

Основы Python

• Учебник по Python3 |Учебник для новичков
• Учебник по Python | Официальный сайт Ляо Сюэфэна
• Учебник по Python | Краткий учебник
• Учебник по Python™
• Глупый способ выучить Python | Взгляните на облако
• The Python Tutorial | Python 3.6.6 documentation

Официальная документация Python является абсолютно авторитетной и всеобъемлющей, но сама документация на английском языке, поэтому она не очень дружелюбна для большинства новичков.Ниже приведена версия Python, переведенная китайцами.Читатели, которые плохо разбираются в английском языке, могут выбрать эту версию для учиться:

• Руководство по началу работы с Python | документация по Python 3.6.3Некоторые рекомендуемые книги для поступления
• «Программирование на Python от начала до практики»
• «Учебник по основам Python (3-е издание)» Расширенный Python Для читателей, которые хотят улучшить свои навыки, следующие книги и материалы должны удовлетворить ваш аппетит:
• The Python Standard Library
• "Поваренная книга Python 3"
• «Жидкий питон»
• «Руководство по обучению Python (4-е издание)»
• «Программирование ядра Python (3-е издание)»
• «Описание языка Python структуры данных»
• «Высокопроизводительное программирование на Python»

что такое рептилия

Принцип рептилий

• Имя первого столбца: имя запроса, обычно в качестве имени используется последняя часть URL-адреса.
• Статус второго столбца: код состояния ответа, который отображается здесь как 200, что означает, что ответ нормальный. По коду состояния мы можем судить, получили ли мы нормальный ответ после отправки запроса.
• Третий столбец Тип: Запрошенный тип документа. Вот документ, что означает, что на этот раз мы запрашиваем HTML-документ, а его содержимое — некоторый HTML-код.
• Инициатор четвертого столбца: источник запроса. Используется для обозначения того, какой объект или процесс инициировал запрос.
• Пятая колонка Размер: Размер загружаемого с сервера файла и запрашиваемого ресурса. Если ресурс получен из кеша, столбец будет отображаться из кеша.
• Шестой столбец «Время»: общее время, прошедшее от инициирования запроса до получения ответа.
• Седьмая колонка Водопад: Визуальный водопад потоков сетевых запросов. Далее мы анализируем подробный состав запроса, например, первый запрос — это запрос, имя которого — www.baidu.com, как показано на следующем рисунке:

• URL-адрес запроса — это запрошенный URL-адрес.
• Метод запроса - это метод запроса
• Код состояния — это код состояния ответа,
• Удаленный адрес — это адрес и порт удаленного сервера.

• Протокол и номер версии, используемые HTTP/1.1 для ответа 200 (код состояния) OK (описание)
• Расположение — это путь к странице, к которой сервер должен получить доступ от клиента.
• Сервер — это имя веб-сервера сервера
• Content-Encoding — это тип кодировки сжатия, который сервер может отправлять
• Content-Length — это длина сжатых данных, отправляемых сервером.
• Content-Language — это тип языка, отправляемый сервером.
• Content-Type — это тип, отправляемый сервером, и используемый метод кодирования.
• Last-Modified — время последней модификации ресурса сервером.
• Обновить сервер требует, чтобы клиент обновился через 1 секунду, а затем получил доступ к указанному пути к странице.
• Content-Disposition означает, что сервер требует, чтобы клиент открыл файл, загрузив файл.
• Transfer-Encoding передает данные клиенту порциями.
• Set-Cookie — это временные данные, отправляемые сервером клиенту.
• Соединение должно поддерживать отношения соединения между клиентом и сервером.

• GET (метод запроса) /newcoder/hello.html (запрошенный целевой ресурс) HTTP/1.1 (запрошенный протокол и номер версии)
• Accept — это тип ресурса, который может получить клиент.
• Accept-Language — это тип языка, полученный клиентом.
• Соединение должно поддерживать отношения соединения между клиентом и сервером.
• Хост: localhost — это целевой хост и номер порта соединения.
• Referer сообщает серверу, откуда я
• User-Agent — это название номера версии клиента
• Accept-Encoding — это тип сжатых данных, которые может получить клиент.
• If-Modified-Since — время кэширования
• Cookie временно хранит информацию на стороне сервера для клиента
• Дата — это время, когда клиент запрашивает сервер Что нам нужно сделать, так это смоделировать браузер для отправки заголовков запросов, чтобы получить информацию об ответе сервера, чтобы получить нужные нам данные.Для читателей, которые хотят узнать больше, посетитеHTTP | MDNДокументация для получения дополнительной информации.

Какие данные могут собирать сканеры?

Обзор краулерной технологии

первый запрос

Библиотека запросов

Красивое лучше некрасивого. Явное лучше неявного. Простое лучше сложного. Комплекс лучше сложного. Удобочитаемость имеет значение (читабельность важна).

# 导入requests 模块
import requests
# 发起Get请求并返回Response对象，包含服务器对HTTP请求的响应
response = requests.get('https://gitbook.cn/')
# 打印 响应状态码
print(response.status_code)
# 打印 str类型的响应体，比如一个普通的 HTML 页面，需要对文本进一步分析时，使用 text
print(response.text)

# 导入 requests 模块
import requests
# 需要提交的表单数据
data = {
    'name': 'ruo', 'age': 22
}
# 发起Post请求
response = requests.post("http://httpbin.org/post", data=data)
# 响应体内容
print(response.text)

# PUT请求
requests.put(“http://httpbin.org/put”) 
# DELETE请求
requests.delete(“http://httpbin.org/delete”)
# HEAD请求
requests.head(“http://httpbin.org/get”) 
# OPTIONS请求
requests.options(“http://httpbin.org/get”) 

# 导入 requests 模块
import requests
# 发起Get请求
response = requests.get("https://www.zhihu.com")
# 状态码
print(response.status_code)
# 响应体内容
print(r.text)

# 导入 requests 模块
import requests
# 在Headers中添加User-Agent字段信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
# 发起Get请求
response = requests.get("https://www.zhihu.com", headers=headers)
# 状态码
print(response.status_code)
# 响应体内容
print(response.text)

В ПОРЯДКЕ

регулярное выражение

# 导入 re 模块
import re
# 待匹配文本
h1 = '<H1>Chapter 3.2.1 - 介绍正则表达式</H1>'
# 将正则字符串编译成正则表达式对象，方便在后面的匹配中复用
pat = re.compile('<H1>(.*?)</H1>', re.S)
# re.search 扫描整个字符串并返回第一个成功的匹配
result = re.search(pat, h1)
# 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
print(result.group(0))
# 匹配的第一个括号内的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
print(result.group(1))

Xpath

import requests
# 导入lxml库的etree模块
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'
response = requests.get(url, headers=headers)
html = response.text
# 调用HTML类进行初始化
html = etree.HTML(html)
# 粘贴我们copy的xpath，提取电影名 “霸王别姬”
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
#　打印节点标签包含的文本内容
print(result_bawangbieji[0].text)
# 提取该页面所有电影名，即选择所有'dd'标签的电影名
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
#　打印所有提取出的电影名
print('该页面全部电影名：')
for one in result_all:
    print(one.text)

хранить информацию

ТЕКСТОВОЕ хранение текста

import requests
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'
response = requests.get(url, headers=headers)
html = response.text
# 调用HTML类进行初始化
html = etree.HTML(html)
# 粘贴我们copy的xpath，提取电影名 “霸王别姬”
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
#　打印节点标签包含的文本内容
print(result_bawangbieji[0].text)
# 提取该页面所有电影名
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
#　打印所有提取出的电影名
print('该页面全部电影名：')
for one in result_all:
    print(one.text)
# 将这一页电影名存储至TEXT文件中，'a' 指打开一个文件进行追加。 如果文件存在，则文件指针位于文件末尾。也就是说，文件处于追加模式。如果文件不存在，它将创建一个新文件进行写入。
with open('film_name.text', 'a') as f:
    for one in result_all:
        f.write(one + '\n')

CSV-хранилище

import requests
from lxml import etree
# 导入CSV模块
import csv

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'

response = requests.get(url, headers=headers)
html = response.text
html = etree.HTML(html)
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
print(result_bawangbieji[0].text)
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
print('该页面全部电影名：')
for one in result_all:
    print(one.text)
# 将这一页电影名存储至CSV文件中：
with open('film_name.csv', 'a', newline='') as f:
    csv_file = csv.writer(f)
    for one in result_all:
        csv_file.writerow([one.text])

хранилище MySQL

import requests
from lxml import etree
# 导入pymysql模块
import pymysql

# 打开一个数据库连接
db = pymysql.connect(host='localhost', user='root', password='root', port=3306, db='spider', use_unicode=True, charset="utf8")
# 获取MySQL的操作游标，利用游标来执行SQL语句
cursor = db.cursor()

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'

response = requests.get(url, headers=headers)
html = response.text
html = etree.HTML(html)
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
print(result_bawangbieji[0].text)
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
print('该页面全部电影名：')
for one in result_all:
    print(one.text)

    try:
        # 插入数据语句
        sql = 'INSERT INTO film_infor(film_name) values (%s)'
        cursor.execute(sql, (one.text))
        db.commit()

    except:
        db.rollback()