web crawler

一、基础知识

（一）网络数据采集概述

1. 网络爬虫基本工作原理

（二）相关web技术

1. URL

网络爬取的入口

• URL格式：URL= scheme:[//authority]path[?query][#fragment]

2. 超文本传输协议

• HTTP由请求和响应构成，采用客户端-服务器模式工作。

• 客户端也即浏览器或网络爬虫程序，发出HTTP请求，而服务器对请求进行响应。

• 用户输入URL，客户端程序在完成域名解析后，获得服务器IP地址;

• 通过服务器上操作系统提供的TCP/IP协议栈程序，与服务器建立TCP连接，与服务器建立TCP连接（TCP的三次握手);

• TCP连接建立后，客户端程序将HTTP请求封装为HTTP数据包，再封装为TCP数据包，发往服务器;

• 服务器接收HTTP请求后，根据请求内容进行响应，响应数据也封装为HTTP数据包，然后再封装为TCP包，回复给客户端。

• 服务器关闭这次TCP连接。等待新的请求。

3. HTTP请求头

4. HTTP响应

• 从100到199 响应类型为“信息”，即服务器收到请求，提示客户端继续执行某项操作;

• 从200到299 响应类型为成功，表示客户端请求被服务器成功接收并处理;

• 从300到399 响应类型为重定向，表示客户端请求需要进一步的操作以完成请求;

• 从400到499 响应类型为客户端错误，表示请求包含语法错误或无法完成请求;

• 从500到599 响应类型为服务器错误，表示服务器在处理请求的过程中发生了错误。

5. HTML超文本标记语言

href这里会包含新的url

样式表，全称是层叠样式表(Cascading StyleSheets)，简称CSS 单独组织样式，是为了解决内容与表现分离的问题。HTML文档本身组织内容，CSS样式表定义如何显示。这样可以极大提高工作效率。

网页中最常见的资源: HTML文档 CSS样式表 JavaSCRIPT脚本

6. 文本文件存储数据

二、实操

Urllib库

Requests库

主要特点

Web页面内容解析

1. 文本内容的解析

• 正则表达式 又称规则表达式，通常被用来检索、替换那些符合某个模式（(规则)的文本。 对字符串操作的一种逻辑公式，用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

• re模块：正则表达式的各个操作集

正则表达式部分笔记来自学线核心面试备考

• 写正则表达式
正则表达式是用于匹配字符串的一种表达式语言，可以通过一些特定的字符和语法来表达匹配规则。
1.runoo+b +表示前面的字符至少出现一次（1次及以上）（1+）
2.runoo*b *表示前面的字符可以出现0次 1次或多次
3.colou?r ?表示前面的字符最多出现一次（0次或1次） （出现或不出现）
4.^a 以a开头 [^a] 不是a的任意字符 [^ABC] 不是ABC的任意字符 （此处^放在[]中表示否定）
5.a$ 最后一个字母是a
6.\bStr 匹配以Str开头的单词（只能用于英文，不能用于中文）
7.ing\b 匹配以ing结尾的单词
8..任意单个字符
9.\w匹配了全部的单词字符（除下划线之外的标点符号，汉字） \W 与\w 相反
11.\s 匹配空格和换行符 \S 与 \s相反
12.\d 匹配所有数字\D 与\d相反
13.[ABCD] ABCD中任意一个字符 相当于[A-D]
14.匹配特殊意义的字符可以用\进行转义
15.a{3} 连续出现3次a（aaa） a{3,} 连续出现3次及以上a a{2,3} 连续出现2次--3次a
16.(abc) 含有abc这个字符串
17.b(?=a)匹配字符b，这个字符b的后面紧跟着一个a
18.b(?!=a)匹配字符b，这个字符b的后面不是a
19.(?<=a)b匹配字符b，这个字符b的前面是a
20.(?<!a)b 匹配字符b，这个字符b的前面不是a
21.(T|t|a|A) 匹配T或t或a或A
下面是一些常见的正则表达式示例：
1.匹配Email地址：
该正则表达式可以匹配符合Email地址规则的字符串，包括用户名、域名和域后缀等部分。
2.匹配电话号码：
^1[3-9]\d{9}$
该正则表达式可以匹配符合中国大陆电话号码规则的11位数字，以1开头，第二位为3-9之间的数字。
3.匹配URL：
^((https?|ftp|file):\/\/)?([\da-z.-]+)\.([a-z.]{2,6})([\/\w.-]*)*\/?$
该正则表达式可以匹配符合URL规则的字符串，包括协议、域名、路径等部分，同时支持http、https、ftp和file等协议。
4.非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$

2. 类XML内容的解析

• 谓语(Predicates)用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。

• XPath通配符可用来选取未知的XML元素。

• 通过在路径表达式中使用“”运算符，可以选取若干个路径。

3. JSON数据的解析

• JSON数据： 作为一种轻量级的数据交换格式，目前被广泛应用于web编程和数据交换。 是javascript中的对象和数组，通过这两种结构可以表示各种复杂的结构。 JSON的详细说明，参考w3school的标准教程。

• python中自建了JSON处理模块json。 json模块提供了四种方法，用于将JSON字符串或JSON文件，与Python对象进行相互转化。
• json.dumps() 将python类型转化为json字符串，返回一个str。
• json.dump() 将Python内置类型序列化为json对象后写入文件。
• json.loads() 把json格式字符串解析为python对象，返回一个python对象。
• json.load() 读取文件中json形式的字符串元素，转化成python类型。

• JsonPath方法 JsonPath是一种信息抽取类库，是从JSON文档中抽取指定信息的工具,提供多种语言实现版本，JsonPath对于JSON来说，相当于XPATH对于XML。

4. OFFICE文档的解析

问题解决：安装pandas库，还需安装openpyxl库

安装失败（报错原因：网络问题）需：更换镜像源

pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple/

5. 数据库文件的解析

自动跨越身份认证

1. web身份认证技术概述

• 优点 HTTP基本认证是基本上所有流行的网页浏览器都支持。但是基本认证很少在可公开访问的互联网网站上使用，有时候会在小的私有系统中使用。

• 缺点 HTTP基本认证虽然足够简单,但是前提是在客户端和服务器主机之间的连接足够安全。如果没有使用SSL/TLS这样的传输层安全的协议，那么以明文传输的密钥和口令很容易被拦截。

• OAuth 2.0运行流程
• 第一步 客户端(Client)向资源拥有者(Resource Owner)发送授权请求（Authorization Request) ;
• 第二步 资源拥有者授权许可(Authorization Grant);
• 第三步 客户端向验证服务器(Authorization Server)发送通过(B)获取的授权许可;
• 第四步 验证服务器验证授权许可,通过的话，则返回Access Token给客户端;
• 第五步 客户端通过Access Token访问资源服务器(Resource Server) ;
• 第六步 资源服务器返回受保护的资源(ProtectedResource)

• cookie Cookie是由客户端保存的小型文本文件，其内容为一系列的键值对; 由HTTP服务器设置的，保存在浏览器中; 会随着HTTP请求一起发送。

• session
Session是存储在服务器端的，避免在客户端Cookie中存储敏感数据; 可以存储在HTTP服务器的内存中，也可以存在内存数据库(如redis)中。

• 使用流程：
客户端使用用户名和密码请求登录;
服务端收到请求,去验证用户名与密码;
验证成功后,服务器会签发一个Token，再把这个Token发送给客户端;
客户端收到Token以后可以把它存储起来，如Cookie或者Web Storage ;
客户端每次向服务端请求资源的时候，都需要带着服务器端签发的Token ;
服务器端收到请求，验证客户端请求里面带着的Token如果验证成功，就向客户端返回请求的数据;否的话，则返回对应的错误信息。

• 存储在客户端Token存在的问题
• 存在泄露的风险 如果别人拿到你的Token,在Token过期之前，都可以以你的身份在别的地方登录。
• 如果存在Web Storagei 由于Web Storage可以被同源下的Java Script直接获取到，这也就意味着网站下所有的Java Script代码都可以获取到web Storage，这就给了XSS机会。
• 如果存在Cookie中 虽然存在Cookie可以使用Http Only来防止XSS，但是使用Cookie却又引发了CSRF对于泄露的风险，可以采取对Token进行对称加密，用时再解密。

2. 自动跨越HTTP Basic认证

3. 自动跨越HTTP Digest认证

4. 自动跨越Oauth认证

• OAuth的认证和授权过程的三阶段：
第一阶段 客户端(即某网站)和资源服务器之间的协商;
第二阶段 用户和资源服务器之间的协商;
第三阶段 网站和资源服务器存储的用户数据之间的协商。

RIA网站数据的爬取

AJAX

模拟人工操作爬取网站数据

Selenium:

Scrapy爬虫

Scrapy爬虫框架的基本组成和工作原理

• 请求发起与调度
Spiders经Spider中间件向Engine发送Requests;
Engine将爬取请求交给Scheduler，完成调度。

• 请求执行与响应
Scheduler将调度后Requests交给Engine;
Engine将请求转发给Downloader;
Downloader执行下载并将响应Response对象提交给Engine;
Engine将Response对象送给Spiders，用于提取ltem和跟踪Links。

• 结果输出与新请求的产生
Spiders处理Response对象，解析出结构化的爬得数据ltem和新Links，并送给Engine;
Engine将ltems送给ltem pipelines完成输出处理;
Engine将新Requests送给Scheduler，产生新请求。

Scrapy-Redis

分布式爬虫

Redis-Scrapy

Redis

• 一种key-value存储系统 用于缓存、事件发布或订阅、高速队列等场景

• 支持多种数据结构 列表(List)、集合(Set)、有序集合(Sorted Set)

• 使用数据库存放URL，还可以防止爬虫意外中断后的继续爬取。