学习网络爬虫需要了解哪些知识？
发布时间：2024-12-24 点击：29
爬虫定义、分类和流程
爬虫定义
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。爬虫就是模拟浏览器的行为，越像越好，越像就越不容易被发现。原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。爬虫的分类
通用爬虫：通常指搜索引擎的爬虫
聚焦爬虫：针对特定网站的爬虫
爬虫的用途
今日头条网易云音乐12306抢票网站自动投票短信轰炸等等爬虫的流程
向起始url发送请求，并获取响应对响应进行提取如果提取url，则继续发送请求获取响应如果提取数据，则将数据进行保存
robots 协议
robots 协议：网站通过 robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是道德层面上的约束 例如：淘宝的 robots 协议总结
爬虫概念：模拟浏览器发送网络请求，接收请求响应。只要是浏览器(客户端)能做的事情，爬虫都能够做。爬虫的分类：聚焦爬虫、通用爬虫爬虫的流程：向起始 url 发送请求，并获取响应对响应进行提取如果提取 url，则继续发送请求获取响应如果提取数据，则将数据进行保存http 与 https 的概念
http
概念：http（超文本传输协议）是应用层上的一种客户端/服务端模型的通信协议,它由请求和响应构成，且是无状态的。 协议：协议规定了通信双方必须遵守的数据传输格式，这样通信双方按照约定的格式才能准确的通信。 无状态：无状态是指两次谅解通信之间是没有任何联系的，每次都是一个新的连接，服务端不会记录前后的请求信息。http 请求流程
浏览器通过域名解析服务器（dns）获取ip地址浏览器先向 ip 发起请求，并获取相应在返回的响应内容（html）中，会带有 css、js、图片等 url 地址，以及 ajax 代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css 等内容会修改页面的内容，js也可以重新发送请求，获取响应从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染
五层网络模型
http协议结构图
网络模型对应关系
http、rtsp、ftp -------> 应用层tcp、udp -------> 传输层ip -------> 网络层数据链路 -------> 数据链路层物理介质 -------> 物理层url 地址格式
格式说明： scheme://host[:port]/path/…/[?query-string][#anchor]scheme：协议（例如：http, https, ftp）host：服务器的 ip 地址或者域名port：服务器的端口（如果是走协议默认端口，缺省端口80）path：访问资源的路径query-string：参数，发送给 http 服务器的数据anchor：锚（跳转到网页的指定锚点位置）
http 请求
请求格式
案例
请求方式
根据 http 标准，http 请求可以使用多种请求方法。http1.0 定义了三种请求方法： get, post 和 head 方法。http1.1 新增了五种请求方法：options, put, delete, trace 和 connect 方法。请求方式描述get请求指定的页面信息，并返回实体主体。head类似于 get 请求，只不过返回的响应中没有具体的内容，用于获取报头post向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。post 请求可能会导致新的资源的建立和/或已有资源的修改。put从客户端向服务器传送的数据取代指定的文档的内容delete请求服务器删除指定的页面。connecthttp/1.1 协议中预留给能够将连接改为管道方式的代理服务器。options允许客户端查看服务器的性能。trace回显服务器收到的请求，主要用于测试或诊断。
常见请求头请求头作用cookiecookieuser-agent浏览器名称referer页面跳转处host主机和端口号connection链接类型upgrade-insecure-requests升级为 https 请求accept传输文件类型accept-encoding文件编解码格式x-requested-with : xmlhttprequestajax 请求
http 响应
响应格式
http响应也由四个部分组成，分别是：状态行、消息报头、空行（回车符 + 换行符）和响应正文。
响应头响应头作用location这个头配合 302 状态码使用，告诉用户端找谁。set-cookie设置和页面关联的 cookiecontent-type服务器通过这个头，回送数据的类型server服务器通过这个头，告诉浏览器服务器的类型content-length服务器通过这个头，告诉浏览器回送数据的长度connection服务器通过这个头，响应完是保持链接还是关闭链接
http 状态码
当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 http 状态码的信息头（server header）用以响应浏览器的请求。http 状态码的英文为 http status code。http 状态码由三个十进制数字组成，第一个十进制数字定义了状态码的类型，后两个数字没有分类的作用。http 状态码共分为 5 种类型分类分类描述1**信息，服务器收到请求，需要请求者继续执行操作2**成功，操作被成功接收并处理3**重定向，需要进一步的操作以完成请求4**客户端错误，请求包含语法错误或无法完成请求5**服务器错误，服务器在处理请求的过程中发生了错误
常见的 http 状态码：200 - 请求成功301 - 资源（网页等）被永久转移到其它 url404 - 请求的资源（网页等）不存在500 - 内部服务器错误https
1- http + ssl (安全套接字层)，即带有安全套接字层的超本文传输协议2- 默认端口号：443
https 作用
在传输过程中对数据进行加密，防止中间路由器、交换机等中间的路由设备对数据进行篡改。http 与 https 优缺点
http 因为不需要对数据进行加密所以性能更高，但是安全性差。https 虽然安全性高，但是因为浏览器和服务器端需要对数据进行加解密，所以占用服务器资源。当前形式
注意：目前 https 是未来主流，微信小程序，ios 客户端，android 客户端的接口提供都需要 https 接口支持。
高端的网站建设为企业带来的6大好处
SEO网络关键词优化运营经验：告诉你如何才能建立一个营销型网站
分析企业网络广告可以进行的几种表现形式
网站SEO优化排名因素
网站推广时遇到沙盒效应该怎么解决
文章要署名
九成SEO：网站SEO关键词排名需要参考的100条规则
无可避免的风险管理
爬虫定义
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。爬虫就是模拟浏览器的行为，越像越好，越像就越不容易被发现。原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。爬虫的分类
通用爬虫：通常指搜索引擎的爬虫
聚焦爬虫：针对特定网站的爬虫
爬虫的用途
今日头条网易云音乐12306抢票网站自动投票短信轰炸等等爬虫的流程
向起始url发送请求，并获取响应对响应进行提取如果提取url，则继续发送请求获取响应如果提取数据，则将数据进行保存
robots 协议
robots 协议：网站通过 robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是道德层面上的约束 例如：淘宝的 robots 协议总结
爬虫概念：模拟浏览器发送网络请求，接收请求响应。只要是浏览器(客户端)能做的事情，爬虫都能够做。爬虫的分类：聚焦爬虫、通用爬虫爬虫的流程：向起始 url 发送请求，并获取响应对响应进行提取如果提取 url，则继续发送请求获取响应如果提取数据，则将数据进行保存http 与 https 的概念
http
概念：http（超文本传输协议）是应用层上的一种客户端/服务端模型的通信协议,它由请求和响应构成，且是无状态的。 协议：协议规定了通信双方必须遵守的数据传输格式，这样通信双方按照约定的格式才能准确的通信。 无状态：无状态是指两次谅解通信之间是没有任何联系的，每次都是一个新的连接，服务端不会记录前后的请求信息。http 请求流程
浏览器通过域名解析服务器（dns）获取ip地址浏览器先向 ip 发起请求，并获取相应在返回的响应内容（html）中，会带有 css、js、图片等 url 地址，以及 ajax 代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css 等内容会修改页面的内容，js也可以重新发送请求，获取响应从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染
五层网络模型
http协议结构图
网络模型对应关系
http、rtsp、ftp -------> 应用层tcp、udp -------> 传输层ip -------> 网络层数据链路 -------> 数据链路层物理介质 -------> 物理层url 地址格式
格式说明： scheme://host[:port]/path/…/[?query-string][#anchor]scheme：协议（例如：http, https, ftp）host：服务器的 ip 地址或者域名port：服务器的端口（如果是走协议默认端口，缺省端口80）path：访问资源的路径query-string：参数，发送给 http 服务器的数据anchor：锚（跳转到网页的指定锚点位置）
http 请求
请求格式
案例
请求方式
根据 http 标准，http 请求可以使用多种请求方法。http1.0 定义了三种请求方法： get, post 和 head 方法。http1.1 新增了五种请求方法：options, put, delete, trace 和 connect 方法。请求方式描述get请求指定的页面信息，并返回实体主体。head类似于 get 请求，只不过返回的响应中没有具体的内容，用于获取报头post向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。post 请求可能会导致新的资源的建立和/或已有资源的修改。put从客户端向服务器传送的数据取代指定的文档的内容delete请求服务器删除指定的页面。connecthttp/1.1 协议中预留给能够将连接改为管道方式的代理服务器。options允许客户端查看服务器的性能。trace回显服务器收到的请求，主要用于测试或诊断。
常见请求头请求头作用cookiecookieuser-agent浏览器名称referer页面跳转处host主机和端口号connection链接类型upgrade-insecure-requests升级为 https 请求accept传输文件类型accept-encoding文件编解码格式x-requested-with : xmlhttprequestajax 请求
http 响应
响应格式
http响应也由四个部分组成，分别是：状态行、消息报头、空行（回车符 + 换行符）和响应正文。
响应头响应头作用location这个头配合 302 状态码使用，告诉用户端找谁。set-cookie设置和页面关联的 cookiecontent-type服务器通过这个头，回送数据的类型server服务器通过这个头，告诉浏览器服务器的类型content-length服务器通过这个头，告诉浏览器回送数据的长度connection服务器通过这个头，响应完是保持链接还是关闭链接
http 状态码
当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 http 状态码的信息头（server header）用以响应浏览器的请求。http 状态码的英文为 http status code。http 状态码由三个十进制数字组成，第一个十进制数字定义了状态码的类型，后两个数字没有分类的作用。http 状态码共分为 5 种类型分类分类描述1**信息，服务器收到请求，需要请求者继续执行操作2**成功，操作被成功接收并处理3**重定向，需要进一步的操作以完成请求4**客户端错误，请求包含语法错误或无法完成请求5**服务器错误，服务器在处理请求的过程中发生了错误
常见的 http 状态码：200 - 请求成功301 - 资源（网页等）被永久转移到其它 url404 - 请求的资源（网页等）不存在500 - 内部服务器错误https
1- http + ssl (安全套接字层)，即带有安全套接字层的超本文传输协议2- 默认端口号：443
https 作用
在传输过程中对数据进行加密，防止中间路由器、交换机等中间的路由设备对数据进行篡改。http 与 https 优缺点
http 因为不需要对数据进行加密所以性能更高，但是安全性差。https 虽然安全性高，但是因为浏览器和服务器端需要对数据进行加解密，所以占用服务器资源。当前形式
注意：目前 https 是未来主流，微信小程序，ios 客户端，android 客户端的接口提供都需要 https 接口支持。
高端的网站建设为企业带来的6大好处
SEO网络关键词优化运营经验：告诉你如何才能建立一个营销型网站
分析企业网络广告可以进行的几种表现形式
网站SEO优化排名因素
网站推广时遇到沙盒效应该怎么解决
文章要署名
九成SEO：网站SEO关键词排名需要参考的100条规则
无可避免的风险管理
上一篇：新手做网站要格外注意的误区