网络爬虫 网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。 一个网络爬虫程序的基本执行流程可以总结三个过
|
网络爬虫
网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。 一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据，解析数据，保存数据 数据请求 请求的数据除了普通的HTML之外，还有json数据、字符串数据、图片、视频、音频等。 解析数据 当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等 保存数据 最后将数据以某种格式(CSV、JSON)写入文件中，或存储到数据库（MySQL、MongoDB)中。同时保存为一种或者多种。 通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤)。 设计爬虫程序时，还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略（深度优先或广度优先等)、爬虫访问边界限定等一系列问题。
从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据)。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。
scrapy官网： 安装方式 在任意操作系统下，可以使用pip安装Scrapy，例如：
安装完成后我们需要测试安装是否成功，通过如下步骤确认： 在终端中测试能否执行scrapy这条命令
输入scrapy bench测试连通性，如果出现以下情况表示安装成功：
通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本2.4.0。 注意： 在安装Scrapy的过程中可能会遇到缺少VC++等错误，可以安装缺失模块的离线包
成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapybench测试，如果没有提示错误，就代表成功安装。 全局命令
项目命令 |
2019-06-18
2019-07-04
2021-05-23
2021-05-27
2021-05-27
