本书是一本专注于介绍如何通过技术实现爬取有用数据的书籍，内容包括网页构造的认识、静态网页的爬取、数据存储、动态网页爬取、反爬限制技术、Scrapy爬虫框架。本书注重实践，适合用作应用型本科、高职院校等计算机相关专业的专业核心课的教材，或软件开发、大数据、人工智能等相关行业从业人员的技术性参考书籍。

项目1 网页构造的认识
任务1.1 认识网络爬虫
1.1.1 大数据与网络爬虫
1.1.2 编程环境及工具包
任务1.2 网页构造
1.2.1 HTTP和HTTPS
1.2.2 HTML和CSS
1.2.3 Session和Cookie
1.2.4 多线程和多进程
项目2 静态网页爬取
任务2.1 实现HTTP请求
2.1.1 Requests库的使用
2.1.2 HTTPX库的使用
2.1.3 任务实施
任务2.2 解析网页数据
2.2.1 BeautifulSoup库的使用
2.2.2 lxml库的使用
2.2.3 正则表达式
2.2.4 Parsel库的使用
2.2.5 任务实施
任务2.3 基础爬虫案例分析与实战
项目3 数据存储
任务3.1 存储到文件
3.1.1 存储为文本文件
3.1.2 存储为CSV文件
3.1.3 存储为JSON文件
3.1.4 任务实施
任务3.2 存储到数据库
3.2.1 存储到MySQL数据库
3.2.2 存储到MongoDB数据库
3.2.3 任务实施
任务3.3 中间件使用
3.3.1 Redis的使用
3.3.2 Kafka的使用
3.3.3 RabbitMQ的使用
3.3.4 任务实施
项目4 动态网页爬取
任务4.1 逆向分析爬取
4.1.1 Ajax与数据爬取
4.1.2 网站加密与JavaScript Hook
4.1.3 PyExecJS库的使用
4.1.4 任务实施
任务4.2 使用Selenium模拟浏览器
4.2.1 Selenium爬虫应用
4.2.2 任务实施
任务4.3 动态网站分析与爬虫案例实战
项目5 反爬限制技术
任务5.1 图片校验码
5.1.1 OCR技术的使用
5.1.2 手机验证码的处理技术
任务5.2 账号限制
任务5.3 IP限制
任务5.4 反爬分析与爬虫案例实战
项目6 Scrapy爬虫框架
任务6.1 初探Scrapy
6.1.1 Scrapy框架入门
6.1.2 Spider的使用
6.1.3 Selector的使用
6.1.4 任务实施
任务6.2 Scrapy拓展
6.2.1 对接Selenium的应用
6.2.2 对接Splash的应用
6.2.3 任务实施
任务6.3 Scrapy爬虫案例实战
附录 爬虫的法律法规