崔庆才著的《Python3网络爬虫开发实战》介绍了如何利用Python 3开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识;然后讨论了urllib、requests等请求库,Beautiful Soup、xPath、pyquery等解析库以及文本和各类数据库的存储方法;接着通过多个案例介绍了如何进行Alax数据爬取,如何使用Selenium和Splash进行动态网站爬取;再后介绍了爬虫的一些技巧,比如使用代理爬取和维护动态代理池的方法,ADsL拨号代理的使用,图形、极验、点触、宫格等各类验证码的破解方法,模拟登录网站爬取的方法及cookies池的维护。
此外,本书还结合移动互联网的特点探讨了使用Charles、mitmdump、Appium等工具实现App爬取的方法,紧接着介绍了pyspider。框架和Scrapy框架的使用,以及分布式爬虫的知识,最后介绍了BloomFilter效率优化、Docker和Scrapyd爬虫部署、Gerapy爬虫管理等方面的知识。
本书适合Python程序员阅读。
展开