学python爬虫，哪本书基础，全面，求推理？

未来最大的能源不是石油而是大数据。对大数据的获取、处理与分析，以及基于大数据的智能应用，已成为提高未来竞争力...

回答之前，先有情提醒一句，「虫有风险」，刑法已明确非法获取计算机信息系统数据罪。我们先来看看善意爬虫和恶意爬虫的区分：

善意爬虫，比如百度搜索引擎的爬虫，严格遵守Robots协议规范爬取网页数据（如URL），它的存在能够增加网站的曝光度，给网站带来流量。恶意爬虫，它无视Robots协议，对网站中某些深层次的、不愿意公开的数据肆意爬取，其中不乏个人隐私或者商业秘密等重要信息。Python爬虫，不懂Python可以吗？不懂爬虫都涉及哪些方面的知识：

言归正传，有什么好的资料推荐呢？下面说说自己的看法。

1、Python 3网络爬虫开发实战豆瓣评分8.9分，全书以python3为基础，从基本的开发环境、常用的爬虫库开始，对爬虫过程涉及的基础知识、正则等基础库的用法，并以实例「抓取猫眼电影排行」为例讲解。

文中的内容不仅涉及爬虫过程中代理的处理，验证码的识别，模拟登陆过程，更介绍了移动时代下APP数据的爬取，最后介绍了Scrapy框架，分布式爬虫的原理及部署。

具体内容可见上图PDF，如果有需要这本书的童鞋，可关注+留言获取。

2. 爬虫实战篇talk is cheap，show me the code!

这里直接推荐Github的开源项目「awesome-python-login-model」，这里就不再贴地址了，大家直接去git上搜索即可。使用python模拟登陆一些大型网站，还有一些简单的爬虫。

眼过千遍不如手过一遍，多动手实践，多多debug，永远是提升自己编程技能的铁的定律 ！