用Python写网络爬虫 - (EPUB全文下载)

文件大小：4.54 mb。
文件格式：epub 格式。
书籍内容：

目    录
版权信息
版权声明
内容提要
关于作者
关于审稿人
前言
本书内容
阅读本书的前提
本书读者
第1章 网络爬虫简介
1.1 网络爬虫何时有用
1.2 网络爬虫是否合法
1.3 背景调研
1.3.1 检查robots.txt
1.3.2 检查网站地图
1.3.3 估算网站大小
1.3.4 识别网站所用技术
1.3.5 寻找网站所有者
1.4 编写第一个网络爬虫
1.4.1 下载网页
1.4.2 网站地图爬虫
1.4.3 ID遍历爬虫
1.4.4 链接爬虫
1.5 本章小结
第2章 数据抓取
2.1 分析网页
2.2 三种网页抓取方法
2.2.1 正则表达式
2.2.2 Beautiful Soup
2.2.3 Lxml
2.2.4 性能对比
2.2.5 结论
2.2.6 为链接爬虫添加抓取回调
2.3 本章小结
第3章 下载缓存
3.1 为链接爬虫添加缓存支持
3.2 磁盘缓存
3.2.1 实现
3.2.2 缓存测试
3.2.3 节省磁盘空间
3.2.4 清理过期数据
3.2.5 缺点
3.3 数据库缓存
3.3.1 NoSQL是什么
3.3.2 安装MongoDB
3.3.3 MongoDB概述
3.3.4 MongoDB缓存实现
3.3.5 压缩
3.3.6 缓存测试
3.4 本章小结
第4章 并发下载
4.1 100万个网页
4.1.1 解析Alexa列表
4.2 串行爬虫
4.3 多线程爬虫
4.3.1 线程和进程如何工作
4.3.2 实现
4.3.3 多进程爬虫
4.4 性能
4.5 本章小结
第5章 动态内容
5.1 动态网页示例
5.2 对动态网页进行逆向工程
5.2.1 边界情况
5.3 渲染动态网页
5.3.1 PyQt还是PySide
5.3.2 执行JavaScript
5.3.3 使用WebKit与网站交互
5.3.4 Selenium
5.4 本章小结
第6章 表单交互
6.1 登录表单
6.1.1 从浏览器加载cookie
6.2 支持内容更新的登录脚本扩展
6.3 使用Mechanize模块实现自动化表单处理
6.4 本章小结
第7章 验证码处理
7.1 注册账号
7.1.1 加载验证码图像
7.2 光学字符识别
7.2.1 进一步改善
7.3 处理复杂验证码
7.3.1 使用验证码处理服务
7.3.2 9kw入门
7.3.3 与注册功能集成
7.4 本章小结
第8章
8.1 安装
8.2 启动项目
8.2.1 定义模型
8.2.2 创建爬虫
8.2.3 使用shell命令抓取
8.2.4 检查结果
8.2.5 中断与恢复爬虫
8.3 使用Portia编写可视化爬虫
8.3.1 安装
8.3.2 标注
8.3.3 优化爬虫
8.3.4 检查结果
8.4 使用Scrapely实现自动化抓取
8.5 本章小结
第9章 总结
9.1 Google搜索引擎
9.2 Facebook
9.2.1 网站
9.2.2 API
9.3 Gap
9.4 宝马
9.5 本章小结
欢迎来到异步社区！
版权信息
书名：用Python写网络爬虫
ISBN：978-7-115-43179-0
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
•　著　　　　[澳] Richard Lawson
　 译　　　　李　斌
　 责任编辑　傅道坤
•　人民邮电出版社出版发行　　北京市丰台区成寿寺路11号
　 邮编　100164 　电子邮件　315@ptpress.com.cn
　 网址　http://www.ptpress.com.cn
•　读者服务热线：(010)81055410
　 反盗版热线：(010)81055315
版权声明
Copyright © 2015 Packt Publishing. First published in the English language under the title Web Scraping with Python.
All Rights Reserved.
本书由英国Packt Publishing公司授权人民邮电出版社出版。未经出版者书面许可，对本书的任何部分不得以任何方式或任何手段复制和传播。
版权所有，侵权必究。
内容提要
本书讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，并在最后使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。
本书适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。
关于作者
Richard Lawson
来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。
我要感谢Timothy Baldwin教授将我引入这个令人兴奋的领域，以及本书编写时在巴黎招待我的Tharavy Douc。 ............

书籍插图：

以上为书籍内容预览，如需阅读全文内容请下载EPUB源文件，祝您阅读愉快。