Python网络爬虫技术 - (EPUB全文下载)

文件大小：0.56 mb。
文件格式：epub 格式。
书籍内容：

图书在版编目（CIP）数据
Python网络爬虫技术/江吉彬，张良均主编．--北京：人民邮电出版社，2019.4
大数据人才培养规划教材
ISBN 978-7-115-50506-4
Ⅰ．①P…　Ⅱ．①江… ②张…　Ⅲ．①软件工具—程序设计—教材　Ⅳ．①TP311.561
中国版本图书馆CIP数据核字（2019）第001483号
主　　编　江吉彬　张良均
副 主 编　詹增荣　戴华炜　郭信佑
责任编辑　左仲海
责任印制　马振武
人民邮电出版社出版发行　北京市丰台区成寿寺路11号
邮编　100164　电子邮件　315@ptpress.com.cn
网址　http://www.ptpress.com.cn
北京鑫正大印刷有限公司印刷
开本：787×1092 1/16
印张：11
字数：252千字
2019年4月第1版
2019年4月北京第1次印刷
读者服务热线：（010）81055256　印装质量热线：（010）81055316
反盗版热线：（010）81055315
广告经营许可证：京东工商广登字20170147号
目录
内容提要
序
前言
第1章 Python爬虫环境与爬虫简介
任务1.1 认识爬虫
1.1.1 爬虫的概念
1.1.2 爬虫的原理
1.1.3 爬虫的合法性与robot.txt协议
任务1.2 认识反爬虫
1.2.1 网站反爬虫的目的与手段
1.2.2 爬取策略制定
任务1.3 配置Python爬虫环境
1.3.1 Python爬虫相关库介绍与配置
1.3.2 配置MySQL数据库
1.3.3 配置MongoDB数据库
小结
实训 Python爬虫环境配置
课后习题
第2章 网页前端基础
任务2.1 认识Python网络编程
2.1.1 了解Python网络编程Socket库
2.1.2 使用Socket库进行TCP编程
2.1.3 使用Socket库进行UDP编程
任务2.2 认识HTTP
2.2.1 熟悉HTTP请求方法与过程
2.2.2 熟悉常见HTTP状态码
2.2.3 熟悉HTTP头部信息
2.2.4 熟悉Cookie
小结
实训 使用Socket库连接百度首页
课后习题
第3章 简单静态网页爬取
任务3.1 实现HTTP请求
3.1.1 使用urllib 3库实现
3.1.2 使用Requests库实现
任务3.2 解析网页
3.2.1 使用Chrome开发者工具查看网页
3.2.2 使用正则表达式解析网页
3.2.3 使用Xpath解析网页
3.2.4 使用Beautiful Soup库解析网页
任务3.3 数据存储
3.3.1 将数据存储为JSON文件
3.3.2 将数据存储到MySQL数据库
小结
实训
实训1 生成GET请求并获取指定网页内容
实训2 搜索目标节点并提取文本内容
实训3 在数据库中建立新表并导入数据
课后习题
第4章 常规动态网页爬取
任务4.1 逆向分析爬取动态网页
4.1.1 了解静态网页和动态网页的区别
4.1.2 逆向分析爬取动态网页
任务4.2 使用Selenium库爬取动态网页
4.2.1 安装Selenium库及下载浏览器补丁
4.2.2 打开浏览对象并访问页面
4.2.3 页面等待
4.2.4 页面操作
4.2.5 元素选取
4.2.6 预期条件
任务4.3 存储数据至MongoDB数据库
4.3.1 了解MongoDB数据库和MySQL数据库的区别
4.3.2 将数据存储到MongoDB数据库
小结
实训
实训1 爬取网页“http://www.ptpress.com.cn”的推荐图书信息
实训2 爬取某网页的Java图书信息
实训3 将数据存储到MongoDB数据库中
课后习题
第5章 模拟登录
任务5.1 使用表单登录方法实现模拟登录
5.1.1 查找提交入口
5.1.2 查找并获取需要提交的表单数据
5.1.3 使用POST请求方法登录
任务5.2 使用Cookie登录方法实现模拟登录
5.2.1 使用浏览器Cookie登录
5.2.2 基于表单登录的Cookie登录
小结
实训
实训1 使用表单登录方法模拟登录数睿思论坛
实训2 使用浏览器Cookie模拟登录数睿思论坛
实训3 基于表单登录后的Cookie模拟登录数睿思论坛
课后习题
第6章 终端协议分析
任务6.1 分析PC客户端抓包
6.1.1 了解HTTP Analyzer工具
6.1.2 爬取千千音乐PC客户端数据
任务6.2 分析App抓包
6.2.1 了解Fiddler工具
6.2.2 分析人民日报App
小结
实训
实训1 抓取千千音乐PC客户端的推荐歌曲信息
实训2 爬取人民日报App的旅游模块信息
课后习题
第7章 Scrapy爬虫
任务7.1 认识Scarpy
7.1.1 了解Scrapy爬虫的框架
7.1.2 熟悉Scrapy的常用命令
任务7.2 通过Scrapy爬取文本信息
7.2.1 创建Scrapy爬虫项目
7.2.2 修改items/pipelines脚本
7.2.3 编写spider脚本
7.2.4 修改settings脚本
任务7.3 定制中间件
7.3.1 定制下载器中间件
7.3.2 定制Spider中间件
小结
实训
实训1 爬取“http://www.tipdm.org”的所有新闻动态
实训2 定制BdRaceNews爬虫项目的中间件
课后习题
附录A
附录B
参考文献
内容提要
本书以任务为导向，较为全面地介绍了不同场景下Python爬取网络数据的方法，包括静态网页、动态网页、登录后才能访问的网页、PC客户端、App等场景。全书共7章，第1章介绍了爬虫与反爬虫的基本概念，以及Python爬虫环境的配置，第2章介绍了爬取过程中涉及的网页前端基础，第3章介绍了在静态网页中爬取数据的过程，第4章介绍了在动态网页中爬取数据的过程，第5章介绍了对登录后才能访问的网页进行模拟登录的方法，第6章介绍了爬取PC客户端、App的数据的方法，第7章介绍了使用 ............

书籍插图：

以上为书籍内容预览，如需阅读全文内容请下载EPUB源文件，祝您阅读愉快。