第 1章 使用第三方庫實現信息抓取 1
任務1 使用第三方庫實現北京公交站點頁面信息抓取 2
1.1.1 介紹爬蟲 2
1.1.2 HTTP 5
1.1.3 HTML 9
1.1.4 使用第三方庫實現爬蟲功能 10
1.1.5 技能實訓 14
任務2 使用第三方庫實現北京公交站點詳細信息抓取 14
1.2.1 lxml庫 14
1.2.2 第三方庫數據抓取及保存 17
1.2.3 技能實訓 19
本章小結 19
本章作業 20
第 2章 初探Scrapy爬蟲框架 21
任務1 安裝Scrapy爬蟲框架并創建爬蟲工程 22
2.1.1 根據使用場景劃分爬蟲種類 22
2.1.2 開發基于Scrapy爬蟲框架的工程 25
任務2 學習并掌握Scrapy爬蟲框架各模塊的功能 30
2.2.1 Scrapy爬蟲工程組成 30
2.2.2 Scrapy爬蟲框架架構 34
本章小結 36
本章作業 36
第3章 提取網頁數據 37
任務1 使用Scrapy的選擇器提取豆瓣電影信息 38
3.1.1 Response對象 38
3.1.2 css選擇器 42
3.1.3 多層級網頁爬取 44
3.1.4 技能實訓 49
任務2 使用正則表達式從電影介紹詳情中提取指定信息 50
3.2.1 正則表達式 50
3.2.2 技能實訓 55
本章小結 55
本章作業 55
第4章 Scrapy數據保存（文件、MySQL、MongoDB） 57
任務一 使用Feed exports將爬取的電影信息保存到常見數據格式文件中 58
4.1.1 Feed exports 58
4.1.2 技能實訓 62
任務2 使用pipeline將爬取的電影信息數據保存到數據庫中 63
4.2.1 Python操作MySQL數據庫 63
4.2.2 pipeline模塊 66
4.2.3 將數據保存到MongoDB中 68
4.2.4 技能實訓 73
本章小結 73
本章作業 73
第5章 Scrapy反反爬技術 75
任務1 學習反爬蟲和反反爬蟲策略 76
5.1.1 反爬蟲方法和反反爬蟲策略 76
5.1.2 Scrapy設置實現反反爬 78
5.1.3 技能實訓 85
任務2 學習Scrapy框架中更多常用的設置 86
5.2.1 抓取需要登錄的網站 86
5.2.2 Scrapy常用擴展設置 90
本章小結 91
本章作業 91
第6章 Selenium+瀏覽器加載動態數據 93
新書資訊