国产91青青成人a在线/在线视频成人/aaa成人永久在线观看视频/深夜草莓视频app

本書從Python的安裝開始，詳細(xì)講解了Python從簡單程序延伸到Python網(wǎng)絡(luò)爬蟲的全過程。本書從實(shí)戰(zhàn)出發(fā)，根據(jù)不同的需求選取不同的爬蟲，有針對性地講解了幾種Python網(wǎng)絡(luò)爬蟲。 本書共8章，涵蓋的內(nèi)容有Python語言的基本語法、Python常用IDE的使用、Python第三方模塊的導(dǎo)入使用、Python爬蟲常用模塊、Scrapy爬蟲、Beautiful Soup爬蟲、Mechanize模擬瀏覽器和Selenium模擬瀏覽器。本書所有源代碼已上傳網(wǎng)盤供讀者下載。 本書內(nèi)容豐富，實(shí)例典型，實(shí)用性強(qiáng)。適合Python網(wǎng)絡(luò)爬蟲初學(xué)者、數(shù)據(jù)分析與挖掘技術(shù)初學(xué)者，以及高校及培訓(xùn)學(xué)校相關(guān)專業(yè)的師生閱讀。

本書免費(fèi)贈(zèng)送書中代碼,下載地址為http://pan.baidu.com/s/1miTmq5y

前 言


計(jì)算機(jī)技術(shù)飛速發(fā)展，人們對計(jì)算機(jī)使用技能的要求也越來越高。在編寫軟件時(shí)，大家既希望有超高的效率，又希望這門語言簡單易用。這種魚與熊掌皆得的要求的確很高，Python編程語言恰好符合這么苛刻的要求。Python的執(zhí)行效率僅比效率之王C略差一籌，在簡單易用方面Python也名列三甲。可以說Python在效率和簡單之間達(dá)到了平衡。另外，Python還是一門膠水語言，可以將其他編程語言的優(yōu)點(diǎn)融合在一起，達(dá)到1 1>2的效果。這也是Python如今使用人數(shù)越來越多的原因。Python語言發(fā)展迅速，在各行各業(yè)都發(fā)揮獨(dú)特的作用。在各大企業(yè)、學(xué)校、機(jī)關(guān)都運(yùn)行著Python明星程序。但就個(gè)人而言，運(yùn)用Python最多的還是網(wǎng)絡(luò)爬蟲（這里的爬蟲僅涉及從網(wǎng)頁提取數(shù)據(jù)，不涉及深度、廣度算法爬蟲搜索）。在網(wǎng)絡(luò)上經(jīng)常更新的數(shù)據(jù)，無須每次都打開網(wǎng)頁瀏覽，使用爬蟲程序，一鍵獲取數(shù)據(jù)，下載保存后分析。考慮到Python爬蟲在網(wǎng)絡(luò)上的資料雖多，但大多都不成系統(tǒng)，難以提供系統(tǒng)有效的學(xué)習(xí)。因此筆者拋磚引玉，編寫了這本有關(guān)Python網(wǎng)絡(luò)爬蟲的書，以供讀者學(xué)習(xí)參考。Python簡單易學(xué)，Python爬蟲也不復(fù)雜。只需要了解了Python的基本操作即可自行編寫。本書中介紹了幾種不同類型的Python爬蟲，可以針對不同情況的站點(diǎn)進(jìn)行數(shù)據(jù)收集。本書特色? 附帶全部源代碼為了便于讀者理解本書內(nèi)容，作者已將全部的源代碼上傳到網(wǎng)絡(luò)，供讀者下載使用。讀者通過代碼學(xué)習(xí)開發(fā)思路，精簡優(yōu)化代碼。? 涵蓋了Linux&Windows上模塊的安裝配置本書包含了Python模塊源的配置、模塊的安裝，以及常用IDE的使用。? 實(shí)戰(zhàn)實(shí)例通過常用的實(shí)例，詳細(xì)說明網(wǎng)絡(luò)爬蟲的編寫過程。本書結(jié)構(gòu)本書共8章，前面4章簡單地介紹了Python的基本用法和簡單Python程序的編寫。第5章的Scrapy爬蟲框架主要針對一般無須登錄的網(wǎng)站，在爬取大量數(shù)據(jù)時(shí)使用Scrapy會(huì)很方便。第6章的Beautiful Soup爬蟲可以算作爬蟲的個(gè)人版。Beautiful Soup爬蟲主要針對一些爬取數(shù)據(jù)比較少的，結(jié)構(gòu)簡單的網(wǎng)站。第7章的Mechanize模塊，主要功能是模擬瀏覽器。它的作用主要是針對那些需要登錄驗(yàn)證的網(wǎng)站。第8章的Selenium模塊，主要功能也是模擬瀏覽器，它的作用主要是針對JavaScript返回?cái)?shù)據(jù)的網(wǎng)站。本書讀者與作者? Python網(wǎng)絡(luò)爬蟲初學(xué)者? 數(shù)據(jù)分析與挖掘技術(shù)初學(xué)者? 高校和培訓(xùn)學(xué)校相關(guān)專業(yè)的師生本書由胡松濤主筆，其他參與編寫的有宋士偉、張倩、彭霽、楊旺功、鄒瑛、王鐵民、殷龍、李春城、張興瑜、劉祥淼、李柯泉、林龍、趙殿華、牛曉云。本書代碼下載本書代碼下載地址（注意數(shù)字和字母大小寫）為 http://pan.baidu.com/s/1miTmq5y。如果下載有問題，請電子郵件聯(lián)系booksaga@163.com，郵件主題為網(wǎng)絡(luò)爬蟲代碼。



編 者2016年11月

胡松濤，高級(jí)工程師，參與多個(gè)Linux開源項(xiàng)目，github知名代碼分享者，活躍于國內(nèi)著名的多個(gè)開源論壇。出版圖書《樹莓派開發(fā)從零開始學(xué)--超好玩的智能小硬件制作書》。

目 錄

第1章 Python環(huán)境配置 1

1.1 Python簡介 1

1.1.1 Python的歷史由來 1

1.1.2 Python的現(xiàn)狀 2

1.1.3 Python的應(yīng)用 2

1.2 Python開發(fā)環(huán)境配置 4

1.2.1 Windows下安裝Python 4

1.2.2 Windows下安裝配置pip 9

1.2.3 Linux下安裝Python 10

1.2.4 Linux下安裝配置pip 12

1.2.5 永遠(yuǎn)的開始：hello world 15

1.3 本章小結(jié) 20

第2章 Python基礎(chǔ) 21

2.1 Python變量類型 21

2.1.1 數(shù)字 21

2.1.2 字符串 24

2.1.3 列表 28

2.1.4 元組 34

2.1.5 字典 36

2.2 Python語句 40

2.2.1 條件語句if else 40

2.2.2 有限循環(huán)for 41

2.2.3 無限循環(huán)while 43

2.2.4 中斷循環(huán)continue、break 45

2.2.5 異常處理try except 47

2.2.6 導(dǎo)入模塊import 49

2.3 函數(shù)和類 53

2.3.1 函數(shù) 53

2.3.2 類 59

2.4 Python代碼格式 65

2.4.1 Python代碼縮進(jìn) 65

2.4.2 Python命名規(guī)則 66

2.4.3 Python代碼注釋 68

2.5 Python調(diào)試 70

2.5.1 Windows下IDLE調(diào)試 70

2.5.2 Linux下pdb調(diào)試 73

2.6 本章小結(jié) 77

第3章 簡單的Python腳本 78

3.1 九九乘法表 78

3.1.1 Project分析 78

3.1.2 Project實(shí)施 78

3.2 斐波那契數(shù)列 80

3.2.1 Project分析 80

3.2.2 Project實(shí)施 80

3.3 概率計(jì)算 81

3.3.1 Project分析 81

3.3.2 Project實(shí)施 82

3.4 讀寫文件 83

3.4.1 Project分析 83

3.4.2 project實(shí)施 84

3.5 本章小結(jié) 85

第4章 Python爬蟲常用模塊 86

4.1 Python標(biāo)準(zhǔn)庫之urllib2模塊 86

4.1.1 urllib2請求返回網(wǎng)頁 86

4.1.2 urllib2使用代理訪問網(wǎng)頁 88

4.1.3 urllib2修改header 91

4.2 Python標(biāo)準(zhǔn)庫logging模塊 95

4.2.1 簡述logging模塊 95

4.2.2 自定義模塊myLog 99

4.3 其他有用模塊 102

4.3.1 re模塊（正則表達(dá)式操作） 102

4.3.2 sys模塊（系統(tǒng)參數(shù)獲取） 105

4.3.3 time模塊（獲取時(shí)間信息） 106

4.4 本章小結(jié) 110

第5章 Scrapy爬蟲框架 111

5.1 安裝Scrapy 111

5.1.1 Windows下安裝Scrapy環(huán)境 111

5.1.2 Linux下安裝Scrapy 112

5.1.3 vim編輯器 113

5.2 Scrapy選擇器XPath和CSS 114

5.2.1 XPath選擇器 114

5.2.2 CSS選擇器 117

5.2.3 其他選擇器 118

5.3 Scrapy爬蟲實(shí)戰(zhàn)一：今日影視 118

5.3.1 創(chuàng)建Scrapy項(xiàng)目 119

5.3.2 Scrapy文件介紹 120

5.3.3 Scrapy爬蟲編寫 123

5.4 Scrapy爬蟲實(shí)戰(zhàn)二：天氣預(yù)報(bào) 129

5.4.1 項(xiàng)目準(zhǔn)備 130

5.4.2 創(chuàng)建編輯Scrapy爬蟲 131

5.4.3 數(shù)據(jù)存儲(chǔ)到j(luò)son 138

5.4.4 數(shù)據(jù)存儲(chǔ)到MySQL 140

5.5 Scrapy爬蟲實(shí)戰(zhàn)三：獲取代理 146

5.5.1 項(xiàng)目準(zhǔn)備 146

5.5.2 創(chuàng)建編輯Scrapy爬蟲 147

5.5.3 多個(gè)Spider 153

5.5.4 處理Spider數(shù)據(jù) 157

5.6 Scrapy爬蟲實(shí)戰(zhàn)四：糗事百科 159

5.6.1 目標(biāo)分析 159

5.6.2 創(chuàng)建編輯Scrapy爬蟲 160

5.6.3 Scrapy項(xiàng)目中間件添加headers 161

5.6.4 Scrapy項(xiàng)目中間件添加proxy 165

5.7 scrapy爬蟲實(shí)戰(zhàn)五：爬蟲攻防 167

5.7.1 創(chuàng)建一般爬蟲 167

5.7.2 封鎖間隔時(shí)間破解 171

5.7.3 封鎖Cookies破解 171

5.7.4 封鎖user-agent破解 171

5.7.5 封鎖IP破解 174

5.8 本章小結(jié) 177

第6章 Beautiful Soup爬蟲 178

6.1 安裝Beautiful Soup環(huán)境 178

6.1.1 Windows下安裝Beautiful Soup 178

6.1.2 Linux下安裝Beautiful Soup 179

6.1.3 最強(qiáng)大的IDEEclipse 179

6.2 BeautifulSoup解析器 188

6.2.1 bs4解析器選擇 188

6.2.2 lxml解析器安裝 189

6.2.3 使用bs4過濾器 190

6.3 bs4爬蟲實(shí)戰(zhàn)一：獲取百度貼吧內(nèi)容 196

6.3.1 目標(biāo)分析 196

6.3.2 項(xiàng)目實(shí)施 197

6.3.3 代碼分析 205

6.3.4 Eclipse調(diào)試 206

6.4 bs4爬蟲實(shí)戰(zhàn)二：獲取雙色球中獎(jiǎng)信息 207

6.4.1 目標(biāo)分析 207

6.4.2 項(xiàng)目實(shí)施 210

6.4.3 保存結(jié)果到Excel 214

6.4.4 代碼分析 221

6.5 bs4爬蟲實(shí)戰(zhàn)三：獲取起點(diǎn)小說信息 221

6.5.1 目標(biāo)分析 222

6.5.2 項(xiàng)目實(shí)施 223

6.5.3 保存結(jié)果到MySQL 226

6.5.4 代碼分析 230

6.6 bs4爬蟲實(shí)戰(zhàn)四：獲取電影信息 230

6.6.1 目標(biāo)分析 230

6.6.2 項(xiàng)目實(shí)施 232

6.6.3 bs4反爬蟲 235

6.6.4 代碼分析 237

6.7 bs4爬蟲實(shí)戰(zhàn)五：獲取音悅臺(tái)榜單 238

6.7.1 目標(biāo)分析 238

6.7.2 項(xiàng)目實(shí)施 239

6.7.3 代碼分析 244

6.8 本章小結(jié) 245

第7章 Mechanize模擬瀏覽器 246

7.1 安裝Mechanize模塊 246

7.1.1 Windows下安裝Mechanize 246

7.1.2 Linux下安裝Mechanize 247

7.2 Mechanize 測試 248

7.2.1 Mechanize百度 248

7.2.2 Mechanize光貓F(tuán)460 251

7.3 Mechanize實(shí)站一：獲取Modem信息 254

7.3.1 獲取F460數(shù)據(jù) 254

7.3.2 代碼分析 257

7.4 Mechanize實(shí)戰(zhàn)二：獲取音悅臺(tái)公告 258

7.4.1 登錄原理 258

7.4.2 獲取Cookie的方法 259

7.4.3 獲取Cookie 262

7.4.4 使用Cookie登錄獲取數(shù)據(jù) 266

7.5 本章總結(jié) 270

第8章 Selenium模擬瀏覽器 271

8.1 安裝Selenium模塊 271

8.1.1 Windows下安裝Selenium模塊 271

8.1.2 Linux下安裝Selenium模塊 272

8.2 瀏覽器選擇 272

8.2.1 Webdriver支持列表 272

8.2.2 Windows下安裝PhantomJS 273

8.2.3 Linux下安裝PhantomJS 276

8.3 Selenium&PhantomJS抓取數(shù)據(jù) 277

8.3.1 獲取百度搜索結(jié)果 277

8.3.2 獲取搜索結(jié)果 280

8.3.3 獲取有效數(shù)據(jù)位置 282

8.3.4 從位置中獲取有效數(shù)據(jù) 284

8.4 Selenium&PhantomJS實(shí)戰(zhàn)一：獲取代理 285

8.4.1 準(zhǔn)備環(huán)境 285

8.4.2 爬蟲代碼 287

8.4.3 代碼解釋 289

8.5 Selenium&PhantomJS實(shí)戰(zhàn)二：漫畫爬蟲 289

8.5.1 準(zhǔn)備環(huán)境 290

8.5.2 爬蟲代碼 291

8.5.3 代碼解釋 294

8.6 本章總結(jié) 294