《數(shù)據(jù)采集與預(yù)處理項(xiàng)目實(shí)戰(zhàn)》主要涉及八個(gè)項(xiàng)目:通過“數(shù)據(jù)采集與處理初識(shí)”學(xué)習(xí)數(shù)據(jù)采集與處理的多種方式和相關(guān)知識(shí);通過“Flume日志文件數(shù)據(jù)采集”學(xué)習(xí)Flume兩種文件通道的基本使用方法和HDFS接收器的相關(guān)配置:通過“Kafka日志文件數(shù)據(jù)采集”學(xué)習(xí)Kafka集群環(huán)境搭建和。Kafka生產(chǎn)者消費(fèi)者模型;通過“Scrapy網(wǎng)頁數(shù)據(jù)采集”學(xué)習(xí)Scrapy框架配置及使用;通過“Requests客戶端數(shù)據(jù)采集”學(xué)習(xí)Requests庫的使用;通過“Kettle學(xué)生數(shù)據(jù)處理”學(xué)習(xí)Kettle工具的安裝和基本使用;通過“NumPy股票數(shù)據(jù)處理”學(xué)習(xí)NumPy庫的安裝和使用;通過“Pandas旅游數(shù)據(jù)處理”學(xué)習(xí)Pandas庫的安裝和使用。《數(shù)據(jù)采集與預(yù)處理項(xiàng)目實(shí)戰(zhàn)》按照由淺入深的思路對(duì)知識(shí)體系進(jìn)行編排,從數(shù)據(jù)采集組件、數(shù)據(jù)采集模塊、數(shù)據(jù)采集框架、數(shù)據(jù)處理工具以及數(shù)據(jù)處理模塊的使用幾方面對(duì)知識(shí)點(diǎn)進(jìn)行講解。
《數(shù)據(jù)采集與預(yù)處理項(xiàng)目實(shí)戰(zhàn)》條理清晰、內(nèi)容詳細(xì),每個(gè)項(xiàng)目都通過學(xué)習(xí)目標(biāo)、學(xué)習(xí)路徑、任務(wù)描述、任務(wù)技能、任務(wù)實(shí)施、任務(wù)總結(jié)、英語角和任務(wù)習(xí)題八個(gè)模塊進(jìn)行相應(yīng)知識(shí)的講解。其中,學(xué)習(xí)目標(biāo)和學(xué)習(xí)路徑對(duì)項(xiàng)目包含的知識(shí)點(diǎn)進(jìn)行簡述;任務(wù)實(shí)施模塊對(duì)項(xiàng)目中的案例進(jìn)行步驟化的講解;任務(wù)總結(jié)模塊作為最后陳述,對(duì)使用的技術(shù)和注意事項(xiàng)進(jìn)行總結(jié);英語角解釋了項(xiàng)目中專業(yè)術(shù)語的含義,使學(xué)生全面掌握所講內(nèi)容。
項(xiàng)目一 數(shù)據(jù)采集與處理初識(shí)
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目二 Flume日志文件數(shù)據(jù)采集
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目三 Kafka日志文件數(shù)據(jù)采集
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目四 Scrapy網(wǎng)頁數(shù)據(jù)采集
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目五 Requests客戶端數(shù)據(jù)采集
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目六 Kettle學(xué)生數(shù)據(jù)處理
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目七 NumPy股票數(shù)據(jù)處理
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題
項(xiàng)目八 Pandas旅游數(shù)據(jù)處理
學(xué)習(xí)目標(biāo)
學(xué)習(xí)路徑
任務(wù)描述
任務(wù)技能
任務(wù)實(shí)施
任務(wù)總結(jié)
英語角
任務(wù)習(xí)題