本書圍繞大數據預處理業務背景及相關技術，以學習情境的方式，首先介紹了使用 Python、Pandas對各種數據源的讀寫，然后介紹了數據的清洗、集成、規約、變換四個處理數據方式，最后介紹了使用Kettle工具和MapReduce編程對數據進行處理的技術，通過理論結合實際、循序漸進的學習方式，讓讀者學習并掌握大數據預處理技術及應用。本書理論分析相對較少，側重動手實踐，適合應用型本科、高職高專大數據技術專業學生和希望快速進入大數據領域的讀者參考使用。
蔡茜，國家"雙高計劃”高水平專業群建設小組核心成員，國家級職業教育教師教學創新團隊核心成員，重慶工商職業學院專業帶頭人、骨干教師。曾獲全國職業院校信息化教學大賽網絡課程一等獎、省部級教學成果獎二等獎、三等獎各一項；主持省部級一流課程1門；主持省部級級教改項目2項。作為主編編寫教材6本，其中獲"十二五”規劃教材1本、重慶市重點建設教材1本。公開發表EI檢索論文5篇、中文核心論文2篇；主持省部級教委科研項目1項，主研市級科研項目3項；授權實用新型專利5項。
導 言
單元1 數據讀寫
學習情境1 使用Python讀寫職業能力大數據分析平臺【崗位】數據
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
學習情境2 使用Pandas讀寫職業能力大數據分析平臺【技能】數據
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元2 數據清洗
學習情境3 使用正則表達式從網頁中提取招聘聯系人的郵箱地址
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
學習情境4 使用Pandas對職業能力大數據分析平臺【工資】表進行清洗
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元3 數據集成
學習情境5 使用Pandas實現對職業能力大數據分析平臺多個學生信息
數據源進行集成
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元4 數據規約
學習情境6 使用NumPy+Pandas實現對工資數據進行數量規約
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元5 數據變換
學習情境7 使用Pandas+Sklearn對學生成績實現數據規范化
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元6 Kettle工具使用
學習情境8 使用ETL工具Kettle對職業能力大數據分析平臺學生信息
數據進行清洗
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元7 MapReduce數據處理
學習情境9 使用MapReduce合并職業能力大數據分析平臺【技能】數據
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
參考文獻
新書資訊