本書(shū)以數(shù)據(jù)分析領(lǐng)域*熱的Python語(yǔ)言為主要線索，介紹了數(shù)據(jù)分析庫(kù)numpy、Pandas與機(jī)器學(xué)習(xí)庫(kù)scikit-learn，使用了可視化環(huán)境Orange 3來(lái)理解算法的一些細(xì)節(jié)。對(duì)于機(jī)器學(xué)習(xí)，既有常用算法KNN與Kmeans的應(yīng)用，決策樹(shù)與*森林的實(shí)戰(zhàn)，還涉及常用特征工程與深度學(xué)習(xí)中的自動(dòng)編程器。在大數(shù)據(jù)Hadoop與Hive環(huán)境的基礎(chǔ)之上，使用Spark的ML/MLlib庫(kù)集成了前面的各部分內(nèi)容，讓分布式機(jī)器學(xué)習(xí)更容易。大量的工具與技能實(shí)戰(zhàn)的介紹將各部分融合成一個(gè)全棧的數(shù)據(jù)科學(xué)內(nèi)容。
執(zhí)利器而守重鎮(zhèn)Python*強(qiáng)大的領(lǐng)域在數(shù)據(jù)科學(xué)
窺全貌而知路徑整合Linux|Python|SQL|Hadoop|Hive|Spark|數(shù)據(jù)挖掘|機(jī)器學(xué)習(xí)|深度學(xué)習(xí)
知原理而致應(yīng)用全棧數(shù)據(jù)既指數(shù)據(jù)技術(shù)，也指業(yè)務(wù)數(shù)據(jù)，生產(chǎn)環(huán)境是*終的檢驗(yàn)場(chǎng)。
立平臺(tái)而生數(shù)據(jù)建設(shè)強(qiáng)大數(shù)據(jù)平臺(tái)，是支撐產(chǎn)品也業(yè)務(wù)的必由之路。
0x00 自序
慈悲為懷大數(shù)據(jù)，云中仙游戒為師。這是自己從幾年前一直沿用到現(xiàn)在的簽名，幾年之后的今天，再來(lái)體會(huì)這句話，不一樣的處境，不一樣的心境，卻依然有著同樣的追求。曾想出世修行，渴望每日有高山流水相伴，能過(guò)著青燈古佛的生活。終因現(xiàn)實(shí)殘酷只得入世而求存，在多少次碌碌無(wú)為中堅(jiān)定了技術(shù)這條路。技術(shù)之路，注定會(huì)一波三折。在下也經(jīng)歷了從安全測(cè)試、安全分析，到大數(shù)據(jù)分析，再到 APP后端開(kāi)發(fā)，直至數(shù)據(jù)分析、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)之后，技術(shù)之棧才得以完全確立。技術(shù)之路漫長(zhǎng)而曲折，需要不斷修行，目前我也僅僅是入得門(mén)內(nèi)，自此方有機(jī)會(huì)窺探神秘?cái)?shù)據(jù)世界之一二而已。少年不識(shí)愁滋味，為賦新詞強(qiáng)說(shuō)愁。而今識(shí)盡愁滋味，卻道天涼好個(gè)秋。學(xué)無(wú)止境。曾經(jīng)以為學(xué)會(huì) Linux便夠了，殊不知，這僅僅是系統(tǒng)的基礎(chǔ)；后來(lái)學(xué)了 Python，以為這便是編程的全部；殊不知， Python最強(qiáng)大的領(lǐng)域在數(shù)據(jù)科學(xué)；直到接觸大數(shù)據(jù)與機(jī)器學(xué)習(xí)，才發(fā)現(xiàn)，原來(lái)種種際遇，都只是為數(shù)據(jù)科學(xué)而鋪設(shè)的套路。
本書(shū)并非從入門(mén)到精通的講解，只是想通過(guò)淺顯易懂的語(yǔ)言讓讀者了解全棧數(shù)據(jù)的全貌。閱讀本書(shū)時(shí)，如果其中某個(gè)知識(shí)點(diǎn)，讓你入了門(mén)，我甚感欣慰；如果其中某節(jié)內(nèi)容，讓你得到了提高，我備受鼓舞。另外，入門(mén)之路千千萬(wàn)，用時(shí)下流行的話來(lái)說(shuō)，只希望本書(shū)不會(huì)導(dǎo)致你從入門(mén)到放棄。
全棧數(shù)據(jù)，主要想盡可能多地涉及數(shù)據(jù)科學(xué)中的主題。任何復(fù)雜的技術(shù)，都是一點(diǎn)點(diǎn)積累起來(lái)的，數(shù)據(jù)科學(xué)也不例外。如果能將本書(shū)中涉及的全棧數(shù)據(jù)技術(shù)，如 Linux、Python、SQL、Hadoop、Hive、Spark、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)進(jìn)行系統(tǒng)性整合，則全棧數(shù)據(jù)之技可成也。
詩(shī)詞歌賦，是詩(shī)人與詞人對(duì)人生的情感寄托；技術(shù)寫(xiě)作，也是技術(shù)人員對(duì)技術(shù)的情感寄托。
然術(shù)業(yè)有專攻，每個(gè)人的知識(shí)都是有限的，寫(xiě)書(shū)的目的，并非要證明自己，而是把自己所知所想記錄下來(lái)，讓讀者能有哪怕一小點(diǎn)的收獲即可。
全棧并非全能，錢都不是萬(wàn)能的，何況技術(shù)乎？在數(shù)據(jù)領(lǐng)域，都懂一點(diǎn)，生活會(huì)更美好。
全棧是一種修行，數(shù)據(jù)技術(shù)如此，人生亦如是：
閱讀本書(shū)，不能讓你立刻走上人生巔峰、出任 CEO……但至少可以達(dá)到以下幾點(diǎn)：
本書(shū)是一本無(wú)固定主題的技術(shù)文集合體，圍繞數(shù)據(jù)這個(gè)主線，進(jìn)行了大量的展開(kāi)，從不同的側(cè)面去靠近全棧數(shù)據(jù)技能，去靠近數(shù)據(jù)科學(xué)這個(gè)大主題。因內(nèi)容寬泛，且作者水平有限，不足之處甚多，若讀者發(fā)現(xiàn)書(shū)中的問(wèn)題，還望不吝指正。可以通過(guò)我的微信公眾號(hào) yunjie-talk反饋問(wèn)題，我將不勝感激。
最后，本書(shū)得以成冊(cè)出版，必須要感謝電子工業(yè)出版社計(jì)算機(jī)出版分社的張春雨老師，伯樂(lè)張老師于雜亂文字中，發(fā)現(xiàn)了閃光之處，促成了本書(shū)的問(wèn)世。世人皆說(shuō)本書(shū)體裁太亂，無(wú)章法可言，唯張伯樂(lè)以無(wú)招勝有招接下，眾皆信服。
本書(shū)在寫(xiě)作過(guò)程中，得益于愛(ài)妻梁玉霞女士的大力支持，常于深夜端茶倒水，詢問(wèn)進(jìn)度，并且照顧家庭與小孩，讓我可以抽出大量時(shí)間來(lái)書(shū)寫(xiě)，感激之情在心，在此道謝。與此同時(shí)，也感謝全力支持我寫(xiě)作的父母，他們幫忙照顧小孩與生活，對(duì)我學(xué)業(yè)、事業(yè)與寫(xiě)作的支持，讓我感恩。
另外，本書(shū)在寫(xiě)作過(guò)程中，得到好友司旭鵬的很多支持與建議，在初稿審校過(guò)程中，得到好友尹高峰、盧西、彭璽錦的很多建議與修改，在此一并感謝。因?yàn)槟銈兊母冻�，讓本�?shū)質(zhì)量得到了提升，非常感謝。
在寫(xiě)作本書(shū)的約一年時(shí)間之內(nèi)，還得到了其他很多朋友、同事的大量建議，在此雖不一一提名，但必須要感謝你們的支持。
云戒2016.11.11 于成都
前言 自強(qiáng)不息，厚德載物
本書(shū)共有 8個(gè)章節(jié)的內(nèi)容，涉及數(shù)據(jù)科學(xué)中的相關(guān)基礎(chǔ)知識(shí)與內(nèi)容，但內(nèi)容的編排并非完全從易到難，有部分文章的內(nèi)容，是需要用到其他章節(jié)的知識(shí)的。
相對(duì)來(lái)說(shuō)，第 1、2、3章，內(nèi)容比較單一，涉及基礎(chǔ)的 Linux、Python與 Hadoop知識(shí)。如果對(duì)這三章中的某些知識(shí)不熟悉，建議先閱讀。第 4章比較特殊，其內(nèi)容也是數(shù)據(jù)科學(xué)中比較重要的，不僅需要前 3章的知識(shí)，也需要部分 Spark的知識(shí)，因?yàn)?Spark的特殊性，單獨(dú)放到機(jī)器學(xué)習(xí)之后了。
第 5、6章，涉及數(shù)據(jù)科學(xué)中最重要的主題：機(jī)器學(xué)習(xí)與算法，介紹了機(jī)器學(xué)習(xí)的常用環(huán)境、概念、方法以及幾個(gè)典型的算法應(yīng)用。這兩章是本書(shū)的難點(diǎn)，如果不熟悉，必須單獨(dú)攻克。
第 7章，Spark本身就是一個(gè)全�？蚣�，無(wú)論是在分布式計(jì)算還是在機(jī)器學(xué)習(xí)領(lǐng)域，都大有用處。因此最好有前面章節(jié)的基礎(chǔ)知識(shí)，方能更好地理解本章的內(nèi)容，尤其是 MLlib/ML庫(kù)，必須有機(jī)器學(xué)習(xí)算法的知識(shí)。
最后一章，反而是最簡(jiǎn)單的，因?yàn)榛静簧婕凹夹g(shù)細(xì)節(jié)，但對(duì)整個(gè)數(shù)據(jù)科學(xué)的理解，以及技術(shù)積累都是非常重要的。
本書(shū)章節(jié)的編排，在一定程度上參考了知識(shí)的由易到難，另外一個(gè)方面，也參考了《易經(jīng)》的乾坤兩個(gè)卦象。不需要讀者熟悉乾坤兩個(gè)卦象，下面會(huì)將其中乾坤兩個(gè)卦的爻辭進(jìn)行粗略的解釋。不需要讀者完全理解，只求有個(gè)概念上的認(rèn)識(shí)即可。
全棧數(shù)據(jù)，其中的數(shù)據(jù)既指數(shù)據(jù)技術(shù)，也指業(yè)務(wù)數(shù)據(jù)。只有將技術(shù)應(yīng)用到業(yè)務(wù)中，才能在實(shí)際的生產(chǎn)環(huán)境中發(fā)揮作用。
介紹卦象的時(shí)候，是由低層次向高層次漸漸提升的，對(duì)應(yīng)的技能與業(yè)務(wù)也一樣。從 Linux走向數(shù)據(jù)科學(xué)，就是一個(gè)技能提升的過(guò)程，類似的，從數(shù)據(jù)采集到數(shù)據(jù)應(yīng)用也是對(duì)業(yè)務(wù)從入門(mén)到應(yīng)用的一個(gè)過(guò)程。
01 全棧技能，自強(qiáng)不息
乾坤為一體，況且一陰一陽(yáng)之謂道。世界上不可能只有男人而沒(méi)有女人，正如不可能只有女神而沒(méi)有女漢子一樣。因此，和純陽(yáng)卦乾卦相對(duì)的便是純陰卦坤卦了。
乾卦，正是天行健，君子以自強(qiáng)不息。下面先用乾卦來(lái)說(shuō)全棧技術(shù)。
1.1 Linux，潛龍勿用
初九爻，爻辭為：潛龍勿用。
乾卦每一爻都代表了一條龍，初九爻為潛龍。潛字很有意思，是叫你要藏起來(lái)，不要露面，那能干什么呢？
剛接觸 Linux，覺(jué)得 Linux非常自由。此時(shí)剛開(kāi)始入門(mén)，興趣最重要，這一階段，需要打好各種系統(tǒng)與命令行的基礎(chǔ)。
要做好數(shù)據(jù)科學(xué)，不學(xué) Linux不行，不論你喜歡與否。后續(xù)的 Python、 Spark、Hadoop、數(shù)據(jù)挖掘等都需要用到大量基礎(chǔ)的 Linux知識(shí)。勿用的意思是，時(shí)候不到就不要用，當(dāng)準(zhǔn)備好了，就要用。
Linux只是一個(gè)基礎(chǔ)系統(tǒng)，必須要結(jié)合實(shí)際的業(yè)務(wù)來(lái)更好地應(yīng)用，勿用到最后就是為了要用，此時(shí)就進(jìn)入了第二階段。
1.2 Python，見(jiàn)龍?jiān)谔?br />九二爻，爻辭為：見(jiàn)龍?jiān)谔�，利�?jiàn)大人。
見(jiàn)（xiàn）通現(xiàn)，意為展現(xiàn)，要能在工作中快速解決問(wèn)題，學(xué)習(xí) Python，就可以讓你快速展現(xiàn)出業(yè)績(jī)來(lái)。由 Python入門(mén)數(shù)據(jù)分析與數(shù)據(jù)挖掘，這算是程序員入行數(shù)據(jù)挖掘最好的方法了， Python目前最火的領(lǐng)域，就是在數(shù)據(jù)科學(xué)領(lǐng)域。況且 Python語(yǔ)法優(yōu)美，第三方庫(kù)龐大且高效，專門(mén)用于快速解決問(wèn)題。
Python是一條巨龍，一旦展現(xiàn)在田野，必須拿出一點(diǎn)實(shí)力來(lái)表現(xiàn)自己，對(duì)上面的大人有利。從 Linux過(guò)來(lái)，將 Python應(yīng)用到業(yè)務(wù)中，快速地解決了問(wèn)題，業(yè)績(jī)自然來(lái)了，其利也自現(xiàn)了。
在數(shù)據(jù)科學(xué)中，學(xué)了 Python的開(kāi)發(fā)與數(shù)據(jù)分析，這還只是基礎(chǔ)，還有另外一個(gè)工程領(lǐng)域的技能大數(shù)據(jù)，需要學(xué)習(xí)。此時(shí)，進(jìn)入九三爻。
1.3 大數(shù)據(jù)，終日乾乾
所有的事件都會(huì)進(jìn)入第三階段，即九三爻，爻辭為：君子終日乾乾，夕惕若，厲無(wú)咎。
君子，指有志氣、有抱負(fù)的人。整天都很努力地學(xué)習(xí)，是會(huì)被人嫉妒的，所以言行都要小心。
工作中，必須要兢兢業(yè)業(yè)，努力做好工作。太陽(yáng)下山之后，更需要警惕，時(shí)刻告誡自己，三天不學(xué)習(xí)，可能就趕不上曾經(jīng)比自己差的人了。必須要利用業(yè)余時(shí)間學(xué)習(xí)新技術(shù)，而以 Hadoop為代表的大數(shù)據(jù)，正是近年來(lái)火得一塌糊涂的技術(shù)，況且網(wǎng)上的學(xué)習(xí)資料已經(jīng)非常多了。
這是一門(mén)在學(xué)校很難學(xué)到的技術(shù)，因此必須自己利用業(yè)余時(shí)間，每天厲兵秣馬，努力讓自己的數(shù)據(jù)科學(xué)技能更加完善。
1.4 機(jī)器學(xué)習(xí)，或躍在淵
有些人和事，是沒(méi)有第四階段的，因?yàn)樗麄兛赡芤惠呑泳土粼诘谌A段。進(jìn)入第四階段，即九四爻：或躍在淵，無(wú)咎。
學(xué)習(xí)了前面三種技術(shù)（ Linux、Python和大數(shù)據(jù)）后，要想再深入，此時(shí)必須往數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方面發(fā)展。數(shù)據(jù)挖掘與數(shù)據(jù)分析還是有一定區(qū)別的，數(shù)據(jù)挖掘更偏向于使用算法解決問(wèn)題，而分析更多是偏統(tǒng)計(jì)與業(yè)務(wù)（包括運(yùn)營(yíng)、產(chǎn)品）層面的。
尤其是機(jī)器學(xué)習(xí)，要看得懂 scikit-learn的文檔，必須輔助以相應(yīng)的理論基礎(chǔ)，涉及數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等多個(gè)領(lǐng)域。
一部分人在此階段向機(jī)器學(xué)習(xí)方向跳躍，可是沒(méi)有堅(jiān)定的信念，最后就真應(yīng)了那句從入門(mén)到放棄的話了。
機(jī)器學(xué)習(xí)，因其特殊的學(xué)科領(lǐng)域，由程序員轉(zhuǎn)過(guò)來(lái)的占很大一部分，要想躍上去，必須堅(jiān)定信念，不忘初心。對(duì)碼農(nóng)而言，其難，就難在理論。下足工夫，堅(jiān)持苦修，一定會(huì)有所成就。
1.5 Spark，飛龍?jiān)谔?br />過(guò)了九四階段，到九五階段也容易。而九五階段也是最舒服的階段，我們常說(shuō)的九五至尊便是這個(gè)階段。爻辭為：飛龍?jiān)谔�，利�?jiàn)大人。
有了前面的基礎(chǔ)，再學(xué)習(xí) Spark技術(shù)，相對(duì)就很容易了。再面對(duì) Spark中的機(jī)器學(xué)習(xí)庫(kù) ML或 MLlib，也就不會(huì)束手無(wú)策了。 Spark可以說(shuō)是前面技能的集大成者，需要 HDFS文件的支持，能天生支持 Hive的數(shù)據(jù)，能使用 Python的 API接口，以前在 Python中能用的那些庫(kù)，在 Spark中，通通都能用，而且效率更高。
技能到了，境界也差不了多少，渾身散發(fā)的數(shù)據(jù)氣場(chǎng)也很強(qiáng)。此階段也可以認(rèn)為是第二階段的見(jiàn)龍眼中的大人了，行事也需要有大人的風(fēng)范才行。
1.6 數(shù)據(jù)科學(xué)，亢龍有悔
做技術(shù)的人，其實(shí)比較希望停留在九五階段，可卻經(jīng)常事與愿違啊！而且物極必反的道理相信你也懂，事物的發(fā)展是不會(huì)停止的。過(guò)了九五階段，還有九六階段。九六爻爻辭為：亢龍有悔。
有的人感覺(jué)自己領(lǐng)悟了整個(gè)數(shù)據(jù)科學(xué)的技能與本質(zhì)，其實(shí)也還只是一些皮毛，若此時(shí)停止不前，甚至轉(zhuǎn)向管理，那么技術(shù)也就基本荒廢了。
正確的做法應(yīng)該是，回頭再去加深領(lǐng)悟各個(gè)階段的技術(shù)與技能，將其更好地應(yīng)用到業(yè)務(wù)中去。回想曾經(jīng)犯
作者一直工作在數(shù)據(jù)處理與數(shù)據(jù)挖掘的第一線，具有豐富的理論知識(shí)和實(shí)踐經(jīng)驗(yàn)，且精通多種數(shù)據(jù)挖掘與分析的工具的使用，文筆也不錯(cuò)，相信能為讀者奉獻(xiàn)一本質(zhì)量上乘的佳作。
目錄
前言 自強(qiáng)不息，厚德載物 / XIX
0x1 Linux，自由之光 / 001
0x10 Linux，你是我的眼 / 001
0x11 Linux基礎(chǔ)，從零開(kāi)始 / 003
01 Linux之門(mén) / 003
02 文件操作 / 004
03 權(quán)限管理 / 006
04 軟件安裝 / 008
05 實(shí)戰(zhàn)經(jīng)驗(yàn) / 010
0x12 Sed與 Grep，文本處理 / 010
01 文本工具 / 010
02 grep的使用 / 011
03 grep家族 / 013
04 sed的使用 / 014
05 綜合案例 / 016
0x13 數(shù)據(jù)工程，必備 Shell / 018
01 Shell分析 / 018
02 文件探索 / 019
03 內(nèi)容探索 / 020
04 交差并補(bǔ) / 020
05 其他常用的命令 / 021
06 批量操作 / 022
07 結(jié)語(yǔ) / 025
0x14 Shell 快捷鍵，Emacs 之門(mén) / 025
01 提高效率 / 025
02 光標(biāo)移動(dòng) / 026
03 文本編輯 / 027
04 命令搜索 / 028
05 Emacs 入門(mén) / 029
06 Emacs 思維 / 031
0x15 緣起Linux，一入Mac 誤終身 / 032
01 開(kāi)源生萬(wàn)物 / 032
02 有錢就換Mac / 032
03 程序員需求 / 033
04 非程序員需求 / 034
05 一入Mac 誤終身 / 035
0x16 大成就者，集群安裝 / 036
01 離線安裝 / 036
02 Host 與SSH 配置 / 037
03 sudo 與JDK 環(huán)境 / 039
04 準(zhǔn)備Hadoop 包 / 040
05 開(kāi)啟HTTP 與配置源 / 041
06 安裝ambari-server / 041
07 后續(xù)服務(wù)安裝 / 042
08 結(jié)語(yǔ) / 044
0x2 Python，道法自然 / 045
0x20 Python，靈犀一指 / 045
0x21 Python 基礎(chǔ)，興趣為王 / 047
01 第一語(yǔ)言 / 047
02 數(shù)據(jù)結(jié)構(gòu) / 047
03 文件讀寫(xiě) / 049
04 使用模塊 / 050
05 函數(shù)式編程 / 052
06 一道面試題 / 053
07 興趣驅(qū)動(dòng) / 055
0x22 喜新厭舊，2遷移 3 / 056
01 新舊交替 / 056
02 基礎(chǔ)變化 / 057
03 編碼問(wèn)題 / 058
04 其他變化 / 058
05 2to3腳本 / 060
06 PySpark配置 / 061
07 喜新厭舊 / 062
0x23 Anaconda，IPython / 062
01 Anaconda / 062
02 安裝與配置 / 063
03 pip與源 / 064
04 IPython與 Jupyter / 065
05 結(jié)語(yǔ) / 067
0x24 美不勝收，Python工具 / 067
01 緣起 / 067
02 調(diào)試與開(kāi)發(fā) / 068
03 排版與格式化 / 070
04 輔助工具 / 072
05 實(shí)用推薦 / 074
0x25 numpy基礎(chǔ)，線性代數(shù) / 075
01 numpy的使用 / 075
02 索引與切片 / 076
03 變形與統(tǒng)計(jì) / 078
04 矩陣運(yùn)算 / 080
05 實(shí)用方法 / 083
06 結(jié)語(yǔ) / 085
0x26 numpy實(shí)戰(zhàn)，PCA降維 / 085
01 PCA介紹 / 085
02 數(shù)據(jù)均值化 / 086
03 協(xié)方差矩陣 / 087
04 特征值與向量 / 088
05 數(shù)據(jù)映射降維 / 089
06 sklearn 實(shí)現(xiàn) / 090
0x3 大數(shù)據(jù)，其大無(wú)外 / 093
0x30 太大數(shù)據(jù)，極生兩儀 / 093
0x31 神象住世，Hadoop / 095
01 Hadoop / 095
02 HDFS / 096
03 角色與管理 / 097
04 文件操作 / 098
05 結(jié)語(yǔ) / 100
0x32 分治之美，MapReduce / 100
01 map 與reduce 函數(shù) / 100
02 分而治之 / 102
03 Hello,World / 103
04 Streaming 接口 / 105
0x33 Hive 基礎(chǔ)，蜂巢與倉(cāng)庫(kù) / 106
01 引言 / 106
02 Hive 接口 / 107
03 分區(qū)建表 / 108
04 分區(qū)機(jī)制 / 110
05 數(shù)據(jù)導(dǎo)入/ 導(dǎo)出 / 111
06 Hive-QL / 112
07 結(jié)語(yǔ) / 114
0x34 Hive 深入，實(shí)戰(zhàn)經(jīng)驗(yàn) / 115
01 排序與分布式 / 115
02 多表插入與mapjoin / 116
03 加載map-reduce 腳本 / 117
04 使用第三方UDF / 119
05 實(shí)戰(zhàn)經(jīng)驗(yàn) / 120
06 生成唯一ID / 121
0x35 HBase庫(kù)，實(shí)時(shí)業(yè)務(wù) / 122
01 理論基礎(chǔ) / 122 02 Shell操作 / 123 03 關(guān)聯(lián) Hive表 / 126 04 數(shù)據(jù)導(dǎo)入 / 128 05 實(shí)用經(jīng)驗(yàn) / 130
0x36 SQL與 NoSQL，Sqoop為媒 / 130
01 SQL與 NOSQL / 130 02 從 MySQL導(dǎo)入 HDFS / 131 03 增量導(dǎo)入 / 134 04 映射到 Hive / 135 05 導(dǎo)入 Hive表 / 136 06 從 HDFS導(dǎo)出到 MySQL / 137 07 從 Hive導(dǎo)出到 MySQL / 138
0x4 數(shù)據(jù)分析，見(jiàn)微知著 / 141
0x40 大數(shù)據(jù)分析，魯班為祖師 / 141 0x41 SQL技能，必備 MySQL / 143
01 SQL工具 / 143 02 基礎(chǔ)操作 / 144 03 查詢套路 / 145 04 join查詢 / 146 05 union與 exists / 149 06 實(shí)戰(zhàn)經(jīng)驗(yàn) / 151
0x42 快刀 awk，斬亂數(shù)據(jù) / 152
01 快刀 / 152 02 一二三要點(diǎn) / 152 03 一個(gè)示例 / 154 04 應(yīng)用與統(tǒng)計(jì) / 154 05 斬亂麻 / 156
0x43 Pandas，數(shù)據(jù)之框 / 157
01 數(shù)據(jù)為框 / 157
02 加載數(shù)據(jù) / 158
03 行列索引 / 159
04 行列操作 / 161
05 合并聚合 / 163
06 迭代數(shù)據(jù) / 164
07 結(jié)語(yǔ) / 165
0x44 Zeppelin，一統(tǒng)江湖 / 166
01 心潮澎湃 / 166
02 基本使用 / 168
03 SQL 與可視化 / 169
04 安裝Zeppelin / 172
05 配置Zeppelin / 173
06 數(shù)據(jù)安全 / 174
07 使用心得 / 176
0x45 數(shù)據(jù)分組，聚合窗口 / 177
01 MySQL 聚合 / 177
02 Spark 聚合 / 178
03 非聚合字段 / 179
04 Hive 實(shí)現(xiàn) / 180
05 group_concat / 181
06 Hive 窗口函數(shù) / 183
07 DataFrame 窗口 / 184
08 結(jié)語(yǔ) / 185
0x46 全棧分析，六層內(nèi)功 / 186
01 引言 / 186
02 MySQL 版本 / 186
03 awk 版本 / 187
04 Python 版本 / 188
05 Hive 版本 / 189
06 map-reduce 版本 / 190
07 Spark 版本 / 190
08 結(jié)語(yǔ) / 191
0x5 機(jī)器學(xué)習(xí)，人類失控 / 193
0x50 機(jī)器學(xué)習(xí)，瑯琊論斷 / 193 0x51 酸酸甜甜，Orange / 195
01 可視化學(xué)習(xí) / 195 02 數(shù)據(jù)探索 / 196 03 模型與評(píng)估 / 199 04 組件介紹 / 200 05 與 Python進(jìn)行整合 / 202 06 結(jié)語(yǔ) / 204
0x52 sklearn，機(jī)器學(xué)習(xí) / 205
01 sklearn介紹 / 205 02 數(shù)據(jù)預(yù)處理 / 206 03 建模與預(yù)測(cè) / 207 04 模型評(píng)估 / 209 05 模型持久化 / 210 06 三個(gè)層次 / 210
0x53 特征轉(zhuǎn)換，量綱伸縮 / 211
01 特征工程 / 211 02 獨(dú)熱編碼 / 212 03 sklearn示例 / 213 04 標(biāo)準(zhǔn)化與歸一化 / 215 05 sklearn與 Spark實(shí)現(xiàn) / 216 06 結(jié)語(yǔ) / 219
0x54 描述統(tǒng)計(jì)，基礎(chǔ)指標(biāo) / 220
01 描述性統(tǒng)計(jì) / 220 02 Pandas實(shí)現(xiàn) / 222 03 方差與協(xié)方差 / 223 04 Spark-RDD實(shí)現(xiàn) / 224 05 DataFrame實(shí)現(xiàn) / 226 06 Spark-SQL實(shí)現(xiàn) / 227 07 結(jié)語(yǔ) / 227
0x55 模型評(píng)估，交叉驗(yàn)證 / 228
01 測(cè)試與訓(xùn)練 / 228
02 評(píng)價(jià)指標(biāo) / 229
03 交叉驗(yàn)證 / 231
04 驗(yàn)證數(shù)據(jù) / 232
05 OOB 數(shù)據(jù) / 233
0x56 文本特征，詞袋模型 / 234
01 自然語(yǔ)言 / 234
02 中文分詞 / 235
03 詞袋模型 / 236
04 詞頻統(tǒng)計(jì) / 237
05 TF-IDF / 238
06 結(jié)語(yǔ) / 239
0x6 算法預(yù)測(cè)，占天卜地 / 241
0x60 命由己做，福自己求 / 241
0x61 近朱者赤，相親kNN / 243
01 樸素的思想 / 243
02 算法介紹 / 243
03 分類與回歸 / 244
04 k 與半徑 / 245
05 優(yōu)化計(jì)算 / 246
06 實(shí)例應(yīng)用 / 247
0x62 物以類聚，Kmeans / 248
01 算法描述 / 248
02 建立模型 / 249
03 理解模型 / 251
04 距離與相似性 / 252
05 降維與可視化 / 253
06 無(wú)監(jiān)督學(xué)習(xí) / 255
0x63 很傻很天真，樸素貝葉斯 / 257
01 樸素思想 / 257
02 概率公式 / 257
03 三種實(shí)現(xiàn) / 258
04 sklearn 示例 / 260
05 樸素卻不傻 / 262
0x64 菩提之樹(shù)，決策姻緣 / 263
01 緣起 / 263 02 Orange演示 / 264 03 scikit-learn模擬 / 266 04 熵與基尼指數(shù) / 267 05 決策過(guò)程分析 / 268 06 Spark模擬 / 270 07 結(jié)語(yǔ) / 271
0x65 隨機(jī)之美，隨機(jī)森林 / 271
01 樹(shù)與森林 / 271 02 處處隨機(jī) / 273 03 sklearn示例 / 274 04 MLlib示例 / 275 05 特點(diǎn)與應(yīng)用 / 276
0x66 自編碼器，深度之門(mén) / 277
01 深度學(xué)習(xí) / 277 02 特征學(xué)習(xí) / 278 03 自動(dòng)編碼器 / 280 04 Keras代碼 / 282 05 抗噪編碼器 / 283
0x7 Spark，唯快不破 / 285
0x70 人生苦短，快用 Spark / 285 0x71 PySpark之門(mén)，強(qiáng)者聯(lián)盟 / 287
01 全�？蚣� / 287 02 環(huán)境搭建 / 288 03 分布式部署 / 289 04 示例分析 / 290 05 兩類算子 / 292 06 map與 reduce / 293 07 AMPLab的野心 / 294
0x72 RDD 算子，計(jì)算之魂 / 295
01 算子之道 / 295
02 獲取數(shù)據(jù) / 296
03 過(guò)濾與排序 / 297
04 聚合數(shù)據(jù) / 298
05 join 連接 / 299
06 union 與zip / 300
07 讀寫(xiě)文件 / 301
08 結(jié)語(yǔ) / 303
0x73 分布式SQL，蝶戀飛舞 / 304
01 SQL 工具 / 304
02 命令行CLI / 304
03 讀Hive 數(shù)據(jù) / 305
04 將結(jié)果寫(xiě)入Hive / 306
05 讀寫(xiě)MySQL 數(shù)據(jù) / 307
06 讀寫(xiě)三種文件 / 308
0x74 DataFrame，三角之戀 / 310
01 DataFrame / 310
02 生成數(shù)據(jù)框 / 311
03 合并與join / 313
04 select 操作 / 314
05 SQL 操作 / 315
06 自定義UDF / 316
07 三角之戀 / 318
0x75 神器之父，Scala 入世 / 319
01 Spark 與Scala / 319
02 Scala REPL / 320
03 編譯Scala / 321
04 sbt 編譯 / 322
05 示例分析 / 323
06 編譯提交 / 325
0x76 機(jī)器之心，ML 套路 / 326
01 城市套路深 / 326
02 算法與特征工程 / 327 03 管道工作流 / 328 04 OneHotEncoder示例 / 329 05 ML回歸實(shí)戰(zhàn) / 331 06 特征處理與算法 / 332 07 擬合與評(píng)估 / 334
0x8 數(shù)據(jù)科學(xué)，全棧智慧 / 337
0x80 才高八斗，共分天下 / 337 0x81 自學(xué)數(shù)據(jù)，神蟒領(lǐng)舞 / 339
01 機(jī)器學(xué)習(xí) / 339 02 語(yǔ)言領(lǐng)域 / 339 03 Python數(shù)據(jù)生態(tài) / 340 04 相關(guān)資料 / 341 05 書(shū)籍推薦 / 342 06 性感的職業(yè) / 343
0x82 數(shù)據(jù)科學(xué)，七大技能 / 343
01 七大技能 / 343 02 SQL與 NoSQL技能 / 344 03 Linux工具集 / 344 04 Python或者 R語(yǔ)言生態(tài) / 345 05 Hadoop與 Spark生態(tài) / 345 06 概率、統(tǒng)計(jì)與線性代數(shù) / 34
新書(shū)資訊