目前，機器學習慢慢走向成熟。你可能覺得這只是老生常談，請讓我做一個詳細說明。
人們希望機器某一天能夠自己學習，這個夢想幾乎在計算機出現時就有了，也許更早。不過，長久以來，這僅僅是一個想象而已。羅森布拉特（Rosenblatt）感知器的提出曾經掀起過一股熱潮，但是現在回想起來，這股熱潮沒能持續很長的時間。至于接下來的嘗試，使情況發展得更糟糕，這個領域甚至沒有再引起人們的注意，長期被忽視，因而無法取得重大突破，也沒有這一類的軟件公司，后續研究寥寥無幾且得到的資金支持也不多。這個階段，機器學習一直不被看好，像進入休眠期一樣，在其他成功學科的陰影里生存。
然而，接下來發生的一切使這些頹勢徹底改變了。
一群有識之士指出，在20世紀70年代的人工智能領域，基于知識的系統曾經風靡一時，但它們有一個弱點：“知識”從哪里來？當時主流的觀點認為，應該讓工程師和領域專家合作，用if-then的形式表示出來。但是實際情況差強人意，專家們發現很難把掌握的知識表達給工程師。反過來，工程師也不知道該問什么問題以及如何表示答案。盡管有幾個廣為人知的成功案例，但是其他大多數研究都試圖建立知識庫，并且成千上萬的規則令人沮喪。
這些有識之士主張簡單和直接的操作。如果難以準確地告訴機器如何處理某個問題，那么為什么不間接地給出指令，通過例子展示所需要的技能，計算機將通過這些例子來學習！
當然，這必須要有能夠進行學習的算法才有意義，這也是困難所在。無論是羅森布拉特的感知器還是后來出現的技術都不太管用。然而，機器學習在技術方面的缺乏算不上是障礙，相反是一個挑戰，并激發出了很多絕妙的點子。其中，使計算機有學習能力這個想法開創了一個激動人心的新領域，并引起了世人的關注。
這一想法在1983年爆發了。一卷很厚的論文集——《機器學習：人工智能的方法》 米切爾斯基(R. Michalski), 卡波內爾（J. Carbonell）, 米切爾（T. Mitchell）編輯。
T.Mitchell.Machine Learning［M］.New York:McGraw-Hill,1997.中提出了很多各式各樣的方法來求解這個謎題。在它的影響下，幾乎一夜之間一個新的學科誕生了。3年后，后續著作一本接一本地出現。相關學術刊物也很快被創立，有著巨大影響力的年度學術會議相繼召開。幾十、或許是幾百篇博士論文完成并通過答辯。
早期階段，問題不僅是如何學習，而是學什么和為什么學。這段充滿創造力的歲月讓人難以忘懷，唯一有些遺憾的是很多非常好的想法后來被放棄了。實用主義占了上風，資源都被投向那些最有希望的方向。經過一段時間的發展，具體研究基本成形：知識系統if-then規則的歸納，分類歸納，程序基于經驗來提高技能，Prolog程序自動調優，以及其他方面。相關的研究方向非常多，一些知名學者希望通過寫書來引領未來的發展，這其中有些人做得很成功。
機器學習發展的一個重要的轉折點是湯姆·米切爾（Tom Mitchell）的傳奇教科書。該書向博士生和科學家們總結了該領域的發展現狀，慢慢地大學也用這本書作為研究生的教材。同時，研究方法也變得更加系統化。大量機器學習測試庫被建立起來，用于比較性能或者學習算法的優劣。統計評估方法也被廣泛地使用在評估過程中。相關流行程序的公開版本很容易獲得，從事這個學科的人數增至數千，甚至更多。
現在，到了很多大學都為本科生開設機器學習課程的階段。通常這些課程需要不同類型的教材。除了掌握基本技術以外，學生還需要了解不同方法的優點和缺點，以及不同情況下每種方法的獨特之處。最重要的是，他們需要理解在特定情況下，哪些技術是可行的，哪些是不可行的。只有這樣才能在解決具體問題時做出正確的選擇。一本教材除了滿足以上的各項要求外，還應該介紹一些數學概念，多包括一些實用的建議。
關于教材，還要考慮材料的多少、結構以及風格，以便能夠支持一個學期的導論課程。
第一個問題是材料的選擇。當高科技公司準備成立機器學習研究團隊時，大學就要向學生傳授相應的知識和技能，以及對有關行業需求的理解。出于這個原因，本書重點介紹了貝葉斯分類器，最近鄰分類器，線性和多項式分類器，決策樹，神經網絡的基礎，以及提升（Boosting）算法的原理。本書用很大篇幅來描述具體應用的典型特征。在現實中，當面對有一定難度的任務時，一些基本方法和老師在實驗環境下演示的結果可能不完全一樣。因此在學習過程中，學生必須知道每種方法會發生什么。
本書共包括14章，每章覆蓋一個專題。各章分成很多個小節，每節介紹一個關鍵問題。建議學生在做完每一節后面的2~4個“控制問題”后再學習下一節。這些問題用來幫助檢查學生對學習材料的掌握情況。如果不會做這些題，則有必要重新閱讀相關內容。
俗話說，實踐出真知。每章結尾安排了必要的練習用于實際操作。如果接下來的思考實驗能夠全部完成，將有助于更深入地理解所學內容的各個方面。不過這些實驗難度較大，只有付出很大努力才能獲得正確的答案。所學的知識在上機實驗中可被進一步鞏固。編程對于學習同樣也很重要。現在，人們都習慣從網上下載所需的程序，這是捷徑，但本書不建議這樣做，因為只有具體實現了程序的全部細節，才能領會機器學習技術的精妙之處。
機器學習是人工智能領域的一個重要分支，其研究涉及代數、幾何、概率統計、優化、泛函分析、圖論、信息論、算法、認知計算等多個學科的知識，其應用不僅僅限于模式識別、計算機視覺、數據挖掘、生物信息學、智能控制等科學和工程領域，甚至在社會科學領域的研究中也有應用，如管理學、經濟學和歷史學等。目前，隨著計算機科學和智能科學技術的進步，機器學習得到了快速發展，其方法被廣泛應用到了各個領域。尤其是近些年，深度學習方法快速發展并在多個領域展示出優異性能，使機器學習和整個人工智能領域受到極大的關注。
機器學習是基于已有數據、知識或經驗來設計模型或發現新知識的一個研究領域。20世紀50～70年代是機器學習研究的初期，人們基于邏輯知識表示試圖給機器賦予邏輯推理能力，取得了很多振奮人心的成果；20世紀80年代，專家系統受到高度重視，為專家系統獲取知識成為一個重要方向。20世紀80年代中后期，人工神經網絡由于誤差反向傳播（BP）算法的重新提出和廣泛應用而形成一股熱潮，但其地位在90年代后期被以支持向量機為核心的統計學習理論所取代。20世紀90年代以后，受重視的機器學習方法還有集成學習、概率圖模型、半監督學習、遷移學習等。2006年，以加拿大多倫多大學的G. Hinton教授為代表的幾位研究人員在深度學習方面取得巨大突破，在Google、Microsoft、Facebook等科技公司的推動下，深度學習借助于大數據和高性能計算的有利條件得到了廣泛應用和高度關注。目前，搜索引擎、機器人、無人駕駛汽車等高科技產品都依賴于機器學習技術。機器學習，特別是深度學習，在語音識別、人臉識別、圍棋、游戲等方面已經超過了人類水平，可以想象機器學習與人類的生產、生活之間的關系將會越來越緊密。
過去幾十年，機器學習領域也出現了一些經典的著作或教材。1983年，R.Michalski、J.Carbonell和T. Mitchell主編的《機器學習：一種人工智能方法》一書出版，標志著機器學習成為人工智能的一個獨立研究領域。《Machine Learning》期刊創刊于1986年，目前依然是機器學習領域的頂級期刊。1990年，J.Carbonell主編的《機器學習：范式與方法》對歸納學習、基于解釋的學習、遺傳算法和連接主義學習等機器學習范式及方法進行了深入探討。T. Mitchell于1997年出版的《機器學習》是一本經典的機器學習教材，其中文版已于2003年由機械工業出版社出版，但因為出版年限較早，許多內容已沒有時效性。1998年，V. Vapnik出版的《統計學習理論》是一本完整闡述統計機器學習思想的名著。2001年出版、2009年再版的《統計學習基礎：數據挖掘，推理和預測》是美國斯坦福大學教授T. Hastie，R. Tibshirani和J. Friedman的一部力作，其中對最為流行的機器學習方法進行了全面而深入的介紹，因其嚴謹的數學推導，該書不失為機器學習研究進階的很好的讀物。E. Alpaydin所著的《機器學習導論》出版于2004年并于2010年再版，書中對基礎的機器學習方法進行了介紹，是一本機器學習入門的很好的教材。C. Bishop所著的《模式識別與機器學習》和K. Murphy所著的《機器學習：一個概率的視角》分別于2006年和2012年出版，兩本書都從概率的角度全面而細致地介紹了許多經典的機器學習模型。C. Bishop的《模式識別與機器學習》可幫助讀者打下堅實的機器學習基礎，而K. Murphy的書則相對介紹了更多較新的機器學習算法，甚至有一章專門介紹了深度學習方法。2012年，李航老師出版了《統計學習方法》，2016年，周志華老師出版了《機器學習》。這兩本書中，《統計學習方法》主要集中于幾種重要機器學習模型的介紹，而《機器學習》內容相對更加全面，深入淺出，堪稱機器學習的中文經典著作。相對于以上這些機器學習書籍，M. Kubat所寫的這本《機器學習導論》更像是一本科普性質的讀物，作者盡量避開復雜的數學公式，用生動形象的方式介紹機器學習算法，而且本書篇幅適當，又涵蓋了幾乎所有基本的機器學習方法，使得本書不僅適合作為本科學生機器學習課程的教材，也適合于想了解機器學習入門知識的普通讀者。
本書的譯者都是工作在機器學習教學與研究第一線的年輕老師，其中仲國強副教授過去是我的博士研究生，在模式識別和機器學習領域都有很扎實的研究基礎。相信本書的中譯本對于國內機器學習的教學和研究都會有所裨益，也為更多的人，尤其是初學者了解機器學習打開一扇門。
中國科學院自動化研究所副所長、模式識別國家重點實驗室主任
劉成林
米羅斯拉夫·庫巴特，美國邁阿密大學教授，從事機器學習教學和研究超過25年。他已發表100余篇經過同行評審的論文，與人合編了兩本著作，是近60個會議和研討會的程序委員會委員，并擔任3本學術刊物的編委。他在兩個方面的前沿研究上得到了廣泛贊譽：時變概念的歸納學習和在非平衡訓練集上的學習。此外，在多標簽樣例上的歸納學習、層次組織的類別上的歸納學習、遺傳算法、神經網絡的初始化等問題上，他也做出了很多貢獻。
遺傳算法是一個通用的一般框架，有無數可能的變化。本節將介紹兩種有趣的技術。
拉馬克（Lamarckian）選擇的說明。計算機程序不像生物學那樣會受到限制。設計者常拋棄這些限制，就像早期飛行員拋棄了羽毛翅膀的想法那樣。在創造“永生”樣本時我們就違反過限制，把樣本直接復制進后代從而免受到重組和變異的破壞。接下來再看看另一種情況。
在基準遺傳算法中，新的子串只能在重組和變異的隨機過程中產生。在這之后，遺傳信息在樣本整個生命周期中都將保持不變。一個比達爾文更早的生物學家讓-巴蒂斯特·拉馬克（Jean-Baptiste Larmarck）的想法更加靈活：他認為生物體的進化是受需求驅動的。長頸鹿為了能吃到高處的樹葉而不停地伸脖子，于是脖子變長，長脖子這一進化又遺傳給后代。盡管拉馬克的假說在生物學里被認為是不成立的，但是在其他領域并不是完全沒有用。例如，研究人員可通過發表科學論文把知識傳遞給后來人。
相比經典的達爾文進化過程，拉馬克的進化過程要快得多，這就是為什么我們要在遺傳算法中實現它的原因。把這個概念并入到圖13.1所示的循環中的最簡單的辦法是把“拉馬克”算子放在“幸運輪”和重組算子之間。拉馬克算子的任務是通過適應性來改善染色體。例如，我們可以設問，如果某一位產生了變異會發生什么？因為變異是不可逆的，所以我們可以在變異過程中更靈活一些，先測試當第i位翻轉后將發生什么，然后選擇較好的版本。
多種群搜索。多種群搜索要和遺傳算法依靠的多參數一起進行。大多數時候要靠個人的經驗，另外也可以在相同的初始種群上并行地運行多個遺傳算法，每個都有各自的變異頻率、是否逆序變異、不同的重組算子的組合或修改過的適應度函數。在這些情況中，有一些搜索能更快地找到解。
回憶一下在討論過早退化那一節曾提到的多種群搜索。在那里建議讓兩個或多個種群在相對隔絕的情況下獨立進化，偶爾允許異種雜交。而如果種群使用了本文前面提到的不同的染色體定義，則這種雜交可能不容易實現。這時編程人員需要使用專門的程序實現一種編碼向另一種編碼的轉換。
數據串，符號串。染色體編碼不需要必須是二進制位串，也可以是數字串或字符串。前面提到的重組算子都可以用于這兩種編碼形式，但變異算子需要做些改變。在數字串中最常見的變異是用“噪聲”疊加到部分（或全部）染色體的“基因”上。例如，如果所有的位置包含區間［0,100］的數字，于是噪聲就可以建模為區間［-a,+a］的隨機數，其中a是用戶指定的參數，類似于前面二進制串中的變異頻率。它的工作原理見下表：
……
新書資訊