《網絡安全大數據分析與實戰》深入淺出地介紹了大數據安全分析的理論和實踐基礎，涵蓋大數據安全概述、機器學習、深度學習、開發編程工具以及相關法律法規等內容，簡明扼要地介紹了聚類分析、關聯分析、預測分析及分類所涉及的主流算法，并以實戰導向的綜合案例對大數據安全分析的相關知識和技術進行了整合應用。
《網絡安全大數據分析與實戰》可以作為高校大數據安全分析相關專業課程的教材，也可作為從事信息安全咨詢服務、測評認證、安全建設、安全管理工作的從業人員及其他大數據安全分析相關領域工作人員的技術參考書。
1. 作者權威。本書由網絡安全行業領先企業安恒信息組織編寫，作者均為企業資深的技術專家，有豐富的實戰技術經驗。
2. 內容實用。本書涵蓋了云計算安全關鍵技術、安全運維與服務、國內外法律法規等內容，以及云安全工程師認證培訓的全部知識點。
近年來，我國大數據產業的發展進入爆發期，越來越多的企業和組織將大數據作為自己經營戰略的重要組成部分。大數據技術作為一種新興的生產資料和創新要素，必須結合具體的行業和應用場景才能發揮其價值，驅動產業發展和轉型。同時，面對日益嚴峻的網絡安全挑戰，業界提出了以數據分析為中心的網絡安全防護體系，把主動檢測和自動化應急的希望寄托于日志、流量和威脅情報為數據源的智能分析技術，以解決APT攻擊、用戶行為分析這類復雜且隱蔽的網絡安全威脅。而大數據分析技術本身是一種普適性的方法論，雖然業界提出了眾多的大數據處理體系和基于統計學或機器學習的方法，但如何將大數據智能分析技術應用于復雜的網絡安全防護場景，如何開展大數據安全的關聯分析和綜合研判，仍然是業界值得深入思考和研究的熱點問題。在這一背景下，大數據安全分析師成為稀缺人才。另外，市面上缺少合理地將大數據智能分析技術與安全防護場景進行有效結合的書籍，這嚴重制約了安全分析師的成長。
杭州安恒信息技術股份有限公司依托自身的安全服務業務，自主研發了AiLPHA大數據智能安全平臺，具備全網流量處理、異構日志集成、核心數據安全分析、辦公應用安全威脅挖掘等前沿大數據智能安全威脅挖掘分析與預警管控能力，深耕公安、網信、金融等多個行業及領域，曾連續三年獲評工信部示范試點項目，并獲得浙江省計算機學會、浙江省計算機行業協會2020年度優秀產品獎及2020年度中國網絡安全與信息產業金智獎等多個獎項。鑒于目前關于大數據安全分析的圖書較少，很難找到一本書系統、有針對性地對大數據安全分析這一重要技能以理論與實踐相結合的方式進行全方位的介紹。因此，編者希望通過編寫此書，將工作中積累的實踐經驗與研究成果分享給廣大讀者。
《網絡安全大數據分析與實戰》共10章。其中，第1章為大數據安全概述，主要介紹大數據的定義與特征、大數據平臺與架構、大數據應用案例以及大數據分析技術在安全中的應用，幫助讀者建立對大數據安全分析的整體認知；第2章是大數據安全分析基礎，從理論基礎和實踐基礎出發，對大數據安全分析的基本概念、思路、算法及Python等常見編程工具進行了簡單的介紹；第3章為大數據分析工程技術，對大數據采集、存儲、搜索、計算引擎以及數據可視化的常用方法與工具進行了系統的介紹；第4章是機器學習和深度學習，首先介紹了機器學習的基本定義、適用場景，以及監督學習和無監督學習算法的概念，然后對深度學習的相關概念、核心思想等進行了闡述；第5章是分類算法，選擇了分類算法中典型的五個算法，即決策樹、樸素貝葉斯、K近鄰（KNN）模型、支持向量機（SVM）和BP神經網絡，從算法原理、案例分析及算法優缺點等方面進行了介紹；第6章是預測分析，主要目的是介紹統計預測的基本概念及典型的統計預測方法，如時間序列、回歸分析等，并引導讀者如何使用不同的預測分析方法；第7章是關聯分析，對關聯分析的基本概念、Apriori算法和FP-growth算法原理，以及應用場景進行了詳細的闡述；第8章是聚類分析，介紹了歐氏距離、曼哈頓距離和閔可夫斯基距離等相似度計算方法，以及層次聚類、k-means聚類和EM聚類三個經典聚類算法的原理和案例等；第9章是大數據安全分析應用，圍繞僵尸網絡檢測、惡意URL檢測、WebShell檢測及Malware檢測四類應用展開討論，以便讀者能夠更好地理解前面章節的算法在實際中的應用；第10章是大數據安全相關法律法規，介紹了現行大數據安全的國家政策、法治體系建設，以及大數據安全分析相關的行為規范，為讀者之后的從業道路提出了警示。
《網絡安全大數據分析與實戰》以理論聯系實際為指導原則，將大數據安全分析的理論知識、工具和實踐案例進行有機結合，可作為普通高等院校和職業院校相關專業的課程教材，以及網絡安全技術從業人員的參考用書。讀者在閱讀本書的過程中，不必執著于弄懂算法推導的步驟，對于難度較大的算法只需理解即可，若能輔以實踐操作將理論付諸應用，將能加深對大數據安全分析技能的理解。
《網絡安全大數據分析與實戰》主要由孫佳、苗春雨、劉博編寫，另外，談修竹、姜鵬、莫凡、聶桂兵、楊錦峰、陳子杰、龍文潔、吳鳴旦、金碧霞、郭婷婷、陳美璇、黃施君、葉雷鵬和王倫也參與了本書的編寫和審稿校對工作。
大數據安全分析須在法律法規允許、目標單位授權的情況下實施，切勿將本書介紹的方法和手段在未經允許的情況下，針對任何生產系統使用。同時，要格外關注大數據安全分析過程中的保密性和規范性指導。
在此，對所有參與本書編寫、審閱和出版等工作的人員表示感謝。
由于編者水平有限，本書不妥之處在所難免，望廣大網絡安全專家、讀者朋友批評指正，共同為我國網絡安全技術人才培養和人才認證體系建設而努力。
編者
1. 孫佳，獲浙江大學和馬里蘭大學信息管理本碩學位，現任安恒信息資深數據研究員。對大數據挖掘、機器學習在信息安全領域的應用有深入研究，同時致力于大數據安全分析的教育工作。曾擔任美國硅谷互聯網公司數據科學家，從事大數據建模、定量預測、產品優化等工作。
2. 苗春雨，博士，杭州安恒信息高級副總裁。西安電子科技大學、中國科學技術大學等多所高校企業研究生導師，擅長網絡安全防護體系、物聯網安全，發表各類學術論文50余篇，專利和軟著20余項，出版專著和教材6本。
3. 劉博，杭州安恒信息首席科學家，美國馬里蘭大學計算機博士。完成態勢感知、數據安全、隱私計算等領域300余項技術發明專利。主導和重點參與、省級重大科研項目9項。擔任浙大安恒前沿研究中心副主任、大數據態勢感知國地研究中心副主任、之江實驗室網絡安全研究中心副主任等。
前言
第1章 大數據安全概述
1.1 大數據相關理論
1.1.1 大數據產生的背景
1.1.2 大數據的定義與構成
1.1.3 大數據的特征與價值
1.2 大數據相關技術
1.2.1 大數據平臺與架構
1.2.2 大數據分析常用工具
1.3 大數據應用案例
1.3.1 社交網絡廣告投放系統
1.3.2 圍棋智能AlphaGo
1.3.3 圖像識別
1.4 大數據分析技術在安全中的應用
1.4.1 安全需要大數據
1.4.2 安全大數據分析技術基礎及分析思路
本章小結
課后習題
第2章 大數據安全分析基礎
2.1 大數據分析理論基礎
2.1.1 基本概念
2.1.2 分析思路
2.1.3 分析算法
2.1.4 常見安全應用場景的特征及檢測方法
2.2 大數據分析實踐基礎
2.2.1 編程工具
2.2.2 編程環境
2.2.3 Python基礎知識
本章小結
課后習題
第3章 大數據分析工程技術
3.1 數據采集
3.1.1 數據采集的概念
3.1.2 日志采集工具Logstash
3.2 非結構化存儲
3.2.1 HDFS的基本信息
3.2.2 HDFS常用命令
3.2.3 HDFS管理命令
3.3 結構化存儲
3.3.1 HBase基本介紹
3.3.2 HBase中的基本概念
3.3.3 Hbase常用命令
3.4 數據搜索
3.4.1 Elasticsearch基本概念
3.4.2 副本復制機制
3.4.3 映射和分詞
3.4.4 映射管理
3.4.5 索引管理命令
3.4.6 搜索
3.4.7 聚合分析
3.5 實時計算引擎
3.5.1 基本概念
3.5.2 主流的大數據流計算引擎
3.5.3 Apache Flink
3.6 批量計算引擎
3.6.1 Apache Spark項目簡介
3.6.2 Spark核心模塊
3.6.3 Spark與Hadoop的區別
3.7 計算管理調度
3.7.1 任務管理調度中的挑戰
3.7.2 Airflow介紹
3.7.3 任務DAG與任務依賴
3.7.4 Airflow Hook
3.7.5 Airflow Operator
3.7.6 Airflow命令
3.8 數據可視化
3.8.1 明確表達意圖、選擇數據
3.8.2 拆解信息圖的要素
3.8.3 關于色彩、字體、圖標
3.8.4 可視化的交互考慮
3.8.5 人類視覺缺陷及對數據可視化的影響
3.8.6 數據可視化工具
3.8.7 數據可視化類庫
本章小結
課后習題
第4章 機器學習和深度學習
4.1 機器學習的基本概念
4.1.1 基本定義
4.1.2 應用場景
4.2 機器學習的算法分類
4.2.1 監督學習算法
4.2.2 無監督學習算法
4.2.3 特殊算法
4.3 深度學習基本理論
4.3.1 相關概念
4.3.2 深度學習的特點
4.4 深度學習的進展
4.4.1 AlphaGo戰勝李世石
4.4.2 圖像識別領域深度學習超越人類
4.4.3 目標識別領域深度學習推動無人駕駛的跨越式發展
4.5 深度學習核心思想
4.5.1 卷積神經網絡（CNN）
4.5.2 遞歸神經網絡（RNN）
4.5.3 長短期記憶網絡（LSTM）
本章小結
課后習題
第5章 分類算法
5.1 決策樹
5.1.1 基本概念
5.1.2 典型算法介紹
5.1.3 案例分析及算法優缺點
5.2 樸素貝葉斯算法
5.2.1 概念及原理
5.2.2 案例分析及算法優缺點
5.3 K近鄰（KNN）
5.3.1 基本概念及原理
5.3.2 案例分析及算法優缺點
5.4 支持向量機（SVM）算法
5.4.1 基本概念及原理
5.4.2 案例分析及算法優缺點
5.5 BP神經網絡
5.5.1 基本概念
5.5.2 算法原理
5.5.3 案例分析及算法優缺點
本章小結
課后習題
第6章 預測分析
6.1 統計預測
6.1.1 統計預測的概念及作用
6.1.2 統計預測方法的分類與選擇
6.1.3 統計預測的原則與步驟
6.2 時間序列分析
6.2.1 時間序列的概念
6.2.2 移動平均模型
6.2.3 指數平滑模型
6.2.4 隨機時間序列模型
6.3 回歸分析
6.3.1 回歸分析的原理
6.3.2 線性回歸
6.3.3 邏輯回歸
本章小結
課后習題
第7章 關聯分析
7.1 基本概念
7.1.1 項與項集
7.1.2 關聯規則及相關度量
7.2 Apriori算法
7.2.1 Apriori算法原理
7.2.2 Apriori算法示例
7.3 FP-Growth算法
7.3.1 FP-Growth算法原理
7.3.2 FP-Growth算法示例
7.4 關聯分析應用場景
本章小結
課后習題
第8章 聚類分析
8.1 聚類概述
8.1.1 基本概念
8.1.2 聚類分析的應用
8.2 相似度（距離）計算
8.2.1 歐氏距離
8.2.2 曼哈頓距離
8.2.3 閔可夫斯基距離
8.2.4 馬氏距離
8.2.5 夾角余弦
8.3 層次聚類
8.3.1 基本概念及原理
8.3.2 案例分析
8.4 k-means聚類
8.4.1 基本概念及原理
8.4.2 案例分析
8.5 EM聚類
8.5.1 基本原理與概念
8.5.2 案例分析
本章小結
新書資訊