本書以Python數據分析的常用技術與交通行業真實案例相結合的方式，深入淺出地介紹了Python數據分析與挖掘技術的重要內容。全書共10章，內容包括緒論、Python 數據分析簡介、數據獲取、數據探索、數據預處理、構建模型、運輸車輛駕駛行為分析、公交車站點設置優化分析、鐵路站點客流量預測，以及基于TipDM大數據挖掘建模平臺實現運輸車輛駕駛行為分析。本書大部分章節包含課后習題，通過練習和操作實踐，讀者可以鞏固所學的內容。
本書可作為高校數據分析相關專業的教材，也可作為交通行業相關的教學、培訓教材，還可作為數據分析愛好者的自學用書。
1.緊扣交通大數據分析全流程。本書的設計思路以數據分析的流程為導向，結合交通數據講解流程中的每個環節，并通過課后習題鞏固所學知識。
2.注重項目實戰應用。本書通過講解實際交通行業的相關項目，讓讀者明確如何利用所學知識來解決生產、生活中的問題，真正理解并能夠應用所學知識。
3.注重啟發式教學。全書大部分章節緊扣具體應用展開，不堆積知識點，著重于思路的啟發與解決方案的實施。
張良均，高級信息系統項目管理師，泰迪杯全國大學生數據挖掘競（www.tipdm.org）的發起人。華南師范大學、廣東工業大學兼職教授，廣東省工業與應用數學學會理事。兼有大型高科技企業和高校的工作經歷，主要從事大數據挖掘及其應用的策劃、研發及咨詢培訓。全國計算機技術與軟件專業技術資格（水平）考試繼續教育和CDA數據分析師培訓講師。發表數據挖掘相關論文數二十余篇，已取得國家發明專利12項，主編圖書《神經網絡實用教程》、《數據挖掘:實用案例分析》、《MATLAB數據分析與挖掘實戰》等9本熱銷圖書，主持并完成科技項目9項。獲得SAS、SPSS數據挖掘認證及Hadoop開發工程師證書，具有電力、電信、銀行、制造企業、電子商務和電子政務的項目經驗和行業背景。
第 1章 緒論 1
1.1 了解交通大數據 1
1.1.1 交通大數據的背景 1
1.1.2 交通大數據的應用 4
1.2 認識數據分析 5
1.2.1 掌握數據分析的基本任務 6
1.2.2 熟悉數據分析的基本流程 6
1.3 了解常用的數據分析工具 8
1.4 配置Python開發環境 9
1.4.1 安裝Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小結 14
課后習題 14
第 2章 Python數據分析簡介 16
2.1 入門Python數據分析 16
2.1.1 了解基本命令 16
2.1.2 掌握數據結構 19
2.1.3 函數式編程 21
2.1.4 導入與添加庫 23
2.2 了解Python數據分析常用擴展庫 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小結 31
課后習題 31
第3章 數據獲取 32
3.1 了解常見的數據來源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分類與特點 33
3.2.2 常見的交通信息采集技術 34
3.3 了解常見的數據類型 35
3.4 掌握數據的讀取方式 37
3.4.1 讀取數據庫數據 37
3.4.2 讀取文件數據 38
小結 40
課后習題 40
第4章 數據探索 41
4.1 分析數據質量 41
4.1.1 分析缺失值 41
4.1.2 分析異常值 42
4.2 分析數據特征 45
4.2.1 分析數據的統計量 45
4.2.2 分析數據的分布情況 48
4.2.3 對比分析數據 53
4.2.4 分析數據的周期性 56
4.2.5 分析數據的相關性 58
小結 61
課后習題 61
第5章 數據預處理 63
5.1 數據清洗 63
5.1.1 處理缺失值 63
5.1.2 處理異常值 66
5.2 數據變換 66
5.2.1 函數變換 66
5.2.2 數據標準化 67
5.2.3 離散化連續型數據 69
5.3 屬性構造 72
5.4 屬性規約 73
5.5 數據合并 76
5.5.1 多表合并 77
5.5.2 分組聚合數據 84
小結 92
課后習題 92
第6章 構建模型 94
6.1 構建分類與回歸模型 94
6.1.1 常用的分類與回歸算法 94
6.1.2 了解回歸分析 95
6.1.3 了解樸素貝葉斯 99
6.1.4 了解決策樹 101
6.1.5 了解人工神經網絡 104
6.1.6 評價分類與回歸模型 109
6.2 構建聚類模型 113
6.2.1 了解常用的聚類算法 113
6.2.2 了解K-Means聚類 114
6.2.3 了解密度聚類 120
6.2.4 聚類模型評價 124
6.3 構建時間序列模型 126
6.3.1 了解常用的時間序列模型 126
6.3.2 預處理時間序列 127
6.3.3 分析平穩時間序列 128
6.3.4 分析非平穩時間序列 131
小結 140
課后習題 140
第7章 運輸車輛駕駛行為分析 142
7.1 分析背景與目標 142
7.1.1 背景 142
7.1.2 數據說明 143
7.1.3 分析目標 144
7.2 數據探索分析 145
7.2.1 分布分析 145
7.2.2 相關性分析 146
7.2.3 異常值檢測 147
7.3 駕駛行為聚類分析 149
7.3.1 K-Means聚類 149
7.3.2 層次聚類 152
7.3.3 高斯混合模型聚類 153
7.3.4 譜聚類 154
7.4 構建駕駛行為預測模型 156
7.4.1 構建線性判別分析模型 156
7.4.2 構建樸素貝葉斯模型 157
7.4.3 構建神經網絡模型 159
7.5 駕駛行為分析總結與建議 160
小結 160
課后習題 160
第8章 公交車站點設置優化分析 162
8.1 分析背景與目標 162
8.1.1 背景 163
8.1.2 數據說明 163
8.1.3 分析目標 164
8.2 探索公交刷卡數據 165
8.3 預處理公交車載GPS數據與刷卡數據 166
8.3.1 屬性規約 166
8.3.2 缺失值處理 166
8.3.3 數據去重 167
8.4 構建DBSCAN模型 168
8.5 公交車站點設置優化分析 170
8.5.1 計算上車人數 170
8.5.2 計算下車人數 172
8.5.3 結果分析 176
小結 177
課后習題 177
第9章 鐵路站點客流量預測 179
9.1 分析背景與目標 179
9.1.1 背景 179
9.1.2 數據說明 180
9.1.3 分析目標 180
9.2 預處理客流量數據 181
9.3 探索客流量數據 186
9.3.1 不同站點上下車客流量分布分析 186
9.3.2 不同時段上下車客流量分布分析 187
9.3.3 分析節假日客流量變化 189
9.4 構建模型并預測客流量 192
9.4.1 構建時間序列模型 192
9.4.2 預測非節假日客流量 195
9.4.3 預測節假日客流量 199
小結 206
課后習題 207
第 10章 基于TipDM大數據挖掘建模平臺實現運輸車輛駕駛行為分析 208
10.1 TipDM大數據挖掘建模平臺簡介 208
10.1.1 模型庫 210
10.1.2 數據連接 210
10.1.3 我的數據 210
10.1.4 我的工程 211
10.1.5 系統算法 211
10.1.6 個人算法 213
10.2 實現運輸車輛駕駛行為分析 214
10.2.1 數據源配置 214
10.2.2 數據探索分析 217
10.2.3 駕駛行為聚類分析 222
10.2.4 構建駕駛行為預測模型 230
小結 236
第 1章 緒論 1
1.1 了解交通大數據 1
1.1.1 交通大數據的背景 1
1.1.2 交通大數據的應用 4
1.2 認識數據分析 5
1.2.1 掌握數據分析的基本任務 6
1.2.2 熟悉數據分析的基本流程 6
1.3 了解常用的數據分析工具 8
1.4 配置Python開發環境 9
1.4.1 安裝Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小結 14
課后習題 14
第 2章 Python數據分析簡介 16
2.1 入門Python數據分析 16
2.1.1 了解基本命令 16
2.1.2 掌握數據結構 19
2.1.3 函數式編程 21
2.1.4 導入與添加庫 23
2.2 了解Python數據分析常用擴展庫 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小結 31
課后習題 31
第3章 數據獲取 32
3.1 了解常見的數據來源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分類與特點 33
3.2.2 常見的交通信息采集技術 34
3.3 了解常見的數據類型 35
3.4 掌握數據的讀取方式 37
3.4.1 讀取數據庫數據 37
3.4.2 讀取文件數據 38
小結 40
課后習題 40
第4章 數據探索 41
4.1 分析數據質量 41
4.1.1 分析缺失值 41
4.1.2 分析異常值 42
4.2 分析數據特征 45
4.2.1 分析數據的統計量 45
4.2.2 分析數據的分布情況 48
4.2.3 對比分析數據 53
4.2.4 分析數據的周期性 56
4.2.5 分析數據的相關性 57
小結 60
課后習題 61
第5章 數據預處理 63
5.1 數據清洗 63
5.1.1 處理缺失值 63
5.1.2 處理異常值 66
5.2 數據變換 66
5.2.1 函數變換 66
5.2.2 數據標準化 67
5.2.3 離散化連續型數據 69
5.3 屬性構造 72
5.4 屬性規約 73
5.5 數據合并 76
5.5.1 多表合并 77
5.5.2 分組聚合數據 84
小結 92
課后習題 92
第6章 構建模型 94
6.1 構建分類與回歸模型 94
6.1.1 常用的分類與回歸算法 94
6.1.2 了解回歸分析 95
6.1.3 了解樸素貝葉斯 99
6.1.4 了解決策樹 101
6.1.5 了解人工神經網絡 104
6.1.6 評價分類與回歸模型 109
6.2 構建聚類模型 113
6.2.1 了解常用的聚類算法 113
6.2.2 了解K-Means聚類 114
6.2.3 了解密度聚類 120
6.2.4 聚類模型評價 124
6.3 構建時間序列模型 126
6.3.1 了解常用的時間序列模型 126
6.3.2 預處理時間序列 127
6.3.3 分析平穩時間序列 128
6.3.4 分析非平穩時間序列 131
小結 140
課后習題 140
第7章 運輸車輛駕駛行為分析 142
7.1 分析背景與目標 142
7.1.1 背景 142
7.1.2 數據說明 143
7.1.3 分析目標 144
7.2 數據探索分析 145
7.2.1 分布分析 145
7.2.2 相關性分析 146
7.2.3 異常值檢測 147
7.3 駕駛行為聚類分析 149
7.3.1 K-Means聚類 149
7.3.2 層次聚類 152
7.3.3 高斯混合模型聚類 153
7.3.4 譜聚類 154
7.4 構建駕駛行為預測模型 156
7.4.1 構建線性判別分析模型 156
7.4.2 構建樸素貝葉斯模型 157
7.4.3 構建神經網絡模型 159
7.5 駕駛行為分析總結與建議 160
小結 160
課后習題 160
第8章 公交車站點設置優化分析 162
8.1 分析背景與目標 162
8.1.1 背景 163
8.1.2 數據說明 163
8.1.3 分析目標 164
8.2 探索公交刷卡數據 165
8.3 預處理公交車載GPS數據與刷卡數據 166
8.3.1 屬性規約 166
8.3.2 缺失值處理 166
8.3.3 數據去重 167
8.4 構建DBSCAN模型 168
8.5 公交車站點設置優化分析 170
8.5.1 計算上車人數 170
8.5.2 計算下車人數 172
8.5.3 結果分析 176
小結 177
課后習題 177
第9章 鐵路站點客流量預測 179
9.1 分析背景與目標 179
9.1.1 背景 179
9.1.2 數據說明 180
9.1.3 分析目標 180
9.2 預處理客流量數據 181
9.3 探索客流量數據 186
9.3.1 不同站點上下車客流量分布分析 186
9.3.2 不同時段上下車客流量分布分析 187
9.3.3 分析節假日客流量變化 189
9.4 構建模型并預測客流量 192
9.4.1 構建時間序列模型 192
9.4.2 預測非節假日客流量 195
9.4.3 預測節假日客流量 199
小結 206
課后習題 207
第 10章 基于TipDM大數據挖掘建模平臺實現運輸車輛駕駛行為分析 208
10.1 Tip DM大數據挖掘建模平臺簡介 208
10.1.1 模型庫 210
10.1.2 數據連接 210
10.1.3 我的數據 210
10.1.4 我的工程 211
10.1.5 系統算法 211
10.1.6 個人算法 213
10.2 實現運輸車輛駕駛行為分析 214
10.2.1 數據源配置 214
10.2.2 數據探索分析 217
10.2.3 駕駛行為聚類分析 222
10.2.4 構建駕駛行為預測模型 230
小結 236
新書資訊