神經網絡與深度學習 pdf epub mobi txt 電子書 下載 2024
☆☆☆☆☆
簡體網頁||繁體網頁
點擊這裡下載
簡體網頁||繁體網頁
邱锡鵬
2019-4-12
444
0
平裝
9787631715855
圖書標籤: 深度學習 神經網絡 機器學習 DeepLearning 計算機 計算機科學 MachineLearning 自然語言處理
喜歡 神經網絡與深度學習 的讀者還喜歡
動手學深度學習 pdf epub mobi txt 電子書 下載
統計學習方法 pdf epub mobi txt 電子書 下載
深度學習入門 pdf epub mobi txt 電子書 下載
Python深度學習 pdf epub mobi txt 電子書 下載
Computer Vision pdf epub mobi txt 電子書 下載
Reinforcement Learning pdf epub mobi txt 電子書 下載
統計自然語言處理（第2版） pdf epub mobi txt 電子書 下載
Information Theory, Inference and Learning Algorithms pdf epub mobi txt 電子書 下載
Pattern Recognition and Machine Learning pdf epub mobi txt 電子書 下載
Python神經網絡編程 pdf epub mobi txt 電子書 下載
下載链接在页面底部
點擊這裡下載
发表于2024-06-15
神經網絡與深度學習 epub 下載 mobi 下載 pdf 下載 txt 電子書 下載 2024
神經網絡與深度學習 epub 下載 mobi 下載 pdf 下載 txt 電子書 下載 2024
神經網絡與深度學習 pdf epub mobi txt 電子書 下載 2024
圖書描述
復旦大學邱锡鵬老師在 Github 上開放的深度學習書籍
https://nndl.github.io/
https://github.com/nndl/nndl.github.io
著者簡介
圖書目錄
前言 1
第一部分 入門篇 3
第 1 章 緒論 5
1.1 人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 人工智能的發展曆史 . . . . . . . . . . . . . . . . . . . . 7
1.1.2 人工智能的流派 . . . . . . . . . . . . . . . . . . . . . . 9
1.2 神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 大腦神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 人工神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 神經網絡的發展曆史 . . . . . . . . . . . . . . . . . . . . 12
1.3 機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.1 局部錶示和分布式錶示 . . . . . . . . . . . . . . . . . . . 15
1.4.2 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5 深度學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5.1 端到端學習 . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.2 常用的深度學習框架 . . . . . . . . . . . . . . . . . . . . 19
1.6 本書的組織結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
第 2 章 機器學習概述 25
2.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2 機器學習的三個基本要素 . . . . . . . . . . . . . . . . . . . . . 28
2.2.1 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2.2 學習準則 . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.3 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 機器學習的簡單示例：綫性迴歸 . . . . . . . . . . . . . . . . . . 36
2.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 偏差-方差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5 機器學習算法的類型 . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6 數據的特徵錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.1 傳統的特徵學習 . . . . . . . . . . . . . . . . . . . . . . 47
2.6.2 深度學習方法 . . . . . . . . . . . . . . . . . . . . . . . . 48
2.7 評價指標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.8 理論和定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.1 PAC學習理論 . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.2 沒有免費午餐定理 . . . . . . . . . . . . . . . . . . . . . 52
2.8.3 醜小鴨定理 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.4 奧卡姆剃刀 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.5 歸納偏置 . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
第 3 章 綫性模型 57
3.1 綫性判彆函數和決策邊界 . . . . . . . . . . . . . . . . . . . . . 58
3.1.1 兩類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.1.2 多類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2 Logistic迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.3 Softmax迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4 感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2 感知器的收斂性 . . . . . . . . . . . . . . . . . . . . . . 67
3.4.3 參數平均感知器 . . . . . . . . . . . . . . . . . . . . . . 69
3.4.4 擴展到多類分類 . . . . . . . . . . . . . . . . . . . . . . 70
3.5 支持嚮量機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.5.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.5.2 核函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5.3 軟間隔 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.6 損失函數對比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
第二部分 基礎模型 83
第 4 章 前饋神經網絡 85
4.1 神經元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Sigmoid型激活函數 . . . . . . . . . . . . . . . . . . . . 87
4.1.2 修正綫性單元 . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.3 Swish函數 . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.1.4 Maxout單元 . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2 網絡結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.1 前饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.2 反饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.3 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 前饋神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.1 通用近似定理 . . . . . . . . . . . . . . . . . . . . . . . . 97
4.3.2 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . 98
4.3.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.4 反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5 自動梯度計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.5.1 數值微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.2 符號微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.3 自動微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.6 優化問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.1 非凸優化問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.2 梯度消失問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
第 5 章 捲積神經網絡 113
5.1 捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 互相關 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.2 捲積的變種 . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.1.3 捲積的數學性質 . . . . . . . . . . . . . . . . . . . . . . 118
5.2 捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.1 用捲積來代替全連接 . . . . . . . . . . . . . . . . . . . . 119
5.2.2 捲積層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.3 匯聚層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.4 典型的捲積網絡結構 . . . . . . . . . . . . . . . . . . . . 123
5.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.3.1 誤差項的計算 . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4 幾種典型的捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . 126
5.4.1 LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.2 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.4.3 Inception網絡 . . . . . . . . . . . . . . . . . . . . . . . 129
5.4.4 殘差網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.5 其它捲積方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.1 轉置捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.2 空洞捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.6 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
第 6 章 循環神經網絡 139
6.1 給網絡增加記憶能力 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.1 延時神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.2 有外部輸入的非綫性自迴歸模型 . . . . . . . . . . . . . 140
6.1.3 循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2 簡單循環網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.1 循環神經網絡的計算能力 . . . . . . . . . . . . . . . . . 142
6.3 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.1 序列到類彆模式 . . . . . . . . . . . . . . . . . . . . . . 144
6.3.2 同步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.3.3 異步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.4 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.4.1 隨時間反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . 147
6.4.2 實時循環學習算法 . . . . . . . . . . . . . . . . . . . . . 148
6.5 長期依賴問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.5.1 改進方案 . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.6 基於門控的循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 151
6.6.1 長短期記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 151
6.6.2 LSTM網絡的各種變體 . . . . . . . . . . . . . . . . . . . 154
6.6.3 門控循環單元網絡 . . . . . . . . . . . . . . . . . . . . . 154
6.7 深層循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.7.1 堆疊循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 156
6.7.2 雙嚮循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 157
6.8 擴展到圖結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.1 遞歸神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.2 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
第 7 章 網絡優化與正則化 165
7.1 網絡優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.1.1 網絡優化的難點 . . . . . . . . . . . . . . . . . . . . . . 165
7.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.2.1 小批量梯度下降 . . . . . . . . . . . . . . . . . . . . . . 167
7.2.2 學習率衰減 . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.2.3 梯度方嚮優化 . . . . . . . . . . . . . . . . . . . . . . . . 171
7.2.4 優化算法小結 . . . . . . . . . . . . . . . . . . . . . . . . 174
7.3 參數初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
7.4 數據預處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.5 逐層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.1 批量歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.2 層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.5.3 其它歸一化方法 . . . . . . . . . . . . . . . . . . . . . . 183
7.6 超參數優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.6.1 網格搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.2 隨機搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.3 貝葉斯優化 . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.4 動態資源分配 . . . . . . . . . . . . . . . . . . . . . . . . 186
7.7 網絡正則化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.1 ℓ1 和ℓ2 正則化 . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.2 權重衰減 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.3 提前停止 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.4 丟棄法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.7.5 數據增強 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.6 標簽平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.8 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
第 8 章 注意力機製與外部記憶 199
8.1 注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.1.1 認知神經學中的注意力 . . . . . . . . . . . . . . . . . . . 200
8.1.2 人工神經網絡中的注意力機製 . . . . . . . . . . . . . . . 201
8.1.3 注意力機製的變體 . . . . . . . . . . . . . . . . . . . . . 202
8.2 注意力機製的應用 . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.1 指針網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.2 自注意力模型 . . . . . . . . . . . . . . . . . . . . . . . . 205
8.3 外部記憶 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.1 人腦中的記憶 . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.2 結構化的外部記憶 . . . . . . . . . . . . . . . . . . . . . 208
8.3.3 典型的記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 210
8.3.4 基於神經動力學的聯想記憶 . . . . . . . . . . . . . . . . 213
8.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
第 9 章 無監督學習 219
9.1 無監督特徵學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.1 主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.2 稀疏編碼 . . . . . . . . . . . . . . . . . . . . . . . . . . 222
9.1.3 自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.1.4 稀疏自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 225
9.1.5 堆疊自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.1.6 降噪自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2 概率密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.1 參數密度估計 . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.2 非參數密度估計 . . . . . . . . . . . . . . . . . . . . . . 229
9.3 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
第 10 章 模型獨立的學習方式 235
10.1 集成學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.1.1 AdaBoost算法 . . . . . . . . . . . . . . . . . . . . . . . 237
10.2 自訓練和協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . 239
10.2.1 自訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.2.2 協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.3 多任務學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.4 遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10.5 終生學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.6 元學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.6.1 基於優化器的元學習 . . . . . . . . . . . . . . . . . . . . 252
10.6.2 模型無關的元學習 . . . . . . . . . . . . . . . . . . . . . 254
10.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
第三部分 進階模型 259
第 11 章 概率圖模型 261
11.1 模型錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.1 有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.2 常見的有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 265
11.1.3 無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 267
11.1.4 無嚮圖模型的概率分解 . . . . . . . . . . . . . . . . . . . 268
11.1.5 常見的無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 269
11.1.6 有嚮圖和無嚮圖之間的轉換 . . . . . . . . . . . . . . . . 270
11.2 推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.1 變量消除法 . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.2 信念傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . 272
11.3 近似推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
11.3.1 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 275
11.3.2 拒絕采樣 . . . . . . . . . . . . . . . . . . . . . . . . . . 276
11.3.3 重要性采樣 . . . . . . . . . . . . . . . . . . . . . . . . . 277
11.3.4 馬爾可夫鏈濛特卡羅方法 . . . . . . . . . . . . . . . . . 278
11.4 學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
11.4.1 不含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . 282
11.4.2 含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . . 284
11.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
第 12 章 深度信念網絡 293
12.1 玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
12.1.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 295
12.1.2 能量最小化與模擬退火 . . . . . . . . . . . . . . . . . . . 297
12.1.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 298
12.2 受限玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
12.2.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 301
12.2.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 304
12.2.3 受限玻爾茲曼機的類型 . . . . . . . . . . . . . . . . . . . 305
12.3 深度信念網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.3.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.3.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
第 13 章 深度生成模型 315
13.1 概率生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
13.1.1 密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.1.2 生成樣本 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.2 變分自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
13.2.1 含隱變量的生成模型 . . . . . . . . . . . . . . . . . . . . 317
13.2.2 推斷網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 319
13.2.3 生成網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 320
13.2.4 模型匯總 . . . . . . . . . . . . . . . . . . . . . . . . . . 321
13.2.5 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
13.3 生成對抗網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
13.3.1 顯式密度模型和隱式密度模型 . . . . . . . . . . . . . . . 324
13.3.2 網絡分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 325
13.3.3 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
13.3.4 一個生成對抗網絡的具體實現：DCGAN . . . . . . . . . 326
13.3.5 模型分析 . . . . . . . . . . . . . . . . . . . . . . . . . . 327
13.3.6 改進模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 330
13.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
第 14 章 深度強化學習 335
14.1 強化學習問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.1 典型例子 . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.2 強化學習定義 . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.3 馬爾可夫決策過程 . . . . . . . . . . . . . . . . . . . . . 337
14.1.4 強化學習的目標函數 . . . . . . . . . . . . . . . . . . . . 339
14.1.5 值函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
14.1.6 深度強化學習 . . . . . . . . . . . . . . . . . . . . . . . . 341
14.2 基於值函數的學習方法 . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.1 動態規劃算法 . . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.2 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 345
14.2.3 時序差分學習方法 . . . . . . . . . . . . . . . . . . . . . 346
14.2.4 深度Q網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.3 基於策略函數的學習方法 . . . . . . . . . . . . . . . . . . . . . 351
14.3.1 REINFORCE算法 . . . . . . . . . . . . . . . . . . . . . 352
14.3.2 帶基準綫的REINFORCE算法 . . . . . . . . . . . . . . 353
14.4 Actor-Critic算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 354
14.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
第 15 章 序列生成模型 361
15.1 序列概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.1.1 序列生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.2 N元統計模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
15.3 深度序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
15.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4 評價方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.1 睏惑度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.2 BLEU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
15.4.3 ROUGE . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.5 序列生成模型中的學習問題 . . . . . . . . . . . . . . . . . . . . 372
15.5.1 曝光偏差問題 . . . . . . . . . . . . . . . . . . . . . . . . 372
15.5.2 訓練目標不一緻問題 . . . . . . . . . . . . . . . . . . . . 373
15.5.3 計算效率問題 . . . . . . . . . . . . . . . . . . . . . . . . 373
15.6 序列到序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
15.6.1 基於循環神經網絡的序列到序列模型 . . . . . . . . . . . 382
15.6.2 基於注意力的序列到序列模型 . . . . . . . . . . . . . . . 383
15.6.3 基於自注意力的序列到序列模型 . . . . . . . . . . . . . 383
15.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
附錄 A 綫性代數 389
A.1 嚮量和嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.1 嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.2 嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.3 範數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.4 常見的嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2 矩陣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.1 綫性映射 . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.2 矩陣操作 . . . . . . . . . . . . . . . . . . . . . . . . . . 393
A.2.3 矩陣類型 . . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2.4 特徵值與特徵矢量 . . . . . . . . . . . . . . . . . . . . . 396
A.2.5 矩陣分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 396
附錄 B 微積分 397
B.1 導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
B.1.1 導數法則 . . . . . . . . . . . . . . . . . . . . . . . . . . 399
B.2 常見函數的導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.1 嚮量函數及其導數 . . . . . . . . . . . . . . . . . . . . . 400
B.2.2 按位計算的嚮量函數及其導數 . . . . . . . . . . . . . . . 400
B.2.3 Logistic函數 . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.4 softmax函數 . . . . . . . . . . . . . . . . . . . . . . . . 401
附錄 C 數學優化 403
C.1 數學優化的類型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
C.1.1 離散優化和連續優化 . . . . . . . . . . . . . . . . . . . . 403
C.1.2 無約束優化和約束優化 . . . . . . . . . . . . . . . . . . . 404
C.1.3 綫性優化和非綫性優化 . . . . . . . . . . . . . . . . . . . 404
C.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
C.3 拉格朗日乘數法與KKT條件 . . . . . . . . . . . . . . . . . . . 407
C.3.1 等式約束優化問題 . . . . . . . . . . . . . . . . . . . . . 408
C.3.2 不等式約束優化問題 . . . . . . . . . . . . . . . . . . . . 408
附錄 D 概率論 410
D.1 樣本空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2 事件和概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2.1 隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . . . 411
D.2.2 隨機嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . 415
D.2.3 邊際分布 . . . . . . . . . . . . . . . . . . . . . . . . . . 416
D.2.4 條件概率分布 . . . . . . . . . . . . . . . . . . . . . . . . 417
D.2.5 獨立與條件獨立 . . . . . . . . . . . . . . . . . . . . . . 418
D.2.6 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . 418
D.3 隨機過程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
D.3.1 馬爾可夫過程 . . . . . . . . . . . . . . . . . . . . . . . . 420
D.3.2 高斯過程 . . . . . . . . . . . . . . . . . . . . . . . . . . 421
附錄 E 信息論 423
E.1 熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.1 自信息和熵 . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.2 聯閤熵和條件熵 . . . . . . . . . . . . . . . . . . . . . . 424
E.2 互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
E.3 交叉熵和散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.1 交叉熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.2 KL散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.3 JS散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.4 Wasserstein距離 . . . . . . . . . . . . . . . . . . . . . . 426
· · · · · · (收起)
第一部分 入門篇 3
第 1 章 緒論 5
1.1 人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 人工智能的發展曆史 . . . . . . . . . . . . . . . . . . . . 7
1.1.2 人工智能的流派 . . . . . . . . . . . . . . . . . . . . . . 9
1.2 神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 大腦神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 人工神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 神經網絡的發展曆史 . . . . . . . . . . . . . . . . . . . . 12
1.3 機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.1 局部錶示和分布式錶示 . . . . . . . . . . . . . . . . . . . 15
1.4.2 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5 深度學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5.1 端到端學習 . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.2 常用的深度學習框架 . . . . . . . . . . . . . . . . . . . . 19
1.6 本書的組織結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
第 2 章 機器學習概述 25
2.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2 機器學習的三個基本要素 . . . . . . . . . . . . . . . . . . . . . 28
2.2.1 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2.2 學習準則 . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.3 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 機器學習的簡單示例：綫性迴歸 . . . . . . . . . . . . . . . . . . 36
2.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 偏差-方差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5 機器學習算法的類型 . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6 數據的特徵錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.1 傳統的特徵學習 . . . . . . . . . . . . . . . . . . . . . . 47
2.6.2 深度學習方法 . . . . . . . . . . . . . . . . . . . . . . . . 48
2.7 評價指標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.8 理論和定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.1 PAC學習理論 . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.2 沒有免費午餐定理 . . . . . . . . . . . . . . . . . . . . . 52
2.8.3 醜小鴨定理 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.4 奧卡姆剃刀 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.5 歸納偏置 . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
第 3 章 綫性模型 57
3.1 綫性判彆函數和決策邊界 . . . . . . . . . . . . . . . . . . . . . 58
3.1.1 兩類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.1.2 多類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2 Logistic迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.3 Softmax迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4 感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2 感知器的收斂性 . . . . . . . . . . . . . . . . . . . . . . 67
3.4.3 參數平均感知器 . . . . . . . . . . . . . . . . . . . . . . 69
3.4.4 擴展到多類分類 . . . . . . . . . . . . . . . . . . . . . . 70
3.5 支持嚮量機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.5.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.5.2 核函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5.3 軟間隔 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.6 損失函數對比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
第二部分 基礎模型 83
第 4 章 前饋神經網絡 85
4.1 神經元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Sigmoid型激活函數 . . . . . . . . . . . . . . . . . . . . 87
4.1.2 修正綫性單元 . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.3 Swish函數 . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.1.4 Maxout單元 . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2 網絡結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.1 前饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.2 反饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.3 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 前饋神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.1 通用近似定理 . . . . . . . . . . . . . . . . . . . . . . . . 97
4.3.2 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . 98
4.3.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.4 反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5 自動梯度計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.5.1 數值微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.2 符號微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.3 自動微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.6 優化問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.1 非凸優化問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.2 梯度消失問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
第 5 章 捲積神經網絡 113
5.1 捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 互相關 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.2 捲積的變種 . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.1.3 捲積的數學性質 . . . . . . . . . . . . . . . . . . . . . . 118
5.2 捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.1 用捲積來代替全連接 . . . . . . . . . . . . . . . . . . . . 119
5.2.2 捲積層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.3 匯聚層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.4 典型的捲積網絡結構 . . . . . . . . . . . . . . . . . . . . 123
5.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.3.1 誤差項的計算 . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4 幾種典型的捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . 126
5.4.1 LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.2 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.4.3 Inception網絡 . . . . . . . . . . . . . . . . . . . . . . . 129
5.4.4 殘差網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.5 其它捲積方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.1 轉置捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.2 空洞捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.6 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
第 6 章 循環神經網絡 139
6.1 給網絡增加記憶能力 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.1 延時神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.2 有外部輸入的非綫性自迴歸模型 . . . . . . . . . . . . . 140
6.1.3 循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2 簡單循環網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.1 循環神經網絡的計算能力 . . . . . . . . . . . . . . . . . 142
6.3 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.1 序列到類彆模式 . . . . . . . . . . . . . . . . . . . . . . 144
6.3.2 同步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.3.3 異步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.4 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.4.1 隨時間反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . 147
6.4.2 實時循環學習算法 . . . . . . . . . . . . . . . . . . . . . 148
6.5 長期依賴問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.5.1 改進方案 . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.6 基於門控的循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 151
6.6.1 長短期記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 151
6.6.2 LSTM網絡的各種變體 . . . . . . . . . . . . . . . . . . . 154
6.6.3 門控循環單元網絡 . . . . . . . . . . . . . . . . . . . . . 154
6.7 深層循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.7.1 堆疊循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 156
6.7.2 雙嚮循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 157
6.8 擴展到圖結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.1 遞歸神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.2 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
第 7 章 網絡優化與正則化 165
7.1 網絡優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.1.1 網絡優化的難點 . . . . . . . . . . . . . . . . . . . . . . 165
7.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.2.1 小批量梯度下降 . . . . . . . . . . . . . . . . . . . . . . 167
7.2.2 學習率衰減 . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.2.3 梯度方嚮優化 . . . . . . . . . . . . . . . . . . . . . . . . 171
7.2.4 優化算法小結 . . . . . . . . . . . . . . . . . . . . . . . . 174
7.3 參數初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
7.4 數據預處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.5 逐層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.1 批量歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.2 層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.5.3 其它歸一化方法 . . . . . . . . . . . . . . . . . . . . . . 183
7.6 超參數優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.6.1 網格搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.2 隨機搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.3 貝葉斯優化 . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.4 動態資源分配 . . . . . . . . . . . . . . . . . . . . . . . . 186
7.7 網絡正則化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.1 ℓ1 和ℓ2 正則化 . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.2 權重衰減 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.3 提前停止 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.4 丟棄法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.7.5 數據增強 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.6 標簽平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.8 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
第 8 章 注意力機製與外部記憶 199
8.1 注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.1.1 認知神經學中的注意力 . . . . . . . . . . . . . . . . . . . 200
8.1.2 人工神經網絡中的注意力機製 . . . . . . . . . . . . . . . 201
8.1.3 注意力機製的變體 . . . . . . . . . . . . . . . . . . . . . 202
8.2 注意力機製的應用 . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.1 指針網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.2 自注意力模型 . . . . . . . . . . . . . . . . . . . . . . . . 205
8.3 外部記憶 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.1 人腦中的記憶 . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.2 結構化的外部記憶 . . . . . . . . . . . . . . . . . . . . . 208
8.3.3 典型的記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 210
8.3.4 基於神經動力學的聯想記憶 . . . . . . . . . . . . . . . . 213
8.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
第 9 章 無監督學習 219
9.1 無監督特徵學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.1 主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.2 稀疏編碼 . . . . . . . . . . . . . . . . . . . . . . . . . . 222
9.1.3 自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.1.4 稀疏自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 225
9.1.5 堆疊自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.1.6 降噪自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2 概率密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.1 參數密度估計 . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.2 非參數密度估計 . . . . . . . . . . . . . . . . . . . . . . 229
9.3 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
第 10 章 模型獨立的學習方式 235
10.1 集成學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.1.1 AdaBoost算法 . . . . . . . . . . . . . . . . . . . . . . . 237
10.2 自訓練和協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . 239
10.2.1 自訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.2.2 協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.3 多任務學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.4 遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10.5 終生學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.6 元學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.6.1 基於優化器的元學習 . . . . . . . . . . . . . . . . . . . . 252
10.6.2 模型無關的元學習 . . . . . . . . . . . . . . . . . . . . . 254
10.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
第三部分 進階模型 259
第 11 章 概率圖模型 261
11.1 模型錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.1 有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.2 常見的有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 265
11.1.3 無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 267
11.1.4 無嚮圖模型的概率分解 . . . . . . . . . . . . . . . . . . . 268
11.1.5 常見的無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 269
11.1.6 有嚮圖和無嚮圖之間的轉換 . . . . . . . . . . . . . . . . 270
11.2 推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.1 變量消除法 . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.2 信念傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . 272
11.3 近似推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
11.3.1 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 275
11.3.2 拒絕采樣 . . . . . . . . . . . . . . . . . . . . . . . . . . 276
11.3.3 重要性采樣 . . . . . . . . . . . . . . . . . . . . . . . . . 277
11.3.4 馬爾可夫鏈濛特卡羅方法 . . . . . . . . . . . . . . . . . 278
11.4 學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
11.4.1 不含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . 282
11.4.2 含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . . 284
11.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
第 12 章 深度信念網絡 293
12.1 玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
12.1.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 295
12.1.2 能量最小化與模擬退火 . . . . . . . . . . . . . . . . . . . 297
12.1.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 298
12.2 受限玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
12.2.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 301
12.2.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 304
12.2.3 受限玻爾茲曼機的類型 . . . . . . . . . . . . . . . . . . . 305
12.3 深度信念網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.3.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.3.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
第 13 章 深度生成模型 315
13.1 概率生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
13.1.1 密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.1.2 生成樣本 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.2 變分自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
13.2.1 含隱變量的生成模型 . . . . . . . . . . . . . . . . . . . . 317
13.2.2 推斷網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 319
13.2.3 生成網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 320
13.2.4 模型匯總 . . . . . . . . . . . . . . . . . . . . . . . . . . 321
13.2.5 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
13.3 生成對抗網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
13.3.1 顯式密度模型和隱式密度模型 . . . . . . . . . . . . . . . 324
13.3.2 網絡分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 325
13.3.3 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
13.3.4 一個生成對抗網絡的具體實現：DCGAN . . . . . . . . . 326
13.3.5 模型分析 . . . . . . . . . . . . . . . . . . . . . . . . . . 327
13.3.6 改進模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 330
13.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
第 14 章 深度強化學習 335
14.1 強化學習問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.1 典型例子 . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.2 強化學習定義 . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.3 馬爾可夫決策過程 . . . . . . . . . . . . . . . . . . . . . 337
14.1.4 強化學習的目標函數 . . . . . . . . . . . . . . . . . . . . 339
14.1.5 值函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
14.1.6 深度強化學習 . . . . . . . . . . . . . . . . . . . . . . . . 341
14.2 基於值函數的學習方法 . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.1 動態規劃算法 . . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.2 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 345
14.2.3 時序差分學習方法 . . . . . . . . . . . . . . . . . . . . . 346
14.2.4 深度Q網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.3 基於策略函數的學習方法 . . . . . . . . . . . . . . . . . . . . . 351
14.3.1 REINFORCE算法 . . . . . . . . . . . . . . . . . . . . . 352
14.3.2 帶基準綫的REINFORCE算法 . . . . . . . . . . . . . . 353
14.4 Actor-Critic算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 354
14.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
第 15 章 序列生成模型 361
15.1 序列概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.1.1 序列生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.2 N元統計模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
15.3 深度序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
15.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4 評價方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.1 睏惑度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.2 BLEU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
15.4.3 ROUGE . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.5 序列生成模型中的學習問題 . . . . . . . . . . . . . . . . . . . . 372
15.5.1 曝光偏差問題 . . . . . . . . . . . . . . . . . . . . . . . . 372
15.5.2 訓練目標不一緻問題 . . . . . . . . . . . . . . . . . . . . 373
15.5.3 計算效率問題 . . . . . . . . . . . . . . . . . . . . . . . . 373
15.6 序列到序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
15.6.1 基於循環神經網絡的序列到序列模型 . . . . . . . . . . . 382
15.6.2 基於注意力的序列到序列模型 . . . . . . . . . . . . . . . 383
15.6.3 基於自注意力的序列到序列模型 . . . . . . . . . . . . . 383
15.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
附錄 A 綫性代數 389
A.1 嚮量和嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.1 嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.2 嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.3 範數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.4 常見的嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2 矩陣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.1 綫性映射 . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.2 矩陣操作 . . . . . . . . . . . . . . . . . . . . . . . . . . 393
A.2.3 矩陣類型 . . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2.4 特徵值與特徵矢量 . . . . . . . . . . . . . . . . . . . . . 396
A.2.5 矩陣分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 396
附錄 B 微積分 397
B.1 導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
B.1.1 導數法則 . . . . . . . . . . . . . . . . . . . . . . . . . . 399
B.2 常見函數的導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.1 嚮量函數及其導數 . . . . . . . . . . . . . . . . . . . . . 400
B.2.2 按位計算的嚮量函數及其導數 . . . . . . . . . . . . . . . 400
B.2.3 Logistic函數 . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.4 softmax函數 . . . . . . . . . . . . . . . . . . . . . . . . 401
附錄 C 數學優化 403
C.1 數學優化的類型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
C.1.1 離散優化和連續優化 . . . . . . . . . . . . . . . . . . . . 403
C.1.2 無約束優化和約束優化 . . . . . . . . . . . . . . . . . . . 404
C.1.3 綫性優化和非綫性優化 . . . . . . . . . . . . . . . . . . . 404
C.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
C.3 拉格朗日乘數法與KKT條件 . . . . . . . . . . . . . . . . . . . 407
C.3.1 等式約束優化問題 . . . . . . . . . . . . . . . . . . . . . 408
C.3.2 不等式約束優化問題 . . . . . . . . . . . . . . . . . . . . 408
附錄 D 概率論 410
D.1 樣本空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2 事件和概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2.1 隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . . . 411
D.2.2 隨機嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . 415
D.2.3 邊際分布 . . . . . . . . . . . . . . . . . . . . . . . . . . 416
D.2.4 條件概率分布 . . . . . . . . . . . . . . . . . . . . . . . . 417
D.2.5 獨立與條件獨立 . . . . . . . . . . . . . . . . . . . . . . 418
D.2.6 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . 418
D.3 隨機過程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
D.3.1 馬爾可夫過程 . . . . . . . . . . . . . . . . . . . . . . . . 420
D.3.2 高斯過程 . . . . . . . . . . . . . . . . . . . . . . . . . . 421
附錄 E 信息論 423
E.1 熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.1 自信息和熵 . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.2 聯閤熵和條件熵 . . . . . . . . . . . . . . . . . . . . . . 424
E.2 互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
E.3 交叉熵和散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.1 交叉熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.2 KL散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.3 JS散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.4 Wasserstein距離 . . . . . . . . . . . . . . . . . . . . . . 426
· · · · · · (收起)
神經網絡與深度學習 pdf epub mobi txt 電子書 下載
用戶評價
評分☆☆☆☆☆
這本書也太好瞭吧！清晰的數學語言描述方法的核心原理，兼具準確與深度，重要的是非常新！基本18年之前的主要方法和論文都有涉及到！目前看到的深度學習方麵最好的教科書
評分☆☆☆☆☆不僅邱老師的書寫的好，復旦NLP組的論文也非常好
評分☆☆☆☆☆是我添加的條目哈哈，講真我覺得這本比《Deep Learning》好，不知是不是作者是中國人的緣故2333
評分☆☆☆☆☆牛逼！(破音—— 榖歌牛逼！ TensorFlow牛逼！ 入學瞭，不知還能否再續前緣？
評分☆☆☆☆☆此書似乎本來就是由邱老師給研究生上深度學習課程的教案資料整理擴充而來，因而有些內容確實不夠深入詳細。應該適閤作為初入門時的參考和係統學習之後的總結迴顧。
讀後感
評分☆☆☆☆☆
比花书内容多一些，深度比不上prml等圣经级书籍，行文不太连贯，有博文拼凑之感，或者说只是一本讲义而非适合自学的参考书，没有一气呵成的感觉，应用部分也不多，对于初学者难度大了些，对于老手用处又不大。希望纸质书印制时可以优化一下，斟酌一下行文，同时增加一些习题，...
評分☆☆☆☆☆比花书内容多一些，深度比不上prml等圣经级书籍，行文不太连贯，有博文拼凑之感，或者说只是一本讲义而非适合自学的参考书，没有一气呵成的感觉，应用部分也不多，对于初学者难度大了些，对于老手用处又不大。希望纸质书印制时可以优化一下，斟酌一下行文，同时增加一些习题，...
評分☆☆☆☆☆比花书内容多一些，深度比不上prml等圣经级书籍，行文不太连贯，有博文拼凑之感，或者说只是一本讲义而非适合自学的参考书，没有一气呵成的感觉，应用部分也不多，对于初学者难度大了些，对于老手用处又不大。希望纸质书印制时可以优化一下，斟酌一下行文，同时增加一些习题，...
評分☆☆☆☆☆扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...
評分☆☆☆☆☆扫码关注公众号 「图灵的猫」，点击“学习资料”菜单，可以获得海量python、机器学习、深度学习书籍、课程资源，以及书中对应习题答案和代码。后台回复SSR更有机场节点相送~ 入门避坑指南 自学三年，基本无人带路，转专业的我自然是难上加难，踩过无数坑，走过很多弯路。这里我...
類似圖書 點擊查看全場最低價
神經網絡與深度學習 pdf epub mobi txt 電子書 下載 2024
分享鏈接
相關圖書
Neural Networks pdf epub mobi txt 電子書 下載
Neural Networks and Learning Machines pdf epub mobi txt 電子書 下載
神經網絡理論與MATLAB7實現 pdf epub mobi txt 電子書 下載
Matlab神經網絡與應用 pdf epub mobi txt 電子書 下載
Neural Networks for Pattern Recognition pdf epub mobi txt 電子書 下載
神經計算原理 pdf epub mobi txt 電子書 下載
神經網絡 pdf epub mobi txt 電子書 下載
神經網絡模型及其MATLAB仿真程序設計 pdf epub mobi txt 電子書 下載
人工神經網絡教程 pdf epub mobi txt 電子書 下載
人工智能 pdf epub mobi txt 電子書 下載
腦的高級功能與神經網絡 pdf epub mobi txt 電子書 下載
Neural Network Design pdf epub mobi txt 電子書 下載
Neural Network Methods in Natural Language Processing pdf epub mobi txt 電子書 下載
人工神經網絡原理及仿真實例 pdf epub mobi txt 電子書 下載
精通MATLAB神經網絡 pdf epub mobi txt 電子書 下載
MATLAB神經網絡43個案例分析 pdf epub mobi txt 電子書 下載
Learning Deep Architectures for AI pdf epub mobi txt 電子書 下載
神經網絡理論與MATLAB R2007實現 pdf epub mobi txt 電子書 下載
MATLAB神經網絡原理與實例精解 pdf epub mobi txt 電子書 下載
Neural Networks pdf epub mobi txt 電子書 下載