深度學(xué)習(xí)模式與實(shí)踐
鏈接：https://pan.baidu.com/s/1IaVceWQbPIlgg3t1tRudgA?pwd=7s4x?
提取碼：7s4x
《深度學(xué)習(xí)模式與實(shí)踐》通過(guò)介紹最佳實(shí)踐、設(shè)計(jì)模式和可復(fù)制的架構(gòu)，指導(dǎo)讀者的深度學(xué)習(xí)項(xiàng)目從實(shí)驗(yàn)室走向應(yīng)用。本書(shū)收集并闡明了近十年來(lái)真實(shí)世界中深度學(xué)習(xí)最緊密的洞察。讀者將通過(guò)每個(gè)有趣的例子學(xué)習(xí)相關(guān)技能，并建立信心。
《深度學(xué)習(xí)模式與實(shí)踐》深入研究了如何構(gòu)建成功的深度學(xué)習(xí)應(yīng)用程序。通過(guò)將經(jīng)過(guò)驗(yàn)證的模式和實(shí)踐應(yīng)用到自身項(xiàng)目中，讀者將節(jié)省數(shù)小時(shí)的試錯(cuò)時(shí)間。本書(shū)通過(guò)測(cè)試的代碼示例、真實(shí)世界示例和出色的敘事風(fēng)格，使復(fù)雜的概念變得簡(jiǎn)單和有趣。在此過(guò)程中，讀者將學(xué)會(huì)相關(guān)技巧來(lái)部署、測(cè)試和維護(hù)項(xiàng)目。
本書(shū)的內(nèi)容包括：
現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)
CNN架構(gòu)的設(shè)計(jì)模式
移動(dòng)和物聯(lián)網(wǎng)設(shè)備模型
大規(guī)模模型部署
計(jì)算機(jī)視覺(jué)示例
作者簡(jiǎn)介
Andrew Ferlitsch是谷歌云人工智能開(kāi)發(fā)者關(guān)系部的一名專(zhuān)家，領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)、深度學(xué)習(xí)和在應(yīng)用中操作機(jī)器學(xué)習(xí)。
目錄
第Ⅰ部分 深度學(xué)習(xí)基礎(chǔ)知識(shí)
第1章 現(xiàn)代機(jī)器學(xué)習(xí)的設(shè)計(jì) 3
1.1 關(guān)注適應(yīng)性 4
1.1.1 計(jì)算機(jī)視覺(jué)引領(lǐng)潮流 4
1.1.2 超越計(jì)算機(jī)視覺(jué)：NLP、NLU和結(jié)構(gòu)化數(shù)據(jù) 5
1.2 機(jī)器學(xué)習(xí)方法的演變 6
1.2.1 經(jīng)典人工智能與狹義人工智能 6
1.2.2 計(jì)算機(jī)學(xué)習(xí)的未來(lái) 8
1.3 設(shè)計(jì)模式的好處 13
1.4 本章小結(jié) 14
第2章 深度神經(jīng)網(wǎng)絡(luò) 15
2.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 15
2.1.1 輸入層 15
2.1.2 深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 17
2.1.3 前饋網(wǎng)絡(luò) 18
2.1.4 序貫式API方法 18
2.1.5 函數(shù)式API方法 19
2.1.6 輸入形狀與輸入層 19
2.1.7 致密層 20
2.1.8 激活函數(shù) 21
2.1.9 速記語(yǔ)法 24
2.1.10 使用優(yōu)化器提高準(zhǔn)確度 25
2.2 DNN二元分類(lèi)器 26
2.3 DNN多類(lèi)分類(lèi)器 28
2.4 DNN多標(biāo)簽多類(lèi)分類(lèi)器 29
2.5 簡(jiǎn)單圖像分類(lèi)器 31
2.5.1 展平 32
2.5.2 過(guò)擬合和丟棄 33
2.6 本章小結(jié) 35
第3章 卷積神經(jīng)網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò) 37
3.1 卷積神經(jīng)網(wǎng)絡(luò) 37
3.1.1 為什么在DNN的基礎(chǔ)上對(duì)圖像模型使用CNN 38
3.1.2 下采樣(調(diào)整大小) 38
3.1.3 特征檢測(cè) 39
3.1.4 池化 41
3.1.5 展平 42
3.2 CNN的ConvNet設(shè)計(jì) 43
3.3 VGG網(wǎng)絡(luò) 46
3.4 ResNet網(wǎng)絡(luò) 49
3.4.1 架構(gòu) 49
3.4.2 批標(biāo)準(zhǔn)化 54
3.4.3 ResNet50 55
3.5 本章小結(jié) 59
第4章 訓(xùn)練基礎(chǔ)知識(shí) 61
4.1 前饋和反向傳播 61
4.1.1 饋送 62
4.1.2 反向傳播 62
4.2 拆分?jǐn)?shù)據(jù)集 64
4.2.1 訓(xùn)練集和測(cè)試集 64
4.2.2 獨(dú)熱編碼 65
4.3 數(shù)據(jù)歸一化 67
4.3.1 歸一化 67
4.3.2 標(biāo)準(zhǔn)化 69
4.4 驗(yàn)證和過(guò)擬合 69
4.4.1 驗(yàn)證 69
4.4.2 損失監(jiān)控 73
4.4.3 深入層中 73
4.5 收斂 74
4.6 設(shè)置檢查點(diǎn)和早停法 77
4.6.1 設(shè)置檢查點(diǎn) 77
4.6.2 早停法 78
4.7 超參數(shù) 79
4.7.1 時(shí)期數(shù) 80
4.7.2 步數(shù) 80
4.7.3 批大小 81
4.7.4 學(xué)習(xí)率 82
4.8 不變性 84
4.8.1 平移不變性 85
4.8.2 尺度不變性 91
4.8.3 TF.Keras的ImageDataGenerator類(lèi) 93
4.9 初始(磁盤(pán))數(shù)據(jù)集 94
4.9.1 目錄結(jié)構(gòu) 95
4.9.2 CSV文件 97
4.9.3 JSON文件 98
4.9.4 讀取圖像 98
4.9.5 調(diào)整大小 101
4.10 模型保存/恢復(fù) 102
4.10.1 保存 103
4.10.2 恢復(fù) 103
4.11 本章小結(jié) 104
第Ⅱ部分 基本設(shè)計(jì)模式
第5章 過(guò)程設(shè)計(jì)模式 107
5.1 基本的神經(jīng)網(wǎng)絡(luò)架構(gòu) 108
5.2 stem組件 110
5.2.1 VGG 110
5.2.2 ResNet 111
5.2.3 ResNeXt 115
5.2.4 Xception 116
5.3 預(yù)stem 117
5.4 學(xué)習(xí)器組件 118
5.4.1 ResNet 119
5.4.2 DenseNet 121
5.5 任務(wù)組件 123
5.5.1 ResNet 124
5.5.2 多層輸出 125
5.5.3 SqueezeNet 127
5.6 超越計(jì)算機(jī)視覺(jué)：自然語(yǔ)言處理 128
5.6.1 自然語(yǔ)言理解 128
5.6.2 Transformer架構(gòu) 129
5.7 本章小結(jié) 130
第6章 寬卷積神經(jīng)網(wǎng)絡(luò) 131
6.1 Inception v1 132
6.1.1 原生inception模塊 132
6.1.2 Inception v1模塊 134
6.1.3 stem 136
6.1.4 學(xué)習(xí)器 137
6.1.5 輔助分類(lèi)器 137
6.1.6 分類(lèi)器 139
6.2 Inception v2：卷積分解 140
6.3 Inception v3：重新設(shè)計(jì)架構(gòu) 142
6.3.1 Inception組和塊 143
6.3.2 普通卷積 146
6.3.3 空間可分離卷積 147
6.3.4 stem重設(shè)計(jì)和實(shí)現(xiàn) 148
6.3.5 輔助分類(lèi)器 149
6.4 ResNeXt：寬殘差神經(jīng)網(wǎng)絡(luò) 150
6.4.1 ResNeXt塊 150
6.4.2 ResNeXt架構(gòu) 152
6.5 寬殘差網(wǎng)絡(luò) 153
6.5.1 WRN-50-2架構(gòu) 154
6.5.2 寬殘差塊 154
6.6 超越計(jì)算機(jī)視覺(jué)：結(jié)構(gòu)化數(shù)據(jù) 155
6.7 本章小結(jié) 157
第7章 可替代連接模式 159
7.1 DenseNet：致密連接的卷積神經(jīng)網(wǎng)絡(luò) 160
7.1.1 致密組 160
7.1.2 致密塊 162
7.1.3 DenseNet宏觀架構(gòu) 164
7.1.4 致密過(guò)渡塊 165
7.2 Xception 166
7.2.1 Xception架構(gòu) 167
7.2.2 Xception的入口流 169
7.2.3 Xception的中間流 171
7.2.4 Xception的出口流 173
7.2.5 深度可分離卷積 175
7.2.6 逐深度卷積 175
7.2.7 逐點(diǎn)卷積 175
7.3 SE-Net 176
7.3.1 SE-Net架構(gòu) 177
7.3.2 SE-Net的組和塊 177
7.3.3 SE鏈接 179
7.4 本章小結(jié) 180
第8章 移動(dòng)卷積神經(jīng)網(wǎng)絡(luò) 181
8.1 MobileNet v1 182
8.1.1 架構(gòu) 182
8.1.2 寬度乘數(shù) 183
8.1.3 分辨率乘數(shù) 184
8.1.4 stem 185
8.1.5 學(xué)習(xí)器 186
8.1.6 分類(lèi)器 188
8.2 MobileNet v2 189
8.2.1 架構(gòu) 189
8.2.2 stem 190
8.2.3 學(xué)習(xí)器 191
8.2.4 分類(lèi)器 194
8.3 SqueezeNet 195
8.3.1 架構(gòu) 196
8.3.2 stem 197
8.3.3 學(xué)習(xí)器 197
8.3.4 分類(lèi)器 200
8.3.5 旁路連接 202
8.4 ShuffleNet v1 205
8.4.1 架構(gòu) 205
8.4.2 stem 206
8.4.3 學(xué)習(xí)器 206
8.5 部署 213
8.5.1 量化 213
8.5.2 TF Lite轉(zhuǎn)換和預(yù)測(cè) 214
8.6 本章小結(jié) 216
第9章 自動(dòng)編碼器 217
9.1 深度神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器 217
9.1.1 自動(dòng)編碼器架構(gòu) 218
9.1.2 編碼器 219
9.1.3 解碼器 219
9.1.4 訓(xùn)練 220
9.2 卷積自動(dòng)編碼器 221
9.2.1 架構(gòu) 222
9.2.2 編碼器 222
9.2.3 解碼器 223
9.3 稀疏自動(dòng)編碼器 225
9.4 去噪自動(dòng)編碼器 226
9.5 超分辨率 226
9.5.1 預(yù)上采樣SR 227
9.5.2 后上采樣SR 229
9.6 前置任務(wù) 232
9.7 超越計(jì)算機(jī)視覺(jué)：Seq2Seq模型 234
9.8 本章小結(jié) 235
第Ⅲ部分 使用管線(xiàn)
第10章 超參數(shù)調(diào)優(yōu) 239
10.1 權(quán)重初始化 240
10.1.1 權(quán)重分布 241
10.1.2 彩票假設(shè) 241
10.1.3 預(yù)熱(數(shù)值穩(wěn)定性) 243
10.2 超參數(shù)搜索基礎(chǔ)知識(shí) 246
10.2.1 超參數(shù)搜索的手動(dòng)方法 246
10.2.2 網(wǎng)格搜索 248
10.2.3 隨機(jī)搜索 248
10.2.4 KerasTuner 250
10.3 學(xué)習(xí)率調(diào)度器 252
10.3.1 Keras衰減參數(shù) 253
10.3.2 Keras學(xué)習(xí)率調(diào)度器 253
10.3.3 Ramp 254
10.3.4 恒定步長(zhǎng) 255
10.3.5 余弦退火 256
10.4 正則化 258
10.4.1 權(quán)重正則化 258
10.4.2 標(biāo)簽平滑 259
10.5 超越計(jì)算機(jī)視覺(jué) 260
10.6 本章小結(jié) 261
第11章 遷移學(xué)習(xí) 263
11.1 TF.Keras預(yù)構(gòu)建模型 264
11.1.1 基礎(chǔ)模型 265
11.1.2 用于預(yù)測(cè)的預(yù)訓(xùn)練ImageNet模型 266
11.1.3 新分類(lèi)器 267
11.2 TF Hub預(yù)構(gòu)建模型 271
11.2.1 使用TF Hub預(yù)訓(xùn)練模型 271
11.2.2 新分類(lèi)器 273
11.3 域間的遷移學(xué)習(xí) 274
11.3.1 類(lèi)似的任務(wù) 274
11.3.2 不同的任務(wù) 275
11.3.3 特定域權(quán)重 278
11.3.4 域遷移權(quán)重初始化 279
11.3.5 負(fù)遷移 281
11.4 超越計(jì)算機(jī)視覺(jué) 281
11.5 本章小結(jié) 281
第12章 數(shù)據(jù)分布 283
12.1 分布類(lèi)型 284
12.1.1 總體分布 284
12.1.2 抽樣分布 285
12.1.3 子總體分布 286
12.2 分布外樣本 286
12.2.1 MNIST精選數(shù)據(jù)集 287
12.2.2 建立環(huán)境 287
12.2.3 挑戰(zhàn)分布外數(shù)據(jù) 288
12.2.4 作為DNN進(jìn)行訓(xùn)練 289
12.2.5 作為CNN進(jìn)行訓(xùn)練 294
12.2.6 圖像增強(qiáng) 297
12.2.7 最終測(cè)試 299
12.3 本章小結(jié) 299
第13章 數(shù)據(jù)管線(xiàn) 301
13.1 數(shù)據(jù)格式和存儲(chǔ) 303
13.1.1 壓縮圖像格式和原始圖像格式 303
13.1.2 HDF5格式 306
13.1.3 DICOM格式 310
13.1.4 TFRecord格式 311
13.2 數(shù)據(jù)饋送 316
13.2.1 NumPy 316
13.2.2 TFRecord 318
13.3 數(shù)據(jù)預(yù)處理 320
13.3.1 使用預(yù)stem進(jìn)行預(yù)處理 320
13.3.2 使用TF Extended進(jìn)行預(yù)處理 327
13.4 數(shù)據(jù)增強(qiáng) 332
13.4.1 不變性 332
13.4.2 使用tf.data進(jìn)行增強(qiáng) 334
13.4.3 預(yù)stem 335
13.5 本章小結(jié) 335
查看全部↓
前言/序言
本書(shū)讀者對(duì)象
歡迎閱讀本書(shū)。本書(shū)主要面向軟件工程師、機(jī)器學(xué)習(xí)工程師以及初級(jí)、中級(jí)和高級(jí)數(shù)據(jù)科學(xué)家。本書(shū)的結(jié)構(gòu)較為合理，相信每一位讀者都能有所收獲并進(jìn)一步了解深度學(xué)習(xí)。
本書(shū)也可以說(shuō)是專(zhuān)為具有一定水平的機(jī)器學(xué)習(xí)工程師和數(shù)據(jù)科學(xué)家設(shè)計(jì)的。對(duì)于那些追求數(shù)據(jù)科學(xué)方向的人，我建議你們補(bǔ)充學(xué)習(xí)統(tǒng)計(jì)學(xué)相關(guān)的內(nèi)容。此外，本書(shū)還要求讀者至少了解Python的基礎(chǔ)知識(shí)。
