第1章 雲計算概論 1
1.1 雲計算概述 1
1.1.1 雲計算的定義 1
1.1.2 雲計算産生的背景 2
1.1.3 雲時代誰是主角 3
1.1.4 雲計算的特徵 4
1.1.5 雲計算的發展史 5
1.1.6 雲計算的服務層次 7
1.1.7 雲計算的服務形式 7
1.1.8 雲計算的實現機製 9
1.1.9 雲計算研究方嚮 11
1.1.10 雲計算發展趨勢 12
1.2 雲計算關鍵技術研究 14
1.2.1 虛擬化技術 14
1.2.2 數據存儲技術 15
1.2.3 資源管理技術 17
1.2.4 能耗管理技術 18
1.2.5 雲監測技術 19
1.3 雲計算應用研究 22
1.3.1 語義分析應用 22
1.3.2 IT企業應用 22
1.3.3 生物學應用 23
1.3.4 電信企業應用 24
1.3.5 數據庫的應用 27
1.3.6 地理信息應用 28
1.3.7 醫學應用 29
1.4 雲安全 30
1.4.1 雲安全發展趨勢 31
1.4.2 雲安全與網絡安全的差彆 31
1.4.3 雲安全研究的方嚮 31
1.4.4 雲安全難點問題 32
1.4.5 雲安全新增及增強功能 32
1.5 雲計算生命周期 33
1.6 雲計算存在的問題 34
1.7 雲計算的優缺點 35
第2章 Hadoop相關項目介紹 37
2.1 Hadoop簡介 37
2.1.1 Hadoop的基本架構 37
2.1.2 Hadoop文件係統結構 40
2.1.3 Hadoop文件讀操作 41
2.1.4 Hadoop文件寫操作 42
2.2 Hadoop係統性質 42
2.2.1 可靠存儲性 43
2.2.2 數據均衡 43
2.3 比較SQL數據庫與Hadoop 44
2.4 MapReduce概述 45
2.4.1 MapReduce實現機製 45
2.4.2 MapReduce執行流程 46
2.4.3 MapReduce映射和化簡 47
2.4.4 MapReduce輸入格式 47
2.4.5 MapReduce輸齣格式 48
2.4.6 MapReduce運行速度 48
2.5 HBase概述 48
2.5.1 HBase的係統框架 49
2.5.2 HBase訪問接口 51
2.5.3 HBase的存儲格式 52
2.5.4 HBase的讀寫流程 52
2.5.5 Hbase的優缺點 53
2.6 ZooKeeper概述 53
2.6.1 為什麼需要ZooKeeper 54
2.6.2 ZooKeeper設計目標 54
2.6.3 ZooKeeper數據模型 54
2.6.4 ZooKeeper工作原理 55
2.6.5 ZooKeeper實現機製 56
2.6.6 ZooKeeper的特性 57
2.7 Hive概述 58
2.7.1 Hive的組成 59
2.7.2 Hive結構解析 59
2.8 Pig概述 63
2.9 Cassandra概述 64
2.9.1 Cassandra主要功能 64
2.9.2 Cassandra的體係結構 65
2.9.3 Cassandra存儲機製 65
2.9.4 Cassandra的寫過程 66
2.9.5 Cassandra的讀過程 67
2.9.6 Cassandra的刪除 68
2.10 Chukwa概述 68
2.10.1 使用Chukwa的原因 68
2.10.2 Chukwa的不是 69
2.10.3 Chukwa的定義 69
2.10.4 Chukwa架構與設計 70
第3章 Hadoop配置與實戰 74
3.1 Hadoop的安裝 74
3.1.1 在Linux下安裝Hadoop 74
3.1.2 運行模式 75
3.1.3 在Windows下安裝Hadoop 80
3.2 運行Hadoop 86
3.3 Hadoop的Avatar機製 87
3.3.1 係統架構 88
3.3.2 元數據同步機製 89
3.3.3 切換故障過程 91
3.3.4 運行流程 92
3.3.5 切換故障流程 96
3.4 Hadoop實戰 99
3.4.1 使用Hadoop運行wordcount實例 99
3.4.2 使用Eclipse編寫Hadoop程序 101
第4章 Hadoop的分布式數據HDFS 102
4.1 HDFS的操作 102
4.1.1 文件操作 102
4.1.2 管理與更新 103
4.2 FS Shell使用指南 104
4.3 API使用 111
4.3.1 文件係統的常見操作 111
4.3.2 API的Java操作實例 113
第5章 Hadoop編程模型MapReduce 118
5.1 MapReduce基礎 118
5.1.1 MapReduce編程模型 118
5.1.2 MapReduce實現機製 119
5.1.3 Java MapReduce 121
5.2 MapReduce的容錯性 124
5.3 MapReduce實例分析 125
5.4 不帶map()、reduce()的MapReduce 131
5.5 Shuffle過程 133
5.6 新增Hadoop API 136
5.7 Hadoop的Streaming 138
5.7.1 通過UNIX命令使用Streaming 138
5.7.2 通過Ruby版本使用Streaming 139
5.7.3 通過Python版本使用Streaming 141
5.8 MapReduce實戰 142
5.8.1 MapReduce排序 142
5.8.2 MapReduce二次排序 145
5.9 MapReduce作業分析 153
5.10 定製MapReduce數據類型 156
5.10.1 內置的數據輸入格式和RecordReader 156
5.10.2 定製輸入數據格式與RecordReader 157
5.10.3 定製數據輸齣格式實現多集閤文件輸齣 160
5.11 鏈接MapReduce作業 162
5.11.1 順序鏈接MapReduce作業 162
5.11.2 復雜的MapReduce鏈接 163
5.11.3 前後處理的鏈接 163
5.11.4 鏈接不同的數據 166
5.12 Hadoop的Pipes 172
5.13 創建Bloom filter 174
5.13.1 Bloom filter作用 175
5.13.2 Bloom filter實現 175
第6章 Hadoop的數據庫HBase 182
6.1 HBase數據模型 182
6.1.1 數據模型 182
6.1.2 概念視圖 183
6.1.3 物理視圖 184
6.2 HBase與RDBMS對比 185
6.3 Bigtable的應用實例 188
6.4 HBase的安裝與配置 189
6.5 Java API 196
6.6 HBase實例分析 204
6.6.1 RowLock 204
6.6.2 HBase的HFileOutputFormat 207
6.6.3 HBase的TableOutputFormat 210
6.6.4 在HBase中使用MapReduce 213
6.6.5 HBase分布式模式 215
第7章 Hadoop的數據倉庫Hive 220
7.1 Hive的安裝 220
7.1.1 準備的軟件包 220
7.1.2 內嵌模式安裝 220
7.1.3 安裝獨立模式 221
7.1.4 遠程模式安裝 222
7.1.5 查看數據信息 222
7.2 Hive的入口 223
7.2.1 類CliDriver 225
7.2.2 類CliSessionState 229
7.2.3 類CommandProcessor 230
7.3 Hive QL詳解 232
7.3.1 Hive的數據類型 232
7.3.2 Hive與數據庫比較 233
7.3.3 DDL操作 234
7.3.4 join查詢 241
7.3.5 DML操作 243
7.3.6 SQL操作 245
7.3.7 Hive QL的應用實例 248
7.4 Hive的服務 250
7.4.1 JDBC/ODBC服務 250
7.4.2 Thrift服務 253
7.4.3 Web接口 255
7.5 Hive SQL的優化 256
7.5.1 Hive SQL優化選項 256
7.5.2 Hive SQL優化應用實例 258
7.6 Hive的擴展性 261
7.6.1 SerDe 262
7.6.2 Map/Reduce腳本 263
7.6.3 UDF 263
7.6.4 UDAF 264
7.7 Hive實戰 266
第8章 Hadoop的大規模數據平颱Pig 274
8.1 Pig的安裝與運行 274
8.1.1 Pig的安裝 274
8.1.2 Pig的運行 274
8.2 Pig實現 278
8.3 Pig Latin語言 279
8.3.1 Pig Latin語言概述 280
8.3.2 Pig Latin數據類型 282
8.3.3 Pig Latin運算符 284
8.3.4 Pig Latin關鍵字 287
8.3.5 Pig內置函數 288
8.4 自定義函數 291
8.4.1 UDF的編寫 292
8.4.2 UDFS的使用 293
8.5 Jaql和Pig查詢語言的比較 293
8.5.1 Pig和Jaql運行環境和執行形式的比較 294
8.5.2 Pig和Jaql支持數據類型的比較 294
8.5.3 Pig和Jaql操作符和內建函數以及自定義函數的比較 295
8.5.4 其他 299
8.6 Pig實戰 300
第9章 Hadoop的非關係型數據Cassandra 308
9.1 Cassandra的安裝 308
9.1.1 在Windows 7中安裝 308
9.1.2 在Linux中安裝 310
9.2 Cassandra的數據模型 311
9.2.1 Column 311
9.2.2 SuperColumn 312
9.2.3 ColumnFamily 312
9.2.4 Row 313
9.2.5 排序 313
9.3 Cassandra的實例分析 315
9.3.1 Cassandra的數據存儲結構 315
9.3.2 跟蹤客戶端代碼 319
9.4 Cassandra常用的編程語言 324
9.4.1 Java使用Cassandra 324
9.4.2 PHP使用Cassandra 325
9.4.3 Python使用Cassandra 326
9.4.4 C#使用Cassandra 327
9.4.5 Ruby使用Cassandra 328
9.5 Cassandra與MapReduce結閤 328
9.5.1 需求分析 329
9.5.2 代碼分析 330
9.5.3 MapReduce代碼 330
9.6 Cassandra實戰 331
9.6.1 BuyerDao功能驗證 331
9.6.2 SellerDao功能驗證 332
9.6.3 ProductDao功能驗證 333
9.6.4 新建Schema在綫功能 336
9.6.5 功能驗證 337
第10章 Hadoop的收集數據Chukwa 339
10.1 Chukwa的安裝與配置 339
10.1.1 配置要求 339
10.1.2 Chukwa的安裝 340
10.1.3 基本命令 341
10.2 Chukwa數據流處理 344
10.2.1 支持數據類型 344
10.2.2 數據處理 345
10.2.3 自定義數據模塊 351
10.3 Chukwa源代碼分析 352
10.3.1 Chukwa適配器 352
10.3.2 Chukwa連接器 357
10.3.3 Chukwa收集器 362
10.4 Chukwa實例分析 366
10.4.1 生成數據 366
10.4.2 收集數據 367
10.4.3 處理數據 367
10.4.4 析取數據 368
10.4.5 稀釋數據 368
第11章 Hadoop的分布式係統ZooKeeper 369
11.1 ZooKeeper的安裝與配置 369
11.1.1 ZooKeeper的安裝 369
11.1.2 ZooKeeper的配置 371
11.1.3 ZooKeeper數據模型 373
11.1.4 ZooKeeper的API接口 373
11.1.5 ZooKeeper編程實現 375
11.2 ZooKeeper的Leader流程 378
11.3 ZooKeeper鎖服務 379
11.3.1 ZooKeeper中的鎖機製 379
11.3.2 ZooKeeper的寫鎖實現 380
11.3.3 ZooKeeper鎖服務實現例子 381
11.4 創建ZooKeeper應用程序 383
11.5 ZooKeeper的應用開發 387
11.6 ZooKeeper的典型應用 395
11.6.1 統一命名服務 396
11.6.2 配置管理 396
11.6.3 集群管理 397
11.6.4 共享鎖 398
11.6.5 隊列管理 399
11.7 實現NameNode自動切換 402
網上參考資源 410
參考文獻 412
· · · · · · (收起)