Hadoop虚拟化【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

Hadoop虚拟化PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 了解大数据的世界1

1.1数据革命1

1.2传统数据系统3

1.2.1半结构化和非结构化数据4

1.2.2因果关系6

1.2.3数据挑战6

1.3现代数据架构14

1.4组织转型15

1.5行业转型17

1.6小结17

第2章 Hadoop基础概念18

2.1Hadoop中的数据类型18

2.2使用案例19

2.3什么是Hadoop20

2.4 Hadoop发行版本25

2.5 Hadoop框架25

2.6 NoSQL数据库29

2.7 Hadoop集群33

2.8 Hadoop软件进程36

2.9 Hadoop生态中的角色45

2.10小结48

第3章 YARN和HDFS49

3.1 Hadoop分布式集群49

3.2 Hadoop目录结构53

3.3 Hadoop分布式文件系统54

3.3.1 YARN日志56

3.3.2 NameNode57

3.3.3 DataNode58

3.3.4块分布60

3.3.5 NameNode配置和元数据管理62

3.4机架感知67

3.4.1块管理67

3.4.2均衡器68

3.4.3群集中的数据完整性维护68

3.4.4配额和垃圾桶76

3.5 YARN和YARN处理模型76

3.5.1在YARN上运行应用83

3.5.2资源调度器88

3.5.3基准测试92

3.5.4 TeraSort基准测试组件94

3.6小结96

第4章 现代数据平台98

4.1设计一个Hadoop集群98

4.2小结115

第5章 数据提取117

5.1提取、加载和转化117

5.1.1 Sqoop：数据移动和SQL源118

5.1.2 Flume：流数据123

5.1.3 Oozie：计划和工作流140

5.1.4 Falcon：数据生命周期管理145

5.1.5 Kafka：实时数据流148

5.2小结156

第6章 Hadoop SQL引擎157

6.1 SQL的起源157

6.2 Hadoop中的SQL158

6.3 Hadoop SQL引擎159

6.4感受Hive和Pig的乐趣166

6.4.1 Hive166

6.4.2 HCatalog180

6.5小结187

第7章 Hadoop多租户188

7.1保障访问189

7.1.1认证189

7.1.2审计194

7.1.3授权194

7.1.4数据保护196

7.1.5数据隔离203

7.1.6进程隔离211

7.2小结214

第8章 虚拟化基础215

8.1 Hadoop虚拟化的原因216

8.2小结231

参考文献231

第9章 Hadoop虚拟化最佳实践232

9.1有目的、有调理地进行 Hadoop虚拟化232

9.1.1目的始于明确的目标234

9.1.2 Hadoop不同层次虚拟化234

9.1.3行业最佳实践236

9.2小结249

第10章 Hadoop虚拟化250

10.1如何管理Hadoop生态251

10.1.1构建敏捷和弹性的企业Hadoop平台252

10.1.2澄清条款252

10.1.3从裸机到虚拟化的历程253

10.2为何考虑Hadoop虚拟化254

10.2.1 Hadoop虚拟化的好处255

10.2.2虚拟化可以跟本地运行一样快甚至更快256

10.2.3协调和交叉目的专业化是未来258

10.2.4障碍可以是在企业之前259

10.2.5虚拟化不是全部或不是一个选项259

10.2.6快速配置并提高开发和测试环境质量259

10.2.7使用虚拟化提升高可用性261

10.2.8使用虚拟化处理Hadoop工作负载261

10.2.9基于云的Hadoop262

10.2.10大数据扩展262

10.2.11虚拟化的途径263

10.2.12软件定义数据中心264

10.2.13虚拟化网络265

10.2.14 vRealize Suite266

10.3小结267

参考文献268

第11章 Hadoop虚拟化主服务器269

11.1Hadoop虚拟化集群服务器269

11.1.1 Hadoop周边环境虚拟化270

11.1.2 Hadoop主服务器虚拟化271

11.1.3无SAN虚拟化274

11.2小结275

第12章 虚拟化工作节点276

12.1 Hadoop中的工作节点276

12.2 Hadoop集群的部署模式277

12.2.1组合模式278

12.2.2分离模式281

12.2.3数据—计算分离的网络影响283

12.2.4数据—计算分离模式下的共享存储方式284

12.2.5用于应用临时数据的本地磁盘286

12.2.6使用网络附加存储（NAS）的共享存储架构模型286

12.2.7部署模式总结288

12.3 Hadoop虚拟化工作节点的最佳实践289

12.4 Hadoop虚拟化扩展293

12.5小结296

参考文献296

资源297

第13章 私有云中部署Hadoop即服务298

13.1云概念298

13.1.1 Hadoop的受益者299

13.1.2解决方案架构概述303

13.2小结305

参考文献305

第14章 掌握Hadoop的安装306

14.1为正确的场景使用正确的解决方案306

14.2配置仓库308

14.2.1安装HDP2.2310

14.2.2环境准备310

14.3设置Hadoop配置320

14.4启动HDFS和YARN325

14.4.1启动YARN327

14.4.2验证MapReduce功能329

14.5安装和配置Hive331

14.6安装和配置MySQL数据库332

14.7安装和配置Hive和HCatalog332

14.8小结335

第15章 为Hadoop配置Linux336

15.1支持的Linux平台337

15.2不同部署模式337

15.3 Linux黄金模板337

15.3.1构建企业级Linux Hadoop平台338

15.3.2 Linux版本选择341

15.4最优Linux内核参数和系统设置341

15.4.1 epoll341

15.4.2禁用交换空间342

15.4.3安装过程中的安全性禁用342

15.4.4 IO调度器调优344

15.4.5检查透明大内存页面配置344

15.4.6 Limits.conf344

15.4.7 RDM分区对齐345

15.4.8文件系统注意事项345

15.4.9 XFS惰性计算参数347

15.4.10 Mount选项347

15.4.11I/O调度器348

15.4.12磁盘读写选项350

15.4.13存储基准测试350

15.4.14 Java版本351

15.4.15 设置NTP351

15.4.16启用巨型帧352

15.4.17其他网络方面的考虑353

15.5小结355

附录Hadoop集群创建：先决条件检查表356