Spark内核设计的艺术：架构设计与实现 - (EPUB全文下载)

文件大小：0.88 mb。
文件格式：epub 格式。
书籍内容：

Spark内核设计的艺术：架构设计与实现
第1章 环境准备
1.1 运行环境准备
1.1.1 安装JDK
1.1.2 安装Scala
1.1.3 安装Spark
1.2 Spark初体验
1.2.1 运行spark-shell
1.2.2 执行word count
1.2.3 剖析spark-shell
1.3 阅读环境准备
1.3.1 安装SBT
1.3.2 安装Git
1.3.3 安装Eclipse Scala IDE插件
1.4 Spark源码编译与调试
1.5 小结
第2章 设计理念与基本架构
2.1 初识Spark
2.1.1 Hadoop MRv1的局限
2.1.2 Spark的特点
2.1.3 Spark使用场景
2.2 Spark基础知识
2.3 Spark基本设计思想
2.3.1 Spark模块设计
2.3.2 Spark模型设计
2.4 Spark基本架构
2.5 小结
第3章 Spark基础设施
3.1 Spark配置
3.1.1 系统属性中的配置
3.1.2 使用SparkConf配置的API
3.1.3 克隆SparkConf配置
3.2 Spark内置RPC框架
3.2.1 RPC配置TransportConf
3.2.2 RPC客户端工厂TransportClientFactory
3.2.3 RPC服务端TransportServer
3.2.4 管道初始化
3.2.5 TransportChannelHandler详解
3.2.6 服务端RpcHandler详解
3.2.7 服务端引导程序TransportServerBootstrap
3.2.8 客户端TransportClient详解
3.3 事件总线
3.3.1 ListenerBus的继承体系
3.3.2 SparkListenerBus详解
3.3.3 LiveListenerBus详解
3.4 度量系统
3.4.1 Source继承体系
3.4.2 Sink继承体系
3.5 小结
第4章 SparkContext的初始化
4.1 SparkContext概述
4.2 创建Spark环境
4.3 SparkUI的实现
4.3.1 SparkUI概述
4.3.2 WebUI框架体系
4.3.3 创建SparkUI
4.4 创建心跳接收器
4.5 创建和启动调度系统
4.6 初始化块管理器BlockManager
4.7 启动度量系统
4.8 创建事件日志监听器
4.9 创建和启动ExecutorAllocationManager
4.10 ContextCleaner的创建与启动
4.10.1 创建ContextCleaner
4.10.2 启动ContextCleaner
4.11 额外的SparkListener与启动事件总线
4.12 Spark环境更新
4.13 SparkContext初始化的收尾
4.14 SparkContext提供的常用方法
4.15 SparkContext的伴生对象
4.16 小结
第5章 Spark执行环境
5.1 SparkEnv概述
5.2 安全管理器SecurityManager
5.3 RPC环境
5.3.1 RPC端点RpcEndpoint
5.3.2 RPC端点引用RpcEndpointRef
5.3.3 创建传输上下文TransportConf
5.3.4 消息调度器Dispatcher
5.3.5 创建传输上下文TransportContext
5.3.6 创建传输客户端工厂TransportClientFactory
5.3.7 创建TransportServer
5.3.8 客户端请求发送
5.3.9 NettyRpcEnv中的常用方法
5.4 序列化管理器SerializerManager
5.5 广播管理器BroadcastManager
5.6 map任务输出跟踪器
5.6.1 MapOutputTracker的实现
5.6.2 MapOutputTrackerMaster的实现原理
5.7 构建存储体系
5.8 创建度量系统
5.8.1 MetricsConfig详解
5.8.2 MetricsSystem中的常用方法
5.8.3 启动MetricsSystem
5.9 输出提交协调器
5.9.1 OutputCommitCoordinatorEndpoint的实现
5.9.2 OutputCommitCoordinator的实现
5.9.3 OutputCommitCoordinator的工作原理
5.10 创建SparkEnv
5.11 小结
第6章 存储体系
6.1 存储体系概述
6.1.1 存储体系架构
6.1.2 基本概念
6.2 Block信息管理器
6.2.1 Block锁的基本概念
6.2.2 Block锁的实现
6.3 磁盘Block管理器
6.3.1 本地目录结构
6.3.2 DiskBlockManager提供的方法
6.4 磁盘存储DiskStore
6.5 内存管理器
6.5.1 内存池模型
6.5.2 StorageMemoryPool详解
6.5.3 MemoryManager模型
6.5.4 UnifiedMemoryManager详解
6.6 内存存储MemoryStore
6.6.1 MemoryStore的内存模型
6.6.2 MemoryStore提供的方法
6.7 块管理器BlockManager
6.7.1 BlockManager的初始化
6.7.2 BlockManager提供的方法
6.8 BlockManagerMaster对BlockManager的管理
6.8.1 BlockManagerMaster的职责
6.8.2 BlockManagerMasterEndpoint详解
6.8.3 BlockManagerSlaveEndpoint详解
6.9 Block传输服务
6.9.1 初始化Net ............

以上为书籍内容预览，如需阅读全文内容请下载EPUB源文件，祝您阅读愉快。