大规模分布式系统架构与设计实战 - (EPUB全文下载)
文件大小:6.51 mb。
文件格式:epub 格式。
书籍内容:
大数据技术丛书
大规模分布式系统架构与设计实战
彭渊 著
ISBN:978-7-111-45503-5
本书纸版由机械工业出版社于2014年出版,电子版由华章分社(北京华章图文信息有限公司)全球范围内制作与发行。
版权所有,侵权必究
客服热线:+ 86-10-68995265
客服信箱:service@bbbvip.com
官方网址:www.hzmedia.com.cn
新浪微博 @研发书局
腾讯微博 @yanfabook
目录
前言
第1章 概述
1.1 分布式计算、并行计算、云计算概述
1.什么是分布式计算
2.什么是并行计算
3.并行计算与串行计算的关系
4.什么是云计算
1.2 分布式产品Hadoop、ZooKeeper、HBase概述
1.Hadoop
2.ZooKeeper
3.HBase
1.3 Fourinone的产生背景
1.使用Hadoop时碰到的问题
2.抽取一个简化的并行计算框架
第2章 分布式并行计算的原理与实践
2.1 分布式并行计算模式
2.1.1 最初想到的master-slave结构
2.1.2 “包工头-职介所-手工仓库-工人”模式
2.1.3 基于消息中枢的计算模式
2.1.4 基于网状直接交互的计算模式
2.1.5 并行结合串行模式
2.1.6 包工头内部批量多阶段处理模式
2.1.7 计算集群模式和兼容遗留计算系统
2.1.8 工人计算的服务化模式
2.2 跟Hadoop的区别
2.3 关于分布式的一些概念与产品
1.Storm
2.Spark
3.MPI
4.BSP
5.DAG
2.4 配置文件和核心API介绍
2.5 实践与应用
2.5.1 一个简单的示例
2.5.2 工头工人计算模式更完整的示例
2.5.3 工人合并互相say hello的示例
2.5.4 实现Hadoop经典实例Word Count
2.5.5 分布式多机部署的示例
2.5.6 分布式计算自动部署的示例
2.5.7 计算过程中的故障和容灾处理
2.5.8 计算过程中的相关时间属性设置
2.5.9 如何在一台计算机上一次性启动多个进程
2.5.10 如何调用C/C++程序实现
2.5.11 如何中止工人计算和超时中止
2.5.12 使用并行计算大幅提升递归算法效率
2.5.13 使用并行计算求圆周率π
2.5.14 从赌钱游戏看PageRank算法
2.5.15 使用并行计算实现上亿排序
2.5.16 工人服务化模式应用示例
2.6 实时流计算
第3章 分布式协调的实现
3.1 协调架构原理简介
3.2 核心API
1.创建node
2.创建心跳属性节点
3.获取node
4.获取最新node,需要传入旧node进行对照
5.添加node的事件监听
3.3 权限机制
3.4 相对于ZooKeeper的区别
3.5 与Paxos算法的区别
3.6 实践与应用
3.6.1 如何实现公共配置管理
3.6.2 如何实现分布式锁
3.6.3 如何实现集群管理
3.6.4 多节点权限操作示例
3.6.5 领导者选举相关属性设置
第4章 分布式缓存的实现
4.1 小型网站或企业应用的缓存实现架构
4.2 大型分布式缓存系统实现过程
4.3 一致性哈希算法的原理、改进和实现
1.数据服务器发生故障的时候
2.集群服务器扩容的时候
3.集群服务器分布不均的时候
4.一致性哈希算法的改进
4.4 解决任意扩容的问题
4.5 解决扩容后数据均匀的问题
4.6 分布式Session的架构设计和实现
4.7 缓存容量的相关属性设置
4.8 缓存清空的相关属性设置
第5章 消息队列的实现
5.1 闲话中间件与MQ
5.2 JMS的两种经典模式
5.3 如何实现发送接收的队列模式
5.4 如何实现主题订阅模式
第6章 分布式文件系统的实现
6.1 FTTP架构原理解析
6.2 搭建配置FttpAdapter环境
6.3 访问集群文件根目录
6.4 访问和操作远程文件
6.5 集群内文件复制和并行复制
6.6 读写远程文件
6.7 解析远程文件
6.8 并行读写远程文件
6.9 批量并行读写远程文件和事务补偿处理
1.批量并行读
2.批量并行写
3.批量并行读写
4.事务补偿处理
6.10 如何进行整型读写
6.11 基于整型读写的上亿排序
第7章 分布式作业调度平台的实现
7.1 调度平台的设计与实现
7.2 资源隔离的实现
7.3 资源调度算法
7.4 其他作业调度平台简介
7.4.1 其他MPI作业资源调度技术
7.4.2 Mesos和Yarn简介
光盘内容
前言
在大数据、云计算如火如荼的今天,各类技术产品顺应潮流层出不穷。大家是不是有这种感觉:Hadoop还没学完,Storm就来了;Storm刚学会安装配置,Spark、Hama、Yarn等又一起出现了;同时国内外各大云平台厂商,如Google、亚马逊、阿里云等,还在推各自应用开发平台……要学习的东西太多了,就是这样疲于奔命地学,刚学会了某个产品的安装配置与开发步骤,没多久它又过时了。
这么多千姿百态的分布式技术和产品背后有没有某些共性的东西呢?能让我们换了马甲还能认出它,让我们超越学习每个产品的“安装配置开发”而掌握背后的精髓呢?有没有可能学一反三,学一招应万招,牢牢掌握好技术的船舵,穿越一次次颠覆性的技术浪潮?本书的目的就是为你揭示分布式技术的核心内幕,透彻理解其精髓,站在浪潮之巅。
因此,这不是一本讲如何使用Hadoop的书,而是一本讲实现Hadoop功能的书,是一本讲如何简化实现分布式技术核心功能的书。这不是一本空谈概念、四处摘抄的书,而是来源于作者十多年来在私企、港企、外包、创业、淘宝、华为等企业打拼,从底层程序员一路走到首席架构师的实战经验总结。绝技源于江湖,将军发于卒伍,这本书讲的是你在课本上学不到核心技术,无论你是在中国什么样的IT企业做什么样的分布式应用,这本书对你都具备参考性。
本书面向千千万万战斗在一线攻城拔寨的程序员、工程师们,你可以有很多基 ............
书籍插图:
以上为书籍内容预览,如需阅读全文内容请下载EPUB源文件,祝您阅读愉快。
书云 Open E-Library » 大规模分布式系统架构与设计实战 - (EPUB全文下载)