中国顶尖技术团队访谈录第二季 - (EPUB全文下载)
文件大小:1.1 mb。
文件格式:epub 格式。
书籍内容:
目录
工程篇
腾讯罗韩梅:万台规模的Docker应用实践
阿里巴巴毕玄:异地多活数据中心项目的来龙去脉
京东云首席架构师刘海锋:私有云建设的挑战与应对之道
华三通信研发副总裁王飓:传统通信技术与云计算的关系
明略数据CTO冯是聪:打造最易用的跨平台数据整合系统
UnitedStack创始人程辉:互联网精神+开源战略=成功的托管云
文化篇
云适配陈本峰:HTML5跨屏前端框架Amaze UI的开源之道
豌豆荚张铎:社区是如何管理HBase项目的
阿里巴巴研究员赵海平:从Facebook到阿里巴巴
卷首语
在提笔写这篇卷首语的时候,我们刚刚为InfoQ中国过完八岁生日。回溯到2007年的3月28日,InfoQ中文站正式上线运营,从此中国的IT技术人有了一个崭新的学习和成长的平台,InfoQ中文站从一个不知名的翻译网站逐渐成长为输出全方位优质内容、对技术人有着深刻影响的媒体。几分耕耘,几分收获。让我们感到欣慰的是,InfoQ在中国IT发展的大潮中把握住了自己的方向,踏踏实实地为技术社区做了一些力所能及的事情。
很多时候,只有站在历史的峰峦之上,才能更清晰地洞察时代风云,更准确地把握前进方向。纵观过去八年的发展,中国的IT技术圈发生了翻天覆地的变化:
越来越多的技术领域开始引领世界。由于IT是个相对新兴的行业,特别是在一些垂直细分的领域,中国的技术水平和国外大体是在同一个起跑上线,在知识积累和人才储备方面没有传统行业差距那么大,中国没有历史包袱,再加上开放的信息渠道,所以顶尖的技术人能够在中国的技术圈里做出影响世界的成果。
越来越多的技术人开始追逐梦想。古语说,仓廪实而知礼节。过去八年,中国的IT行业发展很快,我们的技术人各方面有了显著的改善,除了技能和经验方面,还有软硬件的保障,越来越多的技术人在物质方面有了保障之后,开始追求兴趣,开始有了更高的理想,想做一些更有价值的事情,而这种基于兴趣和理想的技术驱动力往往很产生惊人的力量。
中国的技术圈越来越有吸引力。中国的巨大市场给了IT企业发展的能量,互联网、电商、社交网络等领域,都产生了国际级的大公司。中国人口多,消费能力强,潜力大,随便做点什么,就要面临海量数据的处理挑战,现在中国的一些技术挑战是世界级的,国外可能没有这样的先例和经验。这些难题对于技术人来说的吸引力是惊人的,也能获得巨大的成就感。
道路决定命运,梦想引领现实。过去八年,我们(InfoQ)把“促进软件开发领域知识与创新的传播”作为努力的目标,而未来八年,我们(极客邦)将致力于“让技术人的学习和交流更简单”。和中国的IT企业和技术人一样,我们的梦想也更高了。梦想是最令人心动的旋律,又是最引人奋进的动力。目标已经明确,我们唯有奋力前行,不负时代的使命。
《中国顶尖技术团队访谈录》是InfoQ的一个内容品牌,第一季推出之后收到了读者的热烈欢迎。这次精选了过去一年InfoQ网站上的精彩访谈内容,集结成第二季献给大家,作为InfoQ八周年的礼物,向中国的技术人致敬。
有梦想,有机会,有奋斗,一定会赢得美好未来。
InfoQ中国总编辑 崔康
技术篇
腾讯万台规模的Docker应用实践
作者 郭蕾
Docker提供了一种在安全、可重复的环境中自动部署软件的方式,拉开了基于云计算平台发布产品方式的变革序幕。腾讯内部对Docker有着广泛的使用,其基于Yarn的代号为Gaia的调度平台可以同时兼容Docker和非Docker类型的应用,并提供高并发任务调度和资源管理,它具有高度可伸缩性和可靠性,能够支持MR等离线业务。为了剖析Docker on Gaia背后的实现细节,InfoQ专访了腾讯数据平台部高级工程师罗韩梅。
InfoQ:能否介绍下目前Gaia平台的状态?你们什么时候开始使用Docker的?有多大的规模?
罗韩梅
:Gaia平台是腾讯数据平台部大数据平台的底层资源管理和调度系统,其上层业务包括离线、实时以及在线service服务,如Hadoop MR、Spark、Storm、Hive以及腾讯内部的Lhotse、Hermes、广点通等业务。最大单集群规模达8800台、并发资源池个数达2500个,服务于腾讯所有事业群。我们是2014年10月份正式上线Docker,之所以选择Docker,一方面是因为Gaia本来就一直在使用cgroups类型的容器,深知其在共享机器资源、灵活、轻量、易扩展、隔离等方面的重要意义。另一重要原因,是Gaia作为一个通用的云操作系统,适合所有类型的业务,但是各个业务的环境依赖是一个比较困扰用户的问题,因此我们引入Docker来解决,主要目的还是通过Docker来将Gaia云平台以更有效的方式呈献给各个业务。
我们使用的OS是腾讯内部的tlinux 1.2版本,最新版本正在tlinux2.0上测试,除了Docker,也使用了etcd用来做服务注册和服务发现。我们的集群都是同时兼容Docker应用和非Docker类型的应用的,MR等应用还是使用的cgroups类型的容器,其它服务使用的Docker容器,目前,大概有15000多常驻的Docker容器,还有大量业务接入测试中。由于我们原本就是使用的cgroups容器,所以换成Docker后,性能基本也无损耗,可以满足线上需求。
InfoQ:腾讯是如何把Yarn与Docker深度结合的?
罗韩梅
:在腾讯的场景下,首先一个特点就是,业务总类极大,尤其是离线处理规模很大,因此Yarn原生的调度器,效率远远跟不上,因此我们开发了自研调度器SFair,解决了调度器效率和扩展性问题。另外,腾讯的业务特性多样,因此我们引入了Docker,虽然Yarn支持不同的应用类型可以实现不同的AM(应用管理器),但是对于绝大多数应用来说,他们并不熟悉Yarn,实现一个支持容灾、可扩展的完善AM,困难较大,因此我们抽象了可以使用Docker的业务,对其进行封装,实现了统一的AM,并且对用户透明,而对用户提供的是另一套全新的基本的、易于理解的高级接口。同时,我们为D ............
书籍插图:
以上为书籍内容预览,如需阅读全文内容请下载EPUB源文件,祝您阅读愉快。
书云 Open E-Library » 中国顶尖技术团队访谈录第二季 - (EPUB全文下载)