Apache Mesos是集群管理器,它能够为分布式的应用程序或框架提供高效的资源隔离和共享。它允许开发人员在一个动态共享节点池上并行运行Hadoop、Spark、Storm和其他应用程序。有了Mesos,你就可以在多租户环境里管理各种资源了。
能从书中学到什么
◎能够在数据中心或者云环境中搭建Mesos集群。
◎能够在Mesos上使用Hadoop、Spark和Storm等框架进行数据分析。
◎熟悉如何在Mesos上使用Marathon、Chronos和Aurora来管理服务。
◎深入理解如何使用Mesos API编写分布式应用程序。
◎学会如何自动化并管理Mesos集群,以及其他运维技能,比如日志和监控。
◎深入理解Mesos的基础和内在工作机制。
展开
InfoQ 在很早之前就已经开始关注Mesos 技术的发展,今年也陆续策划了相关专题,目的只有一个,那就是让容器技术在国内能够得到更好的应用,从而更好地推动业务发展。很高兴看到国内这么快就有了关于Mesos 的中文书籍,我不得不感叹,这真是一个属于技术人的美好时代!
郭蕾InfoQ主编
大数据时代的到来对数据存储和处理能力提出了新的要求,为了应对业务、数据量及时效性的需求,数据中心内往往存在复杂的应用程序和服务,比如批量计算、流式处理、多轮迭代式计算、各种在线服务等。如何对数据中心资源、作业服务进行统一的管理和调度成为了新的热点,在这种形势下,各种资源管理和调度系统应运而生,例如Borg(Google)、YARN(Apache Hadoop)、Matrix(百度)、Torca(腾讯)、Corona(Facebook)。Mesos作为其中的优秀代表解决了两类问题,一是通过资源的统一管理和调度提升了利用率,二是通过自动化部署提升了服务运维效率。
《Mesos:大数据资源调度与大规模容器运行**实践》这本书深入浅出地介绍了Mesos的基本原理、API 框架及多种典型的解决方案,既有原理,又有应用案例。无论是站在服务开发者还是服务运维者的角度,读过此书后都会有一种醍醐灌顶的感觉,对Mesos 有一种全新的认识,在服务管理、构建和运维上获得新的思路。
谢广军 百度公司高级技术经理,云计算技术服务人
Mesos 的故事始于2009 年UC Berkeley 的AMP Lab,博士生Benjamin Hindman、AndyKonwinski和Matei Zaharia在研究集群资源的共享和调度时,创造了Mesos,开创了“数据中心工程师”的新时代。如今,Mesos 已经在Twitter、Airbnb 等国外互联网公司得到了大规模的实践应用,“分布式”、“微服务”、“容器”这些当下最热门的技术词汇中都可以看到Mesos的影子。
由DockOne 社区翻译的《Mesos:大数据资源调度与大规模容器运行**实践》一书,作为国内一本关于Mesos 的书籍,从实践入手,将带你深入浅出地认识Mesos,对国内Mesos 实践者来说,是很好的入门读物。我司的刘梦馨有幸参与了本次翻译工作,未来我们也会在社区和开发者的技术普及工作中贡献更多的力量。
左玥灵雀云创始人兼CEO
现如今,数据中心承载了越来越多复杂的数据处理业务,例如批量处理、流处理、图形分析和实时处理等。也正是如此多样化、差异化的数据业务推动着数据中心软件技术的不断演进。在众多主流数据中心操作系统中,Mesos 脱颖而出,成为了最热门的技术之一。其关键的技术特点在于它能够利用资源的高度抽象和两层调度机制,很好地解决多样化数据处理业务的资源管理和使用问题。
本书首先详细介绍了如何在Mesos 上搭建、运行和调优Hadoop、Spark 等技术的**实践,具有很强的操作性。在对基本使用有了一定了解后,作者深入剖析了Mesos 的基本原理和开发、运维的技术细节。这是一本理论与实践相结合的实践性书籍,我相信无论是新手或是资深用户,都可以从中获得所需要的知识和技能。
汪洋华为开源能力中心开源战略规划专家
互联网产品的推陈出新、快速迭代与海量访问、尖锋时刻等特点正在颠覆着传统的运维规划设计理念。从天、小时级响应加速到分钟、秒级响应,弹性计算的能力越来越大地影响着用户体验。同时互联网产品的开发、运营复杂程度已经不亚于汽车工业。对于开发工程师而言,如果可以不用过______多关心分布式的问题而专注于代码实现将更有利于用户体验的提升。就在刚刚发布的0.23.0 版本中,我们看到了Mesos 的新特性更贴近业务场景,更接地气,而这些都充分说明了Mesos 短短两年时间就成为Apache 基金会明星项目的原因。如果你想了解Mesos 的一切,如果你想与硅谷全新技术同行,请与我们一起认真阅读这本佳作。
涂彦腾讯游戏运维总监
如何有效地调配与利用计算资源是IT 技术人员始终需要面对的事,为此人们做了大量的实践和探索,而Apache Mesos 项目给了我们一个很好的选择。本书覆盖了Mesos 从实践到机理及扩展等多个阶段,一本书可窥项目全貌。更可贵的是本书译者都是资深的IT 人,用精确的技术语言给予原书准确的翻译,这在引进技术书籍当中是难得的。
DockOne 已经成为泛容器技术大的技术社区。本次推动翻译此书,反映了其对容器这个技术方向上的认识,希望社区发展得更大,在新技术的推动和推广方面走得更远。
周东波首都在线总工程师
微服务架构、轻量级组件、分布式设计、云端部署和运维是未来软件的趋势。软件如何充分利用云平台能力的同时又避免平台锁定(Cloud Locked-In),软件如何以较低的成本实现互联网级别的高可用性并且应对爆发式流量?这是摆在开发人员面前的两大挑战。
近年来DCOS(数据中心操作系统)引起了越来越多开发者和运维工程师的关注,以Mesos、Kubernetes、CloudFoundry 等为代表的DCOS,将有可能演化为应用和云平台之间的抽象层,也就是云时代的操作系统。这本Apache Mesos **实践,是了解和学习DCOS的优秀教材,两位译者在分布式领域实战经验丰富,译文通俗易懂,是一本不可多得的好书。
喻勇DaoCloud联合创始人
Docker 在短短两年时间内迅速蹿红,带动了周边软件生态圈的发展,其中Mesos + Docker就是**拍档的典范。纵观现在市面上竞争激烈的公有云来说,OpenStack + KVM 确实是个很好的选择,但由此带来的统一计算Nova、统一网络Neutron、统一存储Gluster/Ceph的难度也是不容小觑。而对于私有云来说,我们只想静静地以业务为驱动,把公司的资源做深度整合和统一调度,真正做到容器化弹性可变化可扩展。Docker 的创新之处在于它的构建无论是对运维人员、开发人员还是测试人员都极其友好,统一Dockerfile,统一快速部署。当然,这就会遇到成百上千个容器如何运行管理、如何进行资源调_____度的问题,于是,基于Google Borg 的开源实现Apache Mesos 就是很好的解决方案,所以我相信对于私
有云平台的构建来说,Mesos + Marathon + Docker 会是一个很好的解决方案。如果你跟我一样为私有云的使用而苦恼,不妨试试Mesos,体验一个全新而有趣的思路,绝对会给你惊喜。
邵海杨UPYUN 联合创始人兼运维总监
Mesos 作为DCOS 的发起者和推广者,完美地向我们展示了如何借助容器技术配合先进的资源管理与调度算法来完成对一个大规模机器集群的单机化抽象。不过这并不是关键。Mesos 的杀手锏其实在于两层调度和framework,这两个特性使得Mesos 的使用者可以通过插拔式的过程在Mesos 之上构建各种各样的服务。所以,从大数据时代的不冷不热,再到容器时代的炙手可热,Mesos 用一个完美的翻身教会了我们“兼容并包”而非“一味竞争”才是平台级项目生存下去的看家本领。本书从实践到理论循序渐进,很好地展示了上述Mesos的核心功能和实现原理,是一本不可多得的国外技术书籍译本,值得一看。
张磊博士浙江大学计算机学院云计算团队科研人员
近年来,虚拟化的深入普及消灭了绝大部分自行建设、维护机房的需求。然而,大多数应用仍然停留在传统的单机模型上,无法充分发挥分布式云计算的真正威力。
书中介绍的Mesos 是这样一个充满魔力的数据中心操作系统。它将整个集群抽象成一个大型资源池,托管在其中的应用可以自由伸缩、扩展,充分利用整个集群的资源。使用Mesos 框架就像操作着少数派报告中精巧的dashboard,控制着集群中几十上百个应用的部署、启动和结束任务,你只需动动手指,便可瞬间完成计算集群的重新配置。
在Mesos 框架下,节点不再是一个个独立的个体,它们就像整齐划一的军队,随时接受着Mesos 的调配。透过Mesos 这样一个透视镜,你既可以站在几万英尺高的云端观看整个集群的微缩远景,又可以深入到集群中每个节点中的每个小任务里看其具体的执行情况,一切尽在掌握。
相信读过本书后,你也会迷上这个引领了云计算发展方向的Mesos框架!
孙宇聪Coding CTO
《Apache Mesos Essentials》是一本出色的详细解读Mesos 并具备实践运用的书籍,很高兴看到它这么快就在国内有了中文译本。Mesos 是Apache 下的开源分布式资源管理框架,被称为是分布式系统的内核。其特点在于资源管理和调度,能够消除集群硬件的差异化。在使用场景上,Mesos 可以作为资源池提供分配给上层的框架,同时支持多种用途的数据应用框架,比如Hadoop、Kafka、Spark 等。近两年来以Docker 为代表的容器技术在云计算行业大放异彩,而Mesos 作为专门的集群管理器,是最适合大规模容器运行的调度框架之一,国内像时速云、灵雀云、数人科技等都已经将Mesos 应用于实际的产品环境。本书籍不仅从理论上详细阐述了Mesos,而且针对Mesos 开发者和数据中心规模管理者提供了**实践,是一本不可多得的学习Mesos的书籍。
黄启功时速云创始人
为提高物理机的使用率,广大运维同仁曾经埋首于各种私有云技术,试图实现资源池化,但实施起来往往劳民伤财,非常痛苦,甚至无疾而终。Mesos 的出现,彻底改变了这个局面,它提供了一种更先进、更友好、更可控的资源池化技术,实现了真正意义上的数据中心操作系统。
本书实操性非常强,而且编排方式独特,首先直接阐述Mesos 的各种应用场景,之后再深入讨论Mesos 的基本原理和框架细节,并在最后贴心地附上Mesos 运维的相关实践技术,适合运维同仁作为Mesos工具书经常翻阅学习。
萧田国高效运维技术社区创始人北京触控科技运维总监
大概在2002 年的时候,曾经流行过网格计算的概念,大致就是把一组PC 服务器组成资源池,通过资源调度大化资源利用率并提高应用的可靠性。10 年之后,Mesos、Kubernetes又流行起来,感觉昨日重现,这里面最重要的原因就是Docker,没有Docker 就不会有Mesos的流行,所以希望大家深入阅读此书。
赵鹏Hyper顾问