腾讯、百度一线资深工程师多年经验总结。
腾讯、百度、阿里、携程、易搜、高德、小米等多位总监、技术经理联名力荐。
推荐阅读《大型网站性能监测、分析、与优化》
《海量运维、运营规划之道》作者具有腾讯、百度等中国一线互联网公司多年从业经历,书中依托工作实践,以互联网海量产品质量、效率、成本为核心,从规划、速度、监控、告警、安全、管理、流程、预案、考核、设备、带宽等方面,结合大量案例与读者分享了作者对互联网海量运维、运营规划的体会。
《海量运维、运营规划之道》全面介绍大型互联网公司运维工作所涉及的各个方面,是每个互联网运维工程师、架构师、管理人员不可或缺的宝贵参考书。
1设计过程,主要分析PM设计产品的功能或逻辑是否合理。例如,登录00会弹一个mini新闻页,原来PM设计是打开新闻页后要轮循加载5个新闻频道页面,然后上线评估发现00同时在线人数超过1亿,这样串行加载5个页面需要额外添加50~80台服务器和消耗3—5G带宽,速度比原来慢4~5倍,每年需要多花费300~350万成本。 2生产过程,主要分析FE网页制作及RD逻辑处理等是否合理。这两个角色决定了网页大小、元素数量、逻辑复杂度、后台响应和效率等,这些与速度是成正比的,网页越大,速度越慢。例如分析百度和SOSO同时检索“天气”这个关键词时,通过工具抓包发现百度检索结果加载了27个元素、119KB内容,SOSO只有15个元素、75KB内容,在不考虑网络、浏览器因素的情况下,SOSO的速度肯定要比百度快15%~20%生产过程环节是影响速度重要的环节,前面介绍的速度监测和后面将会提到的分析工具、优化案例主要针对这一环节。 ……
第1部分 质量
第1章 规划
1.1 架构规划
1.1.1 新趋势、新机遇、新挑战
1.1.2 产品、架构、成本的生命周期
1.1.3 质量、速度、成本
1.1.4 专业化、平台化、持续化
1.1.5 可伸缩、可调度、可扩展
1.1.6 Set模型,集装箱改变世界
1.1.7 全网调度,速度与容灾并进
1.1.8 海量导致架构取向,适用是王道
1.1.9 大系统简单做、小做
1.2 IDC规划
1.2.1 全球最复杂的基础网络
1.2.2 IDC属性、瓶颈分析及建议
1.2.3 IDC策略,分布制胜、速度第一
1.3 CDN规划
1.3.1 CDN发展现状与趋势分析
1.3.2 CDN厂商分析及外包细节
1.3.3 CDN节点分布及解析策略
1.3.4 CDN外包质量和风险控制
1.4 预算规划
1.4.1 预算的作用及预算推导
1.4.2 服务器定制,切合应用与性价比
1.4.3 服务器需求,用数据说话
第2章 速度
2.1 网站速度优化介绍
2.1.1 什么是网站速度优化
2.1.2 网站速度优化的价值
2.1.3 网站速度关键指标
2.1.4 影响网站速度的因素
2.2 网站速度监测实践
2.2.1 网站速度监测概述
2.2.2 网站速度主动监测
2.2.3 网站速度被动监测
2.3 网站速度分析实践
2.3.1 网站速度分析概述
2.3.2 网站速度分析工具
2.3.3 网站速度分析案例
2.4 网站速度优化实践
2.4.1 网站速度优化概述
2.4.2 网络速度优化及案例
2.4.3 系统速度优化及案例
2.4.4 前端速度优化及案例
2.5 防止网站速度退化
2.5.1 通过规范防止速度退化
2.5.2 通过工具防止速度退化
第3章 监控
3.1 监控概述
3.1.1 监控定义和价值
3.1.2 监控体系和实现途径
3.2 用户监控实践
3.2.1 访问监控,获取用户访问速度
3.2.2 URL监控,服务实时访问状态
3.2.3 劫持监控,了解全国劫持状态
3.2.4 内容监控,掌握网页元素变化
3.3 机器监控实践
3.4 网络监控实践
3.4.1 网络监控,时刻掌控广域网变化
3.4.2 响应监控,IDC内服务响应监控
3.4.3 域名监控,做精准的DNS解析
3.5 应用监控实践
3.5.1 模块监控,动态应用模块监控
3.5.2 数据库监控,数据库运行可视化
第4章 告警
4.1 告警概述
4.1.1 告警定义和途径
4.1.2 告警问题和规避方法
4.2 告警模型
4.2.1 告警分类,将告警分类区分对待
4.2.2 告警模型,如何建立告警模型
4.3 告警优化
4.3.1 告警收敛,规避被告警淹没
4.3.2 告警关联,让告警更具价值
4.3.3 告警分析,用数据说话
第5章 安全
5.1 Web漏洞扫描
5.2 域名劫持扫描
5.3 DDoS攻击扫描
5.4 敏感信息扫描
5.5 网页篡改扫描
第2部分 效率
第6章 管理
6.1 配置管理,标识所有的资源并记录在册
6.2 事件管理,记录、分类、诊断、解决问题
6.3 问题管理,消除引起问题的根本原因
6.4 变更管理,串联变更原因、过程、结果
6.5 容量管理,对运营指标未来的量化、预测
第7章 流程
7.1 业务运维管理规范
7.2 系统用户管理规范
7.3 设备使用管理规范
7.4 应用安全管理规范
7.5 开发与编译环境安全规范
7.6 故障分级和处罚规范
第8章 预案
8.1 预案,从容有序应对危机
8.2 预演,提高故障执行力
第9章 考核
9.1 运维能力考核
9.2 架构能力考核
9.3 运营预算考核
第3部分 成本
第10章 基础
10.1 规模化导致运营成本凸显
10.2 运营成本优化方向和策略
10.3 工具协助成本可持续优化
第11章 设备
11.1 服务器分类、分级、分层定制
11.2 业务分类平台化减少运营成本
11.3 混布最大限度提高资源利用率
第12章 带宽
12.1 通过改变产品形态减少数百万成本
12.2 通过降低带宽单价减少成本
12.3 通过自动优化减少带宽成本
书中把当今中国一线互联网公司的运维工作,成体系地搬到了大家面前,让大家看到中国一线互联网公司是如何做技术运维工作、如何做产品速度体验优化的,以及做这些工作的方法论。
同时,这也是一本适合互联网业务的架构师,或者想成为互联网业务架构师的技术人员阅读的书。书中介绍的很多案例,都是从技术架构上做的。让我们看到中国一线互联网企业是如何实现全局负载均衡的,如何实现容灾、柔性等特性,以及如何实现成本、效率、质量三者之间的平衡。我相信这些丰富的案例,以及方法论,应该给你足够的启发,让你能够想到自己的业务架构如何做是合适的、合理的。
——腾讯网络媒体事业群 运维总监 王鲁强
云计算、大数据和移动互联,正在驱动着我们的生活产生巨大改变,这改变背后的核心动力之一,是一套规模化、安全、稳定、高效的运维体系和具备驾驭能力的运维人员。一名出色的运维人员,是学习型,复合型和实用型人才。越来越多的朋友有志或已经成为运维大家庭一员,而市面上,帮助大家系统的学习和分享大型网站运维的书籍少之又少,是个有待挖掘的领域。唐文有多年大型网站运维实战经验,其汇聚多年积累撰写的《海量运维、运营规划之道》正是一个可贵的尝试和思考,给广大运维从业人员提供了一个途径:既从真实场景出发,解决实际运维问题;又能提炼归纳,成为构建大型网站的指引方法。相信大家结合本书内容和自己面对的应用场景,学以致用,举一反三,能够受益良多。
——阿里技术保障总监 张颖杰
当我看到本书的初稿时,顿时有一种相见恨晚的感觉。自己从事运维管理、运营系统建设工作已经7年,期间阅读过不少好文,自己也写过一些对局部领域的总结文字,但是如此全方位、多角度、具备实战价值的“运维宝典”,还是一次遇见,实在是爱不释手。衷心希望kevin兄弟的大作,能为战斗在运维岗位上的小伙伴们理清工作思路,找准发展方向,登上新的台阶。
—— 腾讯技术工程事业群 运维总监 肖志立
在百度, RD,OP&QA经常挂在嘴上的一句话就是“永远要对线上保持敬畏之心”, 在大数据时代, critical infrastructure的体量都在十几和几十万服务器的级别,互联网上突发流量场景(如双11)也不断出现,这些都对线上集群的运维提出了很多新的挑战,这本书能为你找到很多的答案。
——百度测试部 总监 高亮
喜欢读唐文的书,因为他的文章能够给互联网从业者以真正的启发、指导和引领。启发如何从运营角度构建互联网架构,指导如何解决大数据时代海量数据运营问题,引领如何成为架构师和COO。文如其人,简单而厚重。
——百度运维部 技术经理 沈慧勇
这是我看过的比较实用的海量服务ITIL平台建设工具,没有之一!对于快速发展的中大型互联网公司,关注系统的效率、服务质量以及投入成本是永恒的话题。这本书用非常实战的案例、大量的统计数据和体系化的实施方案告诉读者如何解决公司关注的问题。
—— 1号店IT部 专业总监 胡茂华
这本书绝对让我及其他读者受益。我想区别于其他此类书籍的是此书中素材是唐文过去近十年实际工作经验精华的总结,而他的经历与中国互联网飞速发展正好同步,海量运维的发展他一直置身其中。所以此书对合适读者借鉴意义就更有现实意义,相信读了此书的朋友一定会有我同样的感受。
——携程旅行网高级总监 酒店事业部产品技术负责人 蔡新发
互联网运维是一个涉及知识面比较广的工作岗位,所有的工作也是围绕着服务质量、速度和成本进行展开 ,同时还需要考虑服务的可运维性(可扩展、可监控、可容灾、可调度等)和安全性。本书全面的介绍了大型互联网公司运维工作所涉及的各个方面,你甚至可以从中了解到运维流程、服务考核、标准相关的内容。10年与唐文结识,他在CDN和访问质量方面有非常丰富的经验,在百度负责用户访问质量topic,本书自然也在访问质量监测、优化方面有较详细的描述。
—— 小米 运维总监 井源
如今的互联网运维,运营,规划及优化愈发依赖用户体验量化和客观业务发展,因此与时俱进的运维思想及规划理论非常重要。《海量运维、运营规划之道》将复杂的思想和理论深入浅出,配合真实的案例更具说服力。作为一线的互联网用户体验管理体系的推广者,我极力推荐业内同事阅读此书!
——基调网络 技术支持副总裁 褚冬毅
每一位运维人内心对运维都有自己独特的理解。笔者从自己多年经验出发,为读者展现一个运维的高层视图。给这个容易被误解的行业一个整体的介绍。新手可以获得整体知识脉络,老手亦可充实自己的知识库。尤其是成本和速度优化部分浓缩笔者多年一线经验,值得一读。
——百度运维部 架构师 刘卓