FFmpeg 是⾳视频领域中重量级的开源项⽬，本书以FFmpeg官⽅提供的代码实例为基础，对FFmpeg相关知识进行了全⾯、深⼊地讲解，可有效帮助读者获得基于FFmpeg的⾳视频开发基础知识和技能。本书特色如下：
1.系统地讲解音视频领域的基础知识，如音视频编解码标准、媒体容器的封装格式和网络流媒体协议。
2.由浅入深地介绍FFmpeg 的基本使用方法，包括命令行工具ffmpeg、ffprobe 和ffplay 的主要
使用方法。
3.用6章实战讲解如何使用libavcodec、libavformat 等FFmpegSDK 进行音视频基本功能的开发，可有效提升项目实战能力。
全书内容分为三部分，共15 章。第1~6 章为第一部分，主要讲解音视频开发的基础知识，简要介绍音视频技术的发展背景，以及主流的音视频压缩编码算法、音视频容器格式和网络流媒体协议等。第7~9章为第二部分，主要讲解命令行工具ffmpeg、ffprobe 和ffplay 的使用方法，包括如何使用这些工具进行视频播放、格式检测、编转码、格式转换和流媒体推拉流等操作；第10~15 章为第三部分，主要讲解基于FFmpeg SDK 的开发实战，主要介绍如何在工程中调用libavcodec 和libavformat 等库提供的接口实现音视频处理的相关功能。
本书适合从事音视频编解码、多媒体应用开发和流媒体技术的初、中级开发者，以及各大院校学生阅读，也适合有一定经验的开发人员参考使用。
第一部分 基础知识
第1 章 音视频技术概述 . 2
1.1 音视频信息与多媒体系统 2
1.1.1 信息传输系统的发展 . 2
1.1.2 信息时代的音视频技术 . 4
1.1.3 音视频技术的未来展望 . 5
1.2 典型的音视频与多媒体系统结构 6
1.2.1 视频点播 . 7
1.2.2 视频直播 . 8
1.2.3 安防监控 . 9
1.2.4 视频会议 . 9
第2 章 图像、像素与颜色空间 . 11
2.1 图像与像素 11
2.2 图像的位深与颜色空间 12
2.2.1 图像的位深 . 12
2.2.2 图像的颜色空间 . 14
2.3 图像压缩编码 15
2.3.1 图像压缩算法分类 . 16
2.3.2 图像压缩基本算法 . 16
2.3.3 常见的图像压缩编码格式 . 20
第3 章 视频压缩编码 22
3.1 视频压缩编码的基础知识 22
3.1.1 视频信息的数字化表示 . 22
3.1.2 常用的视频格式与分辨率 . 24
3.1.3 对视频数据压缩编码的原因 24
3.2 视频压缩编码标准的发展历程 24
3.3 视频压缩编码的基本原理 25
3.3.1 视频数据中的冗余信息 . 25
3.3.2 预测编码 . 26
3.3.3 变换编码 . 27
3.3.4 熵编码 . 28
3.4 视频编码标准H.264 . 28
3.4.1 H.264 简介 28
3.4.2 H.264 的框架 28
3.4.3 H.264 的基本算法 . 30
3.5 高效视频编码标准H.265 33
3.5.1 H.265 简介 33
3.5.2 H.265 的框架 33
3.5.3 H.265 的基本算法 . 35
第4 章 音频压缩编码 42
4.1 音频压缩编码的基础知识 42
4.1.1 声音信息的概念 . 42
4.1.2 声音信息的基本要素 . 42
4.2 音频信息采样与数字化 43
4.2.1 模拟音频 . 43
4.2.2 数字音频 . 44
4.2.3 采样和量化 . 44
4.3 脉冲编码调制 46
4.3.1 PCM 量化区间分割 46
4.3.2 PCM 量化编码规则 49
4.4 MP3 格式与MP3 编码标准 51
4.4.1 MP3 格式 . 52
4.4.2 MP3 编码标准 . 62
4.5 AAC 格式与AAC 编码标准 . 67
4.5.1 AAC 格式 67
4.5.2 AAC 编码标准 72
第5 章 音视频文件容器和封装格式 . 74
5.1 概述 74
5.2 FLV 格式 75
5.2.1 FLV 文件结构 . 75
5.2.2 FLV 文件头 . 76
5.2.3 FLV 标签 . 77
5.3 MPEG-TS 格式 84
5.3.1 信息包头 . 84
5.3.2 PES 包结构 . 85
5.3.3 PSI 结构 . 87
5.4 MP4 格式 . 88
5.4.1 MP4 格式简介 . 88
5.4.2 ISO 协议族 89
5.4.3 MP4 封装格式 . 89
5.4.4 Box 类型 90
5.4.5 MP4 文件结构 . 92
5.4.6 构建视频流的播放时间轴 . 98
第6 章 音视频流媒体协议 . 104
6.1 网络协议模型 105
6.1.1 ISO/OSI 模型结构 105
6.1.2 TCP/IP 模型结构 106
6.2 网络流媒体协议——RTMP 120
6.2.1 RTMP 的概念 120
6.2.2 RTMP 分块与块流 121
6.2.3 RTMP 信息格式 126
6.2.4 RTMP 信息与命令 129
6.3 网络流媒体协议——HLS 协议 136
6.3.1 HLS 协议的概念 . 136
6.3.2 HLS 直播流媒体系统结构 . 136
6.3.3 HLS 索引文件格式 . 138
第二部分 命令行工具
第7 章 FFmpeg 的基本操作 144
7.1 FFmpeg 概述 144
7.1.1 各个编译类型的区别 . 145
7.1.2 编译FFmpeg 源代码 148
7.2 ffplay 的基本使用方法 155
7.2.1 显示ffplay 版本 155
7.2.2 显示编译选项 . 156
7.2.3 设置日志级别 . 156
7.2.4 全屏播放 . 158
7.2.5 指定输入视频的宽、高和帧率 158
7.2.6 禁用音频流、视频流和字幕流 158
7.2.7 指定播放的起始时间和时长 159
7.2.8 指定播放音量 . 159
7.2.9 设置播放窗口 . 159
7.3 ffprobe 的基本使用方法 159
7.3.1 显示详细的封装格式信息 . 160
7.3.2 显示每一路媒体流信息 . 161
7.3.3 显示每一个码流包的信息 . 164
7.3.4 显示媒体流和码流包的负载信息 165
7.3.5 显示每一帧图像的信息 . 167
7.3.6 指定检测信息的输出格式 . 169
7.4 ffmpeg 的基本使用方法 175
7.4.1 显示版本和编译配置信息 . 176
7.4.2 显示支持的解复用器格式 . 177
7.4.3 显示支持的复用器格式 . 179
7.4.4 显示支持的所有输入格式和输出格式 181
7.4.5 显示支持的解码器 . 183
7.4.6 显示支持的编码器 . 184
7.4.7 显示支持的媒体协议 . 186
7.4.8 显示支持的硬件加速框架 . 188
7.4.9 ffmpeg 封装格式转换 . 188
7.4.10 视频的解码和编码 . 193
7.4.11 从视频中截取图像 206
7.4.12 ffmpeg 视频转码 . 207
第8 章 滤镜图 . 209
8.1 ffmpeg 音视频滤镜 209
8.1.1 简单滤镜图 . 209
8.1.2 复合滤镜图 . 210
8.1.3 ffmpeg 支持的滤镜列表 . 211
8.2 简单滤镜图的应用 212
8.2.1 常用的视频编辑简单滤镜图 212
8.2.2 常用的音频编辑简单滤镜图 227
8.3 复合滤镜图的应用 230
8.3.1 常用的视频编辑复合滤镜图 230
8.3.2 常用的音频编辑复合滤镜图 234
第9 章 流媒体应用 236
9.1 构建SRS 流媒体服务 . 236
9.1.1 部署RTMP 流媒体服务 . 238
9.1.2 部署HLS 流媒体服务 240
9.1.3 部署HTTP-FLV 流媒体服务 . 241
9.2 构建Nginx RTMP 流媒体服务 . 241
9.2.1 Nginx 的编译和部署 242
9.2.2 Nginx 的流媒体模块nginx-rtmp-module 246
第三部分 开发实战
第10 章 FFmpeg SDK 的使用. 254
10.1 使用CMake 构建工程 . 255
10.1.1 使用CMake 构建Hello World 工程 255
10.1.2 在工程中编译并输出多个文件 257
10.1.3 在工程中添加头文件和源文件目录 259
10.1.4 在工程中引入动态库 . 262
10.2 FFmpeg SDK 基本使用方法示例：获取目录下的文件信息 . 264
10.2.1 显示指定目录信息 . 264
10.2.2 解析API 和结构体 . 266
第11 章 使用FFmpeg SDK 进行视频编解码 269
11.1 libavcodec 视频编码 269
11.1.1 主函数与数据I/O 实现 269
11.1.2 视频编码器初始化 272
11.1.3 编码循环体 284
11.1.4 关闭编码器 289
11.1.5 FFmpeg 视频编码延迟分析 . 290
11.2 libavcodec 视频解码 294
11.2.1 主函数实现 294
11.2.2 视频解码器初始化 295
11.2.3 解码循环体 297
11.2.4 关闭解码器 304
第12 章 使用FFmpeg SDK 进行音频编解码 306
12.1 libavcodec 音频编码 306
12.1.1 主函数实现 . 306
12.1.2 音频编码器初始化 . 307
12.1.3 编码循环体 . 310
12.1.4 关闭编码器 . 313
12.2 libavcodec 音频解码 315
12.2.1 主函数实现 . 315
12.2.2 音频解码器初始化 . 316
12.2.3 解码循环体 . 318
12.2.4 关闭解码器 . 324
第13 章 使用FFmpeg SDK 进行音视频文件的解封装与封装 . 326
13.1 音视频文件的解封装 326
13.1.1 主函数实现 . 326
13.1.2 解复用器初始化 . 327
13.1.3 循环读取码流包数据 . 335
13.1.4 释放解复用器和解码器 . 338
13.1.5 主函数的整体实现 . 339
13.2 音频流与视频流文件的封装 340
13.2.1 主函数实现 . 340
13.2.2 音视频流复用器的初始化 341
13.2.3 复用音频流和视频流 . 348
13.2.4 释放复用器实例 . 353
第14 章 使用FFmpeg SDK 添加视频滤镜和音频滤镜 355
14.1 视频滤镜 355
14.1.1 主函数实现 . 355
14.1.2 视频滤镜初始化 . 356
14.1.3 循环编辑视频帧 . 365
14.1.4 销毁视频滤镜 . 368
14.2 音频滤镜 370
14.2.1 主函数框架 . 370
14.2.2 音频滤镜初始化 . 371
14.2.3 循环编辑音频帧 . 380
14.2.4 销毁音频滤镜 . 381
第15 章 使用FFmpeg SDK 进行视频图像转换与音频重采样 . 383
15.1 视频图像转换 383
15.1.1 主函数实现 . 383
15.1.2 视频格式转换初始化 . 384
15.1.3 视频的图像帧循环转换 . 388
15.1.4 视频格式转换结构的销毁和释放 390
15.2 音频重采样 391
15.2.1 主函数实现 . 392
15.2.2 音频重采样初始化 . 392
15.2.3 对音频帧循环重采样 . 397
15.2.4 音频重采样结构的销毁和释放 400
视频对人类而言，是非常自然的信息表达与交互方式，也是过去五年发展十分迅猛的应用技术之 一。本书深入浅出、简明实用，可为相关产业的快速发展、人才培养提供支持。
——杨帆 商汤科技联合创始人、副总裁
FFmpeg 是音视频领域中重量级的开源项目，值得所有音视频初学者研究和学习。本书以FFmpeg官 方提供的代码实例为基础，辅以全面、深入的知识讲解，可有效帮助读者获得基于FFmpeg的音视 频开发基础知识和技能，为读者在音视频行业的深耕和发展奠定基础。
——卢俊 字节跳动 RTC音视频架构师
伴随4G移动网络基建的逐步成熟，以音视频为主要介质的各类互联网业务逐渐发展壮大。作者很 早就表达了想要通过自己的钻研，以录课、出书等形式普及音视频技术知识。在工作期间，作者 深度参与音视频业务建设与开源建设。数年后其仍不忘初心，终成此书，令人钦佩。希望此书能 盛装作者赤诚之心与音视频技术之美，以飨读者。
——张骏 某头部互联网企业资深开发总监