ONNX（Open Neural Network Exchange，开放神经网络交换）是一种开放格式，用于存储深度神经网络模型。ONNX由微软和Facebook于2017年共同推出，旨在促进不同深度学习框架之间的模型交换和互操作性。ONNX定义了一组与环境和平台无关的标准格式，使得AI模型可以在不同的框架和环境下交互使用。经过短短几年的发展，ONNX已经成为表示深度学习模型的实际标准。它还支持传统非神经网络机器学习模型。ONNX有望成为整个AI模型交换的标准。 全书包括6章，分别为ONNX安装与使用、ONNX运行时与应用开发技术、ONNX各种功能与性能分析、ONNX数据与操作数优化、ONNX模型性能与应用、ONNX创新开发案例分析。 本书适合从事AI算法、软件、硬件开发的工程师阅读，也可供科研人员、高校师生、技术管理人员参考使用。

第1章 ONNX安装与使用
1.1 安装ONNX运行时（ORT）
1.1.1 环境要求
1.1.2 使用Python安装ONNX
1.1.3 使用C# /C/C＋＋/WinML安装ONNX
1.2 使用ONNX运行时
1.2.1 在Python中使用ONNX运行时
1.2.2 在C＋＋中使用ONNX运行时
1.3 构建ONNX运行时
1.3.1 构建ONNX运行时的方式
1.3.2 ONNX运行时API概述
1.3.3 API详细信息
1.4 支持程序相关API
第2章 ONNX运行时与应用开发技术
2.1 ONNX运行时支持程序
2.1.1 ONNX运行时支持程序简介
2.1.2 支持程序摘要
2.1.3 添加支持程序
2.2 ONNX原理介绍
2.2.1 ONNX基本概念
2.2.2 ONNX的输入、输出、节点、初始化器、属性
2.2.3 元素类型
2.2.4 什么是opset版本？
2.2.5 子图、测试和循环
2.2.6 算子扫描
2.2.7 工具
2.3 ONNX与Python
2.3.1 线性回归示例
2.3.2 初始化器，改进的线性规划
2.3.3 遍历ONNX结构并检查初始化器
2.4 运算符属性
2.5 根据符号计算矩阵中所有浮点数的总和
2.6 树集合回归器
2.7 程序创建和验证模型功能
2.8 ONNX模型使用开发示例分析
2.8.1 开发环境
2.8.2 创建控制台应用程序
2.8.3 时间序列异常检测
2.8.4 尖峰检测
2.9 在ML.NET中使用ONNX检测对象
2.9.1 环境配置
2.9.2 目标检测示例
第3章 ONNX各种功能与性能分析
3.1 Python API概述
3.1.1 加载ONNX模型
3.1.2 加载带有外部数据的ONNX模型
3.1.3 操作TensorProto和Numpy数组
3.1.4 使用辅助函数创建ONNX模型
3.1.5 用于映射ONNX IR中属性的转换实用程序
3.1.6 检查ONNX模型
3.1.7 ONNX实用功能
3.1.8 ONNX形状推理
3.1.9 ONNX模型文本语法
3.1.10 类型表示
3.1.11 ONNX版本转换器
3.2 ONNX中的广播
3.2.1 多向广播
3.2.2 单向广播
3.3 ONNX操作符可区分性标签简短指南
3.3.1 差异性标签
3.3.2 定义差异性标签的方法
3.4 维度表示
3.4.1 维度表示的目的
3.4.2 表示定义
3.4.3 表示传播
3.4.4 表示验证
3.5 外部数据
3.5.1 加载带有外部数据的ONNX模型
3.5.2 将ONNX模型转换为外部数据
3.5.3 使用外部数据检查模型
3.6 ONNX模型库
3.6.1 基本用法
3.6.2 ONNX中心架构
3.7 开放神经网络交换中间表示（ONNX IR）规范
3.7.1 ONNX IR中间表示的作用
3.7.2 ONNX IR中间表示组件
3.7.3 可扩展计算图模型
3.7.4 数据流图
3.7.5 张量表达式
3.7.6 静态张量形状
3.8 实现ONNX后端
3.8.1 什么是ONNX后端？
3.8.2 统一后端接口
3.8.3 ONNX后端测试
第4章 ONNX数据与操作数优化
4.1 管理实验操作符和图像类别定义
4.1.1 弃用的实验操作符
4.1.2 图像类别定义
4.2 ONNX类型
4.2.1 PyTorch中的示例
4.2.2 操作符惯例
4.3 E4M3FNUZ和E5M2FNUZ
4.3.1 指数偏差问题
4.3.2 Cast节点用于数据类型转换
4.4 整数类型（4位）
4.4.1 整数类型（4位）概述
4.4.2 Cast节点用于数据类型转换、包装和拆包
4.5 浮点数（4位）
4.5.1 浮点数（4位）概述
4.5.2 E2M1、包装和拆包
4.6 ONNX如何使用onnxruntime.InferenceSession函数
4.6.1 操作符测试代码示例
4.6.2 函数定义
4.6.3 函数属性
4.7 自定义算子
4.7.1 添加算子
4.7.2 控制操作测试
4.7.3 自定义运算符
4.7.4 缩减运算符配置文件
4.8 分析工具
4.8.1 代码内性能分析
4.8.2 支持程序分析
4.8.3 GPU性能分析
4.8.4 记录和跟踪
4.9 线程管理
4.9.1 主要内容介绍
4.9.2 设置操作内线程数
4.9.3 线程旋转规则
4.9.4 设置互操作线程数
4.9.5 设置操作内线程关联
4.9.6 Numa支持和性能调优
4.10 自定义线程回调与应用
4.10.1 自定义线程回调
4.10.2 在自定义操作中的I/O绑定
4.11 量化ONNX模型
4.11.1 量化概述
4.11.2 ONNX量化表示格式
4.11.3 量化ONNX模型
4.11.4 量化示例
4.11.5 方法选择
4.11.6 量化为Int4/UInt
4.12 创建float16和混合精度模型
4.12.1 float16转换解析
4.12.2 混合精度
第5章 ONNX模型性能与应用
5.1 ONNX运行时图形优化
5.1.1 ONNX运行时图形优化概述
5.1.2 ONNX运行时图形优化使用方法
5.2 ORT模型格式
5.2.1 ORT模型格式是什么？
5.2.2 将ONNX模型转换为ORT格式
5.2.3 将ONNX模型转换为ORT格式脚本用法
5.3 加载并执行OR