第1章引言1

1.1动机2

1.1.1基于计算机的音乐系统2

1.1.2自主创作与辅助创作3

1.1.3符号化人工智能与次符号化人工智能4

1.1.4深度学习4

1.1.5现状和未来5

1.2这本书是讲什么的5

1.2.1其他书籍和资料来源5

1.2.2其他模型6

1.2.3深度学习与马尔可夫模型6

1.2.4学习需求和路线图7

1.2.5本书涉及的范围8第2章方法9

2.1五个维度9

2.1.1目标9

2.1.2表示9

2.1.3架构9

2.1.4挑战10

2.1.5策略10

2.2讨论10第3章目标11

3.1属性11

3.1.1音乐类型11

3.1.2目标与应用12

3.1.3生成模式12

3.1.4音乐风格13第4章表示14

4.1数据的阶段和类型14

4.2音频数据与符号化数据15

4.3基于音频的表示16

4.3.1波形表示16

4.3.2转换表示17

4.3.3声音频谱图17

4.3.4声色谱图17

4.4符号化表示18

4.5主要概念19

4.5.1音符19

4.5.2休止符19

4.5.3音程20

4.5.4和弦20

4.5.5节奏21

4.6多声部/多轨道22

4.7音乐格式22

4.7.1MIDI格式22

4.7.2钢琴打孔纸卷格式23

4.7.3文本格式24

4.7.4标记语言26

4.7.5领谱26

4.8时间范围和粒度28

4.8.1时间范围28

4.8.2时间粒度29

4.9元数据29

4.9.1音符保持/结束30

4.9.2音名表示（与异名同音）31

4.9.3特征提取31

4.10音乐表现力32

4.10.1时间节奏32

4.10.2音乐力度32

4.10.3音频33

4.11编码33

4.11.1编码策略33

4.11.2OneHot、ManyHot及MultiOneHot编码34

4.11.3编码小结34

4.11.4Binning35

4.11.5优缺点35

4.11.6和弦36

4.11.7特殊的音符保持与休止符36

4.11.8鼓和打击乐器37

4.12数据集37

4.12.1移调和对齐37

4.12.2音乐数据集和语料库38第5章架构39

5.1神经网络简介40

5.1.1线性回归40

5.1.2符号41

5.1.3模型训练41

5.1.4梯度下降训练算法42

5.1.5从模型到体系架构43

5.1.6从模型到线性代数表示43

5.1.7从简单模型到多元模型44

5.1.8激活函数45

5.2基本组件47

5.2.1前馈计算47

5.2.2同时计算多个输入数据48

5.3机器学习48

5.3.1定义48

5.3.2机器学习分类49

5.3.3组成50

5.3.4优化50

5.4体系架构50

5.5多层神经网络50

5.5.1抽象表示法51

5.5.2深度52

5.5.3输出激活函数54

5.5.4代价函数54

5.5.5解释55

5.5.6熵与交叉熵58

5.5.7前馈传播60

5.5.8训练61

5.5.9过拟合61

5.5.10正则化62

5.5.11超参数62

5.5.12平台和库63

5.6自动编码器63

5.6.1稀疏自动编码器64

5.6.2变分自动编码器65

5.6.3堆栈式自动编码器69

5.7受限玻尔兹曼机69

5.7.1训练70

5.7.2采样70

5.7.3变量的类型71

5.8递归神经网络71

5.8.1可视表示73

5.8.2训练73

5.8.3长短时记忆（LSTM）74

5.8.4注意力机制75

5.9卷积架构模式76

5.9.1原理76

5.9.2卷积的阶段77

5.9.3池化77

5.9.4多层卷积结构77

5.9.5基于时变的卷积78

5.10基于调控的架构模式78

5.11生成对抗网络（GAN）体系架构模式80

5.12强化学习82

5.13复合架构83

5.13.1复合的类型83

5.13.2双向RNN84

5.13.3RNN编码器解码器85

5.13.4变分RNN编码器解码器86

5.13.5面向复调的循环网络87

5.13.6进一步的复合架构87

5.13.7组合的局限性87第6章挑战及策略88

6.1架构和表示维度的符号88

6.2入门示例89

6.2.1单步前馈策略89

6.2.2示例： MiniBach——《圣咏曲》对位伴奏符号音乐生成系统89

6.2.3第一个分析91

6.3局限性及挑战92

6.4基于Ex Nihilo的生成92

6.4.1解码器前馈93

6.4.2采样95

6.5音乐长度的可变性97

6.6音乐内容的可变性101

6.7音乐表现力106

6.8RNN与迭代前馈的再探讨108

6.8.1#1示例： TimeWindowed——旋律符号音乐生成系统108

6.8.2#2示例： Sequential——旋律符号音乐生成系统109

6.8.3#3示例： BLSTM——和弦伴奏符号音乐生成系统111

6.8.4总结114

6.9旋律和弦交互114

6.9.1#1示例： RNNRBM——面向复调的符号音乐生成系统114

6.9.2#2示例： Hexahedria——面向复调的符号音乐生成架构117

6.9.3#3示例： BiAxial LSTM——面向复调的符号音乐生成架构119

6.10控制121

6.10.1控制策略的维度121

6.10.2采样122

6.10.3调控127

6.10.4输入操纵139

6.10.5输入操控和采样146

6.10.6强化学习149

6.10.7Unit Selection152

6.11风格迁移155

6.11.1作曲风格转移155

6.11.2音色风格迁移156

6.11.3演奏风格迁移157

6.11.4示例： FlowComposer——作曲支持环境158

6.12架构160

6.12.1示例： MusicVAE——面向多声道层次符号音乐生成系统160

6.12.2其他时间架构层次164

6.13原创性165

6.13.1调控165

6.13.2创新对抗网络165

6.14渐进性167

6.14.1音符实例化策略167

6.14.2示例： DeepBach——面向多声部《圣咏曲》的符号音乐

生成系统168

6.15交互性171

6.15.1#1示例： deepAutoController——音频音乐生成系统171

6.15.2#2示例： DeepBach——面向《圣咏曲》的符号音乐生成系统172

6.15.3接口定义172

6.16适应性173

6.17可解释性173

6.17.1#1示例： BachBot——面向复调《圣咏曲》的符号音乐

生成系统174

6.17.2#2示例： deepAutoController——音频音乐生成系统176

6.17.3自动分析176

6.18讨论177第7章分析178

7.1引用和缩略语178

7.2系统分析183

7.3相关分析191第8章讨论与结论197

8.1全局与时值步长197

8.2卷积与递归198

8.3风格迁移与迁移学习199

8.4协作199

8.5专业化200

8.6评价与创造力200

8.7结论202参考文献203术语215