第1章绪论
1971年,加利福尼亚大学伯克利分校的Chua基于电路完备性理论指出,在电阻器、电容器和电感器之外可能存在第四种无源电子元件,进而提出了忆阻器概念W.直到2008年,Hewlett-Packard实验室成功研发出了忆阻器,证实了Chua的预言近年来,忆阻器在存储器设计领域展现出了良好的发展前景,其布尔逻辑运算功能也推动了人工智能的发展.忆阻器、忆阻电路与忆阻神经网络相关研究工作迅速成为微电子、半导体和计算机科学等领域的前沿热点.通过跟踪国内外忆阻神经网络的研究动态,本书围绕具有时滞的忆阻神经网络开展研究,分析其耗散性、无源性、稳定性与同步控制等问题,为实际应用于状态估计、信号处理和保密通信等提供理论支撑.
1.1忆阻神经网络概述
1.1.1忆阻器
传统的电路理论中有电流I、电压f、电荷量g和磁通量9四个基本物理量以及电阻、电容C和电感L三个基本的电路元件.由电流的定义和法拉第定律可知,上述三个电路元件将四个基本量联系起来,即.1971年,Chua预测存在一种有记忆功能的非线性电阻能够将电荷量与磁通量联系起来,即,如图1-1-1所示.Chua给出了其物理架构并命名为忆阻器(memristor).忆阻器的阻值能够随着忆阻器两端的电压或者流经的电流相应变化,并在断电后仍能保持当前阻值.通过这种方式,忆阻器能记住相关信息从而实现存储数据的功能W.限于当时的技术条件,其物理实现极其困难,忆阻器的研究一直未取得重大突破.1976年,Chua与Kang又将忆阻器的想法拓展到忆阻系统与忆阻设备M.
直到2008年,随着纳米技术发展成熟,Hewlett-Packard实验室的Strukov等首次提出了忆阻器的器件结构,由此证实了忆阻器的物理存在叽如图1-1-2所示.Strukov等制造的纳米级忆阻器两端是很薄的铂金片,中间以二氧化钛(Ti02)作为填充物.髙密度填充物的一端类似于半导体,另一端没有填充物的区域作为绝缘体.Strukov团队认为基于忆阻器构建的电子信息系统能够模拟生物大脑处理关联模式和关联记忆的功能.同年11月,Stmkov团队首次展示了3D忆阻器混合芯片.2015年5月,由忆阻器构建的神经网络芯片在加利福尼亚大学和纽约州立大学石溪分校问世,向创建更大规模的神经网络迈出了重要一步.
图1-1-2Hewlett-Packard实验室发布的忆阻器
目前,所有的内存均为易失性内存,作为非易失性的记忆器件,忆阻器能够应用于存储器设计领域,制造非易失性内存,这将极大地模糊传统内存与硬盘存储间的界限,实现存储速度与容量的平衡.与动态随机存储器和闪存相比,利用忆阻器设计的非易失性存储器在断电后仍能保存数据,并且具有低能耗优势.这有助于解决现存的动态随机存储器所面临的问题作为一种新型的存储器件,忆阻器能够更好地模拟生物神经元突触的学习功能,从而达到高效存储并处理信息的目的,进而突破“冯 诺依曼瓶颈”,为设计新型计算机体系提供一种全新架构.2014年,惠普提出了“The Machine”电脑开发设计理念的计划,旨在重新定义计算的基础架构.“The Machine”抛弃内存和硬盘单独设置的做法,统一采用忆阻器作为其“通用内存”的关键组件.2016年底,“The Machine”计划的原型机发布.2017年6月召开的国际髙性能计算大会上,中国超级计算机“神威 太湖之光”与“天河二号”夺得榜单前两位,美国的超级计算机“泰坦”名列第四.为夺回全球超级计算机霸主地位,美国能源部开始资助慧与科技(HPE)在“The Machine”项目架构基础上开发超级计算机.2014年,Chua在其著作Memristors and Memristive Systems中提出“If it’s pinchedit’s a memristor”这一观点,从而扩展了忆阻器的概念,将所有具备磁滞回路曲线特征的两端结构电阻器件纳入忆阻器的范畴中,并指出记忆电容和记忆电感可以通过忆阻器的符号替换来实现,因此不同类型的记忆元件的滞后曲线之间应该存在对应关系,电容性器件的电荷电压曲线在原点处均应被压缩.2019年7月,Pershin与Ventra以记忆电容器件具有非压缩滞后的实验证据反驳Chua的观点关于忆阻器概念及其物理实现的争论仍在持续.
综上所述,随着忆阻器相关研究的深入,人们对其物理结构和电路特性的认识不断加深.作为一种新型的小尺寸无源电子器件,忆阻器具备良好的电路特性优势,在计算机存储器和大规模集成电路设计领域的产业化应用将推动微电子领域的深刻变革.另外,忆阻器能够将存储与运算深度融合,从而突破传统计算机的“存储墙”问题,构建出新型计算机系统结构,进而推动计算机科学的发展.忆阻器的电阻记忆特性使其适合模拟生物神经元突触的学习功能,应用于神经计算、模式识别、联想记忆和图像处理等领域,进而推动人工神经网络的发展.
1.1.2忆阻神经网络
生物神经网络中的突触连接着神经元与效应器细胞,是神经元信息的传递和表达渠道.同时,神经元突触是人脑学习与记忆的基本功能单元.突触仿生是神经计算得以实现的重要基础.忆阻器良好的电阻记忆特性使其适用于模拟神经元突触的学习功能.忆阻器设备有望在生物学、微电子学等交叉学科解释生物的学习与适应行为.在突发刺激下,阿米巴原虫能够表现出学习能力,通过改变行为以适应环境周期性的变化.研究表明,基于忆阻器、电容器和电感器搭建的简单电路在适当的电压激励下能够成功模拟阿米巴原虫的适应行为化实验发现,忆阻器件特殊的电学特性与老鼠脑神经元的学习特性具备一定的相似性利用忆阻器实现对神经突触的仿生成为当前人工神经网络领域的研究热点.
2007年,Snider研究了不可靠记忆纳米元件的自组织计算,指出忆阻器可以轻易地通过训练和学习获得网络的权值和结构,从而实现神经网络的自组织、自适应功能.因此,Snider预测忆阻器将在人工神经网络中产生革命性影响目前,忆阻器的研究已经深入到存储结构设计、逻辑功能实现和人工神经网络研究等方面.2010年,美国南卡罗来纳大学的研究人员使用两个忆阻突触连接三个神经元实现了神经网络的建模,并演示了忆阻神经网络的关联记忆效应.传统的人工神经网络通常受限于硬件条件,网络规模和复杂性增大的同时,人们对计算机运行速度的要求也越来越高W.忆阻器的成功研制为电子电路的设计提供了新的途径并赋予电路新的功能.其非易失性可以更好地解决神经计算中所面临的问题和挑战.由于忆阻器件在集成电路上集成密度非常高,忆阻器将推动神经计算取得突破性进展A.忆阻器就如同大脑中的神经元,当出现新的事物时能够自行学习,当被置于一个芯片中时会减少网络运行所耗资源另外,忆阻器的金属氧化物半导体设计还可以改进模拟计算.总之,随着忆阻器研究的发展,基于忆阻器构建的人工神经网络将会在神经计算、模式识别、联想记忆和图像处理等领域中起关键作用,进而推动人工智能的发展.忆阻神经网络的相关研究已经成为数学、计算机科学与工程领域的前沿.
1)忆阻神经网络模型
下面为双向关联记忆(bidirection alassociative memory,BAM)神经网络模型:
其中,为电容器Ci的电压,为电容器的电压,为电阻,和为外部输入,T(t)为传输时变时滞.Anbuvithya等使用忆阻器代替上述模型中的电阻,对应的忆阻分别为可以搭建基于忆阻器的神经网络:
在不同的磁滞回环情形下忆阻系统的演化趋势或过程会不同,下面是两种典型的记忆函数:
2)耦合忆阻神经网络模型
耦合神经网络基于猫、猴等动物的大脑皮层视觉原理发展而来,能从复杂背景下提取有效信息,具有全局耦合特性,其信号形式和处理机制更符合人类视觉神经系统的生物学基础.下面是一个具有N个独立网络的耦合忆阻神经网络:
其中,为第k个神经网络的第i个神经元的状态,a为常数,表示稱合强度,反映耦合网络的结构,分为对称耦合和非对称耦合.对于耦合忆阻神经网络而言,其动力学性态既取决于节点网络的性态,又与节点网络间的耦合连接状态息息相关.
3)分数阶忆阻神经网络模型
在刻画许多材料和过程的记忆以及遗传特性方面,分数阶模型比经典的整数阶模型具有更多优势,获得了广泛关注.分数阶微分和分数阶微分方程为科学工程领域的建模与分析奠定了坚实的理论基础.分数阶忆阻神经网络亦引起了学者的研究兴趣,例如
其中,i=1,2, ,n,t≥0,n为神经网络中的单元数,为第i个神经元的状态,为正常数,为外部输入,为非线性激活函数,i=1,2, ,n,为时滞,为基于忆阻器的连接权.对于分数阶忆阻神经网络,则要依赖分数阶微积分理论进行研究.
然而,涉及忆阻神经网络的许多系统理论问题亟待解决,探究忆阻神经网络的动态行为演化机制,将有助于实现对类神经元的阈值激发功能的有效调控,解决信息在动态存储与处理过程中的难题,从而为利用忆阻神经网络实现联想记忆、模式识别和图像处理等功能提供基础理论支撑.因此,忆阻神经网络动力学性态分析问题成了忆阻器研究的重要内容并引起了学者的广泛关注.
在生物神经网络和人工神经网络中,信息在神经元间或者神经元与效应器细胞间传输需要一定的通信时间,电路放大器的开关速度是有限的,导致在网络中存在着传输时滞;由于内部包含大量繁杂的并行通道,神经网络具有一定的时间和空间特性,信息在这些并行通道间传输滞后效应以分布传输时滞的形式表现出来;人工神经网络为了提供优质的服务,往往有一个路由决策过程,这个过程通常用比例时滞来刻画;当神经元断开神经网络与外界的输入时,重置电位到隔离静止状态的过程需要时间,导致在稳定化负反馈项中存在着滞后效应,即leakage时滞.上述各种类型的时滞客观存在于神经网络中,在基于忆阻器构建的人工神经网络的研究中引入时滞具有现实背景与实际意义.时滞往往使忆阻神经网络模型的分析变得困难,并影响忆阻神经网络的动力学性态.另外,由于忆阻器具备状态依赖特性,因此基于忆阻器构建的人工神经网络是一个状态依赖的微分动力系统,具有传统的人工神经网络所不具备的复杂非线性特性.我们看到,在现有的关于忆阻神经网络的动力学性态的工作中,考虑传输时滞影响的研究还不够充分,考
展开