泽南、蛋酱编辑

清华首次提出「类脑计算完备性」及计算系统层次结构,登上Nature

「天机」登上《自然》封面一年多以来,这已是清华大学的类脑计算研究最近第三次被自然杂志收录。


10 月 14 日,在最新一期《自然》杂志上,出现了一项类脑计算体系结构的突破性进展。

来自清华大学、北京信息科学与技术国家研究中心、美国特拉华大学(University of Delaware)科研团队的研究者在论文《A system hierarchy for brain-inspired computing》(一种类脑计算系统层次结构)中提出了「类脑计算完备性」(neuromorphic completenes)概念。该研究被认为会加速类脑计算,及通用人工智能等方向的研究。

目前,发展通用人工智能(AGI)通常有两种方法:神经科学导向和计算机科学导向。由于两种方法在公式和编码方式上存在根本差异,它们依赖于不同且不兼容的平台,阻碍了 AGI 的发展。

论文链接:https://www.nature.com/articles/s41586-020-2782-y

该研究的第一作者为清华大学计算机系研究员张悠慧,与清华大学教授、清华大学类脑计算中心主任施路平共同为该论文的通讯作者。

神经形态计算从生物大脑中获取灵感,为计算机技术和体系结构的下一波发展提供了方向。类脑计算与传统计算机架构不同,后者是围绕图灵完备和完善的冯诺依曼结构,前者目前还没有没有广义的系统层次结构,或对类脑性计算的完整性的理解。这会影响类脑计算软件和硬件之间的兼容性,从而阻碍了大类脑式计算的开发效率。

面对这一挑战,清华大学等机构的研究者们提出了「类脑计算完备」概念,它放宽了对硬件完整性的要求,并提出了相应的系统层次结构,其中包括图灵完备的软件抽象模型和通用的抽象神经形态架构。

使用这种层次结构,我们可以将各种程序描述为统一的表示形式,并转换为任何神经形态完整硬件上的等效可执行文件。这意味着,这一体系可以确保编程语言的可移植性、硬件完整性和编译可行性。

为了支持在各种典型硬件平台上执行不同类型的程序,研究人员实现了一系列工具链软件,进而证明了该系统结构的优势。

全新的系统层次结构

在这项研究中,研究者提出了一种具有高度通用性和普适性的类脑计算系统层次结构,该结构包括三个层次:软件、硬件和编译。

与传统的计算系统层次结构不同,对于类脑计算系统层次结构而言,软件层指的是神经形态应用和开发框架(如 Nengo 和 PyTorch)。相应地,研究者提出将 POG 作为软件的中间表征, EPG 作为硬件的中间表征(CFG,控制流图),并引入编译工具将 POG 转换为 EPG。对于硬件层,研究者提出了抽象神经形态结构(ANA),包括调度单元、处理单元、内存和互连网络,作为神经形态硬件(TrueNorth、SpiNNaker、Tianjic 和 Loihi)抽象。

考虑到类脑计算的相似性,研究者进一步提出了「类脑计算完备性」的概念,引入了逼近等价(approximation equivalence)和近似等价(precise equivalence)。

类脑计算机系统与传统计算机系统的层次结构对比。

软件

图中的软件是指编程语言或框架,以及以它们为基础构建的算法或模型。在这一层面上,研究者提出了一个统一的、通用的软件抽象模型——POG(programming operator graph)——来适配多种类脑算法和模型设计。POG 由统一的描述方法和事件驱动的并行程序执行模型组成,该模型集成了存储和处理。它描述了什么是类脑程序并定义了如何执行该程序。由于 POG 是图灵完备的,它能够最大程度上支持多种应用、编程语言和框架。

硬件

硬件部分包括所有类脑芯片和架构模型。研究者设计了抽象神经形态结构作为硬件抽象。它有一个 EPG( execution primitive graph),用作和上一层之间的接口,来描述它可以执行的程序。EPG 有一个混合的「control-flow–dataflow」表示,用来最大化其对不同硬件的适应性,同时也符合一个流行的硬件趋势——混合架构。

编译

编译是将一个程序转化为硬件所支持的一种等价形式的中间层。为了提高可用性,研究者提出了一组基本的硬件执行原语,这些原语在主流的类脑芯片中得到了广泛的支持,同时证明了配备了这套原语的硬件是神经形态完备的。此外,研究者还以一个工具链软件作为编译层的实例,论证了该层次结构的可行性、合理性和优越性。

研究者提到:「这一层次结构避免了硬件和软件之间的紧密耦合,确保任何类脑程序都可以用图灵完备 POG 来表示,然后在任何神经形态完备的硬件上编译成等效的可执行 EPG。我们确保了编程的可移植性、硬件的完整性和编译的可行性,并通过实验验证了神经形态完备性引入的系统设计维度优化效果。这一层次结构也促进了软硬件的协同设计。」

与当今常规计算机的「图灵完备性」概念与「冯诺依曼」体系结构相对应,全新的类脑计算完备性及软硬件去耦合的类脑计算系统层次结构证明了自身的可行性,同时又扩展了类脑计算系统应用范围,使之能支持通用计算。

这项研究为处于起步阶段的类脑计算方向,填补了完备性理论与相应系统层次结构方面的空白,有利于自主掌握新型计算机系统核心技术。

《自然》杂志的一位审稿人认为,「这是一个新颖的观点,并可能被证明是神经形态计算领域以及面向人工智能研究的重大发展。」

理论Nature类脑芯片类脑认知类脑计算清华大学
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

神经形态计算技术

神经形态工程也称为神经形态计算,是Carver Mead在1980年代后期开发的一个概念,描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成(VLSI)系统。 近来,神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型(用于感知,运动控制或多感官集成)的软件系统。

通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

类脑芯片技术

类脑芯片是一种结构独特,可以仿照人类大脑的信息处理方式进行感知、思考、产生行为。人脑中的突触是神经元之间的连接,具有可塑性,能够随所传递的神经元信号强弱和极性调整传递效率,并在信号消失后保持传递效率。而模仿此类运作模式的类脑芯片便可实现数据并行传送,分布式处理,并能够以低功耗实时处理海量数据。

推荐文章
暂无评论
暂无评论~