李国杰院士:并行计算将迎来“寒武纪”大发作

360截图20200328094438736.jpg

克日,中国工程院院士李国杰示意,并行盘算现在已经处在一个全新时代,无论是指令级处置手艺照样多核处置手艺,通用处置器固有的低效率和缩放比定律、摩尔定律正在终结,使得处置器架构师和设计者已经不太可能在通用的处置器上再保持显著的性能改善。下一个十年,将泛起一个全新的系统结构的“寒武纪”大发作,学术界和工业界的盘算机架构师将迎来一个激动人心的时代。

高性能盘算通常指并行盘算,即协同多个处置器执行统一义务的盘算。现在并行盘算也就是高性能盘算正在进入系统架构的大变革时代,而这大变革是“硬件、软件和算法同步演进”。

李国杰示意,系统结构的改善必须与并行算法、并行软件同步举行,越是高层的改善获得的效率提高就越大。不管是突破摩尔定律照样冯诺依曼瓶颈,都必须跨条理举行。以是,未来几十年一定是并行盘算的黄金时代。

李国杰以为,并行盘算生长需要一些新的思绪。一是要有全新的思绪挖掘片内并行性。片内多核并行和传统的并行盘算有很大差别,片内的通讯速率远远高于芯片间或机柜间的通讯速率,而芯片的I/O引出腿有限(最多只有几千个),片内可设置的存储器也有限,约束条件有很大改变,必须有全新的思绪挖掘片内并行性。

二是要将局部性与并行性同时作为思量目的。现在我们只注意到扩展并行,然则由于扩展并行会导致访存瓶颈恶化,这成为高性能盘算算法设计的核心问题。以是我们需要通过并行算法模子和实现优化上不断创新,将局部性和并行性同时作为思量的双重目的。

三是低功耗已成为比提高性能更主要的目的。降低超级盘算机的能耗是研制E级盘算机的最大难关。并行算法和并行软件设计必须紧紧围绕这个主要目的。仅仅是提高了加速比,但若是能耗增添的倍数跨越性能提高的倍速,这种并行算法和软件没有推广前途。

四是并行盘算的通用性。只管现在专用盘算机的性价比和能效比都高于通用盘算机,然则超算中央共享的超级盘算机仍要思量通用性。现在智能加速芯片已有 KPU、IPU、MPU、NPU、QPU、SPU、TPU、VPU、WPU、XPU等十几种。我们在注重单项性能的同时要关注功效集成和可重构,争取提高并行盘算的通用性。不管是芯片照样并行算法和软件设计,不能只满足于对某一个小应用的性能提高,应当思量笼罩整个应用的局限是另一个主要的思量维度。

五是要顺应不确定负载。随着大数据人工智能的推广,我们应对的负载是动态的和不确定的。上世纪60年代,从科学盘算的负载中归纳出定点与浮点,这是盘算手艺的重大突破。现在需要对新的负载做科学抽象,智能应用的负载大多是动态转变、不确定的,例如交通控制、股市买卖等,我们需要从林林总总的应用中归纳出通用性强的指令系统、微系统结构、执行模子和API界面。顺应不确定负载的系统结构可能是异步执行的结构,没有牢固的时钟频率,甚至也没有程序计数器。数据流盘算模子(DataFlow)执行模子可能是出路之一,也许能从互联网异步协议中获得启发。

六是并行盘算的软件和算法开发从手艺驱动转向应用驱动。已往的盘算机科学家有搞编译的学者,他们的头脑逻辑以为用户并不知道需要什么手艺,以是盘算机科学家要引进新的语言,设置新的语言,研制新的编译手艺,创新系统结构,解决并行的问题。学者们自己以为“伶俐”的解决方案推送给用户,问题是用户并不会用,也不太愿意学习这些学者们提供的方式。

现在新的科研途径是应用拉动的,是top-down研究方式,盘算机科学工作者应当和应用领域专家一起开发要害的并行应用程序。我们提供必须的硬软件平台工具,明白用多种语言写的并行软件,在开发要害应用软件时,要以现实观察到的常用模式指导研究。

事实上,美国的超算生长走的就是需求、应用驱动的门路。美国超级盘算机研制一样平常是先有盘算需求,凭据需求设计超级盘算机,而中国是先研制超级盘算机,全力提高性能,盘算机做好后再找应用。中国研制门路的利益是可能会比美国更早研制出E级机,瑕玷是软件和应用成为短板,需要大大增强并行算法和软件开发力度,加大应用推广力度。现在,我国大型科学盘算的应用软件基本上都依赖入口。我国的超算经费用于应用软件开发的比例不到10%,美国响应的投入资金约为中国的6倍。

以美国能源部的超级盘算机Summit项目为例,在Summit盘算机交付之前,已经成立了25个应用软件的研发小组,设计可在E级盘算机上运行的应用软件。美国能源部ECP设计是否乐成的指标不是inpack性能,而是这25个应用性能的“几何平均值”(相乘后开25次方),这意味着其中任何一个应用的性能都不能很差。若是有一个应用是0的话,其他最好的是100分,最后再平均值照样0。

最后,李国杰院士示意,人类应该从更宽泛的维度来看待盘算机科学,已往很多人以为盘算机手艺是其他领域的工具,但事实上,盘算机科学不仅是工具,而且是方式论,是解决天下难题的定理与观点。

“盘算机科学家与其他领域的科学家密切互助,已成为现代科学研究的特点。”李国杰示意,盘算机科学手艺不仅仅是其他领域的“工具”,而是熟悉未知天下的知识源泉之一。其他领域的学者运用普遍盛行的算法和软件也可能会解决一些局部性的问题,获得一些渐进性的改善,但要获得算法上的根本性突破,需要与真正懂算法的盘算机科学家深度互助。

为此李国杰谈及了他的老朋友中国工程院的外籍院士、Princeton大学教授李凯,最近这几年李凯一直和脑科学家互助,解决脑科学的剖解成像等问题。已往脑科学家用现有的手艺重构一只老鼠的大脑需要7000年。现在通过接纳新的算法、新的模子之后,数据剖析时间缩短为20万分之一,若是仅仅是脑科学家自己,没有可能提升云云快的速率。

声明: 本文由入驻基智地平台的作者撰写,观点仅代表作者本人,不代表基智地立场;基智地发布此信息的目的在于传播更多信息,与本站立场无关。