用光速跑云端AI推理!美国公司推光子芯片,商业产物明年见

2020-08-31 网络
浏览
[科技新闻]用光速跑云端AI推理!美国公司推光子芯片,商业产物明年见

原标题:用光速跑云端AI推理!美国公司推光子芯片,贸易产物来岁见

芯东西(民众号:aichip001)

编 | 心缘

AI芯片的下一个立异点在哪儿?光子盘算也许能供应新的启示。

芯东西8月31日报导,在刚闭幕不久的Hot Chips 32大会上,脱胎于麻省理工学院的始创公司Lightmatter展现了用于通用AI加快的光子盘算测试芯片。

该处置惩罚器运用硅光子和MEMS手艺,以光速处置惩罚矩阵向量乘法,由毫瓦级激光光源供电。

据悉,在雷同芯片面积上,光子器件的速率比电子器件快1000倍,而功耗唯一电子器件的1/1000。

Lightmatter于2017年在马萨诸塞州波士顿市建立,现在有46名员工,已从Google Ventures等投资方处融资3300万美元,具有30项专利。

作为最早面向AI推理定制光子芯片的公司之一,Lightmatter将于2021年秋季推出其首款贸易产物——搭载光子盘算芯片的PCIe卡,专为数据中心AI推理事情负载而设想。

一、能效提拔 20 倍,吞吐量提高 5 倍

得益于硅光子手艺的提高,硅芯片上的光传输成为可能。

光子芯片经由过程采纳与传统基于晶体管的电子器件完全差别的物理学道理,可完成更快的机能、更低的能耗。

Lightmatter首席实行官尼克·哈里斯称:“我们能够运用现有AI数据中心,将能耗下降为本来的1/20,将物理空间削减为本来的1/5。”

据他引见,这只是Lightmatter正在打造的第一代产物,将来另有很长的路线图。

哈里斯强调,此次展现的测试芯片只是作为其手艺的演示,并不是为了在基准测试中有精彩表现。

但他对峙以为,在现实运用中,该演示芯片仍将击败AI加快范畴的市场领导者——英伟达A100 GPU。

据哈里斯引见,与A100比拟,其光子芯片在BERT和ResNet-50推理等事情负载上可供应20倍的能效和最少5倍的吞吐量。

二、格芯代工,采纳 3D 封装堆叠

Lightmatter的芯片由两个垂直堆叠的芯片构成,全部芯片面积为150平方毫米,两个裸片均由格芯规范CMOS工艺制作,包含凌驾十亿个FinFET晶体管、数万个光子算术单位和数百个纪录设置数据转换器。

上方是一个12nm ASIC(Lightmatter副总工程师Carl Ramey在Hot Chips演讲时引见的是14nm ASIC),用于存储内存和掌握下方作为盘算引擎的90nm光子芯片裸片。

该光子处置惩罚器具有64 x 64光子矩阵向量乘积盘算器,可在规范数据中心事情温度下运转,总耽误时间不到200皮秒(1万亿皮秒=1秒),比晶体管盘算要快几个数目级,晶体管盘算须要多个时钟周期。盘算引擎由50兆瓦的激光驱动。

哈里斯以为,这类低功耗光子盘算芯片的上风之一,是能够与掌握/内存ASIC举行3D堆叠。

基于晶体管的盘算芯片会披发过量的热量。堆叠的芯片缩短了ASIC上的操纵数存储区与光子芯片上的盘算元件之间的轨迹线——从数据转换器到光子盘算引擎的间隔不到总途径的1毫米。反过来,这下降了耽误和功耗。

哈里斯说:“这里有一个很好的正反馈轮回”, “节约功耗使我们堆叠,而堆叠能够节约更多功耗。”

三、更高速率、更低功耗是怎样完成的?

Lightmatter光学盘算阵列由DAC和ADC模块封装,作为与数字电路的其余部分的接口。

,科技前沿,

DAC吸收数字输入信号,将其转换为模仿电压,并运用该电压来驱动激光器(该手艺已在光纤发射器中普遍运用)。

来自该激光器的光,在进入马赫曾德尔过问仪(MZI)后,相干光分为两束,每半束光的相位调解差别,将具有差别相位的光束组合会致使相长或相消过问,从而有效地调制经由过程MZI的光的亮度(该调制可被视为乘法运算)。

在波导(承载光的“电线”)相遇的地方,信号被有效地加在一起,这是光MAC的基本。

盘算阵列输出的光抵达光电二极管,经由过程机械手腕完成MZI中的症结操纵,转变光的相位。

Lightmatter副总工程师Carl Ramey在Hot Chips演讲诠释说,其光子芯片运用了纳米光学电机体系(NOEMS)。

与MEMS器件相似,波导构造经由过程在下面蚀刻而悬浮,然后经由过程向其上方和下方的电容器板增加电荷来偏转。这胜利地转变了光的相位所需的数目,而且所需功率极低。

“NOEMS装备具有一些异常惊人的机能,” Ramey说。“它们的斲丧极低,静态功耗险些为零。我们只是将一些电子倾倒到小电容器上,险些没有走漏——电容充足小,致动所用的动态功率也很小。(构造)也能以相对较高的速率启动,最高可达数百兆赫。”

Ramey说,Lightmatter的演示芯片具有64 x 64盘算元素,但能够很容易地扩大范围。

据他引见:“相似于基于晶体管的脉动阵列,盘算量与面积成线性比例关系,“耽误也跟着阵列的尺寸而缩放。因而,在一个典范的流水线晶体管设想中,您须要64个时钟周期来实行这些操纵,从左到右。我们的耽误也随阵列尺寸而定,然则速率要快三个数目级。因而,即使是1000 x 1000的阵列,其耽误也会远低于纳秒。”

风趣的是,光子盘算阵列斲丧的功率与面积的平方根成比例。这是由于功耗重要归因于数据转换。

“当我们将每一个新元素增加到阵列中时,我们将取得更高的机能,然则我们只须要支付功率平方根的价值即可。” Ramey说,“因而,我们制作的芯片越大,现实上它们的效力就越高。这与电子体系有很大差别,电子体系只是线性扩大:机能越高,功耗越大。”

除了与盘算相干的能量外,另有与在芯片四周挪动数据有关的能量(现今基于晶体管的大型AI芯片在硅片上挪动数据可能要斲丧50-100W功率)。

而经由过程光学盘算,以光学体式格局挪动数据,意味着不须要电源,从而节约了许多钱。

结果是,光子盘算装备的运转功耗不到3W,仅是其他盘算方法每次推理操纵所斲丧能量的一小部分。

四、支撑同时实行多个 AI 推理使命

光子盘算的另一个风趣功用是并行处置惩罚才能。

与光通信中运用的手艺相似,能够将多个自力的数据流编码到差别波长的光上,并同时馈入盘算引擎。

这意味着光学盘算芯片能够同时实行多个AI推理使命。

“这是光子盘算的一个异常奇特的特征,” Lightmatter首席实行官Nick Harris说,“这意味着您有一个物理资本,一个处置惩罚器,但它的作用就像一排处置惩罚器。”

虽然指定的光谱(1310至1600nm)在理论上能够合适最少1000路,但哈里斯说,因激光手艺还不成熟,现在仅支撑8路。

结语:落地将是困难的应战

据悉,Lightmatter的目的客户是现今的数据中心,包含高机能盘算等可扩大体系。

自动驾驶手艺是一个悠远的将来发展方向,不过哈里斯认可,进入这一范畴所需的可靠性工程将是“一项困难的使命”。

Lightmatter具有完全的软件客栈,支撑TensorFlow、PyTorch、ONNX等机械进修框架。

哈里斯说,他们的目的是在两个机械进修框架之间完成即插即用。

关于始创企业而言,主要应战之一多是怎样使持怀疑态度的客户明白和接收光子盘算的全部观点。

怎样做到这一点呢?哈里斯回应称:“这是一个困难的应战”。

他引见道,自1960年代以来的盘算历史上,从来没有一种手艺庖代过电子晶体管做盘算,人们已尝试过,但从未胜利。

“我以为这是您第一次看到它的完成,而我们贩卖它的体式格局就是经由过程展现它的运转。”哈里斯说。

强监管下电子雾化行业的升级之路 | 冰与火——新型烟草的合规之路

所以监管烟草产品的思路不是去证明它是安全的,而是证明在社会公共健康的层面,引入新烟草产品能够提升公共健康水平。 从这个层面来说,如果申请人能证明新的电子烟比传统的烟草危害更低,能够让传统烟草的烟民转化到电…