原创 Arm分享:从科幻到现实,移动端全息显示盘算的生长提高

2020-11-06 网络
浏览
[科技新闻]原创 Arm分享:从科幻到现实,移动端全息显示盘算的生长提高

原标题:Arm分享:从科幻到现实,挪动端全息显现盘算的生长进步

映维网 2020年11月06日)你也许没有注意到,但全息图早已存在于我们的一样平常生活当中。由于难以复制,模仿全息图被普遍用作信用卡、银行单子、驾照和浩瀚运用的防伪步伐(见图1)。

跟着盘算才能的进步和加强现实等新用例的涌现,数字全息显现的研讨和开发一样在不停地举行。在展现先进视觉化将来的时刻,一众热点的科幻电影和电视都有遭到全息显现的启示,比方《星球大战》、《少数派报告》和《星际迷航》等。但全息显现真的是一个悠远的将来吗?在这篇博文中,Arm的软件工程师主任罗伯托·洛佩兹·门德斯(Roberto Lopez Mendez)引见了有助于挪动处置惩罚器支撑全息显现的算法与盘算进步。下面是映维网的细致整顿:

图1:钞票(左)和信用卡(右)都有运用全息图作为防伪手腕。

我们起首来看看典范全息图的发作历程:

1. 纪录和再现全息图的劈头

在盘算机时期之前,模仿全息图的纪录和再现体式格局与黑胶唱片相似。在这个历程当中,两束激光束照耀目的对象(图2)。由此发作的过问图(全息图)编码了对象的团体(“全息”)相位信息,并以极高的分辨率纪录在感光胶片上。当用激光照耀胶片时(图2),发作的衍射会再现一个播放场,而它在眼睛看来是一个三维图象。这个图象完美地再现了所纪录的对象,由于它保留了原始场景的深度、视差和其他属性。作为一位物理学家,这是我在大学进修全息术时所熟知的历程。

图2:典范全息图的建立(左)与播放(右)。图源:VividQ。

在上一篇博文中,我们引见了Arm与英国始创企业VividQ杀青合作,配合致力于协助花费电子产品完成数字全息显现。在盘算全息(Computer-Generated Holography;CGH)中,过问图案是依据种种数据源(从游戏引擎到深度觉得摄像头)并以数字体式格局生成,然后再经由过程一个微型显现器举行显现。个中,所述显现器相称于典范全息图中的感光胶片,而且在用激光照耀时可以一样地再现三维图象。但CGH的盘算量异常庞大,在过去一副数字全息图象的生成须要斲丧数天时候。当第一次接见离Arm剑桥总部不远的VividQ时,我几乎不敢相信眼前的统统。采纳VividQ软件完成的全息显现器原型可以在我眼前及时地投射出一个Unity动画场景的3D全息视频。我觉得异常难以想象。下面我们来看看这统统是怎样完成的。

延长浏览:Arm与VividQ合作,在Mali GPU中兼容全息显现手艺,提拔AR体验

2. 数字全息术的反动:基于疾速傅里叶变更(Fast Fourier Transform;FFT)的全息图生成

传统的盘算全息术是用基点盘算(Point-Based Compute;PBC)来完成。三维假造对象可以示意为点云,点云照顾色彩和深度信息。在PBC中,盘算假造对象的每一个点到显现器的每一个像素的光芒,并将相干值相加。这一历程所需的盘算才能异常庞大,而且会跟着分辨率的增大而急剧扩大:约莫须要O(N4)运算,个中N是显现器的边长。

业界直到数年前才真正提出了现实的解决方案,而这个打破就像是从模仿音频处置惩罚到数字音频处置惩罚的改变。关于音乐,数字化历程以牢固的时候间隔对音频信号举行采样。比拟之下,全息范畴的新举措是对三维假造对象的深度切片举行采样。图3总结了用于全息投影的切片历程和过问图(全息图)的生成。

图3:基于FFT的CGH管道

在切片历程当中,点云的每一个点被分别为深度层。鄙人一步中,深度层将从新采样并栅格化为深度网格。在这个阶段,每一个深度栅格包含处于雷同深度的点。在现实运用中,每一个深度网格可以看做是一个二维图象,而每一个深度层的点可以有效地视为像素。这类分层要领许可我们将盘算全息问题简化为具有O(N2 log N)时候庞杂度的疾速傅立叶变更问题(个中N是显现器的边长)。接下来,我们举行色度网格分别,将深度网格分别为RGB通道。然后应用FFT对深度网格举行衍射盘算,而且生成全息图。每一个RGB通道都须要自身的FFT盘算,由于衍射速率取决于每一个色彩波长。末了,将RGB通道全息图兼并成单色全息图。

当生成全息图(过问图)后,我们应当在那里纪录或打印并用激光束重修及发作全息投影呢?数字手艺已在这一范畴取得长足的进步,所谓的空间光调制器(SLM)庖代了模仿胶片。SLM可以动态显现盘算出的衍射图样,并在用红绿蓝三种激光二极管照明时发作全息投影。

显著,这是全息图生成历程的一个简朴版本,我们在这里没有斟酌与显现器自身相干的手艺应战。但是,我们可以看到所需的盘算才能将随深度层的数目和深度网格的分辨率提拔而增添。跟着层数的增添,我们可以预期FFT盘算的权重将越发显著。GPU在并行盘算方面异常精彩。它们可以充分应用运算才能,而高端GPU的运算才能一般更加壮大。这就是为何本日全息图生成历程的引荐盘算单位是GPU的缘由。

在接见VividQ时期,我尝试了团队研发的全息头显原型(图4)。这家公司已为相干的软件和参考设想申请了专利,并愿望加快全息显现在AR头显和智能眼镜、汽车平视显现器和花费电子产品范畴的大规模采纳。

图4:VividQ的双目全息头显原型,头显上方是一个深度传感器。

现在,VividQ的全息头显原型会接入到一台PC,而后者运转的相干程序可以衬着来自Unity或Unreal等游戏引擎的假造内容。假造内容的色彩和深度信息会发送到CGH管道(图3)。当在环境中投射全息图时,所述装备同时会运用深度传感摄像头的信息来完成假造与实在和实在与假造的遮挡(图5)。FFT盘算在GPU中举行。

,科技前沿,

图5:在差别间隔捕捉的三维全息投影。

尝试VividQ的全息头显是一次使人大开眼界的阅历,由于当CGH只存在于科幻作品形貌的的将来时,我的全息学问就跟着我的大学毕业而停止。这一次接见令我意想到全息手艺自80年代以来已生长到什么水平,但另有更多的欣喜在等着我。

3. 挪动端的及时CGH:是科幻照样现实?

将CGH从桌面端带到挪动端似乎是一项困难的使命。假如在具有壮大CPU和GPU的桌面端完成CGH已是一个庞大应战,将全息图生成转移到挪动装备另有意义吗?但是,假如我们细致思索,假如我们愿望看到及时全息显现器的普遍采纳,转向挪动端显著是下一个自但是然的步骤。

相似的历程已在假造现实发作。假如你关注这个行业的生长,你应当会晓得于2016年面世的Oculus Rift和HTC Vive。这类系留头显须要接入一台功能壮大的PC,然后才可以以每秒帧数(FPS)的高分辨率为每只眼睛衬着假造场景。但我们在2018年看到了第一代VR一体机Oculus Go,并在厥后见证了异常胜利的Oculus Quest。一体机的情势意味着它包含了供应假造现实体验所需的统统组件,不再须要外接装备。这一外形的装备上风异常显著:不再须要线缆,装备可以随身照顾,功耗更低。一切这统统都是经由过程挪动SoC完成。将CGH移植到挪动SoC可认为我们带来一样的优点,并把这项手艺带到AR的真正将来。在这个将来里,一款外形紧凑的低功耗全息显现器将是必要事项。关于这一点,Arm的Total Compute(周全盘算)计谋将能发挥重要的作用。

4. Arm的周全盘算和ViviQ将怎样塑造全息术的将来?

图6:将来的周全盘算解决方案的差别要素

为了满足在盘算才能和功耗方面不停增进的需求,Arm正在经由过程周全盘算来完成计谋改变:从优化单个IP到采纳全部SoC设想的体系级解决方案视图(图6)。这意味着全部体系应当无缝合作,为低功耗SoC封装的盘算密集型事情负载供应最大机能。这类新要领将剖析怎样在差别的IP块和盘算域之间最好地布置互连的数据和盘算。它不仅包含重要的盘算域(CPU、GPU和NPU),而且会归入软件框架和盘算库来进步它们的机能。同时,诸如Performance Advisor如许的新东西可以辨认瓶颈并协助完成全部体系的最好机能。

这类要领迥殊适用于高机能盘算,如CGH的中心要素FFT。最新的Mali Premium GPU(Mali-G78和Mali-G77),以及主流的Mali-G57都应用了Arm Compute Library(ACL)。这是一个高度优化的底层函数鸠合,包含一个经由过程OpenCL加快的高效FFT盘算完成。FFT在庞杂域中运转,而我们可以运用FP32和FP16浮点精度。硬件后端机能的每一次革新都直接转化为每秒乘法累加运算(MAC/s)的增添,从而转化为FFT盘算机能的进步。这一点特别重要,由于纵然斟酌到预处置惩罚和后处置惩罚操纵,FFT盘算都占全息显现所需总盘算量的60%-90%。

在2019光场和全息显现峰会(2019 Light Field and Holographic Display Summit),VividQ首席实行官达伦·米尔恩(Darran Milne)分享了在2048×1536显现器为指定数目目的层生成单帧全息图象的浮点运算要求要求(表1)。

表1:运用ViviQ及时算法生成单个2048×1536帧的浮点运算要求。

纵然是1280×720显现器,关于传统的基点盘算而言,每帧的盘算需求约莫为7000 GFLOP。关于盘算需求减少了1000倍,这说明了应用FFT和相干Arm库的ViVidQ要领越发高效。重要的是,VividQ的解决方案不仅优化了盘算要求,而且进步了图象质量。VividQ SDK所供应的算法针对差别的显现范例、大小和位深、以及种种图象特征(如高对比度)举行了优化。由于用户或挪用程序可以要求特定数目的输出层,所以关于给定的光学体系和输入场景,你只能运用所需的盘算量。但值得注意的是,简朴场景大概只包含几个位深的数据。这一庞大的灵活性许可运转VividQ软件的Arm-Mali GPU及时托付种种运用的全息图。

下面我们来细致谈谈Arm Mali-G76 GPU的盘算才能。一个Mali-G76内核中包含3个实行引擎,各自具有8个线程,而且每一个时钟周期(3x8x3=72个浮点/周期/中心)可以传送约莫3个FP32指令(MUL ADD)。这意味着三星Galaxy S10中以720 MHz运转的10核G76显卡将供应720x106x72x10浮点或约莫518 GFLOP/s。关于FP16精度,这一数字将翻倍至1.04 TFLOP/s。这是理论上的最大值。在实践中,现实数字会遭到带宽限定的影响,并终究受限于功耗。关于诸如FFT如许的高负载算法而言,我们依旧有望取得理论最大值的相称一部份。纵然我们只盘算每线程每周期单个FLOP,应用率为60%,我们都可以到达100 GFLOP/s。

正如我们所见,原则上带宽不该当是个问题,但现实上它大概会成为一个问题。运用GPU时,假如不进入热撙节和涌现疾速电池斲丧,我们就不大概保持高分辨率和庞杂用例所需的处置惩罚强度。但我们有一些简朴的运用程序,比方加强现实装备中的文本和图标投影,我们可以限定层的数目,并依旧可认为现今的AR显现供应显著的上风。依据Arm支撑团队的评价,三星Galaxy S10的一个切片盘算须要8ms,分辨率为720×1280。这意味着一个全彩色的单层须要24毫秒,而且体系理论上将以40帧/秒的速率运转。这是挪动GPU及时运转CGH的初次演示。VividQ近来展现了他们的全息操纵体系观点(图7)。所述操纵体系具有图标、文本和社交媒体等我们熟习的运用程序,而它们一般只须要2个深度层。

图7:VividQ的全息操纵体系观点。

但全息显现远不止FFT盘算。CPU在内容生成和其他盘算使命中起着关键作用。为了防止瓶颈并完成全息图象的高分辨率,诸如显现器和激光驱动器等差别部份必需有效地合作。周全盘算旨在作为Arm体系范围内设想要领的一部份以满足所述要求,并将协助数字沉醉的下一波海潮成为大概。同时,VividQ团队将继承相干的算法研讨,从而完成比AR可穿着装备更高质量的全息图与全息运用。VividQ的专有全息图模仿东西(由GPU运转)许可差别的光学设置以完成高精度模仿。这使得新光学体系的疾速原型化不再须要硬件试验,并终究带来速率更快画质更优的全息图象(图8)。使人高兴的是,所需的算法变化不会显著影响盘算量,所以这类新型显现器依旧与Arm的周全盘算架构兼容,并在挪动处置惩罚器实现实时机能。

图8:目的图象(a);运用VividQ SDK 4.2.0和规范生成算法建立的全息图象(b);正在开发的高黑电平程序(c)。

5. 总结

盘算机全息的最新生长使得全息显现从科幻变成了现实。全息术和全息显现与现今的三维显现比拟具有很大的上风。从智能眼镜到汽车平视显现器和新的花费电子产品,跟着盘算要领的生长,全息显现可以成为AR贸易运用的一个可行替代品。为了完成其真正的潜力,全息显现必需从基于桌面的盘算转移到挪动端SOC。Arm和VividQ的合作旨在协助挪动处置惩罚器完成CGH。在这里,我们可以连系VividQ在全息拍照方面的深挚软件专业学问,以及低功耗、高机能的Arm IP。VividQ SDK许可跨差别终端支撑及时的高质量CGH,而用于沉醉式盘算的周全盘算要领致力于在机能和功耗方面完成团体体系革新,从而协助将来的全息显现成为现实。

原创 陈根:AI制药颠覆医疗,时机已成熟?

基于疾病代谢数据、大规模基因组识别、蛋白组学、代谢组学,AI可以对候选化合物进行虚拟高通量筛选,寻找药物与疾病、疾病与基因的链接关系,提升药物开发效率,提高药物开发的成功率。 具体而言,科研人员可以使用人…