Meta展示VR/AR领域新研究成果

在Meta Connect 2022上，Meta展示了在VR和AR领域的新研究成果。

Meta的研究旨在持续十年或更长时间，并推动当今VR、AR和AI等技术的发展。在Meta Connect 2022上，该公司概述了许多领域的研究，从Meta的AR头显到神经接口，从3D扫描到逼真的编解码虚拟化身。

增强现实

Meta的目标是在未来几年推出一款时尚、视觉上吸引人但功能强大的AR头显。由于小型化、功率、电池容量和余热方面的技术挑战很大，Meta在开发中正在采取双重战略。

扎克伯格在主题演讲中表示：“眼镜需要相对较小才能看起来和感觉良好。因此，我们正在从两个不同的角度来构建AR眼镜。首先是建立全AR眼镜所需的所有技术，然后努力将其安装到我们所能提供的最佳眼镜外形中。第二种方法是从理想的外形开始，并随着时间的推移努力将越来越多的技术融入其中。”

前者的代号为Project Nazare，而后者是Meta和全球最大的眼镜制造商EssilorLuxottica公司之间的联合项目，并已经推出了一种产品：Ray-Ban Stories，它提供了多种智能功能，但没有内置显示器。

在Meta Connect 2022上，Meta和EssilorLucottica介绍了其眼镜项目和合作的最新情况：Ray-Ban Stories将很快获得免提呼叫联系人或通过软件更新发送短信的能力。

还有一个新功能叫做Spotify Tap。Meta写道：“你只需点击并握住眼镜侧面播放Spotify，如果你想听不同的东西，请再次点击并按住，Spotify会推荐一些新的东西。”

EssilorLucottica可穿戴设备首席执行官Rocco Basilico在主题演讲中宣布，他的公司和Meta正在开发一种新的头显，将打开一个“进入元宇宙的门户”。下一代的Ray-Ban Stories会有显示器吗？扎克伯格和Basilico留下了这个疑问。

那 Nazare 项目呢？

在Meta Connect 2021上，Meta模拟了通过Project Nazare视图的样子。今年，扎克伯格在没有展示的情况下提供了AR头显的另一个预告片。

Meta首席执行官带着该设备的走廊移动，并使用EMG腕带对其进行控制。显然扎克伯格向 Meta的研究主管Michael Abrash发送了一条消息，并录制了一段视频，这两者都使用微手势。这是通过EMG腕带实现的，EMG腕带拦截手腕上的运动脑信号，并在AI的帮助下将其转换为计算机命令。Meta认为这种类型的接口是未来最重要的AR操作概念，与语音控制和手部跟踪一样。

扎克伯格没有说Nazare项目何时会出现。根据一份报告，Meta计划在 2024 年推出它，并在 2026 年将其商业化。

图片来源：拍信网正版图库

脑机接口

Meta研究更新中的另一个块涉及上述 EMG 腕带。Meta依靠这项技术和个性化AI支持未来的AR界面相结合，它能识别情况和行动的背景，并积极支持眼镜佩戴者的日常生活。这应该可以在人与计算机之间实现直观、几乎无摩擦的界面。

Meta写道：“通过结合机器学习和神经科学，这个未来的界面将适用于不同的人，同时通过一个协同适应性学习的过程来解释他们在生理、体型等方面的差异。”

一个视频说明了这一点。在其中，可以看到两名Meta员工通过EMG腕带和手指的动作玩简单的街机游戏。请注意，它们使用的手势略有不同，人工智能从信号和运动中学习并生成单个模型。算法训练得越好，必须移动的手和手指就越少。该系统通过解码手腕上的信号并将其转换为计算机命令来识别该人已经决定的动作。

面向视障人士的AR导航

Meta正在与卡内基梅隆大学（CMU）合作开展一项研究项目，以帮助视障人士在复杂的室内环境中导航。

该大学研究人员使用Meta的 Project Aria传感眼镜以3D扫描匹兹堡机场。他们使用这个环境的3D地图来训练AI本地化模型。因此，由CMU开发的智能手机应用程序NavCog可以通过转述音频指令来引导用户更安全地通过机场。
简单的3D扫描

像MetaQuest Pro这样的MR头显会在设备内部显示物理环境。他们还不能扫描对象并将其另存为3D模型。如果这项技术能成为现实，那么就有可能将真实对象带入虚拟环境。

Meta写道：“从头开始构建3D对象很困难，使用物理对象作为模板可以更容易更快捷。但是今天没有无缝的方法来做到这一点，所以我们正在研究两种不同的技术来帮助解决这个问题。”

第一个使用机器学习，称为神经辐射场或简称NeRF，从几张照片中创建一个非常详细的3D对象。

第二种技术称为逆向渲染，使用此方法数字化的对象会对VR环境中的光照和物理场做出动态反应。

这两种技术的缺点是它们尚未实时工作。然而，Meta认为它们是实现物理对象简单3D扫描的重要步骤。

逼真的虚拟化身对于扎克伯格来说，这是VR和AR的杀手级应用程序。

为此，Meta多年来一直在研究所谓的Codec Avatars，其外观与人类原始版本几乎没有区别。

在Meta Connect 2021 上，Meta展示了第二代Codec Avatars，并展示了全身化身。今年，该技术又进行了一次更新。

Codec Avatars 2.0现在可以在虚拟服装之间切换，而且更具表现力。为了展示改进的表现力，扎克伯格有一个由他自己制作的Codec Avatar。

Codec Avatars营销和使用的最大问题之一是其复杂创建过程，用户必须在特殊的3D工作室中扫描自己。

为了简化个人虚拟化身的生成，Meta正在开发即时Codec Avatars。只需用智能手机对面部进行两分钟的扫描即可。

这个过程的缺点是，完成后的虚拟化身看起来并不像扎克伯格的那么逼真，创建并准备使用虚拟化身仍然需要几个小时的时间。然而，Meta正在努力加快这一进程。

Meta强调，这些项目显示了研究成果，技术不一定要找到产品商业化的方式。Meta写道：“不过，它还是可以窥见未来5到10年该技术的发展方向。”（来源：新浪VR）

转载请标注来源！更多LED资讯敬请关注官网(www.ledinside.cn)或搜索微信公众账号(LEDinside)。