元宇宙有望调动用户五感
目录
方兴未艾的元宇宙和VR头戴式设备
在虚拟现实 (VR) 和增强现实 (AR) 蓬勃发展的同时,一个更加广泛的概念已悄然兴起,即元宇宙。不同于本质上基于视觉的AR和VR技术,元宇宙有望触及用户的所有感官,让现实和数字世界的融合体验更加丰富。
人类是典型的视觉动物,因此本质上基于视觉的VR和AR技术将成为构建元宇宙的基本要素。
传感器是实现虚拟体验的基础
VR的实现某种程度上依赖于眼镜;AR则使用眼镜和头戴式设备;而元宇宙将通过可穿戴设备来定义,其中AR设备仅作为提供体验的一部分。
尽管VR和AR本质上是视觉体验,但运动和定位传感器依然是其中不可或缺的赋能元件。这些传感器有很多重要作用,比如监测VR / AR / 元宇宙用户在现实空间中的位置,以保障其安全;跟踪用户的移动,以a) 保证用户在现实空间中的安全和b) 将用户的动作转化到虚拟世界。
用于检测环境和定位的传感器包括:
- 检测线性运动的加速度计
- 检测旋转运动的陀螺仪
- 高性能感知方向的隧道磁阻 (TMR) 磁力计
- 检测垂直定位/高度的压力传感器
- 协助测距和物体检测的飞行时间 (ToF) 超声波传感器
- 检测和识别物体的激光雷达/雷达
- 语音交互用的MEMS麦克风
- 感知环境的身体/环境温度传感器
- 用于物体检测及ToF的视觉传感器
三轴加速度计和3轴陀螺仪组合使用可检测六自由度 (6DoF) 的运动,集成3轴磁力计后可实现9DoF传感。
尽管所有这些传感器已在汽车行业应用多年,用于运动传感、定位和/或物体检测等,但并非所有传感器都在VR / Ar中普遍使用。比如,新近出现的ToF传感能力;尽管VR/AR应用开发人员正在采用该技术进行空间定位,但其潜力远不仅于此,需要更多的学习和尝试才能充分发挥其优势。当下几款畅销的智能手机都已集成了面部识别的激光雷达,不难想象,激光雷达也将在AR和元宇宙应用中大放光彩。
更多信息,请参见:
适用于元宇宙的传感器
元宇宙最终将涵盖所有五种感官。
视觉:和智能手机一样,相机一直是AR系统中不可或缺的的元件,同理元宇宙应用中也势必沿用。
听觉:语音识别已经很常见,许多IoT设备都支持。麦克风作为VR/AR/元宇宙头戴式设备中的标配,出于同样的理由,也必将出现在可穿戴设备中。
触觉:将运动检测、定位和物体检测传感器的数据馈送到各种触觉设备中,比如从手环到手套再到半身装备或全身套装等,可实现触觉传感。TDK在开发的触觉技术不仅能传达触碰的力度和手感,还能传达物体的纹理。
嗅觉和味觉:TDK目前正在开发CO2检测仪,以警告多数人自己无法感知的潜在有害环境条件。还能提供可检测不同化合物的其他传感器,有些甚至能准确识别化合物的浓度。这些传感器无法向用户传达视频游戏中美食的气味或味道,但通过一组气体和化学物质检测仪能告诉用户真实世界中的食品是否安全,或通过芳香来检测和识别花朵。
元宇宙更倾向于模块化结构设计,并涉及许多不同的可穿戴设备,以便根据个人选择的元宇宙应用及其预期的体验沉浸程度进行个性化组合。
AR和VR的全新显示器
显示器就是VR和AR中的一种基础元件。VR通常在眼镜中封装LED显示器(类型之一);AR设备的构建方法虽然各不相同,但通常需要将微型数字显示器安装在用户视野的某个位置,或者将数字内容投影到头戴设备的镜片上。元宇宙体验将依赖于AR设备与可穿戴技术的结合使用。
TDK新近推出了一种新的投影技术选项,即通过一种小巧轻便的激光模块将全彩数字图像直接投射到用户的视网膜上。
这种新技术组合了由激光元件发出并且穿过平面路径的各种光线,可在超小型激光模块内实现约1620万种颜色的全彩显示。
当前的AR硬件不仅笨重,而且外观欠佳。借助我们的新型小型激光模块,有望构建更小巧、重量明显更轻的VR和AR头戴设备。
这项技术还具有的额外优势,即画面质量不受用户视力好坏的影响,即使视力欠佳的用户也能畅享清晰影像。
更多信息,请参见:
-
激光模块:AR领域
阅读更多
传感器融合和赋能软件
来自这些不同传感器的数据必须经过处理,同时用来整合这些数据的软件也有待持续完善,以便带给用户逐渐丰富、更加愉悦和安全的体验。
其中,使用超声波传感器就是典型的完善示例之一。TDK SmartSonic技术通过集成超低功耗的SoC为TDK的ToF传感器增添了智能功能,可为系统开发人员提供预处理数据,比如附近目标的距离、存在性检测等。
通过对比来自不同传感器的数据可得出最优结论。举例来说,假如VR系统的压力传感器检测到用户的头戴式显示器保持在同一高度,而6DoF传感器检测到头戴式显示器从0度倾斜到45度,系统便可通过对比高度数据和倾斜数据来推测出用户正在向上看,但并未站起、坐下或蹲下。
当然,传感器融合远不止于简单的数据对比,需要将多个不同传感器的数据组合在一起,以获得比任何一个传感器单独使用时更准确的结果。TDK的定位传感器模块不仅结合了陀螺仪、加速度计和磁力计的数据;而且每个传感器的数据并非简单的对比,而是结合在一起以提供关于俯仰、偏航、翻滚和线性方向的准确数据。
传感器融合非常复杂,其中丰富的经验是一项巨大的优势。TDK为汽车和工业自动化市场提供了齐全的传感器套件,协助开创了传感器融合的先河,并将自身在传感器、嵌入式处理器和软件开发技能方面的专业知识运用到VR/AR/元宇宙市场。