VR/AR中的“眼观六路耳听八方”

润欣科技
关注

交流与互动

人与人之间的交流、互动,是通过我们的语言、耳朵、鼻子、眼睛等实现的,这些都可以看作是传感器。

互联网物联网时代的来临使得人类的交流采用了新的方式:命令界面 - 图形用户界面 - 多媒体界面 - (VR)虚拟现实 - (AR)增强现实 - (MR)数字化现实+虚拟数字画面

人们总是希望机器更好的完成人类复杂繁琐的工作,也一直在各种传感器方面努力研究,追求做到更快,更逼真,更精准。

传感器分类

机器人传感器主要包括机器人视觉、力觉、触觉、接近觉、距离觉、姿态觉、位置觉等传感器。可分为内部传感器和外部传感器两大类:

内部传感器是以机器人本身的坐标轴来确定其位置,安装在机器人自身中,用来感知机器人自己的状态,以调整和控制机器人的行动。内部传感器通常由位置、加速度、速度及压力传感器等组成;外部传感器用于机器人对周围环境、目标物的状态特征获取信息,使机器人和环境发生交互作用,从而使机器人对环境有自校正和自适应能力。外部传感器通常包括触觉、接近觉、视觉、听觉、嗅觉和味觉等传感器。

AR/VR应运而生

VR—Vitual Reality,虚拟现实,是利用计算设备模拟产生一个三维的虚拟世界,提供用户关于视觉、听觉等感官的模拟,有十足的「沉浸感」与「临场感」。俗话说就是,你看到的所有东西都是计算机生成的,都是假的,纯虚拟画面。典型的输出设备就是Oculus Rift、HTC Vive等等。

AR—Augmented Reality,增强现实,是虚拟数字画面加上裸眼现实,被讨论最多的AR设备是Google Glass。

MR——MediatedReality,由“智能硬件之父”多伦多大学教授SteveMann提出,是数字化现实+虚拟数字画面。

2018 年 11 月,西安儿童医院利用微软 HoloLens 辅助完成了儿童颅内血管畸形切除手术。西安儿童医院神经外科主任表示:在传统方法中,医生在看到二维(2D)片子之后,需要通过空间想象来叠加;AR技术本质是影像技术和影像检查的重新展现,并且支持软件加减、叠加,能让手术成功率、精确率进一步提高。

VR和AR是充分发挥创造力的科学技术,为人类的智能扩展提供了强有力的手段,对生产方式和社会生活产生了巨大的深远的影响。随着技术的不断发展,其内容也势必将不断增加,在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。

位置传感器:眼观六路,耳听八方

AR/VR由于是眼镜形态,一旦速度太慢、没跟上用户的运动速度,就会使用户产生眩晕感,体验感糟糕。这需要一个效能比较好、高精准度的陀螺仪及加速传感器产品来解决这个问题。Hillcrest 的BNO08X正好就是一款性能很好的软件搭配硬件的九轴传感器,使得眼镜中看到的画面非常顺畅,用户停下来的时候,画面也不会摇摇晃晃。

为了显示精确的画面,当你环顾周围时,头盔必须以亚毫米级的精度跟踪你的头部运动。这是通过各种内置传感器来实现的。有了这些传感器提供的各种数据,头盔就可以实现真正的“六自由度”,跟踪头盔可以跟随头部做出的任何运动。(注:物体在空间具有六个自由度,即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度)

磁力计可以测量地球的磁场,因此总是知道“磁北”在哪个方向。这样就可以确保它指向的是正确的方向,防止出现“偏移”错误——即头盔以为自己朝着某一个方向时,其实朝着的却是另一个方向。

加速度计有几个用途,一个是检测重力,让头盔知道上方是哪个方向。智能手机自动转换横竖屏,靠的就是加速度计。而且正如它的名字所说,它可以测量沿着一个轴的加速度,因此它能提供有用的数据,让头盔知道一个对象运动的速度。

陀螺仪可以跟踪沿着一条轴的微小偏移(例如你稍微倾斜头部或点头的时候),来提供更精确的物体旋转信息。三星Gear VR没有采用更先进的红外跟踪方法,而是使用了惯性测量单元(IMU),它是集磁力计、加速度计和陀螺仪为一体的“多合一”设备。与大多数智能手机不同的是,这个IMU是专门用来减少滞后现象和改善头部跟踪性能的。还有产生3D音频的耳机,这样游戏就可以添加相对于你的位置的音频提示,让你可以听到好像是来自后面、上面,甚至下面的声音。

BNO085 九轴传感器+融合算法

智能魔戒,智能手套等产品凭借多重触控界面和惯性传感器,可轻易识别并检测用户的手指动作和手臂动作,轻松操控身边各种电子设备,并提供诸如遥控、鼠标、触控板、以及增强/虚拟现实设备控制器的功能,为用户带来强大的操控体验,彻底将人们从显示屏或摄像机面前解放出来。

随着AR、VR和MR等沉浸式技术正在快速发展,一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D界面转移到更身临其境的3D世界,从3D捕捉更丰富、更平滑的图景,从3D获得新的体验。影响面包括商业、店内体验、聊天机器人、虚拟助理、区域规划、监控等,人们将从只使用语言的功能升级到包含视觉元素在内的全方位体验。AR将超越VR,并满足用户的需求。

BNO08X将Hillcrest Labs专有高性能MotionEngine处理软件,以及加速度计、磁力计、陀螺仪、低功耗32位ARM Cortex MO+MCU等封装在一个系统中,支持增强型传感器融合算法,特别适用于VR/AR和3D音频领域。

运行 Hillcrest 的 SH-2 固件,它包含的MotionEngine 软件提供复杂的信号处理算法来处理传感器数据,并提供精确的实时 3D 定位、航向、校准加速度和校准角速度以及更多高级上下文输出。不仅如此,Hillcrest最高质量控制器方位和位置跟踪的 6DOF IMU解决方案,即便控制器位于摄像头视野范围外,BNO08X也能从控制器和头显中获取精准的位置。BNO08X使用SHTP (传感器集线器传输协议)为UART-RVC以外的所有接口(SPI,IIC,UART-SHTP)样式进行通信, SHTP提供了一种在BNO08X和支持多通道的主机之间传递数据的方法。对于需要高动态精度、低延迟和上下文/事件分类功能的应用,建议使用BNO085。

【技术分享】VR/AR中的“眼观六路耳听八方”

【技术分享】VR/AR中的“眼观六路耳听八方”

文章来源:润欣科技Fortune微信公众号

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存