安上 3 张硬纸板后,不忍直视的壮汉撒娇立马对味儿了:
没错,就是这样平平无奇的纸板:
这样一个看上去分分钟就能 DIY 出来的纸板,居然能用来捕捉动作?
没错,不仅能,而且质量相当可以 —— 通过这种全身跟踪技术生成的虚拟模型十分灵活,玩个《节奏光剑》毫无问题:
这就是基于视觉定位系统,AprilTag 所实现的 VR 全身跟踪系统。
整个项目开源免费,设置流程也非常简单:
(基本所有的连接和校对工作,全都可以用 GUI 界面快速完成)
那么接下来,就来一起看看这款 VR 全身追踪器的使用方法吧。
首先,我们需要打印这样一张图片:
这张看上去像是简化版二维码的图片,其实是包含了不同 ID 的特定标签。
将这种 Tag 放在待检测对象身上后,Apriltag 就能检测并返回其 ID,再计算得到 Tag 与相机之间的相对位置,最终达到定位的目的。
所以,我们将这张 Tag 图片打印出来,并沿红线剪开,沿蓝线折叠,再粘贴在硬纸板上。
最终就制成了 3 个简易的跟踪器:
接下来安装 SteamVR 驱动程序:
安装完成后,先在电脑上运行 Apriltag 追踪器:Start _ apriltagtrackers.bat。
这时,根据你的需求设置特定的摄像头参数。
比如输入高度或宽度参数来控制摄像头窗口的大小,或设置相机的曝光度。
紧接着就是校准摄像机。
当摄像机窗口打开时,慢慢移动相机,使其每隔几秒就从不同角度拍摄一张图片:
在校对的圆点为紫色,并且网格也尽量稳定地分布在整个图像之上时,摄像机校对就完成了。
然后在两腿及臀部穿戴好设备,开始校对追踪器:
其中黄色表示正在添加,红色表示不能添加,绿色标记表示已经添加。
在确保自己穿戴的所有跟踪器都被以绿色标记后,准备连接到 SteamVR:
连接完成,现在我们终于可以进入 VR 世界了!
那么,这个帮我们实现了全身跟踪的 AprilTag 到底是什么?
这是由密歇根州立大学的 April 实验室于 2011 年开发的一款视觉定位系统。
▲ 图源 Apriltag 官网
而名字中的 Tag 则是一种拥有单一 ID 的视觉定位标志符。
官方提供预先生成的 Tag 图像,用户也可以使用官方工具 AprilTag-generation 自己生成 Tag。
而 AprilTag 算法的主要内容则包含边缘检测、四边形检测,以及对 Tag 的编解码:
对于这一系统,April 实验室到目前为止共发表了 4 篇论文,其中最近的一篇发表在 2019 年的 IROS 上:
这篇论文描述了一种比 AprilTag 2 和 ArUco 更快的检测器,在保持精度的同时,还拥有更高的召回率。
同时也提出了一种允许非方形形状(如圆形、环形)的更加灵活的 Tag 布局。
现在,AprilTag 正广泛应用于 AR/VR、机器人、相机校准领域。
下载:
https://github.com/ju1ce/April-Tag-VR-FullBody-Tracker
演示:
https://www.youtubemy.com/watch?v=Akps-dH0EeA
教程:
https://www.youtube.com/watch?v=vhTF5ECTpKc
Apriltag 官网:
https://april.eecs.umich.edu/software/apriltag.html