ArchSummit 全球架构师峰会杭州倒计时10天,速来围观! 了解详情
写点什么

人机交互新体验,全新 AR 界面让用户轻松控制画中物

  • 2020 年 12 月 17 日
  • 本文字数:2509 字

    阅读完需:约 8 分钟

人机交互新体验,全新AR界面让用户轻松控制画中物

你是否曾渴望成为画中人?或者是控制画中物?增强现实(AR)作为新一代人机交互平台,或许可以帮你实现这一愿望。


近日,卡尔加里大学、Adobe 研究中心和科罗拉多大学博尔德分校的研究人员创建了一个增强现实(AR)界面 RealitySketch,该界面可用于绘制交互式图形和可视化、可响应的草图。



相关研究以 “RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching” 为题,发表在预印本平台 arXiv 上。


该创新成果还在 ACM 用户界面软件和技术研讨会(ACM Symposium on User Interface Software and Technology, UIST’20)上,获得了最佳论文荣誉奖(Best Paper Honorable Mention)和最佳演示荣誉奖(Best Demo Honorable Mention)。



研究初衷:向学生解释物理现象


近年来,交互式动态草图一直是人机交互研究领域的核心主题之一,它通过对用户进行交互式响应,使人们能够通过一个动态的视觉媒介进行思考和交流。


尽管目前市场上基于 AR 的草绘界面不计其数,但迄今为止开发的大多数解决方案都专注于研究如何将静态图形嵌入到现实世界中。例如 Pronto、SybiosisSketch 和 PintAR,以及 Google 的 Just a Line 或 DoodleLens 等商业平台。


如今,该研究团队开发出了更加丰富的动态素描技术词汇,可以动态地实时创建交互式的动画内容。RealitySketch 平台不仅允许用户创建静态草图,还可以嵌入动态图形和交互式图形,这些图形可以与用户周围的真实对象进行绑定,并对用户的动作做出反应。



图 | RealitySketch 可以使用户通过实时草图绘制实现钟摆运动等物理现象的可视化


想象一下,当我们在钟摆上画一条线,这条线随着钟摆的摆动而移动,这种交互式操作将钟摆的运动进行可视化处理。就如上图中右侧曲线图,形象地将钟摆下方的位置进行了实时的绘制,这种抽象与现实的完美结合,帮助人们更好地理解物理现象。


该研究的作者之一 Ryo Suzuki 表示:“我们的项目初衷很简单,就是通过 AR 交互式草图绘制,使用户能够将现实世界进行可视化描绘。而这个想法最初来源于我们对物理课堂教育的观察,在物理课堂中,老师指导的实验课通常是物理学习的一个组成部分。”


向学生解释物理现象有时是相当具有挑战性的,因为要充分理解这些物理现象,需要学生们想象这些现象是如何发生的,以及它们是什么样子的,而不是仅仅学习与之相关的理论知识。


而由 Suzuki 及其研究团队共同创建的 AR 平台 RealitySketch,允许用户制作动态和响应式的图形,这些图形可以在黑板、墙壁或现实世界中的其他物体上进行可视化展现。


该平台为学生们的物理学习提供了一个全新的窗口,可以帮助物理老师以动感十足的方式,让学生直接观察运动中的物理现象,从而可以帮助学生对课程所涵盖的主题有更深的理解。

动态交互式可响应的图形创建


RealitySketch 基于苹果公司的 AR 开发平台 Apple ARKit 研发,它可以将绘制的动态草图嵌入到真实环境中。用户首先通过手指或数码笔在触摸屏上绘图,然后将他们绘制的草图中的元素叠加到真实世界的摄影机视图上。


Suzuki 说:“在过去,创建这样的可视化场景会经历很多耗时的环节,需要视频编辑、后期制作等独立的步骤。相比之下,我们想弄明白:当现实世界发生变化时,如果这些草图元素能够动态地做出反应,会怎么样呢?"



图 | 嵌入式和响应式草图的潜在示例(绿色元素表示虚拟世界中的对象,黑色元素表示现实世界中的对象)


RealitySketch 最独特的功能是:它利用交互技术,根据真实世界运动的草绘元素进行实时的动画制作。


该方法可以保障用户以用户以实时和即兴的方式,按照以下 4 个步骤来实现图形的创建:


  • 对象跟踪:用户首先要在真实世界的场景中,指定要跟踪的视觉实体(例如,一个物理对象或一个骨骼关节);

  • 参数化:然后,用户通过绘制直线或弧线来定义感兴趣的特定变量,从而对跟踪的实体进行参数化;

  • 参数绑定:用户将这些变量绑定到草图元素的图形属性上(例如,长度、角度等),如此一来,当现实世界的变量发生变化时,就可以实时跟踪其动态行为;

  • 可视化:用户还可以通过几种可视化效果来对现实世界的运动进行交互、分析和可视化处理。



Suzuki 解释道:“RealitySketch 集成了物体追踪和基于 AR 的可视化。首先,它利用计算机视觉技术来跟踪物理对象。当用户在 iPad 上点击一个对象时,系统会根据物体的颜色来跟踪该对象。所有的草绘元素都被绑定到了这些被追踪的物体上,因此用户对物体进行移动、抛出等操作时,草绘的元素也会根据预期表现出的运动进行动画处理。”

AR 作为动态计算媒介,潜力巨大


为调查这一平台的满意度,研究人员招募卡尔加里大学的学生和老师参与评估调研,这些师生对 RealitySketch 非常满意,并且似乎对其增强物理实验的潜力感到特别兴奋。


现在由于 COVID-19 在全球的大流行,很多学生都在网上上课,而 RealitySketch 界面的创建可能价值非凡。实际上,RealitySketch 可以使远程教学更具吸引力,例如,它允许教师录制动态的物理实验视频,并与学生进行分享,这样他们就可以更好地理解老师在讲课中描述的物理概念和现象。


除了在课堂环境中测试他们的平台,研究人员还展示了 RealitySketch 在与教育无关的其他应用领域中的潜力。例如,他们展示了体育教练可以使用它来生成与健身有关的数据,并对其进行实时的可视化处理和分析。



图 | 为 RealitySketch 提议的应用场景的草图


研究人员向篮球运动员展示了篮球的实时运动轨迹,通过对特定的身体姿势制作可视化界面,使他们更加清晰的看到得分过程,也让课堂更加引人入胜。



Suzuki 表示:“我们有兴趣在将来进一步开发该项目,这是 Adobe Research(Rubaiat Habib Kazi,Wei-Yi,Stephen DiVerdi,Wilmot Li)与卡尔加里大学(我)、科罗拉多博尔德大学(我的博士博士生导师 Daniel Leithinger 教授)共同合作的成果。我们相信这项工作将激发更多支持沉浸式创意的研究和产品,并将充分实现 AR 作为动态计算媒介的潜力。”


参考链接:


https://arxiv.org/pdf/2008.08688.pdf


https://techxplore.com/news/2020-12-realitysketch-ar-interface-responsive.htmlhttps://www.youtube.com/watch?v=S5ouToPJyeM&feature=emb_err_woyt&ab_channel=ACMSIGCHIhttps://dl.acm.org/doi/10.1145/3379337.3415892


2020 年 12 月 17 日 14:421006

评论

发布
暂无评论
发现更多内容

手把手带你快速入门Electron

是乃德也是Ned

7月月更

rxjs Observable of 操作符的单步调试分析

Jerry Wang

typescript 前端开发 angular RXJS 7月月更

CleanMyMac X4.11最新版本号

茶色酒

CleanMyMac X

面试必答题“聊聊Java中线程的生命周期状态”如何破?

博文视点Broadview

云原生到底是什么?它会是未来发展的趋势吗?

Albert Edison

7月月更

投稿开奖丨轻量应用服务器征文活动(5月)奖励公布

阿里云弹性计算

nginx OSS MySQL 数据库 轻量征文

Go Web 编程入门:一探 GoConvey 测试库

宇宙之一粟

Go web Go 语言 7月月更

8253A寄存器浅析

乌龟哥哥

6月月更

主流实时流处理计算框架Flink初体验

百思不得小赵

大数据 flink 7月月更

密码学进阶(一):浅谈常见的七种加密算法及实现

No Silver Bullet

加密 文本摘要 数字签名 7月月更

什么是反向代理?Nginx反向代理如何配置?

wljslmz

nginx 反向代理 6月月更

Android Studio Arctic Fox | 2020.3.1、Gradle 7.0升级记录

yechaoa

android Android Studio Gradle 6月月更 AGP

【LeetCode】找树左下角的值Java题解

Albert

LeetCode 7月月更

电商秒杀系统

Dean.Zhang

架构实战营 模块九:设计电商秒杀系统

热猫

Ubuntu环境编译OpenJDK11源码

程序员欣宸

Java Openjdk 6月月更

一次革命、两股力量、三大环节:《工业能效提升行动计划》背后的“减碳”路线图

脑极体

软件产品管理平台有哪些?12个最佳产品管理工具盘点

PingCode

产品经理 产品管理 PingCode

Fastjson V2 简单使用手册

村雨遥

Java Fastjson

HashMap分析-扩容

zarmnosaj

6月月更

远程办公如何保持高效协同,实现项目稳定增长 |社区征文

三掌柜

初夏征文 7月月更

数据中台咋就从“小甜甜”变成了“牛夫人”?

雨果

数据中台

兼容10个浏览器HTML头部配置

写程序的小王叔叔

html 浏览器 浏览器插件 7 月月更

《你的灯亮着吗》开始解决问题前,得先知道“真问题”是什么

图灵教育

远程办公期间,项目小组微信群打卡 | 社区征文

IT蜗壳-Tango

6月月更 初夏征文

让企业数字化砸锅和IT主管背锅的软件供应链安全风险指北

FN0

安全性 沙箱实验 开源软件供应链

无需zookeeper安装kafka集群(kakfa3.0版本)

字母哥哥

大数据 kafka 消息队列

架构实战营 毕业总结

热猫

这样的商城系统全开源免费商用,还要什么自行车!

CRMEB

【C 题集】of Ⅳ

謓泽

编程语言 C语言 题集 7月月更

leetcode 474. Ones and Zeroes 一和零(中等)

okokabcd

LeetCode 动态规划 算法与数据结构

自研数据库技术破局与最佳实践 | DBTalk 技术公开课第3期

自研数据库技术破局与最佳实践 | DBTalk 技术公开课第3期

人机交互新体验,全新AR界面让用户轻松控制画中物_文化 & 方法_学术头条_InfoQ精选文章