武汉的开发者们注意啦!AI技术战略、框架以及最佳实战尽在Azure OpenAI Day 了解详情
写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-11-12 18:001480
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 261.0 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

如果你不知道从哪本书开始阅读,那就从这本开始吧

小天同学

读书 好书推荐 读后感 4月日更

图的学习总结

Nick

数据结构 数据结构与算法

奋力前行,感谢有你

IT蜗壳-Tango

IT蜗壳 人气作者 TOP10

漫游语音识别技术——带你走进语音识别技术的世界

攻城先森

深度学习 学习 音视频 nlp 语音识别

golang单元测试踩坑系列(一)

geange

单元测试 Go 语言

Python3 print变量打印输出功能后面隐含的几个知识点

老猿Python

Python print str repr

vue+webpack+vue-cli

Vue js 打包 webpack vuecli

LeetCode题解:191. 位1的个数,位运算,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

人类视觉神经科学助力音视频产业革命-弱网下的极限实时通信

张音乐

音视频 笔记 弱网下的极限实时视频通信

Kubernetes 上如何控制容器的启动顺序?

张晓辉

Kubernetes istio

Faiss源码剖析:类结构分析

华为云开发者联盟

机器学习 KNN Faiss 类结构 Quantizer

客服中心简单分析

zzz

【一定要看哦】转瞬之间的成长,传播知识的梦想(赠予极客邦【1周年】)

洛神灬殇

程序人生 1 周年盛典 InfoQ 写作平台 1 周年 InfoQ 的朋友们

Dubbo 注册中心

青年IT男

dubbo

弱网下的极限实时视频通信

疯狂的驸马

音视频 编码 极限视频通信

uni-app rtm插件集成指南及常见问题--iOS

anyRTC开发者

uni-app ios 音视频 WebRTC sdk

耗时5小时,用低代码搭了2套应用,我才明白它为什么能火了

优秀

低代码 低代码开发 低代码开发平台 低代码平台

一文带你了解华为云GaussDB的五大黑科技

华为云开发者联盟

数据库 华为云 GaussDB(for Influx) 时间线 tpmC

认识流媒体协议,从RTSP协议解析开始!

明儿

c c++ 协议 Wireshark rtp

笔记分享--弱网下的极限实时视频通信

攻城先森

音视频 端到端 #弱网 极限视频通信

弱网下的极限视频通信学习感悟!

txp

音视频

First Unique Character in a String 的变种问题返回第一个找到符合条件的字符

HoneyMoose

北美一工作搜索引擎公司技术岗面经

HoneyMoose

ceph-csi源码分析(3)-rbd driver-服务入口分析

良凯尔

Kubernetes 源码分析 Ceph CSI

NumPy之:数据类型对象dtype

程序那些事

Python 数据分析 Numpy 程序那些事

软件 IT 专业大学生职业方向情况调查

李孟聊AI

大学生日常 IT 大学生

话题讨论|三大运营商Q1业绩大增,5G开始收割?

程序员架构进阶

5G 话题讨论 28天写作 4月日更 通信运营商

写作平台一周年-感谢曾经的自己

数据社

InfoQ 写作平台 1 周年 人气作者 TOP10

一房地产数据服务初创公司的面经

HoneyMoose

ceph-csi源码分析(4)-rbd driver-controllerserver分析

良凯尔

Kubernetes 源码分析 Ceph CSI

中国区块链产业全景图

CECBC

技术应用

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章