写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001868
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 303.8 次阅读, 收获喜欢 1306 次。

关注

评论

发布
暂无评论
发现更多内容

IBM研究:AI智能体应用崛起,企业超越试水阶段

财见

YashanDB数据库支持的存储优化策略介绍

数据库砖家

Golang基础笔记三之数组和切片

Hunter熊

golang 数组 切片 切片扩容 扩容规律

电商商品详情API接口:解锁电商创新与效率的新引擎

Noah

AI 题库系统的主要功能

北京木奇移动技术有限公司

AI技术开发 软件外包公司 AI题库

巨量IP代理“狂欢618 年中大放送”活动火热进行中

巨量HTTP

静态IP 代理IP http代理 socks5代理 隧道代理

停止将AI局限于个人效率提升的用途

财见

YashanDB数据库支持的编程语言及工具介绍

数据库砖家

YashanDB数据库支持的存储引擎及选择建议

数据库砖家

极简开发、精准分发,构建鸿蒙生态服务分发智能便捷新体验

新消费日报

鸿蒙运动项目开发:项目运行环境切换器

王二蛋和他的张大花

YashanDB数据库灾难恢复演练及风险管理实操

数据库砖家

线上会议丨离散元仿真技术(DEM)如何解锁食品制造新‘食’代"?

Altair RapidMiner

AI 数据分析 制造业 EDEM 离散元仿真

移动行业减排8%,距净零仍需加速

财见

深入研究:1688商品评论数据接口,洞察用户心声

tbapi

1688商品评论接口 1688API 1688商品评论采集

YashanDB数据库支持的多维数据分析功能介绍

数据库砖家

YashanDB数据库支持的多种连接协议及性能比较

数据库砖家

为什么说大家低估了 AI 的实际使用规模?实际情况如何?

Baihai IDP

人工智能 程序员 AI

海尔位列谷歌&凯度BrandZ中国全球化品牌第6,蝉联行业第一

财见

如何通过CrossOver软件运行Windows游戏?CrossOver安装steam教程

阿拉灯神丁

macos steam CrossOver Mac下载 Mac游戏推荐 雷神加速器

Straive收购SG Analytics

财见

高度可定制的跨平台日历库

qife122

android 跨平台

鸿蒙星闪,智能生活交响乐的指挥家

脑极体

AI

Alamofire - Swift 下的优雅 HTTP 网络库

qife122

swift HTTP

嵌入式软件算法之PID闭环控制原理

芯动大师

嵌入式 PID 调参

我的 Vibe Coding 的第一个项目

Immerse

YashanDB数据库灾难恢复方案与实施步骤

数据库砖家

YashanDB数据库支持的多维分析与智能报表功能

数据库砖家

YashanDB数据库支持的多种查询优化技术解析

数据库砖家

最快24小时极速换新家,华为鸿蒙智家后装解决方案亮相HDC

新消费日报

AI 对冲基金模拟系统

qife122

金融科技 量化交易 AI投资

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章