写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001696
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 288.9 次阅读, 收获喜欢 1303 次。

关注

评论

发布
暂无评论
发现更多内容

HIFIVE音加加:多场景音乐版权解决方案,让「用音乐」更便捷

曲多多(嗨翻屋)版权音乐

版权保护 视频后期 数字版权保护

分布式系统中的哈希算法

骑牛上青山

数据结构 分布式 算法 哈希

融云「百幄」之数字人,升级交互体验的「新同事」

融云 RongCloud

AI 通信 数字化

对于Ajax在MUI框架中的用运以及单 webview 模式中的下拉刷新功能探究

恒山其若陋兮

mui 11月月更

L1、L2范数理解--Ridge以及Lasso回归

Studying_swz

深度学习 11月月更

动态路由协议(二)

我叫于豆豆吖.

11月月更

简单时序逻辑电路

芯动大师

Verilog 11月月更 锁存器

链路状态路由协议 OSPF (一)

我叫于豆豆吖.

11月月更

MUI框架的上拉加载的深入探索和实战运用

恒山其若陋兮

mui 11月月更

助力车路云一体化,EMQ在车路协同领域的应用实践

EMQ映云科技

物联网 IoT emq 11月月更 车路协同

一场算力集结令,国产芯片如何开启冲刺跑?

脑极体

JAVA concurrency -- ReentrantLock 源码详解

骑牛上青山

Java 源码

Redis LRU 内存淘汰算法大有玄机

码哥字节

LRU Redis 6.0

2022下半年《软考-系统架构设计师》备考经验分享

劼哥stone

软考 系统架构师

OSPF路由协议一

初学者

11月月更

使用gitflow时如何合并hotfix

Geek_pwdeic

通过阅读源码解决项目难题:GToken替换JWT实现SSO单点登录

王中阳Go

Go golang 高效工作 学习方法 11月月更

Flowable 外置的 HTML 表单怎么玩?

江南一点雨

Java spring flowable JavaEE

uni-app 性能优化实战之逻辑层条件编译的生产环境

恒山其若陋兮

11月月更 uni

JAVA concurrency -- CyclicBarrier 与 CountDownLatch 源码详解

骑牛上青山

Java 源码

jvm(二)内存管理与虚拟机执行子系统

想要飞的猪

java对象内存布局 jvm加载子系统

流程表单初体验

江南一点雨

Java spring springboot flowable

2022昇腾AI创新大赛圆满收官,看这届评委怎么说?

极客天地

为什么要做用户留存分析

穿过生命散发芬芳

用户留存 11月月更

JAVA concurrency -- ThreadLocal 源码详解

骑牛上青山

Java 源码

动态路由协议(一)

我叫于豆豆吖.

11月月更

东方通Tongweb中间件Linux环境部署

@下一站

技术 中间件 linux 文件权限控制 Java core 11月月更

算法题学习---单链表的排序

桑榆

算法题 11月月更

爬虫基本原理介绍、实现以及问题解决

石臻臻的杂货铺

爬虫

JAVA concurrency -- ArrayBlockingQueue源码详解

骑牛上青山

Java 源码

一次zuul版本升级产生的问题排查记录

骑牛上青山

Java spring 源码 Zuul 生产环境

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章