阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001730
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 293.5 次阅读, 收获喜欢 1305 次。

关注

评论

发布
暂无评论
发现更多内容

如何使用 vue + intro 实现后台管理系统的引导

千锋IT教育

用低代码赋能数字化 快速打造项目管理系统

力软低代码开发平台

react源码分析:深度理解React.Context

flyzz177

React

收到7个offer,用同一个技术套路了多位面试官

钟奕礼

Java java程序员 java面试 java编程

域内用户Hash获取方式总结

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞挖掘

react源码分析:组件的创建和更新

flyzz177

React

【iOS逆向与安全】iOS插件开发光速入门

小陈

Industrial wifi6 Wireless AP/DR AP6018 S AIPQ6010 2T2R 2.4G&5G high power Radio AP

Cindy-wallys

IPQ6010 high power 2.4G&5G

借助云的力量,重塑企业的现在和未来|re:Invent 2022 Adam Selipsky 主题演讲精华全收录

亚马逊云科技 (Amazon Web Services)

亚马逊云科技

SAP IDoc状态70 - This IDoc is saved as the original of an edited document.

SAP虾客

乐观锁思想在JAVA中的实现——CAS

JAVA旭阳

Java Java并发

从零开始学习Java系列教程之Windos下dos命令行使用详解前言

千锋IT教育

挤破脑袋要进阿里、腾讯的java程序员,去B站不香吗?

钟奕礼

Java 程序员 java面试 java编程

模块一作业

程序员小张

「架构实战营」

网易互娱数据成本优化治理实践

网易数帆

数据中台 数据仓库 数据治理 12 月 PK 榜

MegPeak——让你更懂你的处理器

MegEngineBot

深度学习 开源 处理器 MegEngine MegPeak

一步登顶还是步步维艰?Java资深架构师撰下的“阿里P7成神之路”

钟奕礼

Java 程序员 java面试 java编程

含泪复盘!项目踩坑回炉改造血泪史(附芯片PCB/原理图)

华秋PCB

PCB PCB设计

世界杯“无障碍字幕直播间”火了,背后有啥火山语音的黑科技?

科技热闻

SAP MM 使用两个STO实现免关税跨国公司间转储(III)

SAP虾客

在不确定性的2022年寻找确定性|这些ToB赛道值得关注

ToB行业头条

react源码分析:实现react时间分片

flyzz177

React

cookie sessionStorage localStorage区别(详解)

达摩

缓存 Web Cookie LocalStorage sessionStorage

Wallys/DR9074E-Qualcomm Atheros QCN9074(QCN9024)/ 4x4 MU-MIMO Dual Band Wireless Module

Cindy-wallys

QCN9074 QCN9024

面试官:两个JVM的面试题就能证明,你连拿15K都不配

钟奕礼

Java 程序员 java面试 java编程

SAP MM 采购订单的Document Flow

SAP虾客

NineData,领先的多云数据管理平台

NineData

数据库 数据复制 数据备份 多云管理 SQL开发

Java 编程入门第一课:HelloWorld

千锋IT教育

java程序员培训零基础怎么学

小谷哥

26个月89场Java岗面试,0至3年程序员的入职门槛到底是什么?

钟奕礼

Java 程序员 java面试 java编程

如何通过Java将Word转换为PDF

Geek_249eec

Java PDF word

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章