AICon 深圳站聚焦 Agent 技术、应用与生态,大咖分享实战干货 了解详情
写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001779
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 297.9 次阅读, 收获喜欢 1306 次。

关注

评论

发布
暂无评论
发现更多内容

JVM笔记 -- 来,教你类加载子系统

秦怀杂货店

Java JVM 类加载 虚拟机

JDK8新特性 Fork/Join 的优化

Java小咖秀

Java java8 jdk8 forkjoin fork

有道技术沙龙 | AI 语音交互技术在语言学习场景的实践

有道技术团队

人工智能

初识Golang之语法基础介绍

Kylin

读书笔记 3月日更 Go 语言

少些爹味才是好爹——再谈自主性

Justin

心理学 教育 28天写作 游戏设计

知识图谱上的图神经网络

博文视点Broadview

故事开始了,Python 图像算法取经之旅 365 天的第 1 天

梦想橡皮擦

28天写作 3月日更

架构实践全景图

博文视点Broadview

架构师训练营第十一周作业 - 命题作业

阿德儿

图解堆排序

Silently9527

Java 排序算法 堆排序

大作业6

YING꯭YING

网上签约备案系统-需求文档

新盛

C/C++ 性能优化背后的方法论:TMAM

vivo互联网技术

c c++ 性能优化 cpu

Wireshark 数据包分析学习笔记 Day14

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

Zookeeper.03 - 实现分布式锁

insight

zookeeper 3月日更

一招让Kafka达到最佳吞吐量

万俊峰Kevin

kafka go-zero Go 语言

怎么找属于自己最优的2B增长模型?

boshi

销售管理 SaaS 七日更

朋友,你听说过跨域吗

河磨

spring CORS 跨域

第 8 周作业 _ prd

园子

GoPath模式和GoMoudle模式的相爱相杀

happlyfox

28天写作 3月日更 Go 语言

上万字详解Spark Core(建议收藏)

五分钟学大数据

大数据 spark 28天写作 3月日更

第8周大作业

八达鸟

智慧公安二维码定位报警系统开发,微警务平台解决方案

源中瑞-龙先生

二维码定位报警系统开发 智慧公安 智慧公安扫码

大作业--APP的注册与登录

王一凡

产品经理训练

电影AI修复,让重温经典有了新的可能

华为云开发者联盟

AI 电影 华为云视频 视频增强 经典

EGG公链生态项目——EFTalk上的巴莱特定律

币圈那点事

区块链

“时间”都去哪儿了?性能调优分析方法与案例详解

京东科技开发者

数据库 客户端

Oracle Sql性能优化

大数据技术指南

oracle 大数据 28天写作 3月日更

从容一些,不必赶「Day 25」

道伟

28天写作

ECMAScript 2017(ES8)新特性简介

程序那些事

ecmascript 程序那些事 ecmascript 2017 es8

什么时候编程语言不重要

soolaugust

编程语言

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章