InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

解决这 4 个难题,IoT 低功耗设备也能有高清视频通话

  • 2019-11-30
  • 本文字数:1956 字

    阅读完需:约 6 分钟

解决这4个难题,IoT 低功耗设备也能有高清视频通话

如果有人跟你聊“实时音视频通话功能”,你会想起什么?视频聊天、在线课堂,还是朋友之间的游戏开黑?其实,还有一个复杂且巨大的领域,有着旺盛的“互动”需求,那就是 IoT 领域。


很多大厂商不是已经开始布局,就是已经推出了相应产品。例如,在去年由“能打电话的智能手表”变为“能视频的电话手表”的小天才(如视频演示);在今年 2019 CES 上,多家厂商都推出了支持实时视频的智能门禁。


总体来讲,希望集成实时音视频功能的低功耗智能设备有以下几类:


  • 智能手表:“能打电话”已成很多儿童智能手表的标配,而“能视频通话”的智能手表已经纷纷出现在海内外市场上。

  • 智能眼镜:基于实时音视频与后处理技术(如 AR、计算机视觉算法)可以实现多种场景

  • 智能摄像头:安防监控、视频交互一直是智能摄像头的重要功能

  • 机器人:家庭机器人及少数公共场所的机器人,需要实时音视频功能

  • 智能门禁:通过实时音视频实现远程安防、通话

低功耗设备上视频通话的难点

如果我们曾利用 WebRTC 在手机上实现了实时音视频通话,那么我们是否可以将它照搬到低功耗设备上呢?


答案是“不能”。低功耗智能设备在硬件、软件方面都与手机不同,所以对实时音视频通信的要求也有所不同,这导致了手机的方案无法直接拿来就用。以智能手表为例,如果要实现实时音视频,需要满足以下要求:

1. 功耗要低

很多低功耗智能设备的电池容量,以及可支持的功率有限。另一方面,很多智能设备采用的 CPU 性能有限,在进行音视频通话的同时,还要支持系统、常驻功能的运转。一般的解决方案,无法做到稍长时间的视频通话,最大的障碍就在于能耗。随着通话时长的积累,高负荷运转的设备会发热。所以低功耗十分必要。

2. 实时音视频不可占用过多内存

智能设备的内存有的高,有的低,要看是什么类型的设备。但智能手表这类产品的内存一般都不高。在这样的背景下,如果要在设备上进行实时音视频通话时,不能占用太多内存资源,否则会影响设备的正常使用。

3. 跨平台、跨设备的通话支持

智能设备并不像手机这样普及,所以当你在通过智能手表、智能眼镜与他人通话时,对方所使用的可能是手机或 Web 浏览器。所以还需要支持智能设备与其它平台的通话。

4. 提供高音质高画质体验

音视频通话的质量始终是关键,画面的卡顿、模糊,声音出现回声、噪声都是用户无法接受的。但是,一套音视频方案在别人的智能手表上跑通了的时候,并不意味着完全能用于你的设备。


还是以 WebRTC 为例,它本身具备回声消除模块,但一个回声消除算法的设计实现与设备、系统状态紧密相关。我们曾经在一篇文章中讲过。声音经过扬声器传导到麦克风,经过了多少路径就被处理多少次。不同的设备材质,甚至设备发热,都会导致声传导特性不一样,都会导致回声消除算法不一样。这是设备的差异带来的影响。


另一方面,回声消除里有两大模块,自适应滤波和非线性处理。自适应滤波前置第一个模块就是延时搜索。延时估计要在一定范围内估计,就是要有一个预先设计的 delay 值,如果在一个很大的范围内搜索,会极大消耗 CPU 资源。而 Android 系统的线程调度设计存在特殊性,一旦资源抢占,会在 Android 底层 buffer 产生延时,可能会导致之前预设的 delay 值不准。而低功耗智能设备的系统存在很多细微差异,就更需要有针对性地优化算法了。


所以,在低功耗智能设备上实现视频通话,并不是用一套通用的 demo,通过短短几步的配置、接口调用就能实现的。想要好的通话体验,都需要围绕你的设备进行调优。这也是难点之一。

声网低功耗智能设备场景方案

尽管如此,我们还是可以解决以上大部分问题。针对低功耗设备的硬件、软件系统的特点,我们对 Agora SDK 进行了多方面的优化,包括编码算法、降噪算法,帧率和分辨率的优化算法,推出了低功耗版本 Agora SDK ,支持低功耗智能设备与其它设备与平台进行视频通话。



声网低功耗智能设备场景方案的特点:

1. 跨平台实时语音通话

声网创建了基于 UDP 协议的软件定义实时网络 SD-RTN™,并在全球部署的近 200 个数据中心。通过 Agora SD-RTN™虚拟通信网络,集成声网方案的低功耗设备,可以与 Web 浏览器、手机端进行实时的音视频通话。

2. 低功耗、低内存占用

占用的内存小,正常通话发热量小,可以保证用户之间的较长时间的正常通话,经测试在小天才智能手表上可进行 15 分钟的长时间视频通话。

3. 支持主流软硬件平台

该方案适用于基于 ARM 架构、Android 系统平台的低功耗智能设备,只需要在集成后调优 setVideoProfile、setAudioProfile 参数即可正常通话。


目前,声网智能设备低功耗 SDK 已经应用于多类智能硬件产品上,包括智能手表、智能眼镜、智能音箱、智能摄像头、机器人、智能门禁等 IoT 设备,被集成于小天才、亮亮视野、小米等多个品牌的产品中。


本文转载自公众号声网 Agora(ID:shengwang-agora)。


原文链接:


https://mp.weixin.qq.com/s/MWQK6rzXcgbZX8BSH3ymaA


活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2019-11-30 14:20630

评论

发布
暂无评论
发现更多内容

区块链数字版权管理,区块链赋能知识产权保护

13530558032

区块链电子证照应用赋能政府服务

13530558032

Kubernetes入门——深入浅出讲Docker

百度开发者中心

Docker Kubernetes 云原生

PC五年,华为如水

脑极体

跟公司新招的这个“同事”搭档,工作搬砖太“自动化”了

华为云开发者联盟

华为 AI RPA 自动化 员工

多端框架开发 | 拼团商城项目开发说明

YonBuilder低代码开发平台

小程序云开发 大前端 移动终端 APP开发 多端开发

阿里二面:什么是mmap?

艾小仙

Kubectl Plugin 推荐(三)| 插件开发篇

郭旭东

Kubernetes kubectl kubectl plugin

您的客户管理决策是否低于10毫秒?

VoltDB

5G 物联网 解决方案 电信

对htmlMeta的实例详解

佰草

html5

电商千万级交易的金手指:分布式事务管理

华为云开发者联盟

微服务 事务 华为云 分布式事务管理 DTM

阿里P8大牛亲自讲解!2021年Android网络编程总结篇,醍醐灌顶!

欢喜学安卓

android 程序员 面试 移动开发

阿里P8大牛亲自教你!一个三非渣本的Android校招秋招之路,满满干货指导

欢喜学安卓

android 程序员 面试 移动开发

OpenKruise v0.8.0 核心能力解读:管理 Sidecar 容器的利器

阿里巴巴云原生

容器 微服务 云原生 k8s 应用服务中间件

NAC公链——Nirvana NA公链白皮书

区块链第一资讯

挖矿 区块链+

【LeetCode】不同的子序列Java题解

Albert

算法 LeetCode 28天写作 3月日更

区块链数字版权管理,区块链赋能知识产权保护

13530558032

阿里P9春招特此分享:Java核心开发成长手册(2021版)涵盖所有p5-p8技术栈

比伯

Java 编程 架构 面试 程序人生

网易云音乐:基于分布式图学习PGL的推荐系统优化之路

百度开发者中心

Java的“泛型”特性,你以为自己会了?(万字长文)

比伯

Java 编程 程序员 架构 计算机

你遇到过哪些质量很高的 Java 面试?

张小方

Java 面试 阿里 薪资

看故事学Redis:再不懂,我怀疑你是假个开发

华为云开发者联盟

MySQL 数据库 redis 缓存 数据

私藏干货 | 实现分布式锁的三种方案对比

架构精进之路

分布式锁 3月日更

云原生时代下,容器安全的“四个挑战”和“两个关键”

阿里巴巴云原生

容器 云原生 k8s 安全 监控

微服务的下一步,离不开服务网格

xcbeyond

微服务 Service Mesh 服务网格 3月日更

在vscode中go编码发生的问题整理

happlyfox

学习 vscode 28天写作 3月日更 Go 语言

面试官:啥?SynchronousQueue是钟点房?

四猿外

Java 并发编程 高并发 并发 SynchronousQueue

Kubernetes入门——Kubernetes工作原理及使用

百度开发者中心

#Kubernetes# #技术课程#

uni-app跨端开发H5、小程序、IOS、Android(一):太强了,一次性搞定全端开发

黑马腾云

微信小程序 uni-app 大前端 uniapp 3月日更

Kyuubi: 网易数帆开源的企业级数据湖探索平台(架构篇)

网易数帆

大数据 spark 开源 Kyuubi

Java程序员面试15家公司收到15份offer,月薪35K全靠这Java面试小抄(2021版)开源分享

Java 程序员 面试

  • 扫码添加小助手
    领取最新资料包
解决这4个难题,IoT 低功耗设备也能有高清视频通话_文化 & 方法_声网_InfoQ精选文章