AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

每一节网课的背后,累死的小人儿能够绕地球 3 圈

  • 2020-04-19
  • 本文字数:1015 字

    阅读完需:约 3 分钟

每一节网课的背后,累死的小人儿能够绕地球 3 圈

疫情期间,你或你的家人一定也开始宅在家上网课了吧。


你知道吗?每一堂网课背后,都有这样一群辛勤的”小人儿“在忙碌着,你可以把他们想象成一个剧组,彼此通力配合完成一堂网课。他们是:摄影组(视频采集)、收音组(音频采集)、翻译组(编码/解码)、道具组(信令)、场务组(传输模块)、放映组(渲染)。


本期的动画科普,就带你看看他们在每一堂网课开启后,都在忙什么。整体来讲,可以用这样一张图来表示。(我们的铁粉可能都猜到是哪张图了)


当网课开启后,老师端的音视频数据会被摄像头、麦克风采集下来。视频采集后都是视频流数据,你可以将它视为跑马灯里的一张张画,这样的数据是无法直接进行传输的,需要转换为二进制数据才能传输。


同样,音频采集下来的是模拟音频信号。所以,要传输音频,也需要将模拟信号,转换为数字信号,然后最终以二进制数据格式表达出来。


而视频、音频数据的这转换的过程,都是由编码器来完成的,也就是动画中的“翻译组”。视频和音频还会被打上“时间戳”,它是用来告诉你的电脑/手机,“老师几点几分几秒说了这句话”,这是为了让你看到的画面和听到的声音能对上号。


除了这些,还有老师翻动 PPT、在白板上划重点,甚至是发文字消息等一系列操作,都是基于信令系统完成的。当然,这些数据中也会包含“时间戳”。


好了,这些数据都转换为二进制数据后,就要开始传输了。这时候都会交给传输模块,也就是我们动画中的场务组。他们会通过 RTC 专用的“物流网络”来传输这些数据。


在线互动课堂对实时性、互动延时有着很高的要求,必须保持学习过程的顺畅进行,否则学生的学习效果会大打折扣。由于每个人在家上课的网络情况各有不同,这就要求适配 3G、4G、Wi-Fi 等各种网络,并且在网络传输环境较差情况下还能保证良好的音视频互动。这背后的“物流网络”有许多值得分享的技术原理,我们以后再详细讲解。


这些数据安全到达你的电脑、手机、iPad 之后,解码器就会开始将这些二进制的数据还原成视频流、音频,然后经过设备的渲染播放出来。这样,一堂普通的网课在一顿操作之后就实现了。


至于美颜、送礼、弹幕,它们背后的技术原理与实时音视频相似。送礼、弹幕都是基于信令实现的。美颜是发生在编码之前,我们也会在后续的视频中跟大家慢慢分享。


尽管,动画中的小人儿不是真实存在的,但是造就这些小人儿的工程师们都时时刻刻在每一堂网课背后忙碌着。


本文转载自 声网 Agora 公众号。


原文链接:https://mp.weixin.qq.com/s/gLvhKUuvUs35G1UaXnIkEQ


2020-04-19 17:17835

评论

发布
暂无评论
发现更多内容

flutter-barrage-craft — 能成为pub.dev中最好用的弹幕插件吗🤔?

编程的平行世界

flutter 插件化 pub.dev

分享一个自己做的可视化代码生成器

LazyCoder

低代码平台 代码生成器 代码可视化

支付系统概述(一):支付模式概览

agnostic

支付系统设计与实现

MTMT 质押活动启动 ,坐享巨大BTCFi 市场红利

石头财经

从 Redis 开源协议变更到 ES 国产化:一次技术自主的机遇

极限实验室

elasticsearch redis' easysearch ES国产化

GraphPad Prism 10:集数据整理、统计分析、图表制作和报告生成于一体的科研软件

Rose

医学绘图软件 GraphPad Prism 10 GraphPad Prism破解版

macOS 13 Ventura (苹果最新系统下载安装) v13.6.4正式版

Rose

macOS Ventura 苹果13系统 macOS13系统下载

DOM 节点遍历:掌握遍历 XML文档结构和内容的技巧

小万哥

xml 程序人生 编程语言 软件工程 前端开发

MTMT:构建比特币生态平行世界 打造铭文生态繁荣

股市老人

MTMT质押活动即将开启,用户最高可获得100%APY增值

股市老人

MySQL面试必备一之索引

Hunter熊

MySQL 面试 索引 B+树 聚簇索引

从0到1:兼职招聘小程序开发笔记(一)

CC同学

《自动机理论、语言和计算导论》阅读笔记:p115-p138

codists

编译原理

MTMT质押活动即将开启,用户最高可获得100%APY增值

BlockChain先知

permute3许可码 全能媒体格式转换器 3.11.4中文版

Rose

Permute 3 for mac 媒体格式转换工具 Permute 3破解版

IBM SPSS Statistics 27 功能强大、操作简便的统计分析软件

Rose

spss数据统计 IBM SPSS Statistics下载 IBM SPSS Statistics 27

电力电子技术实现电能变换与控制的原理

芯动大师

DC-DC 电源 电力变换

过 IntelliJ IDEA 对 containerd 进行源码级调试

GousterCloud

容器 云原生 Containerd IDEA DeBug

每一节网课的背后,累死的小人儿能够绕地球 3 圈_文化 & 方法_声网_InfoQ精选文章