写点什么

5G 时代来临,交互式视频会成为下一代视频黑科技吗?

2019 年 10 月 12 日

5G时代来临,交互式视频会成为下一代视频黑科技吗?

5G 时代,视频内容形态将迎来三个趋势:一是依托 5G 的大带宽,超高清视频将真正落地;二是沉浸式视频迎来发展,但如同《头号玩家》所描述的,沉浸式视频体验是人类感官消费的最终形态,还有很长的路要走;三是交互式视频,包括 3D 视频、AR 形态视频、游戏化视频,以及借由 AI 赋能的新视频消费方式。优酷在这些领域都有布局,下面将重点分享 5G 下,交互式视频中的 3D 视频技术及应用趋势。


一、视频的交互能力从何而来?


交互式视频与单向接收式视频的最大区别在于,交互要有额外的信息反馈,目前有四种交互能力:一是最传统的方式,如评论、点赞等,依靠视频之外的内容提供交互的可能性;二是信息量来自时间轴。视频形态以互动剧为主,让用户选择情节走势,在时间轴上创造更多信息量;三是信息量来自空间域。同一时刻在空间上为用户提供多样化的观看选择。如《这!就是街舞》中的多视角直拍,世界杯中不同演播室和不同风格的解说,都是让用户在同一时刻有更多可看内容。


四是信息量来自从 2D 到 3D 的视频形态变化。当视频形态从 2D 变成 3D 时,视频内容的整体组织形式就会有更丰富的结构化信息。基于立体视觉的 6DoF 视频就是方式之一。


二、交互式视频形态:准 6DoF 视频,子弹时间

首先介绍下 6DoF,6 degrees of freedom,其概念来自于物体在空间中运动时有六个不同的自由度——前后、左右、上下三个平移自由度,以及三个旋转的自由度,对应的就是点头、摇头、歪头。从自由度视角重新审视 VR,会明显发现,基于固定的 VR 相机拍摄的 VR 视频只有三个自由度:可转头但不能移动,代入感非常差。


而 6DoF 视频,是一种更自由的视频形态。首先“脚可以动”,用户可以虚拟和移动观看位置;其次“手可以动”,通过一定的手势操作来影响视频内容画面本身。优酷目前正在做的 6DoF 视频,通过相机阵列来拍更大范围,获得更多的观看自由度。


其实,类似的 6DoF 技术已有很长历史,最经典的是《黑客帝国》中男主角 NEO 仰身躲子弹的慢动作镜头,当时依靠一整排照相机拍摄,将每个相机拍好的图片叠加在一起,再生成视频,在上个世纪看起来非常具有视觉冲击力。


20 年后,我们依然在做类似的视觉呈现,技术上有何不同?其变化主要源自三方面,1)从电影特效到工业化的制作,不在使用原始拍摄图片,拍摄成本降低,展示自由度提升。 2)自由的特效创作,更大的发挥空间。3)使用摄像机,支持视频形态。


今年,优酷将 6DoF 视频技术首次应用到国内体育赛事(如 CUBA)直播中,我们将投篮画面做定格,将运动员相对的位置关系、动作,通过多视角呈现,带来现场感的观看体验。


三、交互式视频形态:6DoF 视频

严格意义上,子弹时间是 2D 视频,更侧重后期制作。真正的 6DoF 视频形态是在观看过程中,用户可以通过手指拖拽操作,选择观看角度和位置。虽然摄像机是线状的,但可以不依赖原始摄像机位置,实现上下和前后位置的调整,包括近景的人物特写、远景的全景画面。


很多人会联想到 VR 视频,但 6DoF 和 VR 视频有明显区别。比如,在一场体育赛事中,VR 视频可以向前看球员、向左右看场地,向后看观众,听起来视觉上更自由,但实际画面是散点的,并不跟随“踢球”这一主线来组织画面内容,用户看到的越多,越难以抓住视觉重点。而 6DoF 视频,摄像机阵列都在拍摄画面中的同一个位置,呈现的永远是兴趣度最高、最有趣的内容,用户只是选择观看角度和方式,实际上比传统 VR 视频有更好的视觉体验。



上图是《这!就是灌篮》、双 11 天猫潮流盛典等的场景,无论俯拍还是仰拍,无论相机安装是弧形还是直线,都可以实现。


四、交互式视频的技术链路

交互式视频的技术链路,以 6DoF 视频为例,其拍摄跟普通视频拍摄的链路是一样的,包括三个环节:



  1. 现场拍摄环节。多机位同步控制与拍摄,将采集好的视频和图像上传到云端做处理。

  2. 云端处理环节。在云上计算画面中物体的景深关系,生成基准视角的视频图像载体,并将视频图片编码,通过 CDN 传到用户手机上。

  3. 端侧播放环节。在用户端做解码,根据用户的交互操作,计算视点位置,对虚拟视点做渲染,最后显示到屏幕上。传输视频格式是通用的 H.264/H.265,播放设备本身具备解码能力,保证覆盖几乎全部机型。端到端的实时画面生成效率,同时兼顾手感,从技术角度来就是低延迟。


技术链路中的关键点,是如何生成 6DoF 视频的处理环节。


首先,传输到用户端的画面,由色彩图和深度图构成。深度图用灰度来表示物体之间的距离,其复杂性在于如何实时、准确地推算出深度并生成基准视频。深度评估与影像生成之间是反比关系,需要技术权衡与取舍。


其次,传输宽带也是影响因素之一。深度图和色彩图被压缩后会模糊,基于模糊的图像所进行的新视角生成会把瑕疵放大。目前,从优酷的实践看,100Mbps 以上的带宽,在 4G 移动网络下是很难实现的,必须依赖 5G 视频技术。


6DoF 视频节省宽带传输的第二个解决方案类似云游戏,不需要将拼接视频传到用户端,只需将用户视角的信息传到云端。云端按照用户希望看到的画面做处理和渲染,生成 2D 视频,这样所占用的宽带就很小了。但为了观看流畅,整体链路的延迟需要非常低,这部分又依赖 5G 的低延迟特性。


五、交互式视频应用前景

从行业角度出发,视频标准化更倾向于从传统的视频压缩到 3D 相关的视频处理。可以看到 MPEG 的 Roadmap 中,从 6DoF 到光场到点云的压缩处理,都是围绕 3D 和立体视频的技术进行的。优酷在国内的视频标准 AVS 部分,从 VR 标准就开始深度参与。目前我们与北大一起制定基于深度的 6DoF 视频标准,预计今年会公布初步标准。


综上所述,6DoF 视频、3D 建模视频以及 VR 视频,在业务模式、技术路径和应用场景方面都有区别。6DoF 视频的特点是自由视角的播放以及事后的内容组织重建能力,它在记录真实世界、在以体育比赛和舞台表演为核心的内容上有很明显优势。落到优酷的内容场景上,适用于信息密度大、需要有临场感的内容,所以演出、团体组合、体育和舞蹈教学类视频,6DoF 视频都可以发挥作用。


另外,在交互式视频的趋势下,视频和游戏的边界正在模糊。传统游戏最核心的特点,包括情节代入感强、用户可通过操作影响内容走势,都在逐渐纳入互动视频的制作中。另一方面,传统视频的特质,包括非常有艺术感的剧本和情节,真实画面和真人演出,在游戏中也越来越常见。二者之间的融合源于两方面:一是随着算力的大幅提升,提供了将真实世界数据化的能力,其核心是将画面进行结构化的提取,通过 3D 建模去理解场景内容。二是连接能力的提升,将用户和生产者的距离拉近,在消费内容时的交互能力越来越高。


随着 5G 带来的连接能力和云带来的算力的双重提升,交互式视频将成为视频内容革新浪潮中那一朵最闪亮的浪花。


2019 年 10 月 12 日 17:361798

评论

发布
暂无评论
发现更多内容

谈谈控制感(9):提升控制感排名第一的武器

史方远

职场 心理 成长

Algorithm week 1: Merge Two Sorted Lists

猫吃小怪兽

算法 链表 ARTS 打卡计划

关于工作的一点总结

墨凡

工作思路

【万字图文-原创】 | 学会Java中的线程池,这一篇也许就够了!

一枝花算不算浪漫

并发编程 jdk源码 线程池

k8s 上运行我们的 springboot 服务之——我们的springboot能够在k8s上运行

柠檬

k8s istio springboot

MySQL实战四十五讲基础篇总结(七)

一个有志气的DB

MySQL 性能

leetcode练级-两数之和

幸福三寸日光

算法 LeetCode js

MySQL实战四十五讲基础篇总结(五)

一个有志气的DB

MySQL 索引

MySQL实战四十五讲基础篇总结(六)

一个有志气的DB

MySQL 读写锁

谈即时编译优化-以异常堆栈丢失为例

寻筝

ArrayList 源码分析

读钓

Java 源码分析 jdk源码

Tekton 的工作原理

张晓辉

Kubernetes cicd 云原生

MySQL实战四十五讲基础篇总结(四)

一个有志气的DB

MySQL 索引结构

谈谈我的云笔记使用之路

读钓

学习 个人成长 写作

云直播平台的选型与使用

音视频专家-李超

使用 webpack 搭建一个简单的 React 脚手架

张张张小烦

react.js

python实现·十大排序算法之快速排序(Quick Sort)

南风以南

Python 排序算法 快速排序

从引用聊一聊 Java 垃圾回收

Rayjun

Java 引用 对象

Java 数据持久化系列之JDBC

程序员历小冰

Java JDBC 持久化

Spring Security密码登录流程源码分析

读钓

源码分析 spring security springboot

数据与广告系列二:计算广告和推荐系统

黄崇远@数据虫巢

数据挖掘 大数据 互联网 广告 推荐系统

ARTS week1

紫枫

ARTS 打卡计划

其实,还是让我挺震惊的,程序员的换行率竟然高达 40%

非著名程序员

程序员 程序人生 自我思考

除了直接看余额,谁更有钱还能怎么比(一)

石君

零知识证明 多方计算 同态加密

RabbitMQ-AMQP

云淡风轻

RabbitMQ

ARTS打卡Week 01

teoking

android WebRTC

音视频会议系统-Janus的安装与布署

音视频专家-李超

音视频 WebRTC

工作=投资=创业?

二鱼先生

个人成长 工作思路 工作方式 创业心态 创业者

2020 年 5 月 23 日 Java 集合专题

瑞克与莫迪

Java

时间管理的本质

史方远

职场 心理 成长

青春时期的打油诗

墨凡

随笔

5G时代来临,交互式视频会成为下一代视频黑科技吗?-InfoQ