1. Introduction

(1) What makes 360° video rise up?

兴起方面举例
VR,AR硬件设备Oculus Rift & HTC Vive
全景相机的可用性GoPro OmniAll & Insta360 One
社交 / 视频平台支持全景视频的发布YouTube..

(2) The difficulties of the 360° video.

难点具体
带宽要求高25 Mb/s --> 400 Mb/s
更大的存储空间90mins视频大概270GB空间
低时延应该不超过几十毫秒
复杂的视图适应适应头部移动所需视频视角

其中存储空间:全景视频需要

  • 一个场景的多个视图
  • 为了适应不同客户端需要不同格式和分辨率的视频文件
  • 需要自适应率来支持自适应率ABR比特流

image-20210111104240367

2. 概念综述

(1) 捕获视频,编码,存储的数据模型

捕获:视频是由一个中心摄像机系统捕获记录的。

  • k个分布式的2-D摄像机环境生成k个独立的MPEG-DASH视流。
  • 同时还可以将视频设备配置在一起后缝合内容

捕获视频

编码:已有的全向视频编码技术分层编码技术可以适应视角的变化。

存储:以视角分块存储。

视角分块

  • MPD清单文件。
  • MPEG指定了一组360°视频投影二维平面的方案。此外,它指定了在ISO基本媒体的全景视频的存储格式,以及在DASH上的封装和指令,以及可以变成全景视频的标准。

投影方法

种类矩形立方金字塔型
空间占用最大比第一种少25%减少80%文件大小
其他要求\\需要GPU处理

(2) 全景视频的架构

高质量的全景视频架构是基于现有CDN架构的基础上的,架构分为创建传输边缘交付

全景视频的架构

(3) 全景视频的放映和流媒体的准备

调整视频质量:

适应带宽,调整视角

调整视频质量

解决延迟的方法:

ONE:预测运动状况以便于提前加载

困难原因
需要提前3s预测VR的运动到光子延迟要求小于20 ms
解决视角预测的短期约束基于时间的方法保持较小的回放缓冲区
解决混合码率片的边界效应组合图像块渲染时可见边框和质量不一致

TWO:为每个视频块独立创建视角自适应表示

预定义的视角,感兴趣区域的质量高,其余低。

公司采用方法优点缺点
Facebook自适应360°视频流
多分辨率全景图
用一个解码器对视频进行解码
降低了整体分辨率
Pixvana自适应360°视频流
...待补充
...待补充

THREE:传输整个球面框架的数据,这个是有效的,但可能会增加这种方法的存储和带宽需求。

(4) 视频传输 [重点]

目标:

  • 减少传输的数据量
  • 保持高质量和低延迟

目前挑战:

  • 缺乏评价全景视频质量的方法,很多文献只使用图像质量指标来评估观众感知的质量
  • 注重个性化和交互式,需要可扩展的360°交互系统。

提高传输速度的方法:

前提:360°视频内容交付系统,视频内容是由地点事件关联的。

发现连贯性 / 一致性 [重要]

  • 相邻贴图
  • 轨迹预测
  • 相邻客户端
  • 兴趣点引发的行为近似
  • 凝视检测(后面的研究说)

兴趣点示意图

利用一致性可以避免将整个全景视频片段传输到边缘服务器上,并只预取需要的内容来极大地减少流量和延迟

3. 研究结论 / 现状

(1)ABR流媒体的流行 ---> QoE指标提议

提出机构 / 组织/研究者评价指标
ITU延迟
ITU视频流到客户端的平均质量
ITU在播放期间质量变化的频率
\将QoS映射到QoE<br/>(速率自适应算法)
Singla晕屏程度/效果
Upenik全方位内容主观评价的试验台
仅限全静止图片
\根据电影摄影规则提供的观看指导

注:评估影响晕屏的两个场景因素

  • HMDs观看全方位360°视频
  • 观看360°视频时突然的场景变化

(2)近期的相关研究结论

  • 只有一个视角的视频及其相邻的视频流到客户端,这可以导致高达65%的比特率节省。
  • Zhou等人的评估表明,视角的突然变化会导致未观看片段的检索浪费占总下载带宽的20%
  • Bao等人针对全向360°视频提出了一种基于运动的方法,他们证明了用户对视区的选择是相关的。这个知识可以用来发送多播流到地理位置上的观看者。
  • 凝视检测,定位用户的焦点,人眼仅能在大约20度的小中心视角下看到丰富的图像,凝视信息将作为控制信息从客户端流向上游边缘和分布树的节点。一种大幅度减少流量的方法是将视频编码为多个分辨率和平铺大小,类似于为单视图视频提出的方法。小尺寸高分辨率视频块可以作为客户的中心视觉大尺寸低分辨率视频块可以作为客户的周边视觉

凝视检测

4. 后序课题探索

目前困难:内容创作、视频分发和QoE

  • 利用一致性优化360°视频传输,使其可扩展、准确和高效。
  • 专注于360°视频特性的标准化QoE指标还不存在。
  • 在现有CDN架构的基础上,还没有设计新的机制来满足360°视频严格的延迟要求
  • 预测轨迹的算法
  • 视频兴趣点挖掘
  • 凝视检测
  • 无法将电影摄影规则融入内容创作技巧
  • 影响晕屏的因素。(网络特性的延迟、抖动、可用带宽、视图/贴图退化率和流媒体特性的延迟、质量变化、视口变化的影响)
Last modification:January 11th, 2021 at 11:58 am
请赏我杯奶茶,让我快乐长肉