2023年12月10日发(作者:)
-

I RM 硼M 【本文献信息】尤志翔,安平,张兆杨.3D自由视点视频技术及其在中国馆中的应用[J].电视技术,2012,36(2).锄 1I国【垂圃 3D自由视点视频技术及其在中国馆中的应用 尤志翔‘,安平 ,张兆杨 (1.上海大学通信与信息工程学院,上海200444;2.上海市新型显示与系统应用教育部重点实验室,上海200444.) 【摘要】阐述了3D自由视点视频应用系统相关的关键技术,包括显示、内容获取与生成、编解码重构等,并对大屏幕3D自由 视点视频技术在2010年上海世博会中国国家馆中的成功应用作了简要介绍。 【关键词】立体显示;自由视点;3D内容制作 【中图分类号】TN949 【文献标识码】A Key Technologies of 3D Auto-stereoscopic Display Systems and Corresponding Applications in China Paviilon of 2Ol0 Expo YOU Zhixiang’,AN Ping ,ZHANG Zhaoyang ’ (J.School of Communication and Information Engineering,Shanghai University,Shanghai 200072,China; 2.Key Laboratory fo Advanced Displays and System Applicatoin,Ministyr of Education,Shanghai 200072,China) 【Abstract】In this paper,key technologies of the 3D aut0一stereoscopic display systems are introduced,including multi-view display techniques,3D content capture and producing approaches,and the corresponding coding and decoding schemes. Also, application experience with the 3D auto—stere0scopic display systems in the China Pavilion of 20 1 0 Shanghai Expo is discussed. 【Key words】3D auto-stereoscopic display;free-viewpoint video;3D content creation 3D显示技术可以提供更逼真的沉浸式视觉效果,从 工艺的限制,超大尺寸尤其是100 in以上的自由立体显 而获取更高的关注度。双眼观看到的场景存在一定差别 示终端非常稀缺,目前难以满足多媒体展示等相关领 而获得的立体感称为双目视差,而当观看者移动视点时 域的实际应用需求。 看到的场景变化则称为运动视差。这两种视差成为人类 双目摄像机 获取立体感最重要的两种要素u 。以兼备双目视差和运 动视差两种技术特点的自由视点立体技术为核心的应用 系统在媒体展示、广告传媒、电影电视、通信、3D游戏、体 匾 l IH 育直播等领域有广泛的应用前景。 —I l显示 1 3D自由视点应用系统关键技术 lL_ l多视视频l厂一叶解码绘制H多视视 一———. 1.1 3D自由视点应用系统概述嘲 l图2D+深度1 一_J I,绘制l .L—一 1显示 频立体 通常,3D视频系统框图如图1所示,分为3D内容获 取、编解码、传输、合成和立体显示几个流程。其中,图 回 圈囡 1下半部分的多视内容获取、多视编解码/绘制和多视显 图1 3D视频系统的组成 示构成3D自由视点应用系统。在处理链中,自由视点 1.2 3D自由视点显示技术 显示终端设备是最直观的环节,也最先进入市场应用。 3D自由视点显示系统利用微光学技术模仿人眼的立 3D视频内容获取、编码传输以及绘制合成等技术的发 体成像过程,等效于在传统平面显示面板内“加戴”3D眼 展却相对滞后,尤其多视点3D视频内容的制作难度较 镜(观众无须佩戴)。利用视差光栅(Paralax Barrier)、微 大,广泛地进入市场尚待时日。从立体显示效果来看, 柱镜(Lenticular Sheet)或指向光源(Directional Backlight) 自由视点显示设备屏幕尺寸越大,突出感和纵深感越 等光学处理手段将两幅甚至多幅像素点精心排列的图像 强,越能给人以视觉震撼。由于光栅设计与制备技术和 在空间上分开,其光线分别投向不同的视域,形成了多视 基金项目:国家自然科学基金重点项目(60832003);上海市科委世博专项(10DZ0580801) 投稿网址http://www.VideoE.crl I《电视技术》第36卷第2期《总第377期) 1 9 酊l RM TERM 蒿 图的观看效果,观众在不同视角可以看到发生细微变化 的左右眼立体图像,兼具运动视差和双目视差的特点。 1)视差光栅技术(Paralax Barrier) 视差光栅技术的显示原理是在普通显示器的面板内 增加一层不透光条纹和透光条纹间隔排列成的光栅,当 光栅层与2D显示层之间的距离以及条纹的宽度精确匹 配时,能使得背光板的光透过该光栅之后,到达左眼的光 线只经过奇数行的像素,到达右眼的光线则只经过偶数 行的像素,如图2所示。由此将左眼及右眼可视的画面 分开,使观看者可看到3D影像。 iIiI lI ……微柱镜不会阻挡背光,故显示亮度不受影响,但由于 其3D显示基本原理仍与视差光栅技术相同,故分辨力会 降低。 3)指向光源技术(Directional Backlight) 对指向光源3D技术投入较大精力的主要是3M等公 司,指向光源(Directional Backlight)3D技术搭配两组 LED,配合快速反应的LCD面板和驱动方法,让3D内容 以排序方式进入观看者的左右眼互换影像产生视差,如 图4所示,进而让人眼感受到3D三维效果。其优点在于 一左眼像素 对分辨力、透光率的影响小,3D显示效果佳,但目前技术 尚在开发过程中,产品尚未成熟。 _ \__ 素 一 @ 右眼 _I— 一// 一 《童》 左眼 l 视差栅栏 图2视差光栅技术原理示意图 图4指向光源技术原理示意图 该技术可以与LCD,PDP等平板显示工艺兼容,具备 1.3 3D自由视点内容获取与生成技术 在量产性和成本上的优势。其缺点主要在于背光被50% 左右的不透光条纹阻挡,亮度也随之降低,影响清晰度。 此外,分辨力会因同时视点数目的增加而等比降低,进一 步影响观看清晰度。 3D自由视点显示需要同一场景多个视点视频内容 的描述,因此最直观的内容获取方式是如图1中那样通 过多视摄像机阵列进行采集获取,另一种方式是2D高清 到,如图1下端所示。 如下所述的3种: 摄像机拍摄后,通过2D视频转换为3D视频的处理来得 2)微柱镜技术(Lenticular Sheet) 基于微柱镜技术的3D自由视点显示设备是在2D显 示器的面板内增加了一个多透镜层,如图3所示,像素平 面位于透镜的焦平面上,每个柱透镜下的图像像素被分 成几个子像素,而以垂直或一定倾斜角度排列的柱面透 多视摄像阵列直接拍摄的3D内容获取方式可分为 1)密集视点方式 指通过64~128个摄像阵列同时拍摄同一个三维场 镜控制左右图像的射向,使右眼图像聚焦于观看者右眼, 左眼图像聚焦于观看者左眼,以达到让观看者在不同角 度看到不同的影像的立体效果。目前透镜的截面加工工 景直接获得3D内容的方式,在编码传输和解码后可通过 基于图像的绘制生成3D内容。 。但其存在的问题是因视 缩编码的负担繁重。 2)稀疏视点方式 点数太多,使拍摄系统庞大、复杂,且数据量巨大,造成压 艺可达微米级,使得条纹状立体图像更加精细,因此这种 技术目前广泛用于高清晰的3D数字电视、3D手机、3D大 屏幕显示等。 柱状透镜 指由4 16个较少的摄像阵列来获取3D内容。此种 方式可显著缓解上一种方式存在的问题,但因视点数较 少在屏前观看时有视点间的突变感,故为了达到视点间 几何信息和三维信息进行重构。 3)多视视点加深度信息获取的方式 幕 平滑切换和漫游交互的要求,需对视点数据基于提取的 此种方式也称为MVD(多视+深度)方式 。该方式 可采用稀疏的视点,由于多个彩色视频和深度包括在接 图3微柱镜技术原理示意图 收数据中,由收到的视频和深度利用基于深度图像的绘 20《电视技术》第36卷第2期(总第377期)l投稿网址h邯://www.VideoE.Cn t/ 很大程度上可解决前面两种方式存在的问题。 1.4 自由视点多视视频压缩编解码技术 3D自由视点显示的视频内容具有多个视点的视频 数据,最直观的解决方案就是对每一路视点的2D视频数 I RM T j一_ 制(DIBR)在显示端生成更多的中间虚拟视图 】,因而在 组开发103 in,85 in和46 in共7套最先进的3D自由视点 显示系统,观众无需佩戴立体眼镜即可在屏幕前直接观 看到栩栩如生的立体影像,且立体视角大,观看舒适度 高,观看人数不限。同时,还要求在3D内容制作中综合 应用多通道3D—CG特效动画技术和2D一3D转换技术,并 据单独使用现有压缩编码技术(如H.264/AVC等)进行处 在实施中通过视差调控技术和参数化播放控制技术,使 理,这样相比于2D视频需要存储和传输的数据量更为巨 大。由于3D自由视点视频通常包括同一场景多个视点 得自由立体视频显示技术和中国馆大型主题展示的应用 需求完美结合,如表1所示。 表1 3D自由视点系统应用需求 数量 系统 数量 附件 的图像,这些不同视点的图像在同一时刻也具有高度的 冗余度。因此,对多视点视频图像的编解码技术在原有 传统2D视频时间相关性的基础上,增加了对于多视点图 像之间空间相关性的处理(多视点视频编码技术, MVC)。 MVC编码效率比各个视频单独用基于H.264/AVC 编码可提高2.5 dB左右的增益,对每个视点视频带宽的 压缩不到一半,Ⅳ个视点视频所占带宽仍然巨大。因此 1-3节中MVD方式由于其所用的视点数比多视点视频 (MVV)所需的视点数大量减少,成为当前研究的热点。 MVD的系统框架如图5所示,其中,因Ⅳ数可大量减少, 根据以上要求,进行了系统设计、显示系统制备和 虽然多了深度图编码,但深度图编码的码率仅是彩色视 3D内容制作。 频序列编码的25%,总的码率显著减少 。目前国内外研 2.2系统设计 究集中在如何快速地深度估计,通过深度图增强获得精 图绘制等4个关键技术上。 3D自由视点视频应用系统布局框如图6所示, 080p)通过DVI/HDMI延长发送器发出,经专用光纤网 确的深度图,进一步提高深度图编码效率和快速虚拟视 远端机房中的后台主机数据流(无压缩RGB通道,1 络传输后,由DVI/HDMI延长接收器接收,送到3D显示 -●- 器中显示。 传 输 --●_ 图5 MVD的系统架构 2 3D自由视点视频系统在上海世博会 中国国家馆中的实践 上一节所述3D内容获取中的2D高清视频转换为 3D视频技术、深度估计和增强技术、快速虚拟视点绘制 3 kV・A2l00W 3 kV・A 2100W 技术以及3D自由视点显示技术结合上海世博会中国国 家馆设定的项目要求进行了工程应用实践。 2.1中国国家馆的应用要求 图6 3D显示硬件及播放系统框图 1)“希望大地”仿真湿地应用 位于中国馆49 nl层(12楼)的“希望大地”仿真湿地 展项应用了1台85 in和2台46 in3D自由视点视频系统, 如图7所示。立体画面融于仿真湿地之中,模拟激流水 2010年上海世博会中国国家馆中的3D自由视点视 频应用系统由分布在49 m层的“希望大地”仿真湿地展 项和33 m层的“森林碳汇”低碳展项组成。要求本课题 体、静态水体和沼泽水体等湿地环境,展现希望大地生机 投稿网址http://www.VideoE.on I《电视技术》第36卷第2期{总第377期J 21 I RM盯 TERM 2)视差调控技术 锄 3 小结 大屏幕自由视点立体显示设备能够给予观众很强的 在设计视差值时,将屏幕作为焦平面,此处人眼的视 差为零,在场景中需要有突出感的前景物体通常采用负 视差,即左眼看到的像素偏右,右眼看到的对应像素点偏 左,两眼视线交叉,则可以感到物体突出。相反地,背景 物体采用正视差,使观众有景深感。 大多数立体视频显示往往在观看时会使观众有头 晕、目眩等不舒适感,这是由于形成发散视差所致。实际 的研究表明,只有满足双眼视差异的图像才能被融合成 立体感和沉浸感,应用于展览展示应用时融为一体的虚 拟现实技术更是给人身临其境之感。如何在尺寸、视角、 视点平滑切换方面获得更多突破是3D自由视点显示技 术能否获得更大范围应用的关键之一。 针对自由视点立体显示的3D内容获取和生成,本项 目结合世博会项目的实践探讨了2D一3D转换、3D—CG、 多视点视频生成、深度获取、视点绘制等相关技术。 参考文献: 【l】 MATUSIK W,PFISTER H.3DTV:a scalable system for real—time acquisition,transmission,and auto—stereoscopic display of dynamic 单一的立体图像,深度的设计要将视差控制在一个合理 的范围内,以防止视差过大而造成头晕目眩。因此采用 的视差值需要满足人眼的视觉特性而能根据人眼的舒适 程度进行视察调控。 另一方面,由于视差产生的立体感觉会根据不同的 三维显示器而有所差异,本项目中的视频转换方案结合 了视差调控技术,较好地防止因发散视差而不能使左、右 scenes[EB/OL[.[201 1-03—291.http://people.esail.mit.edu/wojciech/3D TV/3DTV.pdf. 【2 张兆杨,2】安平,张之江,等,发展3DTV需解决的技术及其应用趋势 【J】.电视技术,2010,34(6):4—6. [3]DROSES M,FUJII T,TANIMOTO M.Ray-space interpolation based 成像点融为一点的现象,并可以根据后期对显示器的测 试,结合具体的观看需求对3D视频节目做出调整,使人 眼观看达到最为舒适的效果。 on filtering in disparity domain[EB,OL]-【201 1-03-291.http:// sciencelinks.jP/j—east/article/200421/000020042104A0636207.php. 【4】LIU Shujie,LAI Polin,DONG Tian,et a1.New depth coding techniques with utilization of corresponding video[J[.IEEE Trans. Broadcasting,2011,57(2):551-561. 3)特效渲染技术 由于观看图片、视频时,人眼聚焦在屏幕处,视野受 到了限制,在观注感兴趣区域时并不需要经过眼睛对晶 状体焦距的反复调解,所以会减弱一些对深度的判断,此 时生理立体视觉完全依靠双眼视差产生。为此在3D内 容制作是加入了特效渲染,如线性透视、光线、阴影等来 丰富心理立体视觉,加强最终看到的立体效果。图10是 3D内容制作的效果图。 [5】SMOLIC A,MULLER K,DIX K,et a1.Intermediate view interpolation based on multi-view video plus depth for advanced 3D video systems [EB/OE1.[201 1-03—29].http://www.the3dphone.eu/ifles/publications/1. pdf. ◇ 作者简介: 尤志翔,博士生,主要研究方向为3D内容获取、生成和绘制技术; 安平。女,教授,博士生导师,主要研究方向为3D视频技术: 张兆杨,教授。博士生导师,主要研究方向为图像与视频处理和3D 视频技术。 责任编辑:孙卓 收稿日期:2011—08—29 图l0部分3D内容制作的效果图 (上接第14页) f4】国家广播电影电视总局.GY/T 162—2000高清晰度电视串行接15 社.2008. 中作为附属数据信号的24比特数字音频格式[s].2000. [5] SMPTE.ANSI/SMPTE 299M一1997 24一Bit digital audio format for hdtv bit-serila interface[S[.1997. [6】HARDING P,SHERRAr丌R,GUY C.Convergence of standard deft— 【8】李宁.HD—SDI信号的特征及检测方法的提案[J】.现代电视技术, 2004,(8):35—42. [9]谢元禄,张春,王志华.基于SMPTE272M标准的音频加解嵌系统设 计[J].电视技术,2008,32(7):10—23. 作者简介: 刘越。硕士生。主研数字电视技术: nition(SD)and high definition(HD)SDI for audio multiplexing and de—multiplexing by implementing modular design[C]//Proc.2004 IEEE International Symposium on Consumer Electronics.is.1.】:IEEE Press,2004:541—544. 章文辉,教授,硕士生导师。主研数字电视技术。 责任编辑:时雯 收稿日期:2011—11—06 [7】姜秀华,柴剑平,林正豹,等.现代电视原理[M】.北京:高等教育出版 投稿网址http://www.VideoE.cn I《电视技术》第36卷第2期(总第377期) 23
-