2023年12月10日发(作者：)
-
文章编号：１００２—８６９２（２０１１）２０－－００３２—０３ 一种３Ｄ视频中立体字幕叠加技术 梁丽，褚晶辉，张小佩，李英敏 （天津大学电视与图像信息研究所，天津３０００７２） 【摘要】运用３Ｄ字幕视差与背景景深的对应关系，基于立体视觉的双日视差原理叠加３Ｄ字幕，实现了基于三维图像内容的 景深叠加３Ｄ字幕的系统。该立体字幕叠加方法具有简单、稳健等特点，缓解了观看时的视觉疲劳问题，使观众更舒适地观看立 体图像和字幕。 【关键词】立体视觉；立体字幕；双目视差；ＯｐｅｎＧＬ 【中图分类号】ＴＮ９４８；ＴＮ９４９．１３ 【文献标识码】Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｓｕｂｔｉｔｌｅｓ ｉｎ ３Ｄ Ｖｉｄｅｏ ＬＩＡＮＧ Ｌｉ，ＣＨＵ Ｊｉｎｇｈｕｉ，ＺＨＡＮＧ Ｘｉａｏｐｅｉ，ＬＩ Ｙｉｎｇｍｉｎ （Ｉｎｓｔｉｔｕｔｅ ｏｆＴＶ＆ＩｍａｇｅＩｎｆｏｒｍａｔｉｏｎ，Ｔｉａｎｊｉｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ ３０００７２，Ｃｈ／ｎａ Ｊ 【Ａｂｓｔｒａｃｔ】Ｉｎ ｔｈｅ ｐａｐｅｒ，ａ ｓｙｓｔｅｍ ｆｏｒ ｏｖｅｒｌａｙｉｎｇ ｓｔｅｒｅｏｓｃｏｐｉｃ ｓｕｂｔｉｔｌｅｓ ｈａｓ ｂｅｅｎ ｒｅａｌｉｚｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｅｐｔｈ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ ｃｏｎｔｅｎｔ，ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｉｎｅｉｐｌｅ ｏｆ ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ ｔｏ ｏｖｅｒｌａｙ ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎ ｓｕｂｔｉｔｌｅｓ ｂｙ ｕｓｉｎｇ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｒｅｌａｔｉｏｎ ｏｆ ３Ｄ ｓｕｂｔｉｌｅｓ ｄｔｉｓｐａｒｉｔｙ ａｎｄ ｄｅｐｔｈ ｏｆ ｉｅｌｄ．Ｔｈｉｆｓ ｍｅｔｈｏｄ ｆｏｒ ｏｖｅｒｌａｙｉｎｇ ｓｔｅｒｅｏｓｃｏｐｉｃ ｓｕｂｔｉｄｅｓ ｉｓ ｓｉｍｐｌｅ ａｎｄ ｒｏｂｕｓｔ，ｗｈｉｃｈ ｗｉｌｌ ｒｅｌｉｅｖｅ ｐｒｏｂｌｅｍｓ ｌｉｋｅ ｅｙｅ ｆａｔｉｇｕｅ ａｎｄ ＩＴＩＯ￣Ｏｎ ｓｉｃｋｎｅｓｓ ｅｘｐｅｒｉ— ｅｎｃｅｄ ｂｙ ｖｉｅｗｅｒｓ．Ｖｉｅｗｅｒｓ ｃａｎ ｒｅａｄ ｔｈｅ ｓｔｅｒｅｏ ｉｍａｇｅｓ ａｎｄ ｓｕｂｔｉｔｌｅｓ ｗｉｔｈ ｅａｓｅ ａｎｄ ｃｏｍｆｏｒｔ． 【Ｋｅｙ ｗｏｒｄｓ】ｓｔｅｒｅｏ ｖｉｓｉｏｎ；ｓｔｅｒｅｏｓｃｏｐｉｃ ｓｕｂｔｉｔｌｅ；ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ；ＯｐｅｎＧＬ ０ 引言 素。Ｊｕｌｅｓｚ利用随机点图已经证明，在排除一切心理立 体视觉之后，一组完全无异议的视觉刺激，只要具备视 随着科技进步和人们对生活品质的不断追求，３Ｄ电 差条件，就能经双眼产生深度上的感觉 Ｊ。双目视差 影已一步步走进我们的生活。与传统二维影视的无深度 反映了客观景物的深度信息。具有视差的双眼视图经 和临场感的显示技术不同，３Ｄ电影给观众带来身临其境 视觉皮层融合，产生立体感。若能为左右眼提供同一 的逼真感觉和无与伦比的立体观赏效果。 场景的立体图像对，并采用光学或其他技术措施，使观 ３Ｄ电影的盛行迫切需求３Ｄ字幕技术的革新。目前 看者的左右眼分别只能看见对应的左右眼视图，则观 的３Ｄ电影往往将字幕直接放置在立体图像的最前面，字 看者就能感知到立体图像。在影响生理立体视觉与心 幕自始至终浮现在银幕前，并没有考虑立体图像内容的景 理立体视觉的诸多因素中，与立体图像有直接关系的 深变化，观众很难同时看到字幕和内容，眼睛会感到累甚 只有双目视差。即，影响人眼立体视觉的外界因素主 至头昏眼花，没有解决视觉疲劳问题。立体图像强烈的纵 要是立体图像中的双目视差信息。 深感，是叠加３Ｄ字幕时必须考虑的因素。针对上述问 立体图像固然生动形象，但由于当前技术条件限制 题，文献［１］提出了３Ｄ字幕与立体图像内容自适应的解 观看时会产生视觉疲劳问题，其主要原因是双目会聚与焦 决方案，将三维图像做垂直样本线投影将其简化为一个抽 点调节不一致 Ｊ。现实世界中会聚与焦点调节是一致 象图像对，计算代理深度以确定一个字幕元素的渲染属 的，然而在观看立体图像时，若视差大小在融合范围 内， 性。此方法极大的加快了深度的计算，具有实时性，但由 调节和会聚距离虽然不一致，但是仍可以把左右眼视差图 于丢失了大量信息而不可避免地降低可靠性。本文经过 像融合成一幅立体图像，观看者在立体屏幕上看到的是一 实验，提出了３Ｄ字幕视差与立体图像景深的对应关系， 缓解了观看时的视觉疲劳问题，可实现更好的观看效果。 幅具有纵深感的立体图像；若视差的大小在融合范围之 图像，观看者看到的是一幅不清晰的串扰图像，从而产生 严重的视觉疲劳。 基于立体视觉的双目视差原理叠加３Ｄ字幕，一定程度上 外，观看者则无法将左右眼两幅视差图像融合成一幅立体 ｌ 立体视觉 人类的立体视觉由心理立体视觉与生理立体视觉 ２ 立体字幕叠加 组成 。双眼视差 是人眼最强烈的生理立体视觉因 综合影响立体视觉的诸多因素，在立体图像中叠加 ３２ 洲年第３５￣２０ 总第姗期 步寻找新的种子点。最后州松弛迭代法去除误匹配点，邻 图３有一定改进，但是观众观看时会感觉不习惯。图４是 域均值滤波和中值滤波去噪，降低噪声的干扰，增加视差 本文提出的方法实现的３Ｄ字幕叠加。通过对比不同方 的可靠性。其中误差能量公式为 法的实验结果发现，本文方法实现的３Ｄ字幕叠加效果更 加舒适流畅，符合大众的观看习惯。 （１） ｅ（ｉｊ ＝ ４ ｔ＊ｒｔ∑ｔ＋ｍ （Ｌ（ｘ，ｙ＋ｄ，ｋ）一 ｎ（ｘ，ｙ，ｋ）） 由上述改进的区域增长算法计算得到的视差图较理 想，算法准确且复杂度不高。在视差图上选定字幕区域， 提取字幕区域的视差最大值作为字幕的视差值。用 ＯｐｅｎＧＬ在左右视图上叠加具有此视差值的字幕。 ３．３ ＯｐｅｎＧＬ叠加字幕 字幕区域的选择需要大量的实验测试和主观评价， 以找到令人感觉最舒适的位置。本文依据大众的观看习 惯将字幕区域选定在显示屏幕的底部，同时为了减小遮挡 问题，根据图像内容的空白区域作适当调整。 选定字幕区域，采用ＯｐｅｎＧＩ 中文字体的绘制位图方 法叠加字幕” 。将左眼视图以原比例大小作为场景的背 景显示，在场景上创建具有一定属性的字体，用ＧＤＩ方式 将文字形成单色位图，并在字幕区域调用ＯｐｅｎＧＬ绘制位 图函数ｇｌＢｉｔｍａｐ（）便可清楚地将文字显示出来。该方法 简单可行，右眼视图叠加字幕时只需将字幕水平坐标向右 平移视差值。应用ＯｐｅｎＧＬ可方便、快速地更换文字内 容、字体属性及文字的位置等。随着视差的变化，字幕字 体的大小随之改变，以便观看效果清晰流畅。字体的其他 属性也需跟随立体内容改变而调整，以减少遮挡，增强观 赏性。 最后，视图与字幕一起保存为原视图大小的ＢＭＰ图， 将叠加了字幕的立体图像对立体显示即可看到具有深度 感的３Ｄ字幕。 ４ 实验结果 利用Ｒｅｄ Ｓｔａｒ Ｓｔｕｄｉｏ Ｌｔｄ．的Ｂｅｎｊａｍｉｎ Ｓｍｉｔｈ制作的 立体视频 ，将其分离出左右眼视图，应用本文的程序对 左右眼视图进行处理，运行结果在显示器上显示。使用的 观看设备是ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ３Ｄ立体眼镜与Ｓａｍｓｕｎｇ Ｓｙｎ． ｃＭａｓｔｅｒ ２２３３ＲＺ显示器，显示器的分辨力为１ ６８０ Ｘ ｌ ０５０， 刷新率为１２０ Ｈｚ。 图２４是不同方法实现的３Ｄ字幕叠加红蓝效果图。 目前３Ｄ电影将字幕直接放置在立体图像前面，没有考虑 立体图像内容的景深情况，结果如图２所示。图３为 “Ｓｉｚｚｌｅ”视频中使用Ｐｏｌｉｓｅｒｉｐｔ ３ＤＩＴＯＲ字幕制作软件，将 ３Ｄ字幕放置在银幕的顶端冈¨ 。一般冈像顶端场景深 度感不明显，３Ｄ字幕视差小甚至无视差，容易叠加。相对 ３４ 加－ 年第ｓｓ卷第加肌总第ｓ，。期 图２普通字幕效果图 图３顶端字幕效果图 图４本文３Ｄ字幂显示效果图 根据实验结果可以得出以下结论：立体字幕放置位 置是基于立体图像内容的。立体显示的再现立体深度与 视差图的视差大小有关，字幕的视差由立体图像内容的深 度决定，并且随着立体图像序列内容的深度改变而改变。 为了获得最佳的观赏效果，需对字幕视差进行微调，使３Ｄ 字幕的位置比立体图像内容稍微靠前一些。 ５ 结论 可将立体图像上的３Ｄ字幕显示在一个令人感觉舒 服、可接受的深度位置的３Ｄ字幕叠加系统是很有实用价 值的。本文从人眼的视觉特性出发，分析了影响立体视觉 （下转第４０页）
-
