数字节目虚拟现实交互系统的实现与应用软件技术Word格式文档下载.docx
- 文档编号:21978376
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:9
- 大小:244.54KB
数字节目虚拟现实交互系统的实现与应用软件技术Word格式文档下载.docx
《数字节目虚拟现实交互系统的实现与应用软件技术Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《数字节目虚拟现实交互系统的实现与应用软件技术Word格式文档下载.docx(9页珍藏版)》请在冰豆网上搜索。
“正如14世纪的印刷术和19世纪的摄影术对现代社会和文化的发展产生了革命性的影响一样,今天我们正处在新媒体革命之中——文化的生产、发布和传播形式都以计算机为中介而发生转变[1]。
”
传统的电视演播虽然将文本、图像、声音结合起来,但信息传播的方向是单向的,观众接收信息的状态是被动的、静态的。
20世纪末,随着计算机数字技术和互联网技术在电视领域的发展与应用,信息的传播开始具有实时互动性,并实现了文本、图像、音频、动画等多媒体的融合。
新媒体时代的电视观众早已不满足于单向的信息传播,而是期待着身临其境的“现场感”,一种此时此刻的互动体验,一种超越现实的视觉震撼。
虚拟现实技术让这一切成为可能。
1虚拟现实技术
虚拟现实技术是一种可创建和体验的虚拟现实世界,这个虚拟的世界既可以是现实世界的再现,也可以是想象中的世界。
在电视领域,虚拟现实技术将三维虚拟模型、视频和三维动画等整合到演播室实景或外景拍摄中的任何地方,让充满无限创意的虚拟场景与现实场景结合的相得益彰。
技术特点
提升演播画面的生动度和震撼度
传统实景演播室的景片和机位相对固定,图像、视频等信息通常利用电视机或LED显示屏显示,演播的画面较为单一、平面化,如图1。
图2是今日俄罗斯(RussiaToday)电视台利用虚拟现实技术播报军事新闻。
在新闻直播中,开进演播室的飞机、坦克,纷飞的战火,俨然把新闻演播室变成了真实的战场。
在德国国家队的直播比赛中,德国RTL电视台利用虚拟现实技术为不在现场的电视观众带来了更具视觉突破、富有身临其境感的赛事转播,如图3。
提供全方位的信息渠道
传统的电视演播通常借由主持人的口头播报和大屏幕的画面播放来传播信息,而虚拟现实技术令信息的传播更灵活、更立体。
主持人的肢体叙事、直观易懂的虚拟场景和动画、实时的人机互动等为信息的传播提供全方位的沟通渠道。
如图4。
虚拟现实技术为今天的电视观众带来了全新的视觉体验。
但目前,除中央电视台和几大省级卫视外,我国电视台关于虚拟现实技术的研发和应用与国外相较还处于低级时期。
从20世纪90年代末,我国开始陆续引进各大闻名公司的虚拟演播室系统,如Vizrt、ORAD。
一方面,关于入口产品的过度依托,客观上阻碍了我国电视行业对虚拟现实技术的开发;
另一方面,入口产品昂贵的价钱也阻碍了虚拟现实技术在国内的推行和普及。
因此,如何通过自主研发与创新,将最前沿的虚拟现实技术带给中国的电视行业一线,惠及我国最广大电视观众,知足观众不断提升的审美与视听需要,是幻维数码一直以来试探的问题和尽力的方向。
相关设备
虚拟现实技术看上去是一个垂直专业的领域,但其最核心的价值是把物理世界与数字世界连接起来,实现的过程便需要计算机图形技术、计算机仿真技术、传感器技术、显示技术等诸多跨界的合作。
如同iPhone的巨大成功并不是把电脑缩小那么简单,而是计算机、人机互动、触摸屏、锂电池等诸多新技术跨界的产物。
“新媒体的本质特征,应从媒体互动的新方式、媒体技术的新融合、媒体产品的互相依赖与交叠等众多元素中去找寻。
”正如中国传媒大学的廖祥忠教授对未来新媒体的总结:
它将是“以数字技术为核心”的“融合,融合再融合[2]。
Kinect是微软公司在2010年发布的XBOX360体感周边外设。
它彻底颠覆了游戏的单一操作,使人机互动的理念展现的更加充分。
Kinect是一种3D体感摄影机,同时导入了即时动态捕捉、影像辨识、语音识别、社群互动等功能。
游戏玩家可以通过这项技术在游戏中开车、踢足球、与其他玩家互动、通过互联网和其他XBOX玩家分享图片和信息等。
Kinect不需要任何的控制器,它通过捕获人体的骨骼数据,对人的肢体动作进行识别。
该设备原本只是游戏主机XBOX360的附属体感捕捉设备,供玩家体验体感游戏,由于其开放的SDK(软件开发工具包),众多爱好者开发出了许多第三方程序,将此设备应用在了多个不同领域,并不仅限于游戏。
微软官方后来还推出了专门用于Windows系统开发的专用KinectforWindows。
Ventuz是一个实时的图像内容创作编辑控播软件,适用于任何领域的高端视听内容的制作与展示,例如专业展示、视频墙、多点触控应用和广播图像。
这款软件是一套为设计师制作高品质的实时影像而开发的3D设计平台,已长期应用于大型会展、娱乐活动等实时动态影像处理。
Ventuz软件具有很高的稳定性和全面的功能,可以集成到复杂的硬件和软件系统中。
2013年4月,Ventuz软件公司推出的Ventuz4软件主要由Designer、Director和Runtime三部分组成。
VentuzDirector是用来运行Ventuz内容的播出控制软件,Director的软件接口可以由用户或开发人员完全定制以适应任何工作环境。
VentuzDesigner用于Ventuz内容创建和应用程序的编写,利用基于节点的创作系统,将逻辑、动画、合成、美术设计等集成在一个实时三维的环境中,而最终效果可以即时查看。
利用数据连接、状态逻辑动画和实时的交互,设计师可以发挥想象、自由创作。
VentuzRuntime是由VentuzDirector和Designer所创建的项目的实时渲染引擎,其多样化的输出选择为现有的任务提供了完美的解决方案。
Ventuz的应用实例如图7。
数据头盔、全息成像、动作捕捉、立体投影……众多硬件产品和软件产品接踵问世,推动着虚拟现实技术的加速升级。
软硬件产品的多样性与开放性,为各领域的开发者带来广漠的想象空间。
将不同面向的虚拟现实技术打通,实现数字技术的跨界、融合与应用,不仅为幻维数码的“魔幻演播系统”提供了技术基础,也为电视演播的不断创新提供了灵感来源。
2“魔幻演播系统”的实现
幻维数码敏锐察觉到虚拟现实技术在电视领域的无限前景,开始了中国首个数字节目虚拟现实交互系统的全新尝试与实验。
本项目将微软公司的人机交互技术Kinect与实时图像内容创作软件Ventuz打通,架构起可以实现实时人机互动、实时内容创作的魔幻演播系统。
幻维数码魔幻演播系统的技术流程如图8所示。
利用Kinect体感器作为输入设备,捕捉主持人的骨骼数据、识别动作;
动作识别程序接收到体感信息,转化为网络命令后发送给Ventuz图形处理端;
Ventuz图形处理端接收到网络命令后将触发相对应的图像内容。
Kinect有3个摄像头:
彩色摄像头负责采集图像并确定20个关节点在摄像头中的平面XY坐标;
红外投影机负责向水平视角57°
和垂直视角43°
的空间区域内发射“一类普通激光”;
红外摄像头负责接受反射光线,识别人体的深度场并锁定20个骨骼点的空间深度,即Z坐标。
幻维数码魔幻演播系统采用的Kinect体感器,可同时识别六个人的骨骼信息,识别效果稳定、精度高,可满足虚拟演播室的多人交互需求。
在中国,将实时人机交互系统应用在电视演播领域并无先例。
国内现有的电视演播中运用的虚拟现实技术还处在后台操控的初级阶段,无法做到真正的实时交互。
然而,将非电视领域的体感技术和图像引擎融合开发,势必将面临数字语言不匹配、各工作组间的关系建立、稳定性考量、手势操作规范等一系列技术层面的挑战。
魔幻演播系统攻克的最大难点,在于利用微软开放的API、SDK,自行开发应用程序接口,开发出动作识别程序这一中间平台。
这个中间平台既能接收Kinect捕捉到的体感信息,又能将动作信息处理转化为网络命令,利用OSC(开源商业软件)通信协议,将数据导入Ventuz引擎,既而实现“现实”动作和“虚拟”图像的交互联动。
这样,虚拟图像的操作端就由以往导控室内的操作员转移到主持人身上。
主持人可以控制节目节奏,随意抓取一些子元素,操控它的缩放、移动和进出,并与虚拟图像进行有趣味性的互动,为节目带来全新的创意表现。
此外,Kinect和Ventuz都是市场上使用效果好、性价比高的虚拟现实技术。
将二者整合,既能达到预期的视觉效果和交互体验,又能极大的降低成本。
相较于一套进口的虚拟演播系统,幻维数码自主研发的魔幻演播系统的价格降低了70%。
魔幻演播系统超高的性价比将为虚拟现实技术在全国电视领域的普及带来可能。
3“魔幻演播室”的应用
实时互动:
主持人的主导性和创造性
新媒体时代,虚拟现实技术的不断演进正不可抗拒地调动起人们所有的感官。
主持人的行为、姿势、表情、语言、情感都是一种叙事方式。
身体叙事作为叙事学的概念由美国学者丹尼儿?
潘戴在20世纪90年代末提出。
“以身体作为叙事符号,以动态或静态、在场或虚拟、再现或表达的身体,形成话语的叙事流程,以达到表达、交流、沟通和传播的目的[3]。
”伴随着全球化的进程,当今的“视觉文化”时代正迈入一个身体狂欢的时代,人们的身体充满了表达的欲望、渴望参与一切新奇的互动体验。
基于虚拟现实技术的电视演播,主持人的身体叙事正逐步冲破了传统演播中的局限。
魔幻演播系统通过建立链接,组成具有“超文本”性质的开放的空间结构,使主持人的演播成为穿梭于时间轨道和三维空间的跳跃性行为。
随机性和偶然性成为电视演播的新乐趣。
魔幻演播系统的实时互动功能,将触发虚拟世界的主动权交给了主持人,使他的身体由客体上升为主体,成为一个充满意义的能量场。
以2014年,幻维数码为五星体育频道的世界杯特别栏目《快评世界杯》为例。
我们将演播室空间通过1:
1工业级建模,对整体布局进行架构和设计,如图9。
在构建虚拟演播室框架的构成中,着重考虑主持人、嘉宾等主体和虚拟前景、虚拟背景的关系。
接下来咱们对主持人的触发区域进行设计与治理,对触发方式、触发成效进行标准设计。
如图10。
实现效相关于传统的以语言文字为中心的理性叙事方式,实时互动类虚拟演播室中主持人的肢体语言那么彰显了感性化的叙事方式。
试想一下以后更具制造性的演播形式:
在战争新闻的播报中,主持人能穿越时空和失去家园的小孩们拥抱;
在足球竞赛的直播中进球的一刹时,主持人能奔跑到赛场上和球员击掌、欢呼,宣泄心中的狂喜。
虚拟现实技术,不但触发了亦真亦幻的视觉世界,更将触发电视观众内心的同情、喜悦、感动等深层次的情感。
虚拟现实技术的革新将不断推动着电视演播从视觉到情感的制造性表达。
创新技术:
技术与艺术的融合
正如乔布斯奉行的理念:
艺术与科技的完美结合将改变世界,让普通人也能轻松享受科技的美感。
在设计、应用魔幻演播系统的每一个个案中,我们都力求创作出最出色的图文设计,并将其完美融入到虚拟现实技术中。
2014年,我们为五星体育《快评世界杯》栏目创作了独具风格的虚拟演播室。
引入世界杯的官方平面素材,将其重新设计制作成虚拟场景中的三维元素,构成了各式符合节目需求并承载数据信息和实时交互功能的虚拟场景,完成了实时比分环节播报、球队和球员介绍、首发阵容介绍、微博微信互动等全方位的展示。
如图12、图13。
作为五星体育《快评世界杯》栏目的创新技术支持,魔幻演播系统为节目带来了全新的创意表现。
世界杯期间,该系统一经推出就迅速取得了业内外人士的一致好评,也为直播评论类节目寻觅了一种创新的电视演示语言。
幻维数码将公司自有300m2的6讯道演播室单独开辟出来,将Ventuz、Kinect与高清演播室系统整合,赋予了该演播室虚拟前景、实时图文创作、在线包装与虚拟交互能力,创建起上海多媒体谷(张江高新区闸北园)中,唯一一个提供高端数字节目录制的专业技术服务平台。
该服务平台积极开展面向文化产业的数字演播录制公共技术服务,已累计设计、录制了近1000期数字节目,并完成了东方卫视、上海新闻综合频道、纪实频道、五星体育、第一财经等频道的节目录制与包装。
幻维数码数字节目在线包装与录制平台的建设对整个数字内容、文化创业产业带来了明显的推动作用。
4未来展望
电视是一种视听艺术,随着虚拟现实技术在电视领域的应用、新的图形图像技术的推出、电视制作技术的进步,无疑会进一步推动包括电视媒体和全媒体在内的所有节目形态和内容展现方式的巨大革新。
观众对电视演播的期待已不再是创作具体内容,而是设计一个让观众可以体验并互动的框架、平台、环境,甚至由观众亲自参与并创造的世界。
未来的客厅文化将演变成一种沉浸式的增强现实体验。
电视观众只需借助身体感应器、数据手套、数据外套、数据头盔等互动装置,便能走入一部电视剧、参与一场真人秀、在虚拟现实中探索感知世界。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字 节目 虚拟现实 交互 系统 实现 应用软件 技术