基于VR的数字博物馆视听语言研究

随着科学技术的发展，虚拟现实技术从最初被应用到军事领域，到现在已经被广泛地应用到教育、医疗、电影、游戏、建筑等多个领域，其中包括在数字博物馆中的应用。例如，2016年故宫博物院，首次运用虚拟现实技术进行三维复原，为参观者再现明清御窑的考古挖掘现场。在虚拟现实系统中，数字博物馆充分利用其特征来实现信息资源的三维建模，极大地激发了观众参观热情，也为观众在探索宏观和微观世界中由于种种原因而不便于直接观察事物，提供了极大的便利。

目前大部分数字博物馆的展现形式主要以文字和图片为主，展示手段较为单调，容易使观众感到乏味无趣，并出现信息传达不到位的情况，存在信息传递效果弱的问题。心理学家赤瑞特拉做的实验证明：人类获得信息的83%来源于视觉刺激，11%来源于听觉刺激，而同时使用听觉和视觉刺激可以达到信息量的94%。视听语言是利用视听刺激的合理安排向受众传播信息的语言，可以为数字博物馆提出相应的方法来提高信息传递的效果。本文主要是在数字博物馆与虚拟现实技术结合的背景下对视听语言进行研究。

一、VR与数字博物馆

（一）VR。虚拟现实（Virtual Reality，VR），是一个综合数字图像处理、计算机图形学、多媒体技术、模式识别、网络技术、人工智能、传感器技术以及高分辨显示等技术，融视觉、听觉、触觉为一体，生成逼真的三维虚拟环境的信息集成技术系统。1994年，美国科学家G.Burdea和P.Coiffet在《虚拟现实技术》一书中提出，“虚拟现实技术具有以下三个重要特征，分别是沉浸感（Immersion）、交互性（Interaction）和构想性（Imagination），常被称为虚拟现实的3I特征”。近年来，随着大数据和互联网等研究和应用的兴起，利用对图像、视频、行业大数据的分析和学习以高效建模成为热点，提升虚拟环境的自适应性日益受到关注，智能化（Intelligence）成为新时期VR研究与应用的重要特征。

（二）数字博物馆。数字博物馆是以数字形式对信息进行采集和管理，实现信息的永久保存，并通过互联网为普通大众提供数字化展示、教育和科学研究等多种服务的信息系统，同时还包括知识产权、存取权限、数字安全管理等。数字博物馆的特点：没有空间位置的局限，没有时间界限的局限，不受藏品展陈条件和场地的限制，打破了信息单向传递的限制，提高了藏品资源开放与共享程度等。公认的博物馆三大职能：收藏、研究、教育，数字博物馆是建立在数字空间之上的博物馆，因此，数字博物馆也具有实体博物馆的收藏、研究、教育功能，只不过数字博物馆收藏的是数字藏品，即以数字形式保存的文字、声音、图像等数据信息。

（三）VR技术在数字博物馆中的应用。虚拟现实技术在数字博物馆中的应用，常见的技术主要有基于全景照片的虚拟现实技术、基于虚拟现实建模语言的虚拟现实技术。在数字博物馆中虚拟现实技术主要应用在文物信息采集、文物虚拟展示、文物修复还原、文物资源共享等方面。

二、在VR背景下视听语言的转变

当影视技术发展成熟，图像语言和声音语言进行完美结合，能够真实准确地在银屏或屏幕上再现客观事物的时候，一种和生活实际中自然语言表达接近的“视听语言”产生了。视听语言是电影电视的艺术手段，同时也是大众传媒中的一种符号编码系统，是一种独特的艺术形式，主要内容包括镜头、镜头的拍摄、镜头的组接和声画关系。虚拟现实技术以沉浸感、交互性、构想性的特征出现，使传统的视听语言产生了颠覆性的转变并带来全新的视听语言。

（一）从有边画框到无边全景。在传统的视听语言里，所有的内容都是在摄影机的画框里展现的。因为摄影机的拍摄范围是有限的，所以拍摄前期需要制作分镜头脚本，为后续拍摄提供参考并保证内容在画框里展现。虚拟现实技术的出现，打破了传统的视听语言有边画框的现状，视听语言以无边全景的方式出现，不再受限于摄影机的拍摄范围，可以全方位地看到事物的内容以及事物发生的全景。例如，谷歌推出的VR短片《Back To The Moon》，采用360度全景的方式呈现故事内容，讲述了魔术师与红桃女王之间的爱情，魔术师与邪恶的绿衣人之间的斗争，以及在魔术师与红桃女王消灭邪恶的绿衣人后，两人携手坐上太空舱回到月球的故事。

（二）从单向观看到双向交互。在传统的视听语言里，观众都是坐在屏幕面前观看展现的内容。虚拟现实技术的交互性，使传统的视听语言从单向观看转变成双向交互，观众由旁观者变成参与者。在虚拟场景里，观众不仅可以看到虚拟场景里的所有内容，而且可以与虚拟场景里的事物进行交互。在一定程度上，双向交互可以更好地吸引观众的注意，避免观众出现信息接收不到位的情况。例如，与皮克斯动画《寻梦环游记》配套的社交VR体验《COCO VR》，在虚拟场景里，观众可以自由地选择发型、衣服、装饰物品等，打造自己满意的骷髅形象，除此以外，观众还可以邀请三个朋友共同体验这个奇妙的亡灵国度。

（三）从导演视角到观众视角。在传统的视听语言里，故事情节都是以导演视角为主线表达的。由于虚拟现实技术的沉浸感、交互性、构想性，以导演视角进行故事叙事的作用并不明显。在虚拟场景里，观众是主体地位，观众可以根据自身的主观意愿，自由地选择想要观看的内容，打破了过去接受导演所传达内容的限制。例如，威尼斯电影节最佳VR动画短片《Arden's Wake》，讲述了一个从小丧母的女孩，在海洋深处寻找父亲的故事。在虚拟场景里观众可以自由地进行探索，也可以选择不同的视角进行观看，甚至还可以忽略故事情节，去体验被海淹没的末日世界。

（四）从镜头剪辑到视线引导。在传统的视听语言里，蒙太奇在叙事和表现方面起到重要的作用。蒙太奇的运用必然会产生视觉中断，降低虚拟现实技术的沉浸感，因此蒙太奇将无法继续使用，在虚拟场景转向采用视线引导的方式进行故事情节的叙述。例如，首部艾美奖的VR电影《Henry》，讲述了一只小刺猬交朋友和过生日的故事。观众以第三视角观看并融入故事的场景里，另外电影多次采用了视线引导的方式进行叙事，其中包括从外面传来敲门声，把观众的视线引导到木门上，并向观众传达孤独的小刺猬没有朋友的情况将要发生转变。

（五）从二维声音到三维声音。在传统的视听语言里，单声道、双声道等都是二维平面化声音。二维平面化声音只能在平面声场里，感受前后、左右移动的声音效果，随着虚拟现实技术的兴起，声音从二维平面化声音发展成三维立体化声音。三维立体化声音可以将声场还原为三维空间，感受前后、左右、上下移动的声音效果。例如，Baobab Studios制作的VR动画《Invasion！》，讲述了小兔子靠机智的办法，让外星人离开地球的故事。在冰天雪地的场景里，寒风吹起的环境声音，让人有种身临其境的感觉，随后传来了大鹰的声音，观众可以通过传来的声音，判断大鹰的位置变化。

三、基于VR的数字博物馆视听语言研究

（一）虚拟空间。数字博物馆可以通过空间布局进行场景分区，让观众在短时间内熟悉数字博物馆的各个场景，避免在数字博物馆里迷失方向。1956年认知心理学家乔治·米勒发表《神奇数字7±2》的论文显示，在短时间内，人的记忆容量是有限的，记忆容量通常是5到9个记忆单位。数字博物馆可以采用场景分区的方式，把空间分为5到9个展厅，使用不同的名字以及不同的布局作为展厅区分。

除此以外，在场景分区的基础上建立特殊标志，可以增强观众对场景内容的记忆，建立特殊标志可以通过色彩、形状、大小等方式。例如，谷歌推出的VR短片《Back To The Moon》，采用360度全景的方式呈现故事内容，短片主要涉及六个场景，在六个场景里都有一个特殊的标志，如在水里游动的鱼、红桃女王扑克牌、方正神奇宝座盒、回月球的太空舱、巨大厚重的书籍、被转动的放映机。数字博物馆可以在场景分区的基础上建立特殊标志，在每个展厅的入口，建立一个特殊的标志，并采用视频交互等方式对展厅进行基础介绍，以便观众更好地接收数字博物馆各个展厅的信息。

（二）五感体验。数字博物馆可以通过人的五感进行沉浸式体验，让观众沉浸在虚拟场景里，从视觉、听觉、嗅觉、味觉、触觉五个方面营造沉浸式氛围。虚拟现实设备，虽然将观众在现实世界中的视觉和听觉进行了屏蔽，但是也为观众提供了视觉、听觉、触觉等感官模拟，增强了虚拟空间的真实性与沉浸感。

目前虚拟现实技术在感官体验方面主要以视觉和听觉为主。例如，Baobab Studios制作的VR动画《Invasion！》，在视听效果方面接近真实世界的效果。在动画片里观众既可以看到冰天雪地的虚拟场景，也可以听到寒风吹过的环境声音。在视觉和听觉的影响下，让观众感受到其他不存在的感官，如外星人在发射激光后，那种灰色浓烟的视觉效果，令人仿佛闻到烧焦的味道，这种味道给人的感觉是苦的，但是这些都不是真实存在的。数字博物馆可以通过增强视觉和听觉的效果，模拟其他不存在的感官，利用多种感官提高数字博物馆的信息传递效果，当然其他不存在的感官也可以通过相关的硬件设备来实现。

（三）视线引导。数字博物馆可以通过人的声音进行视线引导，并通过旁白、对白、独白等人声进行信息传递。在观众进入数字博物馆之前，利用旁白介绍数字博物馆的基本信息，引导观众看向与旁白相对应的视频图像，然后再利用旁白实现空间的转变，让观众正式进入到数字博物馆。例如，首部获得艾美奖的VR电影《Henry》，在影片开头通过旁白进行视线引导，利用旁白向观众传达小刺猬的基本信息并实现空间的转变。

在观众进入数字博物馆之后，利用对白介绍数字博物馆各个展厅的主题和内容、重点展出藏品、最佳观看路线等，引导观众看向与其对话的人物，人物可以是数字博物馆的虚拟工作人员。在观众参观数字博物馆的过程中，利用独白让藏品讲述自己的故事，以观众为交流对象，引导观众看向会讲述自己故事的藏品。例如，电视纪录片《如果国宝会说话》东汉击鼓说唱陶俑的独白：“两颗突出的苹果肌，仿佛熟透的冬枣，构成我可爱的面容，人们叫我说唱俑，虽然无名无姓，咱可是国家博物馆里，万人朝觐的大明星。”

（四）非蒙太奇。数字博物馆可以通过非蒙太奇进行场景调度，让观众避免蒙太奇产生的视觉中断，以及降低虚拟现实技术的沉浸感。在视听语言里有长镜头和场景调度的运用，长镜头采用一镜到底的拍摄手法，虽然可以避免镜头剪辑所产生的视觉中断，但是这种拍摄手法在各个方面的成本都比较高，当单个环节出现错位时就需要重新进行拍摄，不管是摄影师还是演员的走位，每次都很难能够完全的相同。目前，长镜头的使用并不常见，而场景调度的手法有纵深调度、重复调度、对比调度，可以最大限度地利用空间表现力，展现整体的内容或者细节。

数字博物馆可以采用纵深调度、重复调度、对比调度，让观众从观看藏品内容到走进藏品场景，在参观的过程中有专门的讲解员陪伴，以及数字博物馆按照对比的形式陈列藏品给观众观看。例如，法国巴黎卢浮宫博物馆的《蒙娜丽莎：超界视野》VR体验，运用三种场景调度手法，首先是纵深调度，利用透视关系的多样变化，使观众走进作品的场景，身临其境地感受当时作品创作的情景；其次是重复调度，利用相同的演员重复出现，增强作品的叙事、表意、抒情的力量；最后是对比调度，利用各种对比形式，使艺术效果更加地丰富多彩，让观众理解作品背后的故事以及作品创作的过程。

四、结语

随着虚拟现实技术的发展，数字博物馆与虚拟现实技术结合，使数字博物馆迎来了全新的发展机遇。虚拟现实技术以沉浸感、交互性、构想性的特征出现，使传统的视听语言产生了颠覆性的转变并带来全新的视听语言。本文是在数字博物馆与虚拟现实技术结合的背景下对视听语言进行研究，通过虚拟空间、五感体验、视线引导、非蒙太奇，提高数字博物馆的信息传递效果。目前，虚拟现实技术在叙事引导方面尚未完善，这是虚拟现实技术发展所要面临的问题。随着虚拟现实技术在硬件设备和软件系统的完善，视听语言在未来将会有更新的发展。

本文来源：《文化产业》https://www.zzqklm.com/w/wy/32640.html