广西电视台播出素材的近线存储系统

广西电视台高标清播出素材的近线存储是缩编上载系统的子系统，其硬件主要由存储迁移服务器和数据流磁带库组成，其软件由缩编系统中的图形化业务流程控制ESB和归档中心软件组成。

该系统以一套NAS架构的EMC存储体为共用存储核心，将其划分为M、N、P、Q四个区域，通过10套高清上载服务器完成节目的编码采集工作，形成的媒体文件码流经以太网存入存储体的M、P区域，并通过存储迁移服务器归档到近线存储体——数据流磁库，实现节目素材与重要数据长期保存的安全性、使用的高效性。

一、硬件结构

    系统的存储迁移服务器主要完成数据流磁带库与网络间媒体文件的交互，由4台工控机集群而成，结构相对简单。数据流磁带库是其核心部件，由Quantum的一套Scalar i500系列组成。Scalar i500 是一个智能库存机平台，采用模块化设计与自动化技术相结合，在可扩展性、性能和可靠性方面都较理想，其体系结构和管理技术设计使数据备份容易管理。

数据流磁带库机体由14U控制库体和9U扩展库体组成，共23U，225个磁带槽位，每盒磁带800G，总容量为180T，有效存储空间为168T。

二、软件结构

1.ESB架构

图2  ESB图形化流程定义示意图

企业服务总线ESB系统（如图2）负责完成系统间元数据等控制信息的通讯和交互。ESB主要由引擎服务器、监控服务器和管理配置控制台组成。为实现系统与其他业务系统的快速、多任务量的实际交互、兼顾流媒体传输和文件传输特点、实现全流程控制，系统引入媒资管理理念，将数据采集为两类：一类是媒体数据，是数据量巨大的视音频文件或其它媒体数据文件，为非结构化数据。另一类是描述媒体数据的元数据，包括数据库内存储的各类媒体数据的描述信息和属性、视音频数据的低码流文件、关键帧数据等，为结构化据，是实现媒体资产检索、交互控制的重要数据。ESB提供流程组织调用服务，由存储迁移服务器提供文件归档、交换服务。

ESB系统平台主要有服务器引擎、流程配置、工作流监控几大部分。服务器引擎提供核心工作流引擎和对外接口功能。流程配置则是提供图形化流程配置和直观的流程监控功能。工作流监控用于监控流程运行状态。在实际应用中，流程配置过程是十分复杂的，往往要经过多次调试才能得到最佳的业务流程。本文所涉及的流程相对简单，仅在缩编上载软件中应用“签章”功能按钮就可完成流程的发起，由ESB系统平台完成任务流程驱动及监控，由以下的归档软件实施具体的业务运行。（如图2）

2.归档中心软件

归档中心软件是缩编上载系统的一套对近线存储设备进行管理的应用软件系统，主要负责视音频及其他元数据文件的存储与调度，把电视台需要备份的素材妥善地保存起来，是其他应用子系统的基础平台具有很高的可靠性、安全性和稳定性。归档中心系统采用分级存储架构，整个归档系统划分为在线、近线存储区。数据流磁带库划为近线存储区。存储区域由归档中心系统统一管理调用，共同完成数据对象的存储、交换和维护任务。

它具有的功能包括：存储任务调度及策略管理；执行数据的迁移：归档/回迁、备份/恢复和删除等操作；允许数据在归档迁移的同时建立相应的镜像备份，使系统数据更加可靠；存储系统采用三级容错：系统运行过程中，任意一级错误均有相应的容错机制，保证数据完整性、任务的连续性和可靠性；支持节目资料分段回调等。

软件系统由两个模块组成：前台监控管理Monitor及后台服务。

（1）前台控制管理Monitor

前台控制管理Monitor是归档中心管理控制台监控界面，是人机交互的中心——主要负责对整个归档中心的系统参数配置、系统资源配置及系统运行状况的监控和系统日志、归档任务、存储对象及磁带的简单检索等。

图3 归档中心管理控制台

归档中心管理控制台如图3所示，采用 Windows系统标准界面显示，能够完成如下功能：

监控：监视系统所有资源的运行状况，包括括服务器、迁移器、带库、磁带机、磁带组、磁带、存储对象等的运行状态，并且操作员可通过执行相关操作对系统各个资源进行调度及控制，如进行人工干预，将某磁带/磁带机挂起等。

系统资源配置：配置迁移器、带库、磁带机、磁带及磁带组等资源，分别对它们进行添加、删除、属性设置、状态提示方式等，灵活方便。

系统参数设置：配置归档中心服务器IP/备用服务器IP、端口、并发任务数、自动弹带时限、磁盘缓冲、磁带缓冲等参数。

系统日志：系统日志包括四个方面：操作日志、运行日志、警告日志和错误日志，支持对日志的搜索和分页显示。

（2）后台服务

后台服务由三个可执行服务器程序组成，各个模块之间用TCP（传输控制协议）的方式通讯。三个可执行服务分别是：

Manager(存储管理服务器)：存储管理服务是系统的核心，负责各个模块之间的通讯、消息的传输及系统内所有资源的分配调度。

Controller带库控制服务：带库控制服务（可执行该服务的机器直接与带库物理连接）通过TCP/IP协议接 Manager转发来的任务消息，实现对带库的控制，如：读取带库状态、槽位状态等信息；控制机械手实现磁带的加载、移动等。

Actor(迁移器服务器)：在所有的系统资源都具备以后，执行数据的搬移：归档/回迁、备份/恢复和删除等操作。

三、具体应用与实现

1.节目素材的近线归档

如将节目“测试”上载并归档到近线，其过程是：由缩编系统的上载软件如图4领取节目单后进行采集，完成后将素材进行归档。由 ESB 系统平台完成任务流程驱动及监控，归档中心软件完成素材文件的写入控制。

图4 缩编系统的上载界面

而此过程可在 ESB系统平台中制定多个的流程：一是设定一个“水位”，待多个素材文件的大小值到达此水位后批量写入带库，流程是：

这是两步不同任务驱动，“素材属性”中将素材设为“发布”，由 ESB即在完成节目采集后的系统平台监控存储空间，达到设定值后形成归档任务，交由归档中心软件自动执行素材文件写入数据流磁带库的操作。

二是利用上载软件的“签章”功能键生成驱动流程，由ESB互联平台自动完成任务驱动，归档中心软件自动执行素材文件写入数据流磁带库的操作，任务完成后，素材将处于“在线+近线”状态。

系统主要采用第二种业务流程，其优点是：归档时间可由人工在系统运行最闲时段统一提交，使系统资源利用率达到最高。同时，带库的归档存储有几种方式选择：单归档、双归档及 RAID结构归档等，在归档中心软件中进行设置。目前，系统采用“单归档”方式存储，好处是节省一半的系统“存储迁移”带宽、节省一半的带库存储空间。这是最优的归档流程。

2.近线节目素材的迁出应用

如将缩编系统中已存有的处于归档入库的近线状态节目素材daoshi89(264)下载到播出，可在上载软件中直接点击“绑定下载”功能键提交到播出，ESB系统平台自动将素材回迁到在线存储 M、P区，并提交到播出。图5是 ESB系统平台对这流程进行监控界面。

 图5  ESB系统平台流程监控

归档中心软件在接到指令后由后台程序根据存储策略自动生成回迁任务，如图6中显示的任务列表，包括任务名称、任务ID、任务类型、创建时间、磁带类别、状态、子状态、优先级、磁带、磁带组、迁移器、磁带机、开始时间和结束时间等信息，以及显示所选中任务对应的文件信息，包括文件名称、文件路径、文件状态等信息。 

图6 归档中心软件显示任务列表

结语

近线存储系统采用海量近线数据流磁带库架构，应用归档中心软件、文件化业务流程互联平台ESB软件等实现节目素材的再编辑、审核发布、归档，大大提高了节目素材及重要数据长期保存的安全、使用的高效性，保证播出的安全。

系统从2011年正式运行至今，其硬件工作运行稳定可靠，整个硬件构架合理，功能完备；多个应用软件的使用为广西电视台播出所需的节目素材的近线存储、调用等提供了高效的业务流程，满足了对节目源的高度安全需求，为新型播出系统提供高质量的、高安全性的节目源。所有软件均具有易操作性、高效性、安全性、高稳定性，流程合理、清晰、自动，为操作人员提供良好的工作条件，提高了工作效率、增加了节目的安全，社会效益、经济效益明显。