构建高效的媒资管理系统

摘要：

媒体资产管理系统发展至今已经有十年之久，在此期间，随着数字化、网络化系统的普及和媒资系统自身的发展，大量的多媒体资源迅速在各行各业呈现出爆发性增长的态势, 伴随而来的是媒资系统中海量的资源管理方式暴露出的各种效率弊端，它已经是媒资系统目前尤其需要重点考虑的问题。针对这一问题，本文将以大洋媒资系统为例，对各种业务形态与应用模式中的效率优化问题进行简要概述。

关键词：存储规划 流程优化 自动化编目 快速检索 分布式集群转码

“媒体资产管理”这一理念在2000年由IBM引入中国后，我国广电集成行业的龙头企业迅速结合国内广电产业的实际情况，潜心研究，成功推出了适合数字化、网络化技术变革的媒体资产管理系统，并不断地依靠科技创新，将广播电视从传统媒体升级到现代媒体。伴随着系统功能上的逐步成熟，媒体资产管理的理念和应用模式也在不断创新发展，经历了存储型、互联型、生产型和经营型媒资的发展阶段，乃至现在的综合型媒资，成为了名副其实的资源管理“多面手”。

而在这些应用模式中，几乎所有的环节都跟效率密切相关，例如媒资系统的质量管理体系的问题就和效率密切相关，为了保证质量，我们应该如何操作？步步设槛，步步加审核？这样虽然能保证质量，但带来的代价是效率一定会下降，由此可见，效率问题遍布各个业务环节。对于这一问题，我们可以从几个方面进行分析，首先是设计合理的存储体系，存储是媒体资产管理系统的核心；其次是检索查询效率的优化，当我们的库存只有1万小时、2万小时、5万小时的时候，检索一定不是问题，因为百万级数据库的检索即使是非常复杂的数据结构，对现在的数据库检索引擎来讲都不是问题，但真正到了20万、30万、40万、50万小时以后，甚至未来可能会更多，尤其到了高清以后，整个的查询检索效率会是媒资系统中很重要的因素；另外还有流程处理的效率问题。

1.1存储体系规划

在媒资系统设计中存储效率是必须要考虑的，在设计分析的时候我们都需要因地制宜，包括面向的应用是什么、主要的服务对象是什么、存储核心都包括哪些部分、整个的数据调度和策略应该怎么安排等，这些都是设计上需要考虑的。这里包括存储对象及格式的选择，元数据存储的选择，也包括一些存储设备的选择，同时包括调度迁移策略的制定等多个方面。

1）存储格式和对象

海量存储一定是多格式的，从长远来看，十年、二十年之后，不管是高清还是标清压缩算法肯定都会改变，面向应用也会有不同的考虑，我们可能会针对不同的节目形态在节目类型方面做一些优化。我们在设计上根据我台的实际情况媒资系统目前保存的节目格式主要有两种，一种是外购电视剧，专题片等节目，这一类节目在媒资系统存储主要是实现自动备播，因此在考虑到迁移到播出系统的效率问题，这类节目采用12Mbps IBP帧的播出格式进行存储，直接通过互连平台进行自动备播用，一种是自制节目，新闻等，采用50Mbps的MPEG2格式保存，同时在各个制作网系统中均全部统一格式，从媒资下载的内容在进入到制作网的时候必须转码成与制作系统要求相一致的格式，保证格式的统一，避免或减少多格式混编在制作系统中的使用。根据实际的使用要求在入媒资存储阶段就对格式做好规划，在后期的检索下载等应用中会对媒资系统的效率提高有不小的作用。

2）存储体系规划

这里可能会有一些存储对象的规划和分析上的问题，比如对于原始素材、成品节目、归档资料的存储应该采取何种模式才能充分发挥效率，需要结合其再利用的模式来考虑，而存储区的规划，包括面向生产——在线冗余、近线备份；面向归档——分级存储、策略调度；面向运营——素材、成片、产品，都需要结合实际应用进行考虑。在实际使用中，我们的在线存储采用两台FC存储作为主备，通过在软件中将两台存储的盘符划分到媒资系统运行所需的各个存储路径下，正常运行环境下入库的数据格局各个盘符所占用的空间情况自动进行分配，而当在某一台存储出现故障的情况也可以轻松的通过设置来保证所有的媒资业务能够使用另一台存储正常提供服务。近线与离线存储采用基于LTO-4技术的磁带机，在实际使用过中能够提供大于90MB/s的读写速率，可以提供较高的数据迁移能力。

3）存储网络技术选择

关于存储网络技术选择，十个人可能有十种观点，其实SAN架构和IP存储各有各的优势，SAN胜在高带宽，尤其SAN架构单端口、单任务的带宽会比较具有优势，而IP存储的总带宽也基本可以满足应用需求，现在很多IP存储的产品性能都非常优异，它的优点是接入成本比较低，但也存在一些问题，如单任务带宽会受到以太接入的，以现在媒体资产管理分级存储的数据调度效率来讲，主机的瓶颈往往是IP存储的问题，从技术发展的角度来讲，万兆及以太FCOE技术逐渐成熟可能会使IP和FC的存储在万兆点上产生融合。

4）元数据存储与优化

媒资系统中除了媒资数据以外还有就是元数据的存储了，元数据库主要保存在数据库中，而且随着时间的积累，数据库中保存的元数据信息会越来越多，随着数据量的增大数据库的性能会对整个媒资系统的运行效率产生很大的影响，在媒资系统设计中要重点考虑数据库的选型以及数据库的硬件性能。除此以外在软件设计，数据库设计方面也需要软件开发商能够做到尽可能的进行优化。我台采用的Oracle 10g作为数据库，采用单独的SCSI盘阵作为数据盘，使用oracle的RAC并行集群提供服务，在实际的使用过程中当我们使用到一定的时间以后会发现数据库的效率会下降很严重，最严重的时候甚至系统几乎无法正常工作，后来通过排查以及对数据库进行分析，在原有的基础上对数据库的脚本做了一些优化以及相关软件做了优化后这一问题才得到解决。

1.2 流程优化

流程优化的主要设计点在于业务流程的梳理和整合以及设计合理的模型和流程引擎，从工作流的角度来讲，工作流在实现流程逻辑和应用软件剥离方面确实能够极大的提高系统的灵活性，而且也便于拆解复杂的业务系统，但它的问题是复杂度会增加，流程逻辑剥离会导致流转效率降低，往往是处理流程越复杂，效率问题越突出。

在流程优化方面首先就是要对引擎进行优化，在全台网环境下ESB引擎为各系统互连提供总线服务，提供元数据交换等，引擎要能够提供灵活的，高效的数据转换，外部的WEB服务可像“黑盒”一样来为流程提供所需的服务，而不需要考虑开发的平台、异构系统等问题。引擎应能够提供灵活的配置方式以及各种转换方式，如XSLT,XPath等，能够在流程设计阶段完成各种转换而不需要对引擎做任何的修改。其次是业务流程的梳理和整合，在前期要对现有的业务流程做一个梳理，了解哪些是必须的，哪些是可以取消的，哪些是可以合并的，使业务流程更合理，降低系统的复杂度。另外在流程设计阶段要尽量简化流程模型，提取出共性的部分。在一个互连流程中有很多环节，各个环节基本采用的是顺序执行模式，复杂一些的流程中也会采用到排他选择模式，如在某一个环节流程执行过程中获取到的参数不对等，流程会直接跳转到结束节点，顺序模式与排他选择模式在流程中普遍得到使用，但是如果在一些更复杂的流程中能够将业务流程进行更细化的拆分，并加入同步模式这样在流程效率上会有不小的提高。

1.3高效的媒资管理

高效的媒资管理需要考虑媒体文件的入/出、媒资的效率优化、元数据内容管理方面的优化以及后台管理的方便性等等，即需要充分考虑入库、编目、检索再利用、转码/迁移、流程管理等各个环节，从而实现整个系统运转与管理的高效率。

1.3.1 高效的后台管理

媒资系统的运行需要大量的后台软件来支撑，如磁盘使用情况、媒资检索平台、媒资互连接口、带库控制管理等，对于管理人员来说如何方便、高效的管理与掌握整个系统的运行情况直接影响到媒资系统的高效性，只有有了良好的管理才能为其他应用提供高效的服务。管理人员要能够直观的了解整个系统中各个方面的运行情况，如存储使用情况、策略运行是否正常，检索平台等各种应用是否均在正常的工作。

1.3.2 丰富高效的入库手段

在媒资系统中应有专门的上下载工作站能够将传统磁带直接上载到媒资系统中，可以提供自动化的批量上载、批量导入以及导入时的分段导入和多种高、标清高码率格式的互转等功能。也可以将已有的图片、视频、文档等直接导入进行集中管理，实现媒体资料数字化保存和统一管理，有助于业务资料规范化管理，并保证珍贵资料图像高质量的长期保存和反复利用。同时能够高效的通过互连平台将各种资料保存到媒资系统中，能够针对不同的应用情况传入不同的内容，如在制作网中入媒资保存的可以是视音频文件也可以是视音频与文稿相结合的内容，在入媒资保存阶段就直接将文稿信息带入媒资系统中，方便编目人员进行编目。

1.3.3 专业智能化的编目功能

遵循《国家广播电视音像资料编目规范》制定的标准，对视频节目/素材进行描述。系统可自动识别视频节目/素材的关键帧并保存相关信息，形成关键帧和视频节目/素材的对应关系。同时，系统还可自动提取节目/素材的原始信息（例如：对应的文稿、上载过程中的预标注等）并按照预先定义的编目规范进行整理，也可进行手动修改或标注。对于文稿与视频结合的条目在入媒资的时候即可将文稿信息如栏目信息，首播日期，记者等信息直接保存到媒资系统中，简化一次编目，减少编目人员的工作量。

1.3.4 检索灵活高效

检索是媒资建设中的重要环节，随着系统的运行，媒资系统中的数据量会越来越大，在上百万甚至上千万的数据里面要查找相似或者最匹配的内容会耗费相当大的时间，而引入全文索引则可以很好的解决在大数据量中检索数据慢的矛盾。使用全文索引技术可以大大提高用户的检索效率，在全文索引中“分词”算法尤为重要，在检索系统中加入同音字检索、拼音检索、同义词检索、附件内容检索、关键帧检索、关联检索以及检索模板等，都可帮助用户快速检索所需的节目资源。在检索平台中使用web2.0技术也会大大提高用户使用体验，在检索到内容后可以直接查看并可以与流程结合直接整段或者分段下载各个子系统。

1.3.5 高效的文件传输与转码

在媒资系统中各种的文件交互非常频繁，同时也需要在各种情况下进行转码，要求在文件传输过程中能够实现多服务器组协同工作，能够对任务进行拆分成多个子任务由多台服务器共同完成，能够继承流程中设置好的任务优先级，根据优先级的高低自动进行处理，软件能够支持多格式转码，能够根据不同的需要自动进行转码，并能够借助先进的计算机平台实现超实时的转码。

1.3.6 直观灵活的归档管理

在媒资系统中数据最终都会进入到带库中保存，而如果只是单一的将数据写入一盘磁带，存在因某盘磁带故障而导致数据丢失的风险，因此在系统中带库归档应能够提供双归档功能，能够在一次归当中自动将同一份数据写入两盘不同的磁带中进行保存，并在数据库中记录对应的关联，避免单一磁带的损坏导致数据丢失。同时也要能够提供单磁带复制，单磁带拷贝等多种备份机制,提高系统的安全性与系统效率。

由于磁带有读写寿命，如何更合理的使用磁带是归档管理软件需要考虑的问题，因此何时进行归档，在满足何种条件下进行归档需要根据实际情况来制定，而系统中提高归档策略软件是比较好的一种解决方法，通过灵活的多种归档策略设置来提高磁带的寿命，比如根据我台实际节目量我们设定按照水位线来进行归档，只要需要归档的媒体文件达到设定的水位线则立即进行归档，或者根据时间来归档，如夜间归档、每周固定的几天进行归档等措施来降低磁带的读写次数，延长磁带的使用寿命。

1.4 总结

综上所述，媒体资源管理系统发展至今，从解决存储问题到强调再利用的发展，引伸出海量存储对效率的更高要求，存储效率是媒资的核心效率，检索效率是再利用的基础，而流程效率是高效执行所有业务的保证和基础，可谓细节决定系统的效率，而效率决定了系统的成败。