
大数据技术在航天领域中的应用研究进展
王晓海
(空间电子信息技术研究院空间微波技术重点实验室,西安 710100)
1 引言
“大数据”一词原本出自天文学和基因研究等
科学领域。像“斯隆数字巡天计划”就获得了200万个天体的光谱数据,人类基因组计划测出了人类DNA30亿个碱基对序列,这些数据对学科研究具有重要意义。如今的“大数据”则不仅与科学研究直接有关,更多体现的是社交网络、云计算和移动互联网的快速发展对人类社会产生的重大影响。2007年,数据库专家吉姆•格雷首次提出了数据密
集型的科学研究“第四范式”。2011年,
麦肯锡预见“大数据时代”来临,指出“数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素,而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。航天是人类探索太空和利用太空的伟大事业,它在研制、运行和发布成果的全过程中,都会产生大数据和应用大数据。数据既是航天理论的基础,
又是航天实践的基石。航天要对尺度远比地球大无
数倍的广阔空间中进行探索,其数据总量更多,要求更高,应用更广。如果没有及时而精确的大数据支持,哪怕是一个小数点的错误,也会影响全局的成败。为了远距离控制航天器的飞行和执行任务,必须以最快的速度处理数据。因此,航天大数据不仅具有一般大数据的特点,而且要求高可靠和更高的处理速度,航天是最早提出发展大数据技术的领域,也是取得大数据成果最多的领域[1],[2]。
2 大数据技术在航天领域应用研究进展
2.1 基于大数据和云计算的空间数据系统[3]
中国空间技术研究院的谭维炽等发表论文“空间数据系统发展的三个阶段”,提出把空间数据系统的发展历程分为三个阶段:一是面向信道传输;二是面向数据源;三是面向数据用户。文章预测空间数据系统将发展到第三阶段并重点阐述了第三阶段
Research Progress on Application of Big Data Technology in Aerospace Industry
Wang Xiaohai
(National Key Laboratory of Science and Technology on Space Microwave CAST Xi'an, Xi'an, 710100)
摘要:本文首先分析了大数据技术在航天领域中的适用性,其次阐述了大数据技术在航天领域中的一些应用研究进展情况,最后提出我国大数据技术在航天领域的应用发展建议。
关键词:大数据;分布式;空间数据;航天应用;云计算/服务doi:doi:10.3969/J.ISSN.1672-7274.2016.z2.007
中图分类号:TP39,TN92 文献标示码:B 文章编码:1672-7274(2016)z2-0043-04
作者简介:王晓海,男,1978年生,硕士研究生,工程师,现工作于空间电子信息技术研究院空间微波技术重点实验室,主要从事卫星有效载荷技术情报
搜集与研究分析工作。
航天器是在太空中飞行的,天网是动态结构的,不可能只在目标飞行器飞临用户附近时才找得到。因此,必须基于空间网络的结点星,建立一个空间分布式数据库,把各数据源产生的数据都分布存储在这个数据库中,把这样具备存储和转发数据文件功能的结点星称之为“云卫星”。
未来的遥测数据应当是由用户星以文件形式发出来,主要不是直接送到地面测控站接收(并不排斥保留这种传统方式),而是随时发往附近的云卫星上存储起来,可称为“遥测云”。地面每个用户可随时在遥测云中找到自己需要的数据,去除无关数据。这种遥测方式可称为“云遥测”。
实现了云遥测,将从根本上解决海量遥测与实时传输能力的矛盾,克服信道容量与接收站能力的瓶颈,彻底实现面向用户实时需求的遥测,而且还可以实现随时查询任何历史遥测数据,根本解决非可视遥测、多航天器遥测和应急遥测等难题。把云遥测的概念拓宽,其功能不仅用于遥测数据的存储与搜索,这就形成一个基于云计算的空间大数据系统平台。
在计算机网络业界,所谓云计算的概念比较准确的定义是:以互联网相互连接的分布式系统,通过开放式的技术和标准,把硬件和软件抽象为动态可扩展、可配置的资源,向用户提供服务。
空间云数据系统,就是按云系统思想建立的空间因特网,它不仅具有因特网互联的功能,而且还具有向航天器用户与地面用户提供硬、软件资源服务的能力,这些资源在物理上以空间分布共享方式存在,随时可以根据需要进行动态扩展和配置,无论是航天器还是地面用户,无需管理云平台,仅需要与平台交互接口。每个国家都可以建设自己的空间云平台,各国的云平台可以互联和有协议的共享。
2.2 基于大数据的航天工程数据管理平台[4]
莱诺斯科技(北京)有限公司是一家从事分布式工业自动化测试和智能监控技术研发与应用、依托中国航空航天事业迅速发展起来的高新技术企业。公司在西安建有自己的研发中心,研发的分布式自动化测试和智能监控系统已涵盖卫星、船舶、军工、大学、科研院所等各种测试领域。
莱诺斯科技公司梳理出了我国航天领域中在数据管理方面存在的欠缺不足和遇到的困难挑战:海量数据集中存取;高性能并行计算;便捷历史数据追溯查询;高效统一的数据分析;安全的数据结构。针对上述问题,莱诺斯科技公司自主研发了航天工程大数据管理平台,提供了行之有效的解决方案。
从技术架构上来看,莱诺斯科技的大数据管理系统由三大部分组成,即一个综合,两个基础。两个基础是数据存储中心和并行计算平台,一个综合是工程数据管理平台。数据存储中心主要解决海量数据的存储的问题:并行计算主要解决大数据量的复杂计算问题;工程数据管理平台主要解决数据的转移、浏览、查询、分析等数据管理及可视化的问题。数据存储中心与并行计算平台是工程数据管理平台的基础,只有具备这两个基础能力,工程数据管理平台才能为客户提供多样的数据管理方式,提供高性能的分析手段。
2.3 大数据技术在航天遥感领域中的应用[5]
中国空间技术研究院的王治中等发表论文“大数据时代航天遥感系统的挑战和机遇”,从星地数据传输、数据存储管理、数据预处理、数据应用、可视化展示等五个航天遥感系统的关键环节出发,分析航天遥感系统的技术现状,结合信息通信、海量存储、高性能计算、空间数据挖掘、可视化等五个大数据研究热点领域的关键技术,探讨在大数据背景下如何解决航天遥感系统所面临的大数据难题,满足海量遥感数据的快速获取、高效管理、深入应用和直观展示等方面的需求。
随着遥感卫星数量的快速增加以及空间、时间、光谱等分辨率的不断提高,遥感数据的规模庞大、结构复杂、数据量增长速度快等大数据特征越来越明显,给航天遥感系统中的星地数据传输、数据存储管理、数据预处理、数据分析应用和结果可视化展示等关键环节带来了巨大的挑战。
大数据技术的应用给航天遥感系统的大数据难题提供了有效的解决方法:
(1)在传输环节,压缩感知理论,LDPC码、Turbo码等信道编码方式,以及频分复用等调制技术之间相互结合,可以提高大数据量在有限信道传产业观察
输的利用率和可靠性。作为一种新兴的通信方式,大气激光通信比无线短波通信具有更高的信道容量。星上处理技术可以实时从遥感观测数据中提取有效信息,降低传输的数据量。
(2)在存储环节,云存储技术和NoSQL数据库技术可以满足海量非结构化遥感数据可靠存储、高效管理和快速增长的需求。
(3)在预处理环节,以MapReduce,FPGA,GPU为代表的高性能计算技术可以提供较强的数据并行处理能力,有助于加快数据处理速度,满足海量遥感数据实时化处理需求。
(4)在分析应用环节,数据挖掘方法和第四范式的科学思维有助于从海量遥感数据中发现更有价值的信息和知识。
(5)在可视化展示环节,直观形象的可视化技术将有助于增加遥感数据处理过程和分析结果的可理解性,有效地支撑用户的判断决策。
总之,大数据在信息通信、海量存储、高性能计算、空间数据挖掘、可视化等热点领域的研究方法,有助于解决航天遥感系统在快速获取、高效存储、深入应用和直观形象展示等方面的大数据难题,将给航天遥感系统的发展带来新的机遇。
但是与其他类型的大数据相比,航天数据又具有数据量巨大、数据语义复杂、尺度特征明显、数据不完整等特点。因此,需要针对航天大数据的特点改造或创建新的大数据研究方法,用于克服因航天数据存在上述特性所造成的技术困难。
2.4 大数据技术在航天测控领域中的应用[6]
北京遥测技术研究所的苏丽等发表论文“大数据技术在航天领域发展与应用”,分析了大数据若干关键技术在航天领域的适用性,重点介绍了他们将大数据技术应用于航天测控领域所做的一些有益的应用探索研究,并且总结提出了航天发展大数据技术的益处。
航天测控系统是支撑航天任务完成的重要保障系统,主要完成对航天器的测量和测控数据接收处理等工作,具有任务种类多、采集信息量大、数据类型多、处理实时性要求高等特点。基于云计算技术的云服务平台将多个测控站虚拟成统一的资源池,将软硬件资源以服务的方式提供给用户,用户通过终端申请各项资源,统筹控制全局。这种中心全局化设计能提高控制中心的生存能力。
通过传感器技术对空间环境可能存在的危害和故障进行有效测量、监测与记录,有助于保证环境检测的质量,改进区域空间环境。传感器测量大数据应用服务,具体描述为面向空间环境的持续测量与智能监测。通过处理分布在空间内各个关键区域传感器采集的科学数据,向空间监控系统提供重要参数;同时,对获得的大量环境测量参数进行数据挖掘与分析,对空间整体环境进行评估、诊断和预测。
航天大数据的处理与获取知识的过程可以依靠云计算提供的计算环境与能力,挖掘出适合于特定任务的有效数据集。航天测控数据的分析平台不仅应具有一般大数据分析平台的特点,而且应具备高可靠和高实时的处理能力。与此同时,作为数据表达途径的信息化技术是航天机构提升竞争力的重要手段。随着大数据时代的到来,信息化技术已经由传统信息系统的三层架构转变为智能终端、云和大数据端组成的现代信息系统三层架构。
3 大数据技术在航天领域应用发展建
议[7],[8]
大数据技术领域的竞争与和国防安全紧密相关。面对改革和机遇,我们应积极研讨大数据在航天领域的应用模式和思路,充分利用信息技术快速发展带来的改革红利,抓住大数据带来的时代变革,取其精华,充分挖掘大数据与航天产业的结合点,促使大数据真正成为军工企业改革的助推剂。
3.1 建立故障预测分析系统,确保航天产品高
可靠性
数据既是航天理论的基础,又是航天实践的基石。航天大数据不仅具有大数据的普遍特点,而且具有高可靠和高价值的要求。将大数据分析方法应用在航天产品故障预测,可以有效提高产品质量,避免产品出现低层次质量问题及故障。通过收集航天产品在生产、测试、使用过程中的全部数据,利用大数据分析能力,将异常情况与正常情况进行对比,就可以预先捕捉到产品不同状态的“信号”,从而在发生故障之前更换零件或者修复问题。例如,通过收集加装在火箭和导弹武器上的全部传感器数据,建立大数据故障预测分析系统,充分利用大
