大数据时代下的采集系统的设计与应用

1、引言

 随着大数据商业化运营的发展，迫切需要实现数据的自动化的采集、管理等，所以设计一套可以实现对用户等大数据的实时采集、监控系统，可以有效提高管理的效率。所以本文以大数据时代的用电数据采集系统为例来介绍，它集先进性、精确性和实时性于一体，完全可以满足用户的不同需求。

2、系统的功能与特点

2.1、开放性

 设计时采用基于国际标准的系统平台和商用数据库，能支持与相关的数据通信和数据库访问，向这些系统提供计量（计费）数据。分层开放式跨平台跨数据库设计，可以按照电力系统关口表和大用户分别管理，采集的电量数据和负控数据直接传输到历史数据库，通过对于所有计量点和监控点的相关数据定义、管理，与采集数据建立相应的对应关系，实现数据转存、计算、处理，并提供数据访问服务。

数据库管理模块可采用面向电网的定义方式，使其具备对电网结构以及电网相关设备的表述能力，保证重要关口表数据的准确性。数据库可采用双服务器集群机制，保证数据高可用性。

2.2、灵活性 

该系统可支持多种规约和通信手段，以支持多种电能表的接入，适应网络技术的发展；可支持多种数据采集方式，接收不同来源的数据，以支持电力市场运营结算所需的大量的、复杂的数据采集和处理要求。

2.3、方便性

支持客户服务器，具有友好的用户界面，方便的可编程，可维护性能。用户可分级对时段、处理方式、运算输出等数据参数进行定义，并能方便的查询、处理、分析和结算。所提供的操作系统，窗口环境、高级语言、作图软件和计算机数据通信软件应符合国际标准或工业标准。用户界面是国际流行的WINDOWS风格，具有汉字显示和打印功能，使用户操作简便快捷。

2.4、可扩展性

系统采用模块化设计方式，充分考虑了不同用户的不同需求，或者同一用户今后规模及功能扩展的需要。随变用户规模和系统的扩大、采集点的增多，通过增加系统厂站数目和采集点数目就可完成，不影响系统的可靠性和稳定性。

系统具备硬、软件的扩充功能，支持系统结构的扩展和功能的升级，系统所提供的支持软件能支持用户进一步开发应用软件，以期实现原系统的增值。

2.5、安全性

系统具备完善的安全保密措施和用户权限管理功能，拥有自己的用户体系，只有系统管理员才可增加和删除用户、分配用户权限，使用客户端或浏览器登陆的用户必须正确输入用户名和相应的密码才能正确进入系统。系统确保作到严格防止非法入侵和严禁对原始数据的修改，计算数据的修改必须在规定的权限范围内进行，并作上永久标志。

2.6、同步性

系统以标准GPS时钟为基准，并实现网络对时功能，以保证各个采集点/计量点基于相同时间基准完成对电能量的计量及电能量数据带时标的存储。

3、采集系统的设计

根据需求灵活组成系统，有较大的选择余地。我们以最简单的模式来介绍系统的搭建。在这里我们仅选用一台计算机来实现所有的功能。在该计算机上要分别配合以下几部分组成来完成：

   3.1、数据采集装置

   3.2、数据采集服务器

   3.3、历史数据库服务器

   3.4、WEB服务器

   3.5、报表工作站

   3.6、预付费工作站

   3.7、维护工作站