异构数据集成平台详细描述

1、综述

异构数据集成平台是通过技术手段，将医疗机构内相关系统的数据通过清洗、转换后汇集到临床数据中心，并对采集上来的数据进行质量控制，实现系统之间数据互连互通，降低系统间的耦合程度。支持通过可视化工具自动生成标准的数据共享服务接口向第三方提供数据服务。平台应由前置统一网关、通讯中间件、工作流引擎组成，并提供数据元规范、主索引服务、数据校验服务和公共管理服务等。包括如下功能：

2、数据采集引擎

通过数据采集引擎库或采用符合国家标准、本地标准目标数据源进行管理，定义平台质量监控的对象等，要求对数据源的定义通过界面化的操作即可完成，系统可以从数据库表、视图或 SQL 方式创建检查数据源，支持建立多个数据源。

1）采集HIS、LIS、EMR数据，并进行清洗、转换、标准化，上传到临床数据中心；

2）采集超声报告，超声、病理、内镜影像数据（DICOM或JPG），并进行清洗、转换、标准化，上传到临床数据中心；

3）采集PACS检查报告、原始DICOM影像数据，并进行清洗、转换、标准化，上传到临床数据中心。

数据采集主要是由采集服务器，通过 HTTP 协议和 Restful 技术把数据上传并缓存在 WEB 及消息服务器上，WEB 及消息服务器可以缓存一周的数据上传 量，数据上传后，再由消息处理服务进程（ MPS）进程完成数据的最终清洗及格 式，并最终入库存储。台标等非结构化数据存储在分布式文件系统 （S2DFS）中， log 或者行为等结构化数据存储在分布式数据库（ MongonDB）中。参见如下数 据采集 / 存储流程图：

DMQ 是一个分布式的消息服务平台，提供的功能包括：配置维护、名字服 务、分布式同步、组服务等，能提供一种高性能、 可靠的、可扩展的、分布式的、 可配置关键特性。

3、数据交换引擎

在基层医疗机构信息系统、家庭医生签约服务平台和其他系统之间建立数据通信的互连通路的渠道，用于处理各类消息的发送接收、数据校验、内容过滤和版本检查等需求，对可用连接、数据源等系统资源根据预设规则进行动态分配管理。

数据转换就是将整理后的数据，依照对照表的要求进行转换，并写入到新系统。这个过程可以通过交换系统实现。

4、数据清洗

针对采集上来的数据，可以进行数据质量规则的定义和管理，包括且不限于空值检查、值域检查、规范检查、重复数据检查、及时性检查、逻辑检查等多种检查规则的设定。规则设计支持图形化操作，同时可以按照多种粒度设置相应分值权重进行绩效考核。

5、消息的智能路由

各类数据以消息的方式按一定的方式传送给相应的系统。把两个应用部署在不同服务器，通过软件虚拟的消息路由，就可以进行信息订阅和发送，实现消息的智能传递。

6、服务的监听

通过人工调度和自动调度定义质检方案，执行之后能够自动生成质检结果明细表；对于有问题的数据，可发起整改流程，并对数据整改情况实时跟踪，整改之后系统自动复核。对于错误数据若符合正常业务可设置例外，并由相关负责人对例外数据进行审批才会归档到正确数据中。

7、数据质量管理

形成最终的数据质量分析报告，提供多种查询条件，可按照规则、数据质量占比、规则类型、数据级次、时间等多种维度进行分析，并以图表、文字等方式综合展现，分析结果支持下钻，帮助相关负责人了解数据质量情况。

质量分析可以提供多种查询条件，可按照表字段、表、规则、规则类别、数据级次、时间等多种维度进行分析，并以图表、文字等方式综合展现，分析结果支持下钻，帮助相关负责人了解数据质量情况。