XXX公司 |
商务智能系统招标技术需求 |
BI选型技术需求 |
2007/9/14 |
二、ETL工具选型需求 5
三、联机分析(OLAP)选型需求 7
四、数据挖掘(Data Mining)选型需求 9
五、前端报表、分析与展现工具选型需求 10
六、绩效管理应用选型需求 12
一、数据中心数据库系统选型需求
●商业主流的数据库系统软件;
●能够对主流厂商的硬件及操作系统平台提供32位与位支持;
●应具有良好的扩展能力,支持SMP多CPU与NUMA架构服务器系统;
●支持ANSI/ISO SQL 92、ANSI/ISO SQL 99等主流数据库技术标准;
●支持多语言,必须完全支持国家标准的中文字符的存储处理;
●支持多种网络通信协议(如:TCP/IP、NetBIOS等)及混合协议;
●支持批量数据的快速加载与卸载;
●提供并行查询、并行加载等并行处理功能;
●提供分布式操作所需的功能(如:分布式查询、远程调用、事务完整性控制技术等);
●支持数据分区,如表分区、索引分区技术等;
●具备强大的索引处理能力,如在线索引操作,索引信息监测与优化等;
●具备冷备、温备、热备等多种灾备技术,包括群集等多种技术机制的高可用性双机冗余,能够防止单点故障的发生;
●支持脱机与联机在线备份、恢复功能;
●支持完全、增量、差量与文件备份、恢复功能;
●支持SAN存储,具备存储IO设计与优化技术
●支持数据压缩存储功能;
●细致的锁粒度的管理;能够满足数据库级、表级和行级锁控制;
●应避免数据库死锁的出现,一旦死锁能够自动解锁处理;
●支持NCSC(美国国家计算机安全中心)C2级安全标准,多级安全控制;
●支持针对不同用户不同角色,进行不同安全级别的授权和管理;
●在意外事件(软件或硬件方面)破坏当前数据库的状态下,系统有能力恢复数据库,使损失减到最低限度。
●支持数据库存储加密、数据传输通道加密;
●支持同自身及第三方厂家的ETL、即席查询、报表分析工具的有效集成;
●支持网络上同构或异构数据库之间的数据的有效互联,数据传输和复制,具有多种复制功能模块(如:实时复制、定时复制、双向复制、合并复制、复制范围可整表复制或表中部分行复制);
●支持对象或多媒体信息的存储管理;
●支持XML数据灵活存储与处理,Web服务接口模块等;
●支持企业级的Java处理引擎或者.NET的处理引擎,支持应用程序访问接口ODBC,JDBC,OLE DB等;
●具备高效的开发支持,如能使用高级语言编写存储过程与自定义函数等;
●支持通用开发工具、开发效率高,能实现团队协同开发与版本管理;
●具备强大的数据服务异步处理能力;
●图形化管理维护,运维方便;
●具备基于系统开销的数据库优化器,支持内存自动分配和自动回收功能;
●支持CPU、内存等的分配、参数配置与管理;
●提供数据库性能监测工具,数据库参数配置工具,数据库设计及性能调试工具,数据库运行状态监控等管理工具;
二、ETL工具选型需求
●ETL设计与处理工具支持主流服务器硬件与操作系统平台;
●支持GB中文字符与中文代码集,支持各种字符集的转换;
●支持各种平台的异构数据源系统的数据的抽取、传输与加载,可通过统一的界面支持不同的关系型数据库(Oracle, DB2, SQL, Sybase等、非关系型数据(队列,XML文档、Web Service接口数据等)、平面文件,甚至通用应用系统(如SAP)等;
●支持各种数据抽取与加载接口,如专用数据库驱动接口、JDBC、ODBC,以及Web Service接口等。
●ETL设计支持可视化的复杂任务控制流与数据流,支持在数据抽取、清洗和转换中实现自定义处理流程与规则;
●ETL任务流程应支持事务,可确保数据采集的完整性与有效性;
●ETL任务流程应支持各种自定义的参数(如时间、区域、连接字符串等,以便于实现可配置的、可选择性的数据采集;
●支持多种数据清洗、转换任务组件,如查找、模糊查找、排序、聚合、合并、分组、条件分拆、抽样等,以简化ETL处理;
●支持数据挖掘任务组件,能实现基于挖掘模型的数据清洗与抽样;
●支持数据仓库的3种类型缓慢变化维度处理,简化数据采集;
●支持采用高级语言自定义数据清洗、转换任务组件;
●支持源字段到目标字段不同数据格式的转换;
●支持ETL过程的异常数据处理,实现常见故障数据的修复或剔除(如半个汉字、字段域数不对等), 或对故障数据抛出保留,以备系统管理员检查处理;
●ETL工具支持定义并捕捉外部数据源记录的错误,如发现最多1000条错误记录时停止进行处理;
●ETL设计过程支持动态调试与断点设置功能;
●支持多个ETL任务的并发执行处理;
●ETL任务实现数据抽取与加载时,支持利用多个数据库连接,进行大量数据的多线程并行处理;
●单个ETL任务执行过程中,其流程节点应支持多线程流水式并发处理;
●支持多种ETL数据采集处理模式,可实现实时采集、周期性定时采集等;
●支持多种ETL数据采集手段,可实现自动采集,人工补采、重采以及其它临时性采集等;
●ETL 执行过程具备完整的日志管理和数据审计功能,并有相关监控预警机制,保证ETL 正常进行;
●ETL 处理过程支持将ETL 执行或开发的权利赋给指定的人,避免不相关人员的误操作,并能记录操作人员的使用情况;
●ETL 设计与执行处理可提供图形化的操作界面,具有良好的易用性;
●支持对ETL任务的集中管理、调度,并能采用Web Service远程调用;
三、联机分析(OLAP)选型需求
●OLAP服务器支持主流的32位、位服务器硬件与操作系统平台;
●支持中文字符集、维度及维度成员属性多语言描述,以及多国币种等;
●OLAP服务能支持NCR Teradata、Oracle、DB2、SQL Server、Sybase等主流数据库作为后台数据仓库;
●支持采用语义层业务视图模式整合事实数据与维度数据,实现用户访问层与底层物理数据层的有效分离;
●OLAP支持事实表与维度表之间的一对多、多对一、多对多,以及父子维度等多种复杂关系;
●数据存储方式能够支持数据库(MOLAP、关系型数据库存储(ROLAP与混合存储(HOLAP,而且能实现存储方式的灵活转换;
●支持TB级大数据量的OLAP存储,在TB级下仍具备秒级查询响应能力;
●支持数据压缩存储,能有效防范多度量、度、多层次时的数据爆炸;
●支持复杂计算函数尤其是跨维的指标计算,能方便实现YTD、同比、环比、占比等指标计算;
●支持多种聚合计算,如汇总、求平均、最大、最小、计数、最近值、最早值等;
●支持对NULL值的有识别,在求平均、计数聚合处理时,能有效排除NULL值成员的干扰;
●支持What-If分析与回写功能;
●支持对数据库进行切片、切块、旋转与转轴处理;
●支持Drill-UP上钻、Drill-Down下钻,及Drill-throug钻透处理;
●支持对外部对象的跳转链接以及复杂对策处理,外部对象可为Word文档、Excel表格、文本文件、URL地址等;
●支持灵活的维度自然层次(如年-季-月-日等与报表层次(如年-城市等);
●支持时间维的自动生成,多时间维与层次(如日历时间,财政时间等);
●支持3种类型的缓慢维度变化与数据聚合处理;
●支持基于维度属性的灵活数据分析;
●与数据仓库/ETL工具紧密结合,数据仓库/ETL工具能调度监控数据的更新维护;
●支持全量、增量加载与聚合计算,具备实时或近实时的数据更新能力;
●支持OLAP数据分区存储、并发加载与处理;
●支持对数据库子集数据进行桌面Cube存储,供离线分析;
●具备完善的用户认证机制,能够根据用户权限分配用户可分析主题;
●支持灵活、细粒度的数据安全控制,能对度量、维度、维度层次、维度成员甚至OLAP Cube的每个Cell授权;
●提供用户管理及数据访问的开放API接口,包括OLE DB 、工业标准的XML/A、Web Service接口等;
●提供对数据挖掘、报表与分析、绩效管理等数据服务基础平台支持功能;
●支持多种前端展现工具,包括Excel、Web浏览器和第三方工具等;
●支持对多用户的并发访问与查询,并具有快速响应能力;
●支持多OLAP服务器群集与负载均衡;
●具有灵活、易用的OLAP数据库查询语言;
●支持图形化界面实现OLAP数据库的设计、管理与维护;
●具有对用户查询的跟踪记录能力,具备自动性能优化处理功能;
四、数据挖掘(Data Mining)选型需求
●支持对数据仓库、OLAP数据库的数据进行挖掘,生产挖掘模型;
●支持常用挖掘算法(如决策树、聚类、时序、关联等,并能外挂嵌入自我研发的算法;
●支持挖掘模型结果的可视化展现、准确度验证;
●支持数据挖掘的结果集成于其它的应用中;
●支持对数据挖掘模型结果的查询,并能直接应用于预测;
●支持图形化界面,能同时提供针对专家和非专业用户(像业务分析师)的功能(诸如如Excel插件,便于业务分析师使用;
五、前端报表、分析与展现工具选型需求
●工具产品应基于客户(Web与专业客户端)/服务器的架构;
●能够支持主流的数据库访问,包括Oracle、DB2、SQL Server、Sybase,以及SQL Server Analysis Services、Essbase等数据库;
●支持ANSI SQL以及事实标准MDX数据查询语句等;
●支持中文字符集等相关国家标准的汉字规范,可进行处理、显示和打印;
●支持允许不同用户以不同的语言登录系统,并灵活、自动进行中英文等多语言界面切换;
●支持开发人员负责设计、定义和维护数据源,将复杂的数据库模式映射为业务人员熟悉的专业术语,提供向导式界面、图形查询生成器等,使得一般的报表制作人员与业务人员,无需专业培训,通过简单的鼠标拖拉亦可实现即席查询、报告生成、图表生成、深入分析和发布等;
●支持同时对多个不同数据源进行查询,并将结果显示于同一个报表或应用界面;
●支持对数据增加分组、计算变量等;提供丰富的计算公式,包括统计、数学、字符、财务指标等计算公式;
●支持报表参数的级联、动态变化与多选,能对报表进行交互操作,如行列的折叠、展开,数据列的排序,以及多表之间的跳转与钻取访问等;
●报表与分析图表应能以EXCEL、PPT、PDF、HTML、XML等格式发布;
●支持报表的作业调度预生成,能通过系统调度直接产生大量周期性报表,生成各种格式报表文件,并与邮件系统相结合进行批量推送;
●支持高效的多线程查询与数据缓存机制,使重复的查询操作无需频繁直接查询数据库,数据显示按查询需求异步分页显示,降低网络流量,提高即席查询性能与响应速度。
●支持丰富的图表展现功能,能够实现曲线图、饼图、柱状图、散点图、气泡图等图形方式,能够实现不同图表类型的自由切换及三维显示;
●支持对分析指标设定异常值的功能,在分析报表或图形中以突出方式进行显示,使相关业务分析和决策人员能醒目发现预警;
●支持在图表中实现无缝的向上、向下钻取与钻透数据,及维度轴的旋转,维度的钻取路径可以不受约束;
●支持数据回写功能,前端应用能够通过分析并修改数据后将修改结果回写到数据库,实现what-if分析和预测等;
●支持离线查看、分析数据,包括查询、OLAP分析、图表等离线应用;
●支持与企业门户应用的集成,实现将个性化的报表与分析图表嵌入到企业门户中,增强对报表、分析图表的共享与协作;
●提供开放的报表格式与灵活的开发接口(API),最好能支持XML与Web Service,方便用户容易地进行二次开发;
●支持灵活、细粒度的数据安全控制,能与后台数据仓库/OLAP数据库的安全权限紧密集成,有效控制报表的访问与临时数据清理,以及报表行、列级权限控制;
●支持报表的加密访问与传输,如SSL等;
●支持集群与负载均衡技术,提供可复制的组件减少单点故障可能,增强系统的可靠性与可用性;
●提供基于Web的系统管理,包括:权限管理、作业发布等。
●具有对长时间与低效查询的自动识别,并提供自动或手动中断机制;
六、绩效管理应用选型需求
●关键业绩指标(KPI的实际业务数据、计划指标数据支持不同的数据源,包括关系型数据库,数据库,Excel数据表,文本文件等;
●支持KPI的图形化友好展现,图形丰富,包括红黄绿交通标志、仪表盘、温度计量器等;
●具有向导式的创建图形KPI能力,实现业务人员自主进行KPI制作;
●KPI能与业务数据联动,KPI图形/图像随实际数据动态变化;
●支持对KPI的灵活组合,向导式生成个性化的部门或个人计分卡;
●KPI/计分卡支持度级联层次化的折叠与展开,支持指标状态过滤等;
●支持指标的趋势分析、对比分析、贡献度占比分析等图表展示;
●支持对企业报表与分析平台的日常报表、分析挖掘图表的整合;
●支持KPI/计分卡与分析图表之间的关联、互动;
●支持KPI/计分卡/分析图表的灵活组合,并能发布、嵌入到企业门户;
●提供规划编制与报表模板,简化并规范化企业计划、预算与预测的编制;
●提供流程化的审批与审核,确保企业规划编制过程的高效与数据安全;
●支持对来自多个数据源(内部和外部)、多版本的计划、预算与预测信息汇总、整合,实现单一视图纵览全局;
●支持对企业规划编制、指标分析的统一业务建模,实现规划、监测与业务分析的一体化;