首页 >> 企业信息化解决方案
科创企业数据中心数据整合[MS1] 解决方案
发布时间: 2007-03-19 17:45:47
 
 
一、应用背景
现代集团型企业组织机构庞大,包括诸多的职能部门和子公司,相应的管理与控制方面出现很多无法避免的问题,总部不能及时监控下属公司的销售、项目、财务等信息,导致集团总部管理者无法深入及时了解下级公司的内部信息,也就无法及时采取相应的管理与控制措施。
数据集中是管理集约化、精细化的必然要求,是企业优化业务流程、管理流程的必要手段。目前,数据集中已经成为国内电子政务、企业信息化建设的发展趋势。数据中心的建设成为数据集中趋势下的必然要求。
长沙科创企业数据中心解决方案通过数据集成平台,建立企业数据中心系统,不同下属企业的信息能够实时传输到总部,分支机构的数据库系统能够实时更新到总部的数据中心,完全解决了上下级企业之间信息不畅,企业间业务不能协同,信息系统不能集成等大中型企业普遍存在的管理问题,同时在数据中心的基础上,构建查询服务。
 
集团公司很多下属企业一般都逐步建立了各自内部信息系统,主要应用在财务管理、生产管理、人事管理以及办公系统等方面。但是,这些应用系统都是各自独立建设的,使用不同的软硬件平台和开发工具,互相之间难以交互集成,影响了企业内部的管理和业务的开展。作为集团公司的领导人常考虑如下的困惑: 
n         下属公司的经营指标总是迟迟得不到准确和及时的信息;集团的决议执行结果不能及时得到反馈;上报的财务数据、销售数据、成本数据等信息不准确,不及时,总是影响整个集团决策;
n         下属公司同样不能与集团公司进行有效沟通;各个企业之间的协作不畅,部门壁垒严重。
长沙科创企业数据中心解决方案就是为整个集团公司提供一个数据汇总的平台让下属公司的经营情况能够实时进行反映并统一管理。
 
一个企业的数据的数据中心可以用如下框图来表示,该框图表示了一个从子公司源数据开始,通过数据集成,构建集团公司操作型数据中心,在操作型数据中心的基础上,开展部分数据查询服务。同时,为了满足更高层次数据分析的要求,可以在操作型数据库的基础上,建立集团公司多维数据中心,在多维数据的基础上,开展数据挖掘服务。
   
具体包括如下三个层次:
1、 数据集成层
数据集成层采集各子公司的业务数据(增量或全量),生成数据文本文件,文本传输程序将数据文本文件传输到集团公司,集团公司数据装载程序将数据文本文件装载到集团公司同步数据库中,集团公司数据转换程序根据设定的转换规则将集团公司同步数据库中的数据(DML操作)转换到集团公司操作型数据库中,形成全集团公司一致的数据视图。
2、 数据组织管理层
数据组织管理层负责数据的存储、组织与管理,根据查询统计分析的主题从操作型数据库中提取数据汇总统计到分析型数据库中。
3、 数据展现层
数据展现层是一个基于J2EE的B/S应用,集团公司的用户通过WEB浏览器访问集团公司信息门户系统,进行各种查询、统计和分析。数据展现层的数据来源为集团公司分析型数据库和集团公司操作型数据库。
集团数据中心管理完成实时汇总监控下属公司财务、生产、销售、成本、办公公文等数据,协助集团管理者作出分析和决策。集团数据中心为集团公司统一采集下属公司的业务数据并进行统计和分析,可用来对下属公司的业务数据进行预算和实际发送的偏差分析。
 
1、数据采集代理
数据采集代理主要负责从源数据库中采集数据,具体功能包括:定时任务调度,可在定制时间点进行调度;提供数据有效性、完整性校验机制;支持重复采集和断点续采;支持XML格式的文本生成,提高文本质量;支持远程命令控制启动、暂停、停止采集任务;支持发布/订阅模式,可由集团数据中心代理订阅某时间周期的数据,子公司代理根据订阅执行采集数据并发布;日志记录,异常监控报警。
    2、数据通讯代理
数据通讯代理主要完成数据传递功能,具体功能包括:可支持多种数据传输通道:消息中间件(如IBM MQ)、FTP、Socket;可并行、压缩、加密、文本级别完整性校验、打包备份/恢复;可实现断点续传,保证网络状况不好的情况下的健壮性;可支持发布/订阅的机制,集团公司代理订阅,一旦子公司代理监控到增量数据准备完毕即可向集团公司发布;可支持强制重传机制,集团公司代理可以根据需要强制子公司代理重传数据;日志记录,异常监控报警。其逻辑结构如下:
  
 
3、数据目端代理
数据目端代理需要完成XML增量数据的装载和清洗,逻辑结构如下图:
 
 
   具体包括装载代理和转换代理,其分别功能如下:
1)装载代理功能:提供数据有效性、完整性校验,业务规则逻辑判断;支持任务调度,定时调度;支持并发装载,各地市间及地市各表之间可并行装载,提高效率;日志记录,异常监控报警。
2)转换代理功能:转换代理功能包括数据转换服务管理端功能和数据转换代理功能。数据转换服务管理端功能:数据源管理:定义数据源的数据库类型、位置、连接用户及密码、元数据管理等;中心数据管理:中心数据库的元数据维护;任务管理:任务定制、流程化任务设计、库表映射、字段转换、时间策略、监控报警定制、任务启动等;报表定制:向导式报表定制,可自动生成统计SQL,支持饼图、柱状图、曲线图等;日志管理:记录关键操作的日志,可监控正常和异常情况。数据转换代理:任务调度:轮询获取任务、根据时间策略执行任务,同时支持手工调度,支持并发任务;数据抽取:可从不同的数据源(XML增量数据、各地市全备份数据、各地市日增量数据)筛选数据;数据转换:对筛选后的数据进行批量转换(各种统计、数据转换、字符串转换、时间处理转换、数据库函数、字段类型转换);数据提交:将转换后的数据批量更新到中心操作型数据库;异常处理:支持事务操作,详细的日志记录;
 
数据展现也就是数据服务,数据展现是数据中心的最终目的。数据展现包括对操作型数据中心的数据展现,以及多维数据仓库的展现。系统提供一个通用的报表查询定义工具,可以方便用户非常灵活的定义报表,获取他们所需要的数据服务,也支持通过数据仓库的多维数据分析,进行辅助决策支持。所有的展现都是通过门户来展示的,并且支持严格的用户数据访问权限控制。
 
 
5、安全管理
信息交换平台通过提供一组安全服务解决企业信息安全问题。这些安全服务包括:
鉴别和身份认证:为了实现许多其他服务,主体和客体的可鉴别性是一个很基础的要求。这个服务提供了唯一鉴别用户、过程和信息资源的能力。身份认证提供了验证一个主体身份有效性的方法,保证一个宣称的身份是有效的并且是不可抵赖的。
授权和访问控制:授权和访问控制服务使得对业务操作进行规范和管理成为可能。只有授权主体才能通过信息交换平台访问相应资源或者业务系统。
数据合法性检查:信息交换系统可以对其所交换的信息进行业务数据合法性检查,非事先定义好的合法数据包将不能通过信息交换系统,从而杜绝了非法数据包的攻击,进一步提高了企业信息系统的安全性。
审计和日志:由于没有哪个预防措施是完美的,因而需要检测安全违例,并且减少它们带来的影响。审计和日志记录了安全违例,提供了事后追究的能力。
 
6、平台监控
平台监控系统主要监控两个方面的内容:一是网络的监控管理,二是业务的监控管理。
网络管理的功能包括:网络的性能管理,运行状态管理,配置管理,流量管理,故障报警(采用EMAIL、短消息、电话、声响等方式通知网络管理员),提供可视化网络拓扑图,及针对单个用户、单个链路、单个设备的详细审核报告。
平台监控的另一个功能是对平台中的业务的监控和管理。与网络监控管理不同的是,业务监管的对象是动态的业务(包括数据访问业务)。业务监管系统的主要功能有:正在或已经执行的业务监控:查询和监控正在处理的所有业务或者业务流程,对于超时未办理的单位,管理员或者相关领导可以进行查办。对于各种原因导致业务无法正常执行的情况,管理员可以进行必要的处理。
 
五、系统特色
n         数据交换标准统一(XML中间语言)
n         灵活配置,共享信息动态增加
n         有权限控制的数据对外共享
n         采用数据库适配器,业务数据库对外接口可配置,无开发工作量
n         所有数据库对外的信息都转换为XML,有利于标准化和信息互联
n         采用标准和开放的架构
n         可实现数据的增量备份、全量备份、数据镜像三种方式。
 
六、应用案例
n         湖南省地税数据中心
n         长沙市商业银行数据中心
n         湖南铁通Internet数据中心(IDC)
n         湖南省教育考试院数据中心
n         中南大学校园数据中心
n         湖南大学图书馆电子资源数据中心

 [MS1]是不是增加基于SOA的应用整合内容(可以参考IBM上次同升湖会议资料)
 [MS2]建议增加数据服务的内容
 
:::相关方案:::
科创企业信息化网络基础平台解决方案  [2007-03-21 09:15:57] 科创IT服务管理与外包解决方案  [2007-03-21 09:06:35] 科创企业协同办公门户解决方案  [2007-03-19 17:46:49] 科创企业客户服务管理系统解决方案  [2007-03-19 17:39:35] CRM客户关系管理系统  [2007-02-26 13:48:03] EIP企业综合管理信息平台  [2007-02-26 13:47:48] 企业门户网站解决方案  [2007-02-26 13:47:42]
收藏此页】【 】【打印】【关闭