哪些数据库可以做ODS,如何创建数据仓ods用户表
来源:整理 编辑:黑码技术 2024-12-06 18:51:31
1,如何创建数据仓ods用户表
1.对于数据量特别的企业,现在都开始使用Hadoop类开源产品建设数据仓库;2.数据结构已经不会保持一致,而是按照数据分析的要求存储;3.拉数据的应用程序现在讲究通用,因为需要从各种不同的数据来源 ,最后汇总到一个地方。
2,请教啥是ODS就是操作型事务型 数据库吗
一连串的sql从开始执行到最终返回想要的结果,就是一个事务,一个事务不一定非要一条sql也可能是不同库间好多条sql的配合执行,才得到最终结果,这也算一个事务,也就是分布式事务
3,ODS相关问题请教
1 ODS概念: ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合,用来满足企业综合的、集成的以及操作型的处理需求”(Bill.Inmon)。 2 ODS作用: 信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现。ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。通过统一规划,规范框架和数据,ODS可以实现操作型数据整合和各个系统之间的数据交换,能够提供实时的操作型报表,减轻数据仓库的负担。建设ODS还可以为后期数据仓库建设做好准备。 3 ODS类型: I 类ODS,与应用系统的数据延迟为1~2秒,实时或近似实时 II 类ODS,与应用系统的数据延迟为2~4小时 III 类ODS,与应用系统的数据延迟为12~24小时 IV 类ODS,数据仓库中部分决策分析数据回流至ODS中 数据延迟时间越短,ODS建设难度越高 4 应用集成方案比较: DW+ODS 实施结果: 企业能够分析ODS中的当前综合数据,对企业当前运行情况进行宏观控制;能够分析DW中的历史数据,对未来进行合理规划 楼主,这样回答是否可以帮助到你?
4,数据仓库与ODS的区别数据仓库和ODS并存方
DW数据仓库存储是一个面向主题的,反映历史变化数据,用于支撑管理决策。ODS操作型数据存储,存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的全体信息的需求。ODS作为数据库到数据仓库的一种过渡形式,与数据仓库在物理结构上不同,能提供高性能的响应时间,ODS设计采用混合设计方式。ODS中的数据是"实时值",而数据仓库的数据却是"历史值",一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多.数据仓库和ODS并存方案经过调研,发现大体上有三种解法:1、业务数据 - ODS - 数据仓库优点:这样做的好处是ODS的数据与数据仓库的数据高度统一;开发成本低,至少开发一次并应用到ODS即可;可见ODS是发挥承上启下的作用,调研阿里巴巴的数据部门也是这么实现的。缺点:数据仓库需要的所有数据都需要走ODS,那么ODS的灵活性必然受到影响,甚至不利于扩展、系统的灵活性差2、OB - ODS优点:结构简单。一般的初创数据分析团队都是类似的结构,比如我们部门就应该归结到这一范畴缺点:这样所有数据都归结到ODS,长期数据决策分析能力差,软硬件成本高,模块划分不清晰,通用性差3、数据仓库和ODS并行可见这个模型兼顾了上面提高的各自优点,且便于扩展,ODS和数据仓库各做各的,形成优势互补!可以解决现在互联网公司遇到的快速变化、快速开发等特点!特别是对于那些刚刚创建数据团队,数据开发人员紧缺的公司,可以尝试使用这个数据架构解决问题!
5,ODS的设计指南
在ODS的概念定义中,已经描述了ODS的功能和特点,实际上ODS设计的目标就是以这些特点作为依据的。ODS设计与DW设计在着眼点上有所不同,ODS重点考虑业务系统数据是什么样子的,关系如何,在业务流程处理的哪个环节,以及数据抽取接口等问题。 定义维、度量、主题、粒度、存储期限定义维的概念特性:维名称,名称应该能够清晰表示出这个维的业务含义。维成员,也就是这个维所代表的具体的数据,维层次,维成员之间的隶属与包含的层次关系,每个层次需要定义名称定义度量的概念特性:度量名称,名称应该能够清晰表述这个度量的业务含义定义主题的概念特性:主题名称和含义,说明该主题主要包含哪些数据,用于什么分析;主题所包含的维和度量;主题的事实表,以及事实表的数据。定义粒度:主题中事实表的数据粒度说明,这种粒度可以通过对维的层次限制加以说明,也可以通过对事实表数据的业务细节程度进行说明。定义存储期限:主题中事实表中的数据存储周期。第四步:迭代,归并维、度量的定义在ODS中,因数据来自于多个系统,数据主题划分时虽然对数据概念进行了一定程度上的归并,但具体的业务代码所形成的各个维、以及维成员等还需要进一步进行归并,把概念统一的维定义成一个维,不允许同一个维存在不同的实体表示(象不同的业务系统中一样)。第五步:物理实现定义每个主题的数据抽取周期、抽取时间、抽取方式、数据接口,抽取流程和规则。物理设计不仅仅是ODS部分的数据库物理实现,设计数据库参数、操作系统参数、数据存储设计之外,有关数据抽取接口等问题必须清晰定义。
文章TAG:
哪些 数据 数据库 可以 哪些数据库可以做ODS