数据仓库的数据结构，大数据量的系统的数据库结构如何设计
来源：整理 编辑：黑码技术 2024-11-29 11:37:51
本文目录一览
1，大数据量的系统的数据库结构如何设计
1、把你表中经常查询的和不常用的分开几个表，也就是横向切分2、把不同类型的分成几个表，纵向切分3、常用联接的建索引4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率5、用优化器，优化你的查询6、考虑冗余，这样可以减少连接7、可以考虑建立统计表，就是实时生成总计表，这样可以避免每次查询都统计一次mrzxc 等说的好，考虑你的系统，注意负载平衡，查询优化，25 万并不大，可以建一个表，然后按mrzxc 的3 4 5 7 优化。 速度，影响它的因数太多了，且数据量越大越明显。1、存储 将硬盘分成NTFS格式，NTFS比FAT32快，并看你的数据文件大小，1G以上你可以采用多数据库文件，这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。2、tempdb tempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID 0上，这样它的性能最高,不要对它设置最大值让它自动增长3、日志文件 日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上，这样也可以提高硬盘I/O性能。4、分区视图 就是将你的数据水平分割在集群服务器上，它适合大规模OLTP,SQL群集上，如果你数据库不是访问特别大不建议使用。5、簇索引 你的表一定有个簇索引，在使用簇索引查询的时候，区块查询是最快的，如用between，应为他是物理连续的，你应该尽量减少对它的updaet,应为这可以使它物理不连续。6、非簇索引 非簇索引与物理顺序无关，设计它时必须有高度的可选择性，可以提高查询速度，但对表update的时候这些非簇索引会影响速度，且占用空间大，如果你愿意用空间和修改时间换取速度可以考虑。7、索引视图 如果在视图上建立索引,那视图的结果集就会被存储起来，对与特定的查询性能可以提高很多，但同样对update语句时它也会严重减低性能，一般用在数据相对稳定的数据仓库中。8、维护索引 你在将索引建好后，定期维护是很重要的，用dbcc showcontig来观察页密度、扫描密度等等，及时用dbcc indexdefrag来整理表或视图的索引,在必要的时候用dbcc dbreindex来重建索引可以受到良好的效果。 不论你是用几个表1、2、3点都可以提高一定的性能，5、6、8点你是必须做的，至于4、7点看你的需求，我个人是不建议的。打了半个多小时想是在写论文，希望对你有帮助。
2，数据仓库的技术结构有哪些
? （一）数据源 是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于 RDBMS 中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； （二）数据的存储与管理 是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。 （三）OLAP(联机分析处理)服务器 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP（多维在线分析处理）和 HOLAP（混合型线上分析处理）。ROLAP 基本数据和聚合数据均存放在 RDBMS 之中；MOLAP 基本数据和聚合数据均存放于多维数据库中；HOLAP 基本数据存放于RDBMS 之中，聚合数据存放于多维数据库中。 （四）前端工具 主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对 OLAP 服务器，报表工具、数据挖掘工具主要针对数据仓库。 ----------------------------- 由安信公司历经 4 年研发的监测数据管理平台，采用独创的技术架构，在 B/S 架构上融入 C/S 模式，囊括了实验室管理系统、监测站办公自动化、监测站综合业务管理系统、监测数据上报系统等诸多系统，把各个系统有机融合在一起，不同的业务科室展现不同工作页面，内部却又实现了数据共享。 系统页面简单大方，操作轻松方便，在不增加实验室工作量的情况下，能够让监测数据进入系统中，原始记录单等诸多实验室报表可协助生成（不完全生成，需人工签字），随后科室比如质控、综合、主管领导即可对数据进行多层次利用查询，并自动生成各类监测报表。 系统采用流程化工作模式，对不同监测任务实施不同工作流，保证工作的科学和严谨，对于单位内部职工每天待办事宜清晰显示，让内部职工对每天工作都一目了然。系统工作流程可自由配置，工作单可根据按照配置流转相应单位，并且可以对工作流程进行追踪查询，作为领导可以查看到每一项安排工作的流转情况、完成情况和监测结果。 系统支持短信功能，对于领导等科室一些紧急任务可在系统下达后，立刻用短信通知相应工作人员，对于单位紧急通知等也可以进行短信通知，让监测站的工作更加快捷高效。 系统提供深层次数据挖掘功能，能够根据监测数据，快速提供某监测点的多方位数据，比如历年来某月COD 的监测数据变化，几年来某项监测数据的月平均值变化等等，为监测站领导决策提供科学依据。 系统生成报表功能强大，除自身已包含众多报表外，可迅速生成 WORD 下各种客户要求的监测报表，并且查阅维护方便。 系统作为平台拓展性强，可以融合其他系统与平台上，并且后期功能升级方便不影响前期功能。 目前系统已经在多个地 方监测站运行，从使用效果来看是比较实用的。
3，oracle数据库的结构是什么
Oracle数据库的体系结构包括四个方面：数据库的物理结构、逻辑结构、内存结构及进程。 1. 物理结构 物理数据库结构是由构成数据库的操作系统文件所决定，Oracle数据库文件包括： 数据文件（Data File） 数据文件用来存储数据库中的全部数据，例如数据库表中的数据和索引数据.通常以为*.dbf格式，例如:userCIMS.dbf 。 日志文件（Redo Log File） 日志文件用于记录数据库所做的全部变更（如增加、删除、修改）、以便在系统发生故障时，用它对数据库进行恢复。名字通常为Log*.dbf格式，如：Log1CIMS.dbf,Log2CIMS.dbf 。 控制文件（Control File） 每个Oracle数据库都有相应的控制文件，它们是较小的二进制文件，用于记录数据库的物理结构，如：数据库名、数据库的数据文件和日志文件的名字和位置等信息。用于打开、存取数据库。名字通常为Ctrl*ctl 格式，如Ctrl1CIMS.ctl。 配置文件 配置文件记录Oracle数据库运行时的一些重要参数，如：数据块的大小，内存结构的配置等。名字通常为init*.ora 格式，如：initCIMS.ora 。 2 逻辑结构 Oracle数据库的逻辑结构描述了数据库从逻辑上如何来存储数据库中的数据。逻辑结构包括表空间、段、区、数据块和模式对象。数据库的逻辑结构将支配一个数据库如何使用系统的物理空间.模式对象及其之间的联系则描述了关系数据库之间的设计. 一个数据库从逻辑上说是由一个或多个表空间所组成，表空间是数据库中物理编组的数据仓库，每一个表空间是由段(segment)组成，一个段是由一组区(extent)所组成，一个区是由一组连续的数据库块(database block)组成，而一个数据库块对应硬盘上的一个或多个物理块。一个表空间存放一个或多个数据库的物理文件（即数据文件）.一个数据库中的数据被逻辑地存储在表空间上。 表空间（tablespace） Oracle数据库被划分为一个或多个称为表空间的逻辑结构，它包括两类表空间，System表空间和非System表空间，其中，System表空间是安装数据库时自动建立的，它包含数据库的全部数据字典，存储过程、包、函数和触发器的定义以及系统回滚段。除此之外，还能包含用户数据。。 一个表空间包含许多段，每个段有一些可以不连续的区组成，每个区由一组连续的数据块组成，数据块是数据库进行操作的最小单位。 每个表空间对应一个或多个数据文件，每个数据文件只能属于一个表空间。 数据库块（database block） 数据库块也称逻辑块或ORACLE块，它对应磁盘上一个或多个物理块，它的大小由初始化参数db-block-size（在文件init.ora中）决定，典型的大小是2k。Pckfree 和pctused 两个参数用来优化数据块空间的使用。 区（extent） 区是由一组连续的数据块所组成的数据库存储空间分配的逻辑单位。 段（segment） 段是一个或多个不连续的区的集合，它包括一个表空间内特定逻辑结构的所有数据，段不能跨表空间存放。Oracle数据库包括数据段、索引段、临时段、回滚段等。 模式对象（schema object） Oracle数据库的模式对象包括表、视图、序列、同意词、索引、触发器、存储.过程等，关于它们将重点在后面章节介绍。 3．Oracle Server系统进程与内存结构 当在计算机服务器上启动Oracle数据库后，称服务器上启动了一个Oracle实例（Instance）。ORACLE 实例（Instance）是存取和控制数据库的软件机制，它包含系统全局区（SGA）和ORACLE进程两部分。SGA是系统为实例分配的一组共享内存缓冲区，用于存放数据库实例和控制信息，以实现对数据库中数据的治理和操作。 进程是操作系统中一个极为重要的概念。一个进程执行一组操作，完成一个特定的任务.对ORACLE数据库治理系统来说，进程由用户进程、服务器进程和后台进程所组成。 当用户运行一个应用程序时，系统就为它建立一个用户进程。服务器进程处理与之相连的用户进程的请求，它与用户进程相通讯，为相连的用户进程的ORACLE请求服务。 为了提高系统性能，更好地实现多用户功能，ORACLE还在系统后台启动一些后台进程，用于数据库数据操作。 系统进程的后台进程主要包括： SMON 系统监控进程：（system monitor）负责完成自动实例恢复和回收分类（sort）表空间。 PMON 进程监控进程：（PRocess monitor）实现用户进程故障恢复、清理内存区和释放该进程所需资源等。 DBWR 数据库写进程：数据库缓冲区的治理进程。在它的治理下，数据库缓冲区中总保持有一定数量的自由缓冲块，以确保用户进程总能找到供其使用的自由缓冲块。 LGWR 日志文件写进程：是日志缓冲区的治理进程，负责把日志缓冲区中的日志项写入磁盘中的日志文件上。每个实例只有一个LGWR进程。 ARCH 归档进程：（archiver process）把已经填满的在线日志文件拷贝到一个指定的存储设备上。仅当日志文件组开关（switch）出现时，才进行ARCH操作。ARCH不是必须的，而只有当自动归档可使用或者当手工归档请求时才发出。 RECO 恢复进程：是在具有分布式选项时使用的一个进程，主要用于解决引用分布式事务时所出现的故障。它只能在答应分布式事务的系统中出现。 LCKn 封锁进程：用于并行服务器系统，主要完成实例之间的封锁。 内存结构（SGA） SGA是Oracle为一个实例分配的一组共享内存缓冲区，它包含该实例的数据和控制信息。SGA在实例启动时被自动分配，当实例关闭时被收回。数据库的所有数据操作都要通过SGA来进行。 SGA中内存根据存放信息的不同，可以分为如下几个区域：
Buffer Cache：存放数据库中数据库块的拷贝。它是由一组缓冲块所组成，这些缓冲块为所有与该实例相链接的用户进程所共享。缓冲块的数目由初始化参数DB_BLOCK_BUFFERS确定，缓冲块的大小由初始化参数DB_BLOCK_SIZE确定。大的数据块可提高查询速度。它由DBWR操作。 b. 日志缓冲区Redo Log Buffer：存放数据操作的更改信息。它们以日志项（redo entry）的形式存放在日志缓冲区中。当需要进行数据库恢复时，日志项用于重构或回滚对数据库所做的变更。日志缓冲区的大小由初始化参数LOG_BUFFER确定。大的日志缓冲区可减少日志文件I/O的次数。后台进程LGWR将日志缓冲区中的信息写入磁盘的日志文件中，可启动ARCH后台进程进行日志信息归档。 c. 共享池Shared Pool：包含用来处理的SQL语句信息。它包含共享SQL区和数据字典存储区。共享SQL区包含执行特定的SQL语句所用的信息。数据字典区用于存放数据字典，它为所有用户进程所共享。 Cursors：一些内存指针，执行待处理的SQL语句 其他信息区：除了上述几个信息区外，还包括一些进程之间的通讯信息（如封锁信息）；在多线索服务器配置下，还有一些程序全局区的信息，请求队列和响应队列等。
本文来自： http://hi.baidu.com/ipbun/blog/item/3f75d7230a7f5ee698250a7c.html
文章TAG：
数据 数据仓库 仓库 数据结构 数据仓库的数据结构
