线上数据库哪个好，金融产品类的大数据查询工具有什么可以推荐的
来源：整理 编辑：黑码技术 2024-01-04 11:39:08
本文目录一览
1，金融产品类的大数据查询工具有什么可以推荐的
搜搜出单金融产品查询平台是目前做的比较好的，数据库做的很强大。依托近100人的数据技术团队通过线上系统智能采集和线下资产管理机构深度合作等双线发展的模式，搭建出了最全数据库。
2，如何理性选择适合自己的数据库
一般来讲，数据分析的查询不会直接从生产环境的数据库来读取数据，一方面是影响线上性能，另一方面是OLTP的表结构设计更多的是面向插入，而不是读取。如何来选择合适的数据库做数据分析呢？本文给出了四方面的考量，抛砖引玉。1. 客户要分析什么样的数据2. 客户分析的数据量是多少3. 客户工程师团队技术背景，运维能力4. 预期的数据分析的响应时间
3，我数据日访问量500w数据数据达到T级别哪位高手可以指导一下
比较：ndb是一种存储引擎，通常在mysql cluster中使用，MySQL Cluster 是一个基于NDB Cluster 存储引擎的完整的分布式数据库系统。和Oracle Real Cluster Application 不太一样的是，MySQL Cluster 是一个Share Nothing 的架构各个MySQLServer 之间并不共享任何数据，高度可扩展以及高度可用方面的突出表现是其最大的特色。目前还是MySQL 家族中的一个新兴产品优势：可用性非常高，性能非常好。每一分数据至少在不同主机上面存在一份拷贝，且冗余数据拷贝实时同步。劣势：维护较为复杂，产品还比较新，存在部分bug，目前还不一定适用于比较核心的线上系统。drdb是一种数据高可用 数据冗余方案简单来说，DRBD 其实就是通过网络来实现块设备的数据镜像同步的一款开源Cluster软件，也被俗称为网络RAID1优势：软件功能强大，数据在底层快设备级别跨物理主机镜像，且可根据性能和可靠性要求配置不同级别的同步。IO 操作保持顺序，可满足数据库对数据一致性的苛刻要求。劣势：非分布式文件系统环境无法支持镜像数据同时可见，性能和可靠性两者相互矛盾，无法适用于性能和可靠性要求都比较苛刻的环境。维护成本高于MySQL Replication。初步结论：楼主数据量大，还是超大，如果业务不是特别关键，建议用MySQL Cluster，遇到BUG也为MySQL Cluster提供些问题和建议，一起完善它。如果业务又很关键，那还要具体分析，为什么要采用集群，是哪里存在瓶颈了，据我所了解，MYSQL如果是关键业务，数据量又大，访问量也大，今后还会更大，可能无限制增长，那还是从数据分割上下手。如果只是量大，但增长不会长期，那把服务器性能提升下得了，同时对数据库优化参数多研究下。硬件主要是CPU能力、内存大小，磁盘性能，磁盘做RAID10或RAID50是最好的，不要做RAID5或RAID1。
4，为什么说Druid是最好的数据库连接池
1、可以监控数据库访问性能，Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。2、数据库密码加密。直接把数据库密码写在配置文件中，这是不好的行为，容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。3、SQL执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。4、扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter机制，很方便编写JDBC层的扩展插件。现在常用的开源数据库连接池主要有c3p0、dbcp、proxool三种，其中：spring 推荐使用dbcp；hibernate 推荐使用c3p0和proxool； 1、 dbcp：apachedbcp(database connection pool)数据库连接池。是apache上的一个 java连接池项目，也是 tomcat使用的连接池组件。单独使用dbcp需要3个包：common-dbcp.jar,common-pool.jar,common-collections.jar由于建立数据库连接是一个非常耗时耗资源的行为，所以通过连接池预先同数据库建立一些连接，放在内存中，应用程序需要建立数据库连接时直接到连接池中申请一个就行，用完后再放回去。dbcp没有自动的去回收空闲连接的功能。 2、 c3p0：c3p0是一个开源的jdbc连接池，它实现了数据源和jndi绑定，支持jdbc3规范和jdbc2的标准扩展。c3p0是异步操作的，缓慢的jdbc操作通过帮助进程完成。扩展这些操作可以有效的提升性能。目前使用它的开源项目有hibernate，spring等。c3p0有自动回收空闲连接功能。 3、 proxool：sourceforgeproxool是一种java数据库连接池技术。是sourceforge下的一个开源项目,这个项目提供一个健壮、易用的连接池，最为关键的是这个连接池提供监控的功能，方便易用，便于发现连接泄漏的情况。 对比：1> 相同时间内同等量的线程数和循环次数下:通过对三个连接池的三个标志性性能测试参数（average,median,90%line）进行比较发现：性能dbcp<=c3p02> 不同情况下的同一数据库连接池测试：通过观察 average,median,90%line三个参数发 现三个连接池的稳定性（三种连接池的三个测试参数的变化情况）依次：稳定性dbcp>=c3p0>proxool。 结论： 通过对三种数据库连接池的性能测试发现，proxool和 c3p0能够更好的支持高并发，但是在稳定性方面略逊于 dpcp；
5，什么是主叫识别
资料:电话主叫号码信息的识别及实现----主叫号码信息识别及传送(cid,calling identity delivery)，是指交换机将主叫用户的主叫号码及呼叫的日期、时间等信息传送给被叫用户，由被叫号用户的主叫号码显示器将信息显示出来并存储。以便用户摘机前就知道到底谁打电话来，或外出回来后查阅谁来过电话。它是由具有主叫号码信息识别服务功能的交换机与具有主叫号码显示服务功能的终端相配合来实现，在终端上可以显示主叫电话机的号码、呼叫时间等信息。一、cid技术产生背景----美国贝尔通信研究室（bellcore）首先引入话音频带数据通信的调制解调方式来实现cid业务，并在1990年提出了相关技术建议（tr-ts-000031， isue3，1990年1月），该建议经过多次修改后被称为bell202建议。数据传送采用了移频键控（fsk）方式，通常称为移频键控方式。与此同时，欧洲以瑞典为代表的研究机构为能在自己生产的交换机上方便地实现主叫号码传送（calling number delivery）业务，电话终端与交换机之间采用双音多频号码传送方式作为解决方案，通常称为双音多频方式。----经过多年的研究和发展，许多国家认为移频键控方式有较好的发展前景，纷纷以此为基础来制定本国的标准。到目前为止，采用移频键控方式的国家和地区有美国、加拿大、比利时、英国、西班牙、日本、新加坡和中国等。类别 移频键控方式 双音多频方式 传送速度 约1200bit/s 约12.5字符/s** 规定时间内的信息量（字符） 最多约600 最多约38 字符集 ascii 只能是数字及少数字符 传送可靠性 高 较高 应用 广泛 较少 表1 移频键控方式与双音多频方式的比较*双音频40ms发送，间隔40ms二、cid业务功能电话网上开展cid业务，必须考虑各方权益。主叫用户可以根据自己的意愿在一定权发内控制是否向被叫用户传送自己的号码。被叫用户在登记主叫信息显示权限后，交换机应向被叫用户传送主叫信息。1、主叫用户叫信息显示权限----主叫用户主叫信息显示权即主叫用户是否允许向被叫用户显示主叫信息。----作为主叫用户，发出呼叫时可以有允许cid和限制cid两种选择。（1）允许显示主叫用户的一切正常拨号，均为允许cid的呼叫，应向被叫用户所在终端交换机传送主叫信息。这类用户也可以要求在某次呼叫时不向被叫用户显示主叫信息，这时需要在该次呼叫拨号之前加拨一标志号码（如**，发端交换机收到**后，判别定为该次呼叫的cid业务被限制，送出限制标志，终端交换机不将该次呼叫的主叫号码送到被叫终端设备。（2）限制显示主叫用户的一切正常拨号，均为限制cid的呼叫，其主叫号码不送到被叫用户终端设备。这类用户也可以要求在某次呼叫时向被叫用户显示主叫号码，这时需要在该次呼叫拨号之前加拨一标志号码（如**，发端交换机收到**后，判定为该次呼叫的 cid业务被允许，送出允许标志，终端交换机将该咨和叫的主叫号码送到被叫终端设备。----无论主叫是允许cid用户还是限制cid用户，当呼叫的对方是110，119，120，122等特服终端时，其主叫号码一定要传送到被叫终端上。2、被叫用户主叫信息显示权限被叫用户主叫信息显示权限即被叫用户能否显示主叫信息。（1）用户登记主叫信息显示权限用户登记了主叫信息显示权限后，在作为被叫用户时，终端交换机应向用户传送相应的显示信息。·在一次呼叫有主叫号码，则显示“号码+日期+时间”；·在一次呼叫中终端交换机没有收到主叫号码，则显示“o”；·在一次呼叫中如果不允许显示主叫号码，则显示“p”。（2）用户不登记主叫信息显示权限如不登记此权限，交换机不向此用户发送任何信息。三、cid业务的基本技术----采用移频键控传送方式的交换机应具备与该方式有关的硬件环境，以及数据处理和传送所必要的软件环境。1、主叫号码及标志在局间的传送-- --主叫号码信息显示是由终端交换机传给被叫用户终端设备的，因此终端交换机应能顺利得到主叫方号码，这就要求发端交换机将主叫号码等信息通过局间信令系统（如七号信信）传送给终端交换机，随主叫号码一起传送的还有一个标志码，表示主叫方的意愿。如“x”表示主叫号码可以传送给被叫用户；“y”表示主叫码不愿意传送给被叫用户。2、主叫信息从终端交换机到用户的传送----终端交换得到主叫号码信息后，根据被叫用户特征以及主叫用户标志码来控制主叫号码信息的传送，可以有下列几种处理方式：·被叫是未申请cid服务的用户时，不传送任何信息；·被叫是cid用户时，主叫标志是“y”时，传送“p”；·被叫是cid用户时，主叫标志是“x”时，传送“主叫号码+时间+日期”；·被叫是110，119，120，122等特服用户时，无论主叫标志是“x”还是“y”均传送主叫号码的信息。----终端交换机在传送主叫号码信息前，还要根据被叫用户目前所处的状态，采用不同的传送序列和格式。以保证传送能顺利进行。（1）被叫话机在挂机状态对于采用移频键控方式的交换机，终端交换机将主叫号码信息在第一次振铃和第二次振铃间隔期间，将主叫号码信息以移频键控（fsk）的方式传送给被叫用户终端设备。（2）被叫话机处在通话状态当被叫用户登记某些业务（如呼叫等待）时，若被叫用户处在通话状态下，则终端交换机仍可向被叫用户传送主叫信息。----例如，具有cid功能的用户乙与用户甲通话时，又有用户丙呼叫用户乙，则在用户乙终端设备上显示用户丙的识别信息。四、cid数据传送协议----数字用户的主叫号码显示功能可以采用窄带isdn协议来实现，模拟用户的主叫号码显示功能主要采用移频键控、双音多频方式。1、挂机状态下的数据传送----在一次呼叫中若被叫用户申请了cid业务，则终端交换机向该被叫用户传送主叫识别信息数据。在数据传送前或过程中，如果用户摘机，则传送停止且呼叫处理正常进行。2、通话状态下的数据传送-- --在通话状态下传送灵敏据，交换机首先“切断 ”与对端的话音通路，并向被叫用户传送提示序列。提示序列由用户提示音（sas）和对方终端提示信事情（cas）组成。用户提示音的目的是提示用户有新等待的呼叫，可采和呼叫等待音。电话终端提示信号是用来提示电话终端准备接收数据。----电话终端收到终端提示信号后就将送受话器静音以防止近端干扰，将数据接收器连接到用户线上，并用应答（ack）信号响应以通知交换机已准备好。----交换机收到应答信号后，数据传送开始，交换机将消息发送给电话终端并在数据传送一结束就马上恢复与对端的话音通路，同时，恢复话机的话音通路。----在通话状态下传送提示序列和数据期间，交换机应以至少50db的损耗阻塞与对端的话音传送，防止这些信号到达远端。----用户乙所在的交换机一旦查出他的一个“瞬断”（flash）信号或用户挂机，就停止数据传送，并按正常接续处理。----若交换机查出用户丙或用户甲挂机，则继续数据传送。若用户乙在15s内未对新插入的呼叫进行响应，交换机将释放新的呼叫。3、主叫识别信息数据的格式-- --主叫识别数据格式有两种；单数据消息格式（sdmf）和复合数据消息格式（mdmf）。前者的结构简单，可容纳的信息内容较少，如：呼叫序号、呼叫建立日期和时间及主叫号码；后者的结构比较复杂，可容纳的信息长度较长，除单数据格式内容以外还可传主叫用户的姓名等。（1）单数据消息格式单数据消息格式由消息头和消息体组成，消息头由消息类型和消息长度组成，它们均为8bit。消息类型的值用来识别消息的特征。消息长度指明后面所跟的消息字的长度。消息体包括交换机需传给终端用户的消息，消息体可容纳1255个8bit的消息字。每个字用8bit带校验位的7位编码字符集表示。（2）复合数据消息格式与单数据格式一样，复合数据消息格式由消息体组成。不同的是，复合数据的消息体由一个或多个小的消息（称为参数消息0组成，参数消息同样具有参数头和参数体。参数头包括参数类型和参数长度，它们均为8bit。参数类型值用来识别后续参数字。参数长度指明参数体中参数字的数目。复合数据消息格式允许不同特征产生的不同消息在同一个帧中传送。（3）消息帧格式一个完整消息帧由信道占用信号和9或0标志信号、数据信息和校验字组成。信道占用信号和标志信号的目的是提示电话终端准备接收数据。校验字是用作差错检查。·信道占用信号：由一组300个连续的“0”和“1”交替的位组成，其第一个比特为“0”，最后一个比特为“1”。在通话状态下，信道占用信号不发送。·标志信号：由180个（在挂机状态下）或80个（在通话状态下）标志位（逻辑“1”）组成。·标志位；由0~10个逻辑“1”组成。·每个数据字之前先行一位“0”作为起始位，在最后加一位“1”作为结束位。每个数据字的最低位先发送。这样，实际每个字占10bit，即1pxxxxxxx0（p为奇偶校验位）。数据传送时，信道占用信号发送后接收标志信号。（4）数据定义a.消息类型字消息类型字的值（16进制数表示）从00~ff可定义256种不同特征的消息，见表2。值 含义 数据消息类型 00000100 主叫号码传送信息 单数据格式 10000000 呼叫建立 复合数据格式 其它 备用 备用 表2 消息类型定义b.消息长度字消息长度字为消息体中消息字的数目。用16进制数表示，值从00~ff。c.参数类型字参数类型字的值（16进制表示）从00~ff可定义256种不同特征的参数，见表3。值 含义 00000001 呼叫时间 00000010 主叫号码 00000100 无主叫号码 00000111 主叫姓名 00001000 无主叫姓名 其它 备用 表3 参数类型定义d.参数长度字参数长度字为参数体中参数字的数目。用16进制数表示，值从00~ff。e.消息字和参数字1.单数据消息格式消息字有以下各项：·日期、时间（月、日、时、分）用ascii字符表示，共8个字节；·主叫号码（如果允许显示）用ascii字符表示；·如果不允许显示主叫号码，将传送字符“p”；·当终端交换机无法得到主叫号码时，将传送字符“o”。单数据消息格式消息按消息类型（如：04h）、消息长度、消息字、月、日、时、分、主叫号码（“o”或“p”）顺序排列组成。2.复合数据消息格式参数字有以下各项：·日期、时间（月、日、时、分）用ascii字符表示，共8个字符；·主叫叫码用ascii字符表示；·无主叫号码用字符“p”或“o”表示；·主叫姓名用ascii字符表示。·无主叫姓名用ascii字符表示，用字符“p”或“o”表示。----复合数据消息格式消息体一般按消息类型（如08h）、消息长度、参数消息（日期、时间）、参数消息（主叫号码或“o”或“p”）的顺序排列组成。----所有的消息字和参数字都有奇偶校验位（即比特位7），采用奇校验方式。（5）差错检查发送器按一定的算法计算出消息的校验字并附加到消息后面。接收器在收到消息帧后重新计算出校验字并与收到的校验字相比较。若两值相同则消息正确收到。校验字的算法是将消息数据（即单数据格式的消息类型字，消息长度字和消息数据字；复合数据格式的消息类型字，消息长度字，所有的参数类型字，所有的参数长度字和所有的参数数据字）按256-模求和取补来得到校验字。4、交换机端的物理层数据传送电参数（1）移频键控数据要求·调制方式：相位连续二进制移频键（b移频键控）·逻辑1：**·逻辑0：**·载波电平；标准600（测试终端的环路入口电平为**）·载波纯度；信号（200~4000hz）的总失真功率电平至少低于信号功率电平30db。·传输速率：·数据传送方式：二进制制异步串行方式·源内阻及纵向平衡度应符合话音传送的要求。（2）信令1、用户提示音·信事情音频率：·谐波失真：·时间结构：·信号电平：2、电话终端提示信号的特征·双音多频信号为：低频音：高频音：·单音电平：·持续时间：·纯度：信号（200~4000hz）的总失真功率电平应至少低于每一个单音功率电平30db。3、应答信号的接收能力·频率：在通话状态下双音多频“d”（941，1633hz）·信号频率允差：·持续时间：·信号电平：-4~-23dbm五、我国cid的状况----目前，我国已具备程控交换机开放多种新业务的条件：首先有发达的公众通信网络基础。其次有先进的传输技术和交换技术，再有社会需求的增长和提高。----这几年来我国电信网络基础建设发展很快，电话普及率逐年提高。调查显示，用户迫切需要利用电话来传递更多的信息，其中包括主叫信息的显示等。-- --我国的一些厂家也开发一些cid产品，已经投放国内市场的有带主叫识别信息显示功能的电话机和电话外接显示器，它们能够接收交换机传送的单数据格式和复合数据格式的主叫识别信息。其中，在挂机关状态下，能正确接收和显示主叫识别信息的话机为cid-i类话机；在挂机和通话两种状态下能接收和显示主叫识别住处的话机为cid-ii类话机。现在，主叫识别信息显示的内容是单数据消息格式。如果显示的内容为复合数据消息格式就需要另加数据库（用汉字显示），话机要带汉字库，成本高。如果用拼音，由于汉字同音字较多，有时显示的意义不明。----我国生产的交换机已具备移频键控方式传送cid信息的能力 ，如上海贝尔、nec、大唐和华为等厂家生龙活虎的交换机已经具备cid功能。目前我国只有几个城市开放了cid业务，并取得了较好的经济效益和社会效益。祥明在我国开展cid业务具有广阔前景。是指在被叫用户终端设备上显示主叫号码、主叫用户姓名、呼叫日期和时间等主叫识别信息并进行存储，以供用户查阅
文章TAG：
线上数据库哪个好 金融产品类的大数据查询工具有什么可以推荐的
