?

Hubble:大规模高并发支持灵活查询的国产HTAP数据库

【数据猿导读】 Hubble对SQL进行了全面支持,并具备NoSQL的能力,采用大数据高扩展、高可用的架构,可以满足不同的业务企业级应用,对实时、高性能的需求,并提供多种交互接口

Hubble:大规模高并发支持灵活查询的国产HTAP数据库

人工智能和大数据一直作为孪生兄弟相互支撑,生产与离线分析各自独立的传统信息化结构已经无法支撑AI的发展,每个异构数据库产品之间的同步和数据冗余;业务的实时性需要流数据框架;ML越来越多作为核心业务部件被部署在流程中自动化完成……这些都会带来很多问题,因此限制了大数据企业应用的发展。新一代数据驱动业务提出了数据湖等全新架构,而数据湖不仅仅是低成本的存储,更应是面向生产交易等数据科学处理的核心计算框架。

凭借7年来在分布式计算集群的沉淀,及三家大型银行核心交易系统的实践验证,天云大数据推出了百万原生代码规模的HTAP数据库产品:Hubble,可以实现混合交易分析处理。

Hubble:既能支持OLTP,又能支持OLAP的数据库

Hubble对SQL进行了全面支持,并具备NoSQL的能力,采用大数据高扩展、高可用的架构,可以满足不同的业务企业级应用,对实时、高性能的需求,并提供多种交互接口。

Hubble_HTAP数据库_天云大数据_SQL-1

Hubble_HTAP数据库_天云大数据_SQL-2

Hubble底层采用Hdfs做数据为存储介质,具备存储海量数据的能力,具备集群的横向动态扩展能力,在安全性方面利用HDFS的三副本机制来保证整个集群的稳定运行。

分片服务会将预写日志直接持久化到磁盘,以保证事务,而不是放在内存中,避免使用内存导致事务出错的风险,并提高事务的可靠性。通过Mem Storage作为数据缓冲层,HDFS Storage将数据序列化到HDFS中,并从API层级支持数据的批量加载,每个shard作为哈勃逻辑层面的最小单元。

Hubble可以使用JAVA SDK、JDBC客户端、SQL等多种访问方式为前端应用提供数据的访问。

Hubble_HTAP数据库_天云大数据_SQL-3

Hubble的目标就是做国产的HTAP数据库。在使用hubble时,无论业务规模大小,始终都与小型应用阶段相同,无需改变使用习惯,当业务规模扩大时,只需要添加新的节点,提升数据库的能力,就可以适应业务变化的需要,每个阶段无需付出额外的成本。

Hubble三大特性:实时离线高速入库、超高并发、全部SQL标准

Hubble有三个大的目标 :

第一是支持实时、离线高速入库,满足各种入库需要,并支持实时入库,支持离线批量加载,并支持多节点的ACID

第二支持超高并发,即支持大规模用户访问,支持上万用户在线实时高并发修改和查询。

第三是支持全部标准SQL的语法,提供各种分类、汇总等统计公式,及OLAP分析。

下面对hubble的性能对比及FAB三个维度进行分析

Hubble_HTAP数据库_天云大数据_SQL-4

Hubble与MPP数据库impala,还有内存计算Spark的对比,可以看到,50万条、5千万条和5亿条记录的3个测试维度,无论哪个查询,hubble都存在着巨大的优势,hubble基本都是毫秒级响应,而无论是impala还是spark都是分钟级的响应速度。

Hubble的重要特性包括,对SQL的全面支持,即全面支持TPC-DS,TPC-H的SQL语法,并支持PL/SQL存储过程。

数据存储在HDFS上,支持数据的批量入库,凭借HDFS的多副本机制,确保数据的高可用性,保证数据不丢失,并具备天然的高扩展性。对ACID的支持,数据的高一致性,确保新增、修改、删除时数据的一致性,并支持联机操作。利用快照技术,方便记录数据的当前状态,随时对数据对数据进行快照恢复??梢约嗫丶汉虷ubble的状态信息,方便数据库管理进行维护和监控。

Hubble的作用主要包括,使用灵活,无需太多额外的成本,对传统应用的迁移,只需要替换jdbc使用的驱动即可。自诞生起就基于hadoop之上,天生支持海量存储,支持对TB甚至PB级的数据。

既支持OLTP又支持OLAP,一站式的解决联机查询问题,无需部署众多的数据库组件,只需要使用Hubble,就可以涵盖大部分的业务需求。

Hubble_HTAP数据库_天云大数据_SQL-5

可以利用快照技术,对任一时间的数据进行备份,随时恢复,有效的保障了数据的安全性。

在小型应用方面,企业为节省成本,可能选择OLTP数据库,在数据规模小时,可以运转的很好。到了中型应用阶段,就会面临资源不够用的问题,这个时候开始做读写分离,分式复用。到了大型应用时期,读写数据开始跑不动,越来越复杂的SQL,这时开始做分库分表操作,并引入了分析型数据库。到了巨型应用阶段,开始对不同业务选择不同数据库入口,管理复杂度极高。

这个时候Hubble数据库的引入,就有效解决以上众多问题,降低使用者的门槛,减小开发的投入,方便原有系统的迁移,运行稳定,不需要额外的维护成本。

并且系统在大规模数据量下仍然支持高并发实时响应,减小查询等待时间,从而提升了用户体验,提高了效率。

Hubble_HTAP数据库_天云大数据_SQL-6

Hubble成功实现核心交易减负,保障全量数据在线

Hubble的典型应用场景包括,历史数据查询,全量数据存储,统一格式查询,从而实现对核心交易的减负,并保障全量数据的在线。

在游戏和电商数据分析,可以支持海量的游戏、电商数据的存储,方便对用户进行画像,实现精准营销,并提供秒级的响应速度。

在基础设施监控方面,提供准实时入库,对基础实时数据进行流处理,并实时的提供对基础设施数据的监控。

在IOT及传感器数据方面,也可以通过实时入库,对物联网数据进行存储、查询及挖掘。

Hubble_HTAP数据库_天云大数据_SQL-7


来源:数据猿

声明:数据猿尊重媒体行业规范,相关内容都会注明来源与作者;转载我们原创内容时,也请务必注明“来源:数据猿”与作者名称,否则将会受到数据猿追责。

刷新相关文章

天云大数据MaximAI3.0:以Auto ML为客户赋能  降低企业AI应用门槛
天云大数据MaximAI3.0:以Auto ML为客户赋能 降低企业AI...
天云大数据产品发布暨渠道招募会在京举行:AI 赋能合作伙伴,共建DT时代生态服务体系
天云大数据产品发布暨渠道招募会在京举行:AI 赋能合作伙伴,...
StackOverflow调查结果出炉:最流行数据库是MySQL
StackOverflow调查结果出炉:最流行数据库是MySQL

我要评论

精品栏目

[2017/12/19]

大数据24小时

More>

[2017/12/18-22]

大数据周周看

More>

[2017/12/18-22]

大数据投融资

More>

[2017/12/18-22]

大咖周语录

More>

[2017/12/13-20]

大数据周聘汇

More>

[2017/12/12-19]

每周一本书

More>

返回顶部
  • 浙江网信办依法依规关闭一批违法违规网站以及用户账号 2018-08-13
  • 习近平:请乡亲们同党中央一起,撸起袖子加油干! 2018-08-13
  • 唯物辩证法是以客观事实为依据的,不是按什么理论为依据,人们的争论,就是从客观来证明理论的真伪,你给人家戴上有色眼镜,别人还怎么实事求是? 2018-08-10
  • 少年足球情 体育强国梦——“蒙牛”少年足球队亮相卢日尼基体育场 2018-08-10
  • 计划经济不是产生于利益交换之上的计划经济。说白了,计划经济就是为人民服务的计划经济。要养活14亿,甚至24亿中国人的经济。 2018-08-09
  • 人民日报评论员:大就要有大的样子 2018-07-11
  • 昨天我发的贴怎么不回答。狂犬认为:“如果观察者观察到物体相对于他运动,那么他是绝对静止的”。狂犬观察到,无论它是打滚还是跳楼,是装死还是狂跑,它观察到物体都是相 2018-07-11
  • 515| 767| 625| 471| 421| 624| 415| 105| 424| 986|