第三代企业级分布式数据库即将到来
从3.0开始,OceanBase正式进入第三代企业级分布式数据库序列。其实很多人不知道,今年6月OceanBase开源的版本能力并不弱于2020年双十一支付宝上线使用的版本。
集中式和分布式如何选择?是数据库选择中最纠结的问题。之所以纠结,是因为两者各有优势,但又不能兼得。
例如:
1、不想分库分表,应用开发都要哭了...
2、业务发展很快,数据库又要扩容了...
3、不知道哪些是AP,哪些是TP,也不能拆分业务...
4、大机挂了,只能等厂家恢复,不敢截流...
5、备份库为什么不能提供服务?服务器被浪费了...
6、企业级分布式数据库部署了几十台服务器,性能还不如一套Oracle RAC……...
7、原来用Oracle,迁移到国内数据库应用,业务转型要崩溃了...
8、运行批处理时,交易性能总是不稳定...
9、多个部门使用一组数据库,并且相互干扰...
以上问题都来自真实用户的声音。本质上,这些需求是用户需要分布式、可扩展和高可用的能力,以及集中式的功能、性能和易用性。那么,有没有一款产品或者解决方案可以解决以上所有问题呢?以前没有,现在有了,那就是第三代企业级分布式数据库。
近日,在刚刚结束的DTCC 2021大会上,OceanBase CTO杨传辉(花名:日照)发表了题为“集成架构的原生分布式数据库”的主题演讲,其中谈到了一些新概念,如集成架构、第三代分布式数据库等,其中一些与其他制造商有些不同。
什么是集成架构?集成的原生分布式数据库和众所周知的分布式数据库有什么区别?可以解决哪些问题?
带着这些问题?作者采访了杨传辉。
在杨传辉看来,企业级分布式数据库迭代分为三个阶段:
第一代分布式存储系统(NoSQL):以牺牲SQL、事务一致性和企业级功能为代价,获得可扩展的高性能能力。
第二代分布式数据库(可扩展SQL):支持基本的SQL功能,往往以牺牲单机性能和成本为代价,延迟大,对企业级功能支持不完全。
第三代企业级分布式数据库(可扩展企业DB):通过集成的方式,你可以同时拥有功能和性能。兼容SQL标准,支持丰富的企业级功能,追求单机性能。
从描述中可以看出,集成架构是第三代企业级分布式数据库的核心技术,那么什么是集成呢?
杨传辉表示,所谓整合包括两层含义:“集中式与分布式的整合”和“OLTP与OLAP的整合”。
OLTP和OLAP的整合并不是一个新概念,实际上是HTAP。当早期的E.F.Codd关系模型被提出时,TP和AP之间没有区别。实际上,Oracle是一个HTAP数据库,只不过Oracle只能处理少量的HTAP,而不能处理大量的。那么,后来为什么要分开呢?因为随着数据越来越多,集中式数据库无法在一个系统中同时处理TP和AP,所以进行拆分,定期同步一个TP系统和一个AP系统。
为什么现在要合并?杨传辉认为,世界的总趋势将会分裂很久,而且会分裂很久。随着分布式和云计算发展到一定程度,(一套)系统的处理能力又变强了。基于用户简化需求驱动的集成和整合,有了AP和TP结合的思路。2014年,Gartner也提出了这样一个概念,如今HTAP也成为了一种类型的数据库。
但是集中式和分布式系统的融合绝对是一个新概念,兼具集中式和分布式系统的技术优势,听起来很甜。
这种整合的好处是什么?杨传辉说,在整合下的数据库选择中,不再需要一开始就考虑容量问题。比如选OceanBase,创业初期可以用机器。当业务快速增长时,如果系统容量不足,就会进行扩容。OceanBase在一台机器被使用的情况下,也就是不被分发的情况下,可以实现不损失性能和功能。
总的来说,集成给用户带来的好处是显而易见的,那就是易用性和更低的成本。
集成建筑,理论听起来很好吃,但做起来并不容易,否则就不是新概念了。杨传辉说,这种结构非常困难,而且到处都是坑。
为什么OceanBase能做到别人做不到的事?杨传辉说,这是脚踏实地,没有捷径可走的综合结构。OceanBase坚持长期原则,用十年二十年的时间打造下一步企业级分布式数据库。这里涉及三个概念:一是坚持完全自研,二是坚持原生分布式数据库,三是坚持核心场景。OceanBase认为,要做下一代支持核心场景的原生分布式数据库,必须是自研的。OceanBase在成立之初选择走完全自研的路线,并不是因为预测到了国产化、自主化的趋势,而是一种技术上的选择。
多次打TPC,既不是喜欢,也不是炫耀,而是为了打磨产品,证明架构的可行性。杨传辉表示,因为OceanBase的定位是下一代原生分布式数据库,所以要用集中式数据库的最高、最苛刻的标准来要求自己。那你怎么证明OceanBase是强一致的?TPC-C是个好办法。通过TPC-C测试,证明分布式架构可以有很强的一致性,这一点很重要。说明基于分布式架构的ACID实现可以管理20万亿行这样的大规模数据,而且可以完全无抖动。这就是TPC-C的意义,TPC-H也是如此,为了证明HTAP的海洋基地能力。
OceanBase通过了TPC-C测试,证明了企业级分布式数据库的可能性,证明了OceanBase的可扩展性和高可用性,图像稳定器是佼佼者。杨传辉说,OceanBase在单机性能和功能方面必须向经典数据库学习。虽然证明了架构的可行性,但并不代表我们现在就比原来的好。这里还有很长的路要走。
在本次DTCC大会上,OceanBase 3.1.1开源版本正式发布,进一步强化了OceanBase的核心能力,提高了可用性和开源能力。紧接着,在云起大会上,OceanBase 3.2商业版正式发布,数据分析性能提升了6倍。
杨传辉指出,其实OceanBase从3.0开始就属于第三代企业级分布式数据库了,因为主要架构基本都有,但还是要不断追求单机的极致性能,做好兼容性功能和细节的打磨。OceanBase开源是认真的,是正版的。杨传辉最后表示,今年6月开源的版本能力并不弱于去年支付宝双十一在线使用的版本。
延伸 · 阅读
- 2024-11-14帕里布(Paribu)面向全球机构客户推出数字资产托管服务
- 2024-11-14长沙唯德医院携手查国章教授:中西医结合新探索,推动前列腺疾病诊疗创新
- 2024-11-13聚合·数字化的力量!数字中国服务联盟走进山石网科
- 2024-11-13树立医者典范 礼赞大医精诚 访国宝级中医—周培富
- 2024-11-13紫光展锐与影目科技共创AI眼镜开放平台,重新定义智能穿戴
- 2024-11-132024年北京十大律师事务所排名公布