数据库技术

背景 2016年Q3季度初,在美团外卖上单2.0项目上线后,商家和商品数量急速增长,预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB(数据库,以下统一称DB)主从延迟、表变更困难等一系列问题。 要解决上面所说的问题,通常有两种方案。第一种方案是直接对现有的商品库进行垂直拆分,可以缓解目前写峰值QPS过大、DB主从延迟的问题。第二种方案是对现有的商品库大表进行分库分表,从根本上解决现有问题。方案一

2022-10-27  342
数据库技术

一、金融行业架构转型需求 随着移动化与互联网化的不断发展,我国金融行业的商业模式与技术体系已经逐渐走上了与西方世界完全不同的道路。众所周知,欧美国家的移动化普及率远远不如我国,同时人口基数也有着数量级的不同。这就使得国内外金融行业所面临的业务类型、数据量、并发量都存在巨大的差异,导致对整个IT基础设施的需求截然不同。 在最近的一两年中,国内部分科技领先的银行已经率先对微服务与分布式技术进行了探索,一些新建的互联网金融类业务也已经开始尝试

2022-10-27  335
数据库技术

容器的定义:容器是为了解决“在切换运行环境时,如何保证软件能够正常运行”这一问题。 目前,容器和 Docker 依旧是技术领域最热门的词语,无状态的服务容器化已经是大势所趋,同时也带来了一个热点问题被大家所争论不以:数据库 MySQL 是否需要容器化? 认真分析大家的各种观点,发现赞同者仅仅是从容器优势的角度来阐述 MySQL 需要容器化,几乎没有什么业务场景进行验证自己的观点;反过来再看反对者,他们从性能、数

2022-10-27  300
数据库技术

MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说,我们所说的这种架构方案是一种伪分布式架构,我们就做下统称。重点是扩缩容的思路上。 如果一套环境的主从完整,分为多个逻辑分片的情况下,大体是这样的架构。 这个架构采用了4个物理分片,每个物理分片上有4个逻辑分片,总共有16个逻辑分片,也就意味着一张表被分为了16份。 对于扩容来说,是优先考虑主库写入为主,所以我们的扩容可以是2N的规模来扩容,比如4个物理分片,可以扩容为8个物理分

2022-10-27  301
数据库技术

简介 在SQL Server中,我们所常见的表与表之间的Inner Join,Outer Join都会被执行引擎根据所选的列,数据上是否有索引,所选数据的选择性转化为Loop Join,Merge Join,Hash Join这三种物理连接中的一种。理解这三种物理连接是理解在表连接时解决性能问题的基础,下面我来对这三种连接的原理,适用场景进行描述。 嵌套循环连接(Nested Loop Join) 循环嵌套连接是最基本的连接,正如其名所示

2022-10-27  382
数据库技术

对分布式数据库感兴趣的朋友都知道,谷歌的 F1 和 Spanner ***了 NewSQL 技术的发展,于是很多公司去做 NewSQL,导致好多人认为基于 MySQL 的分布式数据库过时了。 其实不然,MySQL 并没有过时,本篇文章的主角 —— RadonDB ,就是把 NewSQL 领域比较流行的分布式一致性算法和 MySQL 结合起来,形成了新一代的分布式数据库 MyNewSQL,同样做到了可扩展、高可用、强

2022-10-27  340
数据库技术

本文只是一个概念,具体配置太多,这里不做细节描述。 1、分布式应用的概念和优势 分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上,以获得更大的存储容量和更高的并发访问量。近年来,随着数据量的增长,分布式数据库技术也得到了快速的发展,传统的关系型数据库开始从集中式模型向分布式存储,从集中式计算走向分布式计

2022-10-27  313
数据库技术

本篇文章的目的在于介绍MySQL Cluster——也就是MySQL的一套内存内、实时、可扩展且具备高可用性的版本。在解决标题中所提到的每秒2亿查询处理能力问题之前,我们先对MySQL集群的背景信息及其架构进行一番回顾,这将有助于大家理解上述目标的实现过程。 MySQL Cluster介绍 MySQL Cluster是一套具备可扩展能力、实时、内存内且符合ACID要求的事务型数据库,其将99.999%高可用性与低

2022-10-27  316
数据库技术

随着MySQL 5.7稳定版接近正式发布,加入各个MySQL分支继续争夺市场份额,我们采访了Percona共同创始人及CEO、享誉全球的MySQL性能领袖Peter Zaitsev,了解他对于最受欢迎的开源DBMS的现状与未来的看法。 虽然Peter一直忙于准备今年的Percona Live大会(并且同样期待Percona对Tokutek的收购!),但他仍谈介绍了MySQL的重大趋势,Percona最近一直在处理的痛点,以及DevOps和

2022-10-27  295
数据库技术

Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些

2022-10-27  305