蚂蚁金服OceanBase挑战TPCC丨tpc - c基准测试之

蚂蚁金服自研数据库 OceanBase 登顶 TPC-C 引起业内广×××楚的展示其中的技术细节,我们特意邀请 OceanBase 核心研发人员对本次测试进行技术解读,共包括六篇:


1)TPC-C基准测试介绍

2)OceanBase如何做TPC-C测试

3)TPC-C基准测试之SQL优化

4)TPC-C基准测试之数据库事务引擎的挑战

5)TPC-C基准测试之存储优化


本文为最后一篇,为方便阅读,我们将系列文章整理成PDF电子书,关注“”官方公众号,回复“”即可下载。



在 TPC-C 标准定义中,测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分。在实际的 TPC-C 测试流程中,不只是对 DB 端能力的考验,对链路中的所有组件都存在极大的资源消耗和压力。以这次 6088万 tpmC 测试结果看,我们一共在 64 台 64C128G 的云服务器上运行了 960 个 RTE 客户端,来模拟总计 47942400 个用户 Terminal,最后还需要基于这么多 RTE 统计结果进行一致性和持久化审计验证。而 SUT 又拆分为三部分:WAS(Web Application Server) 、OceanBase Proxy(OBProxy) 和 OceanBaseServer(OBServer)。RTE 的请求到 WAS,然后 WAS 通过 OceanBase 客户端来访问 OBProxy,OBProxy 会将请求转发到后端 OceanBase 集群中最佳的 ObServer 去执行请求。WAS 和 OBProxy 是 RTE 和 OBServer 之间的桥梁,这个桥梁对于承载压力起着至关重要的作用。本次TPC-C 基准测试中,OceanBase 访问链路上主要涉及两个组件:



TPC-C 测试中,WAS请求 OceanBase 采用了 ODBC 接口。ODBC(Open Database Connectivity)是 Microsoft 提出的数据访问规范,ODBC 在大多数 DBMS 上都可以使用,OceanBase 也提供了 ODBC 接口访问能力。感兴趣的用户可以查阅 ODBC API说明 快速上手使用,使用 ODBC 的用户可以直接使用该接口无缝迁移的访问 OceanBase。ODBC 接口及驱动集成到 WAS 内部,作为请求 OceanBase 的客户端。



OceanBase 实现了OBProxy 代理服务器来解决数据库链路上的路由及容灾问题。OBProxy 会感知数据副本地址和分区规则,不参与 SQL 引擎参与执行计划的生成调度,主要负责 SQL 路由和转发。这种架构设计中,OBProxy 承担了基础的路由和容灾功能,而数据库的功能全部交由 ObServer 实现。这样更加简单明确的分工可以各组件性能做的更加极致,OBProxy 也做到了完全无状态,只需要添加节点即可实现代理能力的水平扩容,OceanBase整体也能做到数据库的最高性能。


蚂蚁金服OceanBase挑战TPCC丨TPC-C基准测试之


TPC-C 是一个非常严苛的基准测试模型,考验的是一个完备的关系数据库系统全链路的能力,任何一个环节有瓶颈均无法发挥数据库的最大性能,接下来本文会分别在性能、成本及服务持续三个方面来说明下是如何优化 OceanBase 链路上的组件。



在 蚂蚁金服OceanBase挑战TPCC | TPC-C基准测试之SQL优化 已经提到,从整个链路的角度来看,SQL 所需要的执行时间是非常短暂的,大量时间花费在与客户端的交互过程中,造成资源的浪费和耗时的增加,为此 OBServer提供 Prepared Statement、存储过程和 ARRAY BINDING 能力。客户端和 OBProxy 针对该能力进行支持以使其真正发挥作用。同时客户端本身也进行一些优化提升链路性能,接下来主要介绍链路性能部分的优化点:



通常使用数据库访问都是同步接口,同步接口开发方便,但客户端受网络交互耗时影响大,并发能力受到限制。使用多线程的方式可以帮助提升并发能力,但机器的线程资源是宝贵的,过多的线程会增加机器线程切换的开销,限制了并发能力。为使 WAS 可以达到更高的吞吐能力,我们基于事件驱动机制在 ODBC 接口内增加异步接口的支持。使用异步接口,WAS 单个线程内可以在发送请求后无需等待执行结果继续在其他 Session 上发送请求,通过充分使用线程资源从而大幅提升吞吐能力。异步接口本身参考 ODBC 接口规范,用户调用异步接口会立即返回,如果尚未执行完成则返回SQL_STILL_EXECUTING,用户可以轮询接口直到执行完成返回成功(SQL_SUCCESS)或者失败(SQL_ERROR),也可以基于网络事件驱动,在有结果返回时再次调用接口获取结果。使用异步接口,可以在少量线程资源下轻松支持大量的并发连接,极大的提升了 WAS 的并发能力,机器资源的利用率也得到提升,大幅降低压测成本。

蚂蚁金服OceanBase挑战TPCC丨tpc - c基准测试之