【巨杉数据库SequoiaDB】省级农信国产分布式数据库应用

  

本文转载自《金融电子化》

  

原文链接:https://mp.weixin.qq.com/s/WGG91Rv9QTBHPsNVPG8Z5g

  

随着移动互联网的迅猛发展,分布式架构在互联网它技术领域广泛应用并积累了大量实践经验。在互联网金融快速发展和利率市场化的大环境下,建设能够支持海量客户,具有弹性扩展能力,高效灵活的分布式架构应用系统已成为国内金融行业迫切的需要。

  

分布式数据库应用大势所趋
我社普惠金融平台建设,旨在“充分运用金融科技手段,优化信贷流程和客户评价模型,降低企业融资成本,纾解民营企业,小微企业融资难融资贵问题,增强金融服务实体经济能力”。
【巨杉数据库SequoiaDB】省级农信国产分布式数据库应用“> </p>
  <p>普惠金融服务是典型的互联网应用,其与传统信贷系统不同,具有互联网场景接入能力,如果沿用集中式的技术架构,在应对海量客户的互联网应用场景和总拥有成本等方面存在以下的潜在问题:</p>
  <p>集中式架构普遍缺乏弹性伸缩的能力。随着交易量和数据量的增长,系统整体吞吐量会遇到硬件或技术的瓶颈。尤其在支持面向互联网客户相关业务时,不能有效处理瞬时爆发的高并发交易,制约了客户获取以及大规模业务营销。</p>
  <p>集中式架构采用单体应用设计。软件开发和运行管理的最小单元是应用,管理力度较粗,容易“牵一发而动全身”,应用的开发过程不易践行轻量化敏捷开发理念,系统在运行过程中容易出现单点故障,难以有效进行故障隔离。</p>
  <p>集中式架构系统的基础设施通常使用高端服务器和存储设备,以及传统关系型数据库。硬件和软件采购成本高,开发和运维主要依赖于服务厂商,服务成本高,也无法做到完全自主掌控。</p>
  <p>技术体系封闭,技术的发展高度依赖于厂商,特别是依赖国外厂商,商业银行的这团队缺乏自主可控能力,在一定程度上存在信息安全风险。</p>
  <p>我社在规划新一代普惠金融平台建设时,从战略高度对上述问题进行深入分析与思考,立足长远发展规划,从横纵两个角度看待该分布式系统的研发,即在数据方面着眼于分布式数据库,在功能层面则引入微服务架构,进而真正实现全方位分布式框架的金融服务底层系统。同时,响应国家对技术自主可控的要求,选择国产分布式数据库,有效控制,成本和实现技术自主可控。</p>
  <p>国产分布式数据库应用实践<br/>普惠金融平台与传统业务系统不同,具有互联网场景接入能力,获客方式发生了变化。为了满足客户申请贷款的爆发式增长,在审批方式和流程上有所改变,对企业征信和智能风控的要求更高。随着细分领域竞争的加剧,平台应用需要不断调整,随时迭代。</p>
  <p>经过仔细而严格的评选,最终我社采用国产分布式数据库-SequoiaDB巨杉数据库作为底层分布式数据库平台。</p>
  <p>平台应用利用分布式数据库计算,存储层分离技术,将协议解析,计算等模块与底层存储解耦,存储层通过多维分区实现弹性扩张,计算层采用无状态设计,独立部署,通过动态增加数据库实例线性提升计算能力,有效应对瞬时爆发的高并发海量交易,分布式数据库平台同时完整兼容MySQL, PosgreSQL和SparkSQL针对应用提供较高兼容性。</p>
  <p>平台应用开发基于春云微服务框架,业务逻辑从传统的单一中间件被拆解成众多微服务组件,分布式数据库实例服务层提供了可选择,可适配,可动态伸缩的标准数据库计算引擎,可根据应用的场景灵活选择。应用开发采用数据库分布式计算引擎,面向联机交易的业务场景,采用兼容MySQL的计算实例,批处理业务场景选用兼容SparkSQL的计算实例。实例通过访问分布式数据库不同的数据副本,实现对数据的并行处理和多元利用(一份数据,多种用途)。</p>
  <p>以下是联机业务应用分布式数据库的几个技术要点:</p>
  <p> 1。分布式架构下的应用设计</p>
  <p>分布式数据库的核心机制即是将海量数据通过某种算法切分到一个或多个分区中。每个数据分区可以使用不同的物理服务器,通过网络设备将服务器连接到一起,以构成一个逻辑上对外统一的数据库服务,因此,如何将数据进行均匀切分,如何在切分后对数据进行快速检索,是分布式策略必须优先保障的内容。</p>
  <p>分布式数据库切分规则包括:</p>
  <p>(1)散列分区:散列分区指的是在数据写入的过程中,针对指定分区字段的值进行散列后,判断其数据物理存放分区的规则。<h2 class=【巨杉数据库SequoiaDB】省级农信国产分布式数据库应用