突破与增长，腾讯云数据库2019年盘点

收藏

“计算机、互联网的世界里，有多少能真正被称为‘科学’的技术？数据库算得上一种。”

2019年，伴随着对这种“科学”的探索，国产数据库崛起势头强劲，国外数据库厂商技术垄断逐渐被打破。同时，在企业“全面上云”的背景之下，数据库行业云化趋势显著，整体市场的竞争态势从之前单一产品性能的PK逐渐过渡到以技术、产品、生态等多维度的全面竞争。

以腾讯为代表的互联网厂商，基于在云计算、大数据以及人工智能领域的规模和技术积累，在这一轮竞争中将具备众多优势。

2019年，腾讯云数据库就以更具前瞻性的战略、重磅产品的推出以及多项技术突破，交出了一张亮眼的答卷，逐步展现出行业引领之势。

据国外权威咨询机构G发布的研究报告显示，腾讯云数据库市份额增速达123％，位列国内所有数据库厂商之首，在全球范围内保持了连续两年增速前三的迅猛势头。另一家权威机构F也在全球数据库评估报告中，给予腾讯云数据库“实力竞争者”的评价。

这一年，腾讯云数据库战略路线更加清晰

增速的加快和权威认可的背后是腾讯云数据库对整体行业的正确认知以及顺势而变。2019年腾讯云数据库全新战略升级，聚焦云原生、自治、超融合三大主航道，让融合了云与AI能力的数据库变得更智能、稳定、可靠、安全、便宜，推进百万企业全面“上云”进程。

产业互联网领域，腾讯云一直以开放姿态做好各行业智慧转型的数字化助手，拥有丰富的行业合作经验。

在合作过程中，腾讯云意识到，企业全面上云的大趋势下，传统数据库上云模式逐渐无法满足客户业务的快速扩展和智能运维需求。企业需要的是一套能够灵活扩展、智能诊断，支持跨云融合的新一代云端原生数据库系统，未来数据库发展方向将从“数据库+云”模式全面转向“云+数据库”模式。

基于这样的判断，2019年腾讯云数据库进行战略升级，聚焦云原生、自治、超融合三大主航道，以战略引导完善自身产品矩阵，并深入技术研究。

同时，腾讯云数据库将充分整合多年服务各行各业的成功经验，推出能够真正满足云时代用户需求的数据库产品，助力企业快速数字化、智能化转型。

上线多款重磅新品，DBi引领数据库智能化潮流

战略定位的升级，也落实在自身产品上。2019年腾讯云数据库集中“火力”发布多款重磅产品，进一步完善腾讯云数据库的产品矩阵，同时，在某些细分领域，引领了整个行业的发展趋势。

2019年，腾讯云数据库将AI能力与数据库相结合，推出数据库智能管家DBi，布局数据库自治领域，解放DBA，节省企业人力、物力、财力。

具体而言，DBi可将大量数据库问题的诊断优化工作自动化、智能化和可视化，利用机器学习、大数据技术快速学习资深数据库管理员的成熟经验，服务于云上和云下企业，构建一套“会说话”的数据库服务系统。

同时，DBi能够为用户提供实时的性能诊断和安全防护，高效的帮助用户定位故障原因、优化建议、协助用户从源头进行预防，并通过AI调参能力，提升数据库整体性能。

此外，融合了传统数据库、云计算和新硬件的优势的腾讯云自研新一代企业级分布式数据库CDB正式商业化。

作为一款纯粹的云原生数据库，CDB一经推出就备受瞩目，不仅性能全面领先同类数据库，且展现出极致性价比，CDB价格仅为市面上商业数据库的1/15。它的正式商业化，极大降低了企业“上云”成本。

目前，腾讯云数据库产品线涵盖了业内主流的数据库产品，包括开源数据库MSQL、MiDB、MDB、Ri；商业数据库O、SQLSv；自研数据库TDSQL、TB以及云原生数据库CDB。同时，随着5G时代的到来，针对物联网、大数据等海量时序数据的场景，腾讯云推出时序数据库CTSDB。此外，腾讯云已启动图数据库等新型数据库领域的开发工作。

据统计，腾讯云数据库已有20多种数据库服务，并还在以每年发布5大产品、50多个新功能的速度递增。

技术创新能力获多家国际顶级学术机构认可

在数据库的技术创新方面，2019年腾讯云也未曾停下脚步，而是继续和顶尖学者一起攻克技术难题。

7月1日，腾讯云数据库与华中科技大学合作发布研究论文，首次提出云数据库自动性能优化系统CDBT，该系统可以在缺少相关经验数据训练的情况下建立优化模型，为云数据库用户提供在线自动优化数据库性能的服务，性能调优结果首次全面超越数据库专家，将大幅提高数据库运维效率。该论文被国际数据库顶级会议SIGMOD收录。

时隔一月，腾讯TEG计费平台部TDSQL数据库团队与中国人民大学最新联合研究成果被VLDB2019接收并将通过长文形式发表。该论文提出了一种拓展的全时态数据模型，并提供了内建的全时态数据库解决方案，可实现轻量且高效的全时态数据管理计算，在保持全局一致性的基础上拥有高效的性能。

两篇论文均被国际顶级会议收录，意味着腾讯云在数据库领域的技术及创新受到了行业认可的认可。值得一提的是，在国际领先的行业研究与咨询机构F正式对外发布全球最新的数据库评估报告中，腾讯云数据库在性能规模、配置和管理、数据安全等9项细分指标均获高分，腾讯云首次入选即被评为“实力竞争者”。

落地张家港农商行，银行传统核心首次实现数据库自主可控

在国际商贸竞争激烈的态势之下，政府越来越重视数据安全和技术的自主可控，而金融系统作为国计民生的底层支持，其系统的自主可控成为信息安全建设的重中之重。

2019年，伴随腾讯云新一代分布式数据库TDSQL落地张家港农商行，银行传统核心首次实现数据库自主可控，这是银行核心能力自主可控领域里程碑事件。

9月，张家港农商行采用基于腾讯云分布式数据库TDSQL打造的新一代核心系统成功上线，这是国内银行首次在传统核心业务系统场景下采用国产分布式数据库，打破了对国外数据库的长期依赖。

同时，TDSQL助力张家港农商行实现“降本增效”，降低了75%以上的硬件投入成本，节省了20%以上的IT投入。

TDSQL接入过程中，腾讯云充分结合张家港行的业务特点，对业务逻辑进行了重新梳理，最终搭建出具备高可用、强一致等特性的数据库架构。可以实现高频账户类交易耗时在300毫秒之内、20秒即可完成1万笔批量代发代扣业务、贷款结息仅耗时3分钟，显示出在灵活性和效率上的优势。同时，在硬件层全面采用x86服务器，使其硬件成本只有传统架构的五分之一，IT成本实现了大幅缩减。

在扩展性方面，新一代的核心系统在支撑批量业务时，数据库负载可实现10%以下此外，当张家港行后续业务发展需要时，只需加入硬件资源，便能通过自动水平扩展化解性能瓶颈，满足未来5-10年的发展需求。

腾讯云TDSQL还在系统的风险防控、故障排查方面为张家港行提供了更为高效的数字化工具，包括“赤兔”、“扁鹊”等自动运维工具。

传统银行之外，TDSQL也已应用在腾讯云与微众银行打造的全球首家云上银行。得益于TDSQL技术能力，微众银行数据库成本比传统银行节约了50%以上；单IT运维户均成本也只需3.6元，不到传统银行的十分之一。

开源开放硕果累累，获得多个开源贡献大奖

近年来，腾讯云深度拥抱并推动了全球开源生态的发展。

2019年腾讯云数据库亮相MiDB用户者大会，正式确认将向MiDB官方提交四个Ph，包括：i优化、i速度限制、企业级函数加密插件、优化等。作为MiDB基金会最高级白金会员，腾讯云数据库持续输出腾讯在MiDB数据库上的经验和技术，推动MiDB的版本迭代和功能更新。

4月，腾讯游戏高级工程师陈福荣、梁飞龙凭借对MSQL8.0版本的重大贡献以及积极投身中国数据库开源事业，荣获2019年度MSQL社区开源贡献大奖，成为今年获此殊荣仅有的两位中国工程师。

同时，腾讯云还将集团发展进程中优秀的产品技术整合开源。11月6日，腾讯云将支持了微信支付单日请求量超过10亿次的分布式HTAP数据库TB正式开源。

TB在提供NwSQL便利性的同时完整支持分布式事务并保持SQL兼容性，支持RR、RC、SSI三种隔离级别，同时兼容O语法。对于日益多元化的企业客户，TB满足了他们对业务融合、场景融合、管理融合的更高诉求，同时强大的安全和容灾能力。TB现已应用于众多金融、政府、电信、医疗等行业的核心业务系统。

此外，为更好的服务于政企客户，腾讯云致力于打造合作共赢的生态圈，目前已与云和恩墨、海量科技等多家合作伙伴签署战略合作协议，也期待和更多合作伙伴一起，为全行业客户带来更安全、稳定、可信赖的云服务。

凡是过往，皆为序章。腾讯云数据库2019年凭借对技术的探索、产品的创新，完成了一个个“小目标”，未来，腾讯云数据库将继续秉持这种态度，与合作伙伴续写新篇章。

责编：李文瑶

这家银行真给力！“红马甲”送贷上门实现信贷资金秒到账

为进一步帮扶受灾群众加快恢复生产生活，寿光农商银行积极发挥金融职能作用，借助网点、人员、产品和服务等优势，通过实施优惠政策、创新信贷产品、启动绿色通道、加大信贷投放力度等措施，及时将财政金融扶持政策送到受灾群众身边。目前，该行已受理受灾群众贷款申请405户、7358万元，为受灾群众授信签约292户、5871万元，并发放全市首批灾后重建政策性贴息贷款6笔、70万元。

一次办好，实现贷款秒放

为帮助受灾群众尽快恢复生产，该行积极对接镇街区及村委，提前掌握贷款需求信息，对初审符合建档立卡条件的提前准备相关资料，及时开通信贷审批“绿色通道”，设立现场办贷服务点，开展送贷上门服务，落实“一次办好”政策，简化手续、提高效率，让受灾群众少跑腿、不跑腿。已经签约授信的客户，通过手机银行、网上银行等自助渠道，随时随地“动动手指”，即可自助放款，实现信贷资金“秒”到账。

财政贴息，减轻群众负担

为切实减少受灾群众的融资成本，对符合今年政策扶持条件的受灾户，发放最长3年的财政贴息贷款，财政给予80%的贴息，个人负担20%（实行农户先交后返政策）。个人负担部分在还本付息后实行一次性奖励。对受灾严重的原有存量政策贴息贷款，3年政策期内无法按时足额偿还本息的受灾户，经村镇两级严格把关审核，可延长2年，延长期内贷款利息、担保费由财政补贴。

品种多样，解决担保难题

该行灵活担保方式，进一步丰富了灾后重建贷款的种类，积极推广家庭信用贷、家庭亲情贷、鲁担惠农贷等方式，帮助受灾群众渡过难关。对30万元以内且符合信用贷款发放条件的客户，由各支行采取自主批量考察、批量授信方式办理，切实提高办贷效率。对超过30万元的，采取父母子女或其他担保方式，贷款户也可由省农担公司提供担保，担保费用全部由财政负担，无需借款人承担任何担保费用，切实减轻受灾群众的负担。

期限延长，缓解还贷压力

为缓解受灾群众的还款压力，该行延长了贷款年限和结息期限，将贷款期限最长延长到5年，极大缓解客户的还贷压力。同时，该行还结合借款申请人的受灾状况及其周转所需资金状况合理确定了授信额度，对存量贷款客户，做到不催贷、不抽贷、不压贷、不断贷，不人为增加其他贷款条件，充分落实“无还本续贷”、展期等扶持政策。对受灾特别严重的种养户实施“一户一策”，适度提高授信额度。

金科案例 广东农信：核心批量调度系统项目

项目背景及目标

核心日终批量作业是银行核心业务系统中的极为重要组成部分，是否在指定的窗口时间内正常结束，对整个银行的正常运营至关重要。而很长时间以来，核心系统的日终批处理采取的是较为落后的人工作业调度方式，存在调度任务多、处理时间长和容易出错等多方面的问题。为了优化日终批处理的效率和稳定性、简化日终批处理日常运维管理的复杂度和工作量，同时满足未来业务扩展对批处理作业增加的带来的性能、效率和安全性等各方面要求，有必要考虑采用自动化的方式，通过科学的作业管理机制，提高作业效率、降低管理成本和规避作业失败的风险。

为此广东农信决定建设核心系统批量调度项目，经过调研和评估，最终决定引入BMC公司的CONTROL-M调度工具，并全面优化现有的日终作业任务。结合目前的现状，本项目的具体建设目标为：实现包括存款、贷款、总账等全部核心日终批量作业调度的集中管理、集中配置、集中操作、自动化、标准化、规范化，降低人为操作差错，提升核心系统运行操作整体的管理水平；同时，在本项目中全面梳理日终作业内容，通过功能和时序的优化，进一步降低日终处理耗时，保障以核心系统为主的整个银行系统群稳定可靠运行。

项目方案

核心日终批量调度系统引入了BMC的批量调度软件C-M工具，在该工具的支持下，完成了核心日终作业和优化重组。该工具包括了一系列组件：C-M/EMCi管理客户端系统、C-M/EMSv管理子系统、C-M/Sv调度子系统、C-M/A调度客户端、C-M/RFii报表工具、CfiiA代理数据库管理组件等，组件化的产品设计，可以支持更为灵活的软件部署，本项目中采用的是C/S模式和HA双机热备模式，客户端与服务器分离部署。

1、系统逻辑架构

C-M是一款跨平台的批量作业调度管理软件，采用C/S模式，在服务器上安装EM和Sv，在被控主机上安装A。A可以在主机上提交由C-M定义好的作业流，并返回结果。在EM，则可以全面监视所有批量作业的运行情况，可以有多种方式控制JOB的运行条件和过程干预。

C-M作为企业级集中作业调度管理解决方案，它集中地管理跨平台、跨应用的生产控制调度过程，该解决方案的核心是：按照业务逻辑自动调度和提交作业；实时监控和分析作业运行状态、运行结果；基于运行结果自行进行作业的后续处理。

核心批量调度系统架构如下图所示：

整体架构主要分为四大模块：

1.C-M/EM

2.C-M/Sv

3.C-M/A

4.C-M/GUI

C-M/Ci可视化图形终端，C/S架构，有服务端与客户端，服务端是指C-M/Sv和C-M/EM，客户端是指C-M/Ci；

EM是EiM的简称，主要提供用户可视化界面的服务，如j的设计、管理、监控界面，具有独立的数据库，部署在独立的服务器上，具有标准图形化接口GUI，跨平台统一管理；

调度服务架构C-M/Sv是作业调度引擎，任何作业的调度都是从C-M/Sv提交到A(业务系统)，部署在独立的服务器上，具有独立的数据库，主要完成作业实例化，提供依赖关系的触发，支持多平台；

C-M/A部署在核心系统，具有独立的文件系统，建立C-M/Sv与业务系统间的信息交互，管理、提交、监控、控制和管理作业。

2、系统网络拓扑

系统网络拓扑图如下：

调度系统的入口是通过生产区指定的PC机，由特权系统进行访问权限控制，各个组件的服务器全部部署在核心网络区，便于管理。

3、物理部署架构

在物理部署上，采用了HA双机热备模式，以满足系统异常时快速、可靠的切换。

物理架构图如下图所示：

4，核心客户化改造

针对核心系统，项目组花费了大量精力梳理了日终所有作业的依赖关系，聚类分析，划分了5大模块，并优化各大模块中耗时瓶颈的作业，调整时序，提高并发度，主要优化工作如下：

1），归集重空模块的处理；

2），优化日夜环境的SOD；

3），优化存、贷、CTA、内部账的逻辑处理，提高并发度；

4），启用压缩每日账户计提分录功能；

5），优化账务处理；

6），优化机构撤并功能；

7），改善清理规则和优化数据库联邦访问机制；

项目创新点

项目建设的创新点主要体现在：

(一)作业模块化和高并发设计

梳理了核心日终1000多个作业，重编制了规范的作业名，利用数据库技术梳理各个作业的业务依赖关系，所有作业按不同的模块重新编排，当前编排了五大模块：日终准备、EOD处理、日终账务、SOD处理、日终结束。

充分考虑现有软硬件资源，在保证模块独立性的前提下，提高输入和输出数据文件的重用性，模块内部作业按业务关系并发执行，从而使各日终作业模块更加充分地利用系统资源，有序地通过调度工具快速完成。

（二）自动监控和孤悬检查

通过接入运维自动监控平台，支持对各个作业实时监控报警，根据业务和系统影响，对报警分类登记，在紧急情况下，可以“一键停止日终”。为了提高系统的容错性，实现了部分作业重跑机制。

引入了孤悬检查机制，该检查设计了多进程处理模式，分布式部署，孤悬检查进程作为被监控作业的影子进程，与被监控进程同步启动和结束，其本身执行出错不会影响调度任务的继续，若被监控作业运行异常报错，可通过该机制提前报警，为后续应急处理预留更多的处理时间窗口。

（三）智能记录和机器学习

对整个调度任务，引入了机器学习的功能。当每个批次的作业运行完成后，会自动登记作业的运行结果，将作业信息、开始时间、结束时间等数据记录到数据库，待系统自学习一段时间，采用贝叶斯算法预估整个调度和关键作业的完成时间。

技术实现特点

本项目充分利用了目前有限的软硬件资源，完成了目前核心日终1000多个步骤的作业依赖关系调整，不但提升了日终效率、降低了日终运维成本，也加强了监控和容错处理，从而实现了日终各批量作业调度的集中管理、集中配置、集中操作、自动化、标准化、规范化，降低人为操作差错，提升核心系统日终运行操作整体的管理水平是本次项目的总体建设目标。

以下为本系统的主要技术实现特点：

(一)简化了繁杂的日终运维操作

通过引入BMC的批量调度软件C-M工具，并进行客户化改造，在该工具的支持下，使得整个日终作业调度实现了“一键跑批”，并具备重跑、暂停、跳过等功能，简化了之前繁杂的日终步骤调度管理，实现了核心日终1000多个作业的自动调度管理和可视化操作，提升了行内的运维管理能力。

（二）优化了核心日终作业

梳理了核心日终1000多个作业，重编制了规范的作业名，梳理了各个作业的业务依赖关系，所有作业按不同的模块重新编排。通过对作业的优化，进一步提高了日终的处理效率和健壮性。

（三）支持灵活的参数化配置

通过内置的规则引擎为调度系统提供了规则配置管理、参数化管理、规则监控报警的相关功能，便于运维人员快速的调整作业时序和工作状态。还引入了参数控制，使作业可以根据日期时间、特殊日子、特定情境进行调度。

项目过程管理

项目实施的关键里程碑阶段如下：

1、需求分析和概要设计阶段

此阶段时间段为2016年5月至2016年8月，期间主要完成了调度工具客户化设计、核心日终时序的并发调整和技术架构的高层设计。提交了软件规格需求说明书、核心日终作业依赖关系时序图、技术架构和接口的高层设计等文档，确定了操作系统、数据的选型以及工具的HA方案。

2、系统详细设计阶段

此阶段的起始时间为2016年9月到12月，期间主要完成了系统详细设计工作，提交了系统详细设计说明书等文档。

3、系统编码测试阶段

此阶段起始时间为2017年1月至2017年6月份，期间完成了系统编码、系统测试、性能测试，提交了系统测试报告、性能测试报告。

4、并行测试阶段

此阶段起始时间为2017年7月至2017年12月份，期间完成了与生产环境的并行对比测试，提交了对比测试报告

5、系统投产和运行阶段

此阶段起始时间为2018年1月至2018年2月份，期间完成了项目的投产，分别验证了核心日终、机构撤并等功能，确认了账务的正确性，提交了上线方案、系统应急手册、运维手册等文档。

项目运营情况

一、系统运行体验

（一）界面体验。该系统监控界面友好直观，各作业模块划分明晰，功能设置合理，易于用户管理操作。可以快速捕捉系统运行情况，可以制定各种运行报表，实现了监控报警和预评估功能。在运行速度及稳定性方面，系统登陆、重启、时序的定制生效，系统运行较为稳定，无崩溃、卡死、响应超时等异常现象出现。

（二）功能体验。该系统实现了核心日终的自动化，达到了“一键跑批”的目标，提高了作业处理效率、节约了管理成本、规避了作业失败的风险，更合理的利用系统资源根据各个作业的依赖关系运行日终，保证了账务的正确性；实现了预评估功能，该系统带有自学习功能，运行若干天，可以评估到各个作业和整个日终的完成时间，提高了运维人员的工作效率；可以预定制各种报表，有利于核心日终的调优。

（三）安全体验。该系统接入统一监控平台，自身带有报警功能，一旦系统异常，可以第一时间通知运维人员；能根据工作需要对不同角色进行灵活配置操作权限；该系统可以设置集中输出屏显的日志，方便运维人员调查问题。另外，系统自动记录操作员操作信息，同时加强外部监控，大大降低操作风险，有效保障客户信息安全。

项目运营情况

在投产后的几个月运行中，核心日终运行时间减少了1小时之多，机构撤并模块减少了1小时之多，保障了大集中核心系统“保开门”的基本要求；杜绝了运维人员的操作错误，系统使用率100%；可以灵活设置特殊的作业任务，在特殊日子，可以关闭历史清理、卡年费收取等作业；

加快了历史清理，大大减少了联机交易流水表的数据量，提高了联机交易的处理效率。

通过核心批量调度系统的建设，推进了广东农信各个系统管理工作的水平，逐步走向标准化、规范化，大大提高系统运行的稳定性，提升了用户的体验，帮助农合机构树立了良好的声誉和形象，市场竞争力持续提升。

项目成效

核心批量调度系统的建立，提高了核心系统日终的安全性和稳定性，节约了人力成本，规避了操作风险，减少了核心日终跑批时间，保障了核心系统“保开门”的基本要求，也为我中心其它系统接入该调度工具提供有力的支持。

一、经济效益

通过已投产的核心批量调度系统，有效防范核心日终各种操作风险，降低了系统监控和运维管理的成本，一定程度上弥补了运维人数的不足；增加了各种报错机制，更好的监控了核心系统账务的情况，能够更快更及时处理账务问题，一定程度上减少了由于系统异常而带来的经济损失。

二、社会效益

建设核心批量调度系统，提高了核心系统日终的安全性和稳定性，减少了核心日终的运行时间，进一步保障了大集中核心系统“保开门”的基本要求，同时，核心业务数据尽早提供给ODS报表系统，为我中心其它系统运行和监管报送提供了保证，使网点柜员体验到系统的稳定性，提升社会公共服务水平，保障高水平金融服务质量，起着重要的影响。

当今社会，科技是第一生产力，金融业尤其如此，科技就是生命力。核心批量调度系统的建设，给我中心其它系统的监控和运维管理树立了典范，为其它系统引入调度工具提供了有力的支持。在二期规划中，在核心批量调度平台上，引进了自主开发，使得特殊任务可以定时、保质的完成，为扩展广东农信特色业务提供了技术保证。通过运用新思维、新方式和新技术研发出功能丰富、特色的理财产品，丰富了我省农合机构的金融服务方式，增强了机构的服务综合竞争力，提升了机构的金融品牌和形象。

经验总结

核心批量调度系统，属于关键业务系统内部运行效能的重大优化改进范畴，也是基础运维管理工作的优化。由于项目的复杂度和重要性，项目实施历时一年之长，项目组投入了近半年的时间，通过搭建与生产环境近为近似的软硬件环境，模拟过去日终出现的各类场景（存贷结息日、月末、季末和年结等），并与生产环境进行了大量的并行测试验证，通过科学的测试方法和严谨的工作态度，最终保证了项目顺利完成投产。

项目涉及核心整个日终各个业务模块的功能优化，涉及各个开发团队的协同配合，在投产前，通过会议沟通，落实具体责任人，制定了详细的并行测试方案和对比方案，为后期的投产工作执行提供了清晰思路，保证了项目的正式投产上线的质量。在项目组成员和各部门领导同事的积极配合下，核心批量调度项目顺利完成投产，完成了项目既定目标。

本文由2018年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。