毕业论文
您现在的位置: 版本控制 >> 版本控制前景 >> 正文 >> 正文

湖仓一体是什么,巨杉构建湖仓一体集约运营

来源:版本控制 时间:2023/1/30

导读:

城商行内容管理平台基于巨杉数据库结构化数据与非结构化数据统一管理,通过湖仓一体架构实现系统统一集中运营,收获集约运营的成效。

随着银行业务的发展以及互联网对业务的逐渐渗透,银行在越来越多的业务(比如无纸化办公、无纸化柜台、流程银行、远程业务)办理流程中需要实时保存大量的非结构化数据,以进一步加强风控管理、集约化运营和电子化管理能力。这些新型的银行业务,对非结构化数据的技术要求,从数据简单管理上升到数据安全、响应能力达到银行重要业务系统级别的程度。巨杉数据库基于原生分布式技术,演进出独特的湖仓一体架构,提供存算分离、海量数据存储、多模数据、高并发访问等能力,为银行非结构化数据治理提供银行内容管理平台解决方案。巨杉深度剖析了客户内容管理平台的业务需求,基于湖仓一体架构,在结构化数据与非结构化数据融合处理方向提供了成功的解决方案,并进一步积极探索湖仓一体在全量数据场景下的落地方案,截止到目前,可以为客户提供实时在线数据服务、联机交易等场景落地解决方案。

巨杉数据库城商行典型客户案例

在城商行的内容管理平台场景中,基于湖仓一体架构的巨杉数据库已经落地了上亿条、百TB级数据的稳定支撑能力,提供集约运营的能力。

现状

传统城商行内容管理平台的数据存储采用“关系型数据库+文件系统”架构。随着银行业务发展及业务办理模式越来越互联网化,有越来越多的业务需要实时保存大量的非结构化数据,以进一步加强风控管理、集约化运营和电子化管理的能力。例如:无纸化办公、无纸化柜台、流程银行、远程业务办理等。这些新型的银行业务,对非结构化数据的管理需要同时满足面向客户与内部科技人员,而已有建设系统无法满足面向客户的高并发要求,所以非结构化数据管理平台需要重新统一规划建设。

业务痛点

集约运营难:传统业务平 立建设,数据分散,在业务互联网化的场景下,需要整合数据内容进行跨业务平台化处理,集约运营难

扩容难:业务系统烟囱式构建,当数据量激增,这种单点架构下系统横向扩容难

监管难:数据单点系统部署,无双活机制,无法全量数据在线满足监管查询需求,数据安全性低

改造方案

图3城商行内容管理平台改造前后架构对比

各厂商的的内容管理平台(如:信雅达、大连同方软银)通过调用SequoiaDB提供的SQL以及标准SDBCMAPI接口,与分布式SequoiaDB集群进行交互,实现可按需横向扩展的影像元数据、影像文件、标签数据的跨中心一体化管理。

SequoiaDB提供原生分布式BSON(BinaryJSON)文档型数据管理能力,具有schema-free特性,基于湖仓一体架构,支持结构化和非结构化数据的统一集中存储,大幅度降低影像平台应用和运维复杂度,并提供高可用前提下的高性能表现。

SequoiaDB基于湖仓一体设计,原生支持集群部署,消除单点问题,提供高可用、高并发性能。

SequoiaDB是国产分布式数据库,原生支持分布式集群模式,基于湖仓一体设计,“计算与存储分离”架构满足客户海量数据弹性存储、横向弹性扩容、亿级记录情况下的低延时高并发的数据查询等需求,多副本机制提供数据高可用能力,多中心双活提升数据读写性能以及灾备能力,可以实现打通不同业务类型、不同数据类型之间的技术壁垒,实现交易分析一体化、流批一体化、多模数据一体化,充分满足客户在海量数据下高并发低延时查询、按需的节点扩容、持续稳定运行等需求。

本方案采用集群方式部署,消除单点问题,提供高可用、高并发性能。

改造方案优势

统一管理集约运营:多模数据统一管理,简化日常运维、数据迁移等

高并发低延时:高并发、毫秒级响应

海量存储:PB级数据管理、弹性扩容、灵活数据分片

平滑数据迁移:完备的数据迁移方案,完成存量影像数据平滑迁移

满足监管要求:数据全量在线,数据安全

系统自主可控,支持信创:支持x86、ARM,核心代码可控

除此之外,系统还拥有丰富的平台能力,如下:

系统能力

集约运营:多模数据统一管理

数据管理:数据权限管理、对象数据版本控制、历史版本回溯等功能,数据生命周期管理、冷热数据分层存储,提升数据治理水平

服务节点高可用:节点无状态,多节点提供服务

多中心:跨中心部署,逻辑隔离、物理隔离

多索引:不同字段、维度创建索引,精确查询

数据高可用:多副本机制

满足监管要求:数据全量在线,数据安全

系统自主可控,支持信创:支持x86、ARM,核心代码可控

容灾:同城双活、两地三中心、三地五中心,RPO=0,RTO15秒

此湖仓一体改造方案已经成功落地实施,并帮助客户实现系统性能提升。

结束语

目前,基于湖仓一体架构的SequoiaDB已经有超过家大中型金融机构客户,客户生产系统最长稳定运行时间超过7年,数据量超过3PB,单集群物理机超过台。我们将客户案例整理归类、深度分析之后,精心编制成精彩的通用解决方案并附加案例集,分期进行推送。这是城商行内容管理平台落地场景案例和方案,下一期,我们将推送更多精彩内容,敬请期待......

转载请注明:http://www.0431gb208.com/sjsbszl/3247.html