导读：
省级农信内容管理平台基于湖仓一体巨杉数据库多级缓存数据服务，实现多法人、多中心缓存系统的数据共享能力及高并发访问能力。农信作为乡村振兴、服务实体经济的金融主体，坚持回归本源，专注主业，做好服务“三农”、服务小微企业、服务金融精准扶贫三方面工作，全力支持地方经济转型发展。在建设自身的特色服务过程中，伴随着移动互联网的飞速发展，用户对金融服务的方式由线下转为线下线上相结合，新需求场景带来海量非结构化数据存储、管理和高并发访问的问题。巨杉数据库基于原生分布式技术，演进出独特的湖仓一体架构，支持结构化和非结构化数据的海量存储，高并发访问，引擎内置支持多中心灾备，集群跨多中心部署，解决农信多法人机构本地数据中心建设，一中心统一数据管理的问题。巨杉深度剖析了客户内容管理平台的业务需求，基于湖仓一体架构，在结构化数据与非结构化数据融合处理方向提供了成功的解决方案，并进一步积极探索湖仓一体在全量数据场景下的落地方案，截止到目前，可以为客户提供实时在线数据服务、联机交易等场景落地解决方案。
巨杉数据库农信典型客户案例
在省级农信的内容管理平台场景中，已经落地了近几十亿条、超百TB级数据的稳定支撑能力，提供多法人、多中心缓存数据场景下的数据共享及高并发访问。背景省农村信用社联合社是由省内的地市级农村信用合作联社（农村商业银行）和县（市、区）级农村信用合作联社（农村信用合作社联合社、农村商业银行、农村合作银行）自愿入股组成，具有独立企业法人资格的地方性金融机构。经省政府授权，省农村信用社联合社在省政府的领导下，负责行使对辖内市、县（市、区）农村信用合作联社、农村信用合作社联合社、农村合作银行、农村商业银行等农村合作金融机构的行业管理、业务指导、协调服务职能。基于农信的组织架构模式，农信的原有内容管理平台以各社数据中心独立建设，以满足分社本地内容文件的业务需求以及联合社的数据管理需求，一般的系统建设概况如图1所示。图1农信影像系统建设现状图随着移动互联网的飞速发展，用户对金融服务的方式由线下转为线下线上相结合，新需求场景带来海量非结构化数据存储、管理和高并发访问的问题，而目前的建设情况形成了数据孤岛，无法实现实时的跨数据中心数据访问。需求痛点农信在各地拥有大量分支机构，因业务交易由各地分支机构系统承载，故内容数据存储在本地数据中心。省中心对业务数据的管理，需要将各分中心数据通过网络带宽传输到省数据中心，数据传输的性能与时效严重不满足业务发展需求。业务痛点异地分布式架构整合难：各地农信独立法人机构，数据中心本地化建设，难统一网络差：地市与省农信数据中心间网络情况复杂，性能差扩容难：业务系统烟囱式构建，当数据量激增，这种单点架构下系统横向扩容难监管难：数据单点系统部署，无双活机制，无法全量数据在线满足监管查询需求，数据安全性低为了更好的适应业务发展的挑战，增强市场的竞争力，急需建设在各社能与总中心联动的内容缓存系统，以满足分社本地内容文件的管理需求，提高相关业务系统的整体性能，同时通过数据迁移、清理机制将所有的内容管理元数据信息存放在省中心，实现全社影像文件元数据统一纳管，非机构化数据异地存放，最大化节省数据中心之间的带宽。改造方案农信内容管理平台是基于SequoiaDB分布式数据库集群进行规划的，改造设计框架如图2所示。农信内容管理平台改造方案图2农信内容管理平台改造前后架构对比本改造方案替换掉之前由关系型数据库存储影像元数据、高级存储设备存储影像数据的方式，通过省农信中心巨杉SCM多级缓存服务、地市农信分中心巨杉SCM多级缓存服务、SequoiaDB分布式数据库湖仓一体架构以及中心调度的服务实现项目落地。本改造方案采用集群方式部署，消除单点问题，提供高可用、高并发性能。改造方案优势非结构化数据统一管理：省与地市农信影像元数据、影像数据统一管理、访问高并发低延时：高并发、毫秒级响应海量存储：PB级数据管理、弹性扩容、灵活数据分片多级缓存管理：SCM多级服务提供跨数据中心、跨物理域访问实时在线服务：跨数据中心统一数据存储，实时数据在线访问改造方案设计：各厂商的的内容管理平台（如：信雅达、大连同方软银）通过调用巨杉数据库提供的SCM多级缓存服务，与分布式SequoiaDB集群进行交互，实现可按需横向扩展的影像元数据、影像文件、标签数据的跨中心一体化管理。影像元数据统一存储于省农信数据中心SequoiaDB分布式数据库，以便为地市农信分数据中心提供数据查询服务；地市农信影像数据本地数据中心存放，通过SCM多级缓存服务数据迁移机制将影像数据迁移存放于省农信内容管理平台，实现跨中心数据访问、统一存储和管理。巨杉数据库原生分布式架构：图3SequoiaDB巨杉数据库原生分布式架构SequoiaDB巨杉数据库作为分布式数据库，由数据库存储引擎与数据库实例层架构组成。其中，数据库存储引擎是数据存储的核心，负责提供整个数据库的读写服务、数据的高可用与容灾、ACID与分布式事务等全部核心数据服务能力。数据库实例模块则作为协议与语法的适配层，用户可根据需要创建包括MySQL与PostgreSQL在内的结构化数据实例；支持JSON语法；以及完全兼容S3文件系统的对象存储实例。湖仓一体SequoiaDB分布式数据库架构优势无缝迁移：用户可以通过创建不同类型的数据库实例，使应用程序从传统数据库进行无缝迁移，大幅度降低应用程序开发者的学习成本。应用透明：每个实例中的数据在底层是存放在一个机器还是十个机器，对上层应用来说完全透明不需要感知。引擎级多模：兼容S3协议，兼容MySQL、PostgreSQL引擎高性能，低成本：全量内容数据持续在线，多策略分区管理、分域缓存，资源池化的存储引擎层，提升海量数据管理效率及处理性能，TCO为传统ECM方案1/3除此之外，系统还拥有丰富的平台能力，如下：系统能力集约运营：多模数据统一管理数据管理：数据权限管理、对象数据版本控制、历史版本回溯等功能，数据生命周期管理、冷热数据分层存储，提升数据治理水平服务节点高可用：节点无状态，多节点提供服务多中心：跨中心部署，逻辑隔离、物理隔离多索引：不同字段、维度创建索引，精确查询数据高可用：多副本机制满足监管要求：数据全量在线，数据安全系统自主可控，支持信创：支持x86、ARM，核心代码可控容灾：同城双活、两地三中心、三地五中心，RPO=0，RTO15秒此湖仓一体改造方案已经成功落地实施，并帮助客户实现系统性能提升。结束语目前，基于湖仓一体架构的SequoiaDB已经有超过家大中型金融机构客户，客户生产系统最长稳定运行时间超过7年，数据量超过3PB，单集群物理机超过台。我们将客户案例整理归类、深度分析之后，精心编制成精彩的通用解决方案并附加案例集，分期进行推送。这是农信内容管理平台落地场景案例和方案，下一期，我们将推送更多精彩内容，敬请期待......转载请注明：http://www.0431gb208.com/sjszjzl/2589.html
