分布式文档型数据库

巨杉数据库 - 多模数据湖场景

伴随着移动互联网飞速发展，金融银行业的应用场景不断丰富，手机银行、移动营业厅、网上银行、远程银行、开放银行、流程银行等业务渠道为金融银行业带来了海量的数据增长，数据类型也更加多样化。特别是非结构化数据呈爆发式增长，使得在数据业务场景日益复杂的同时，更对数据存储管理架构提出新的要求。作为可即时使用、高性能的一站式数据存储系统，多模数据湖成为了众多企业实现全量数据统一管理的新方向。

以SequoiaDB分布式文档型数据库为底座，可提供S3对象数据引擎接口和兼容JSON、SQL接口，实现基于文档型数据模型的非结构化数据，半结构化数据与结构化数据的统一管理，并基于此实现多模数据湖的构建。多模数据湖为存储、管理海量非结构化数据，提供了处理应用程序编程接口（API）、标签管理及检索等能力，有效帮助企业实现对非结构化数据的统一存储和管理，轻松应对非结构化数据治理与需要超大容量、弹性扩展的内容管理应用等场景。

场景架构

现有架构：该全国股份制银行一开始有两套影像平台，一套EMC Documentum（承载信贷、后督）、另一套是IBM Filenet（承载柜面）。

业务发展情况：远程银行已经成为未来的发展方向，该银行线下业务线上替代率位于业界前列。远程银行业务的推广需要一个强大的数据后台来保证非结构化音视频文件的实时读取。

呈现的问题：该银行影像平台运行了将近10年，承载了数十个业务系统的影像数据管理，数据量已经远远超过了上述传统方案的设计容量上限。传统IOE模式的影像平台已经无法满足要求，具体包括以下几点：

• 十亿级别数据记录的访问和检索效率。即使数据管理上采用分表处理，仍需要处理亿级记录。
• 百TB级数据的存储成本。数百TB的存储空间，高端存储的硬件成本过高。
• 应用可以支持集群部署，但数据库和存储部分不支持分布式，带来单点瓶颈。
• 文件数据量太大，无法采用常规的文件备份方案。
• 以时间为条件进行数据生命周期管理，离线数据部分使用磁带进行存储。一旦对离线数据发生访问，响应时间超过10分钟。

基于以上问题于及业务预期，在对未来10年数据量进行了估算后，行方针对影像平台技术架构改造提出了如下技术需求：

• 百亿级别的数据记录唯一标识快速检索能力。数据管理上，单表至少能处理亿级记录检索。
• PB级的存储空间管理能力。
• 以普通硬盘为存储介质的低成本方案。
• 非结构化数据的多副本灾备。以多副本的方式保存系统中的数据，提高数据安全性。
• 海量非结构化数据的异地灾备。支持跨数据中心的数据灾备能力。
• 支持同城双活的分布式架构。
• 数据库，存储等模块都支持分布式架构。可以在线不间断业务的横向扩展。
• 支持数据生命周期管理。
• 稳定的获得产品技术支持和定制开发。
• 兼容传统的架构，便于现有生产数据的无缝迁移。

• SequoiaDB稳定运行7年，累计接入业务系统超过50个，日均业务量每天超过100w笔，日均下载量每天超过200GB，日均上传量每天超过100GB，系统整体运行平稳。
• 通过分布式技术，银行后台数据平台具备了海量非结构化数据的实时服务能力，增强了系统平行扩展的能力，增强了系统稳定性，为远程银行业务提供实时的音视频访问能力，同时也探索了分布式技术在该场景下的最佳实践，在过程中创造性的解决了很多技术问题。