分布式数据中台解决方案_SequoiaDB解决方案

分布式数据中台解决方案

提供联机数据一站式服务

SequoiaDB 巨杉数据库提供了企业历史与实时数据的统一纳管平台，激活企业数据核心价值。通过对海量历史与实时数据的采集、计算、存储、加工，数据中台为应用上层多变的业务逻辑与底层稳定的数据结构提供中间层统一的标准与口径，满足企业业务和数据的沉淀，实现生产系统瘦身、历史数据在线化，降低重复建设、减少烟囱式协作的成本，增强企业差异化竞争优势。

行业痛点及现状

近年来，随着IT技术与大数据的不断发展，越来越多的企业将数据作为自身宝贵的资产进行长期保留。同时，微服务与分布式技术的不断发展，使得联机应用程序不再使用“烟囱式”方式构建，而是需要由众多原子服务组件在一个数据池中进行灵活的数据访问。这使得一些传统联机应用程序的历史数据包袱越来越重，灵活性大幅度下降，导致最终数据库不堪重负、应用整体性能低下。另一方面，随着大数据需求的不断增加，曾经已经归档的数据需要重新在线以满足在线化、实时化使用、查询和分析等等要求，这就要求将原有庞大的离线数据进行“在线化”与“服务化”。这些需求使得数据中台系统成为各大企业IT建设与投入的方向。

缺乏敏捷能力面对快速迭代的业务需求，应用程序对敏捷开发提出了更高的要求。传统IT架构与瀑布式应用开发流程，在面对来自不同业务部门和高速变换的需求时往往显得力不从心。	系统独立数据隔离在传统烟囱式SOA的应用开发架构下，不同服务只能通过ESB企业数据总线进行相互连接。当应用需求在不断变换，多个服务模块都可能会面临接口的调整甚至重构，导致应用迭代效率低下。	数据访问能力低下大量应用系统在面临来自移动端与互联网的高并发、高可靠、低延迟需求下，往往无法对全量历史数据提供直接在线服务能力，导致仅有部分信息对用户可见，用户感受与体验降低。
核心系统压力大随着移动互联网的兴起，越来越多的系统面临高并发、低延迟、高吞吐的压力，导致大量业务系统需要频繁扩容，维护团队疲于奔命。	云化与微服务转型困难传统数据库依赖小型机体系结构，同时微服务的引入导致数据存储无法同比扩张，使得企业全面上云面临巨大挑战。	IT成本高昂面对海量数据时，企业统一纳管实时数据和历史数据需要昂贵的硬件成本与软件授权，导致IT能力成为制约企业发展的巨大瓶颈。

解决方案

数据中台方案并非某一种特殊的技术或产品，而是在企业中提供数据整合并对外提供联机服务的一组数据服务。不同于大数据以面向内部分析统计挖掘为主，数据中台主要面向外部的最终客户，提供高并发低延时的联机类业务支持。

数据中台体系可以分为四大部分，包括ODS区、贴源数据存储区、数据加工调度区、以及对外服务区。

ODS层是数据接入的同步层，它源于各个业务系统，同时面向后续的数据清洗和加工，提供了最初的数据统一接入（数据准备区），涉及到离线数据和（准）实时数据。
贴源数据存储区存放的是用户的明细数据与原始未加工数据。一般来说，贴源数据存储区中的数据结构与内容和原始业务系统保持一致，用户也可以将该区域用于数据的在线归档服务。

数据加工调度区则是将贴源数据进行清洗加工，形成可以直接面向对外联机应用的数据结构。随着应用程序不断迭代变化，数据加工调度区作为原始明细数据与对外应用数据之间的桥梁，屏蔽了外部应用与企业内部数据结构之间的差异，弱化了应用之间数据交换的壁垒。
对外服务区则是应用程序真实访问的业务数据。针对应用程序类型的不同，对外服务区可以分为历史明细查询区、自由查询区以及在线服务区。

其中，历史明细查询区可以作为视图映射接口，直接将外部应用对接到创建了合适索引的历史明细数据，使得外部应用直接对海量历史明细数据进行访问。同时，对于一些需要简单加工的明细数据，也可以通过数据加工调度区的梳理后独立存放访问。

自由查询区主要面对类似审计后督、自助报表等非固定查询业务。一般来说，提供给自由查询服务的数据往往未经过复杂的数据加工，允许应用直接访问部分原始数据。

而在线服务区则提供T+0（准）实时的数据访问能力，其数据源往往直接对接ODS层的（准）实时数据同步服务，使得应用程序通过数据中台（准）实时地访问联机业务系统中的最新数据。

技术特点

无限弹性扩张无限弹性扩张的分布式体系架构，轻易承载 PB 级别的对外联机业务数据	高并发低延时可以同时服务于数十万级高并发联机业务，并提供毫秒级实时数据访问性能	多索引以在用户表的不同字段与维度创建多个用户索引，支持复杂灵活的毫秒级联机查询需求
多模式支持面向联机交易、混合业务、以及统计分析的SQL执行引擎。支持标准结构化数据和文件、对象类型的非结构化数据存储与联机访问	多租户提供多实例以及数据区域隔离等特性，使得来自不同类型的业务系统中计算与存储资源相互独立互不干扰	高可用最大程度提升数据可靠与可用性。同时，支持包括同城双中心、两地三中心、三地五中心等丰富的容灾策略

方案优势

敏捷开发	应用开发提升3-5倍效率对上层应用敏捷对接，无需调整底层数据模型提供跨业务系统数据访问，打通系统间数据壁垒
数据全量在线	历史数据全量在线，传统冷数据提供全方位在线服务企业级统一数据视图冷热数据全量在线一体化访问，提升用户体验
降低风险	实现 24x7 高可用与容灾策略，保证数据永远在线可用避免将联机业务数据库直接向外部消费类业务系统暴露快速实现新业务构思，避免对联机业务数据直接访问造成伤害
减少成本	通过PC服务器取代小型机降低软硬件费用对接公有私有云平台减少IT投入成本联机交易系统业务下移，降低主机负载减少升级费用

缺乏敏捷能力面对快速迭代的业务需求，应用程序对敏捷开发提出了更高的要求。传统IT架构与瀑布式应用开发流程，在面对来自不同业务部门和高速变换的需求时往往显得力不从心。	系统独立数据隔离在传统烟囱式SOA的应用开发架构下，不同服务只能通过ESB企业数据总线进行相互连接。当应用需求在不断变换，多个服务模块都可能会面临接口的调整甚至重构，导致应用迭代效率低下。	数据访问能力低下大量应用系统在面临来自移动端与互联网的高并发、高可靠、低延迟需求下，往往无法对全量历史数据提供直接在线服务能力，导致仅有部分信息对用户可见，用户感受与体验降低。
核心系统压力大随着移动互联网的兴起，越来越多的系统面临高并发、低延迟、高吞吐的压力，导致大量业务系统需要频繁扩容，维护团队疲于奔命。	云化与微服务转型困难传统数据库依赖小型机体系结构，同时微服务的引入导致数据存储无法同比扩张，使得企业全面上云面临巨大挑战。	IT成本高昂面对海量数据时，企业统一纳管实时数据和历史数据需要昂贵的硬件成本与软件授权，导致IT能力成为制约企业发展的巨大瓶颈。

无限弹性扩张无限弹性扩张的分布式体系架构，轻易承载 PB 级别的对外联机业务数据	高并发低延时可以同时服务于数十万级高并发联机业务，并提供毫秒级实时数据访问性能	多索引以在用户表的不同字段与维度创建多个用户索引，支持复杂灵活的毫秒级联机查询需求
多模式支持面向联机交易、混合业务、以及统计分析的SQL执行引擎。支持标准结构化数据和文件、对象类型的非结构化数据存储与联机访问	多租户提供多实例以及数据区域隔离等特性，使得来自不同类型的业务系统中计算与存储资源相互独立互不干扰	高可用最大程度提升数据可靠与可用性。同时，支持包括同城双中心、两地三中心、三地五中心等丰富的容灾策略

技术文档

应用场景

技术生态

联系我们