该市电子政务中心的数据共享平台的数据来源于政府各部门,数据表及数据量众多,整体数据量达到几十亿。此平台建设之初,数据存储采用的是MongoDB。针对复杂的业务导致该平台系统数量多且数据分散的痛点,SequoiaDB 巨杉数据库在数据共享平台中成功地替换 MongoDB,将政府各部门的信息整合在一起,最终在一个统一的查询门户提供给政府部门数据共享查询,也实现了原有复杂的多部门应用的直接兼容,做到了应用改动的最小化。
分布式数据库,海量数据高效存取
SequoiaDB是采用MPP架构的分布式数据库,其支持数据库服务集群横向扩展的方式提升数据库性能。当需要对海量数据进行存储及读取访问时,关系型数据库通过提升机器的性能已经无法达到提升数据库性能的目的了。这个时候需要采用分布式数据库架构,通过横向扩展集群的方式提升数据库的性能。
大JSON文档集合,提升查询性能
SequoiaDB是NoSQL文档型数据库,可能存储结构化,半结构化及非结构化数据。数据采用JSON文档模型,底层存储是JSON对应的BSON存储。JSON文档模型的数据结构可以灵活扩展。将64张主题表根据业务逻辑关系整理成一张大JSON表可以提升数据查询的性能。因为当需要查询一个人的全面性能时,对于关系型数据库而言,需要将64张主题表进行JOIN操作,而大量表和海量数据的JOIN又是很慢的,故需要将64张主题表清洗整合成一张JSON大集合,从而提升数据查询性能。
一套数据,多种用途
因为SequoiaDB可以与Hadoop集群通过Hadoop Connector进行无缝对接,所以共享平台的数据存储于SequoiaDB后,不仅可以提供实时在线查询,也可以提供给Hadoop分析框架进行数据分析与挖掘使用。这样就不需要将数据再存储一份到Hbase或者HDFS中,从而到到一套数据,多种用途。
Spring-Data支持,应用平滑切换
因为项目建设之初,此数据共享平台采用的是MongoDB做为数据存储,所以应用开发采用了Spring-Data的开发框架进行程序开发。在采用SequoiaDB替换MongoDB的项目存储架构变换过程中,SequoiaDB对于Spring-Data的支持使得应用可以实现平滑切换。
某市政府的电子政务平台架构