SequoiaDB巨杉数据库_SequoiaDB
SequoiaDB巨杉数据库_下载

政府资源共享平台

收藏(0)关注(0)

政府.jpg

1.项目背景

政府拥有的数据一直是各个行业中种类最繁多,数据量最大的。政府每个部门都拥有自己独立的一套数据系统,而数据系统下,不同的数据类型更是数不胜数。众多的政府机关这些复杂、多种类的数据,一方面增加了数据存储的成本,另一方面,各自独立的数据存储,更是大大影响了政府部门之间协同合作的效率。

2015年以来,随着大数据上升为国家级的战略,各地各级政府也开始积极响应国家号召,以大数据技术来改进政府的线上平台,提升效率、降低成本,最终造福广大的市民百姓。

某市政务中心,与巨杉数据库合作,搭建大数据的政务大数据共享平台。

 

2.项目需求

华南某市政府,根据目前的数据情况,对政务中心的共享平台提出如下建设目标:

1)大数据统一存储

政务中心需要将整个市各政务部门提供的数据进行整合,形成一个大而全的政务数据湖提供给各部门使用,消除信息孤岛。也就是将数据整合,统一存储在同一个“大数据湖”当中,提供给所有的部门使用。

 

2)非结构、半结构化混合存储

共享平台需要建立完善健全的人口数据资源库和法人数据资源库,支撑数据应用,提供给各委局进行快速的查询。这就要求,数据共享平台对于结构化,半结构化及非结构化数据可以进行很好的存储与管理。

 

3)大数据分析

平台除了“大数据湖”提供的存储外,还需要对数据进行统计分析及挖掘。 “大数据湖”作为数据源,支撑大数据分析平台,最终能实现对于整个政务数据的分析。

 

3.大数据资源共享的挑战

平台使用目前的架构和技术面临了许多的问题,主要有一下几点:

1) 数据来源广泛,主题表数目众多,查询效率低下

共享平台的数据由下属各委办局推送的64个主题表组成,其数据的结构杂乱不一。各委办局提供的数据除了结构不统一外,且数据量也比较大,记录数均是上亿级别。

 

2) 非结构化数据存储方式及管理方式各不相同

各委局除了提供结构化的数据,也提供了非结构化的数据,如个人证件照、法人证照等电子证照。这些非结构化数据之前存储在各委局时采用的方式各相同,存储管理的方式有如文件系统存储,数据库存储等方式。当这些非结构化数据推送到共享平台时,需要统一存储及管理,且需要能支撑应用平台的实时及高并发的访问。

 

3) 共享平台数据还需要提供数据分析和挖掘

共享平台数据除了提供高效查询外,还需要提供数据分析和挖掘。当前的传统数据存储架构,在提供高性能的查询同时,很难同时满足数据分析和挖掘的需求,而如果再

搭建新的存储架构,则会造成数据的冗余,同时加大成本的投入。


4.巨杉数据库带来的优势

44.png 

 

1) 分布式数据库,海量数据高效存取

SequoiaDB其支持数据库服务集群横向扩展的方式提升数据库性能。当需要对海量数据进行存储及读取访问时,可通过横向扩展集群的方式提升数据库的性能。轻松实现动态扩容。集群增加新的数据节点时,无需对现有节点上的数据进行重新分布。

 

2) JSON文档集合减少关联操作,大幅提升访问性能

SequoiaDB可同时支持存储结构化,半结构化及非结构化数据。数据采用JSON文档模型,数据结构可以灵活扩展。这样的存储格式,将各个表的信息整理成一个JSON集合。这样相对传统方案将所有主题主题表进行JOIN操作而言,数据随机读写性能都得到几何级数提升。

 

3) 一套数据,多种用途

目前SequoiaDB集群内部署超过14亿条记录,所有数据都会复制至少3份作为数据可靠性备份。系统会自动把不同复制组上的数据分片到不同数据节点上形成条带,而数据集群的访问入口协调节点,可以按照数据用途,把访问请求路由到指定的数据条带上,从而实现一套数据,多种用途。

 

4) 充分利用大数据分析框架

 因为SequoiaDB可以与Spark/Hadoop集群进行无缝对接,所以共享平台的数据存储于SequoiaDB后,不仅可以提供实时在线查询,也可以提供给Spark/Hadoop分析框架进行数据分析与挖掘使用。这样就可以实现白天跑实时查询,晚上跑批量处理的混合负载管理模式。


5.项目成果

55.png

使用巨杉数据库搭建电子政务共享平台后,该市的电子政务中心大数据平台,已经接入70多个单位,覆盖市级主要政府部门和12个区县,日均交换数据约300万条,汇集数据超过13亿条,初步梳理出1800万条自然人基础数据、300万条法人基础数据,形成市级政府信息资源共享目录,支撑社会保障、流动人员管理、综合治税、中小客车控牌等30多个专项工作,为全市各部门提供信息共享和业务协同服务。

总体来讲,政府信息共享平台的建立是为了促进了跨部门信息共享应用,提高了部门间的协同工作效率,提升了工作效率,提高了政府服务水平。



联系商务和技术支持产品下载
请先登录后再发表评论
最新评论
公司简介
广州巨杉软件专注新一代大数据技术研发,是国内新一代原厂金融级分布式数据库公司。
2017年巨杉数据库成为首批入选Gartner年度数据库报告的中国数据库产品。
巨杉坚持产品从零开始自主研发,为用户提供安全可靠、性能卓越的海量数据存储管理、高并发实时处理、分布式计算以及实时流处理等企业级数据处理解决方案。
目前在金融、政府、电信多个行业得到了广泛应用,并在超过30家大中型银行的核心生产系统应用。
粤ICP备13048785号     广州巨杉软件开发有限公司 版权所有