当前位置:技术分享 > 技术参考 > 正文

解析:公安大数据系统技术2015-04-27 14:39:40 | 编辑:hely | 查看: | 评论:0

作为互联网+的重要组成部分,行业大数据应用实践一向被产业所关注。与金融、医疗、电信、零售等行业大数据技术与实践不绝于耳的研讨相比,公安系统大数据的应用一向难以被大家所认知。
\

作为互联网+的重要组成部分,行业大数据应用实践一向被产业所关注。与金融、医疗、电信、零售等行业大数据技术与实践不绝于耳的研讨相比,公安系统大数据的应用一向难以被大家所认知。直到在IPF2015年,听到某省公安厅科信处负责人,这位已经在公安信息系统中工作数十年的技术专家的深入分享,才进一步了解与互联网完全不同。拥有庞大的数据积累和独特安全需求的公安系统,是如何利用技术进行大数据实践的。

公安数据状况分为:

治安类相关业务系统;
刑事类相关业务系统;
经侦类相关业务系统;
交通类相关业务系统;
指挥类相关业务系统;
视频业务系统。

存储是最基本的需求,公安系统存储方面:

数据库层面有Oracle,SQLServer,Hadoop;
基础存储设施层面:各数据库独立存储自己的数据,存储空间独立管理,存储的数据安全性上基本是Hotspare+Raid5;
存储的区域化特性明显:以市为单位的系统在市本级存放数据,以省为单位的系统全省统一存放数据,以部为单位的全国统一存放数据。

以目前公安数据使用状况来看,数据复用分为三个层级:

内部复用:综合查询、数据复制、数据库账号、全文搜索等;
区域间复用:请求服务、全网搜、核查比对;
外部复用:部门间信息共享、政府网站、服务民生。

可以说,公安IT系统建设是极早的,2006年就已拥有成熟的数据中心。而公安几乎和所有行业在数据层面都有密切交互。所以,作为特殊的专网,公安的IT系统尤为复杂,如烟囱式垂直应用众多。

不止如此。移动互联、物联网等新技术使得数据元多种多样,非关系型数据日趋庞大。数据关联性更加复杂,比如广东车主在北京违章,这就需要多重数据调取;比如金融诈骗分析中,搜索一个姓名在某个小城市有多少人,也许只有24位。但如果放到全国,这一类完全展开要多少,是无法预估的。而搜索之后,如果在进一步进行数据展示甚至深度挖掘,都会遇到诸多技术问题。新的变化来了新的业务挑战,而这些已不是传统技术所能解决的。

 

\

 

公安大数据系统规划

从Oracle 805一直使用到最新版本的这位负责人对此感受颇深:“在我看来,100万条数据和1亿数据没有本质区别,公安数据在设计中要面对空间和时间的序列并非线性增长而是指数增长的事实。所以现有的系统软件的计算模型已经不可实现。传统技术已经面临瓶颈的挑战。尤其在政府希望数据使用日趋开放的现在,如果政府网站建设,需要打通政府和公安内网的部分信息;比如服务民生,车辆违章需要和公安数据打通等。公安大数据系统需要从多方面的数据体系建设。”

数据服务体系建设:解决内部的数据重复采集问题,构建数据服务机制;
数据共享体系建设:构建数据的传输和共享机制;
数据技术体系建设:数据抽取技术,数据分析,数据存储和数据安全;
数据管理体系建设:生命周期管理,数据的描述管理(标准,格式),数据的质量管理,安全管理。

这其中不仅是图片、图像、传统业务数据的累加,还有分布式存储、全文索引、图形展现、内存数据库、MPP数据库、图数据库等技术的使用,与业务解决方案,如串并联、关系分析、图形分析与比对等,都是要重点关注的技术要点。

如此庞大的技术需求下,“公安大数据的特殊理解和行业含义决定了在方案层面需要与更多业务软件开发商,IT供应商的合作。”负责人如此表示。

上一篇:Intel李锐:Hive on Spark解析 微博广告推荐中有关Hadoop的那些事下一篇:

公众平台

搜索"raincent"或扫描下面的二维码