智慧城市建设需要海量数据的支撑,要实现对海量城市数据进行高效管理和深度挖掘,就需要一个科学、完善的城市数据体系,并在此基础上寻求一种新的数据管理方式来适应多源异构的海量城市数据。中国科大智慧城市研究院(芜湖)联合杭州数梦工场科技有限公司共同探讨城市数据体系建设,形成以下观点,欢迎各位读者共同研讨。
一、城市数据体系的内涵
数据是客观世界的数学记录。城市数据体系是在感知城市各类主体要素的特征与活动过程中进行数据采集,对分散在各级政府部门、各行业、各地区、各要素的数据进行集中统一管理,并结合应用场景对数据进行归纳理解,形成内容全面,体系完整,结构稳定的数据框架,以满足各类专业、部门应用需求,使政务服务、市场监管、公共安全、公共信用、城市管理、社会治理、经济社会发展等重点领域的决策更加高效,更加智能。
城市数据体系是以自然人、法人、时空数据为载体,依据城市时空范围内各领域数据的内在关系,对这些数据进行融合而形成。时空数据指与地理位置相关的数据,是信息标准化处理的空间数据依据。政府数据是产生于政府内部或外部,对政府活动、公共事务、公众生活与城市运行有影响的数据资源的总称,来自应急、交通、公安、环保、教育、民政等政府部门。企业数据是指与企业经营相关的数据,包括在“人、财、物、产、供、销、存”等各个环节形成的数据。公众数据是指在日常生活中产生的手机信令数据、电商消费数据、互联网点评数据、交通出行数据等,这些数据描绘了公众的行为模式和活动模式。
二、城市数据体系的作用
国内智慧城市建设遇到了许多问题,缺乏有效规划导致重复建设,信息孤岛现象严重,缺乏完整、科学的数据标准体系。要解决这些问题,需要完善智慧城市建设中的基础数据内容体系,探索适合智慧城市发展的城市数据模型、架构及管理方式。城市数据体系能够更系统地刻画城市状态及变化,通过多源数据交叉关联能够帮助鉴别数据的可靠性、真实性与正确程度。此外,多维度的关联能够挖掘出城市大数据的潜在业务价值,发挥协同创新的作用。
城市数据体系实现规范化的城市数据运行的数据管理机制,建立了与城市数据相关的整体性、全局性的数据架构,为城市数据获取、处理、应用、互联互通等提供理论基础和技术支撑,为实现城市数据治理能力和数据治理体系现代化提供了必要的保障。
三、城市数据面临的挑战点
3.1 数据家底不清
城市运行过程中会产生海量的数据,这些数据是由不同的部门建设的软硬件系统进行采集。由于各部门的建设缺乏统筹规划,导致部门间的数据处于分散、孤立的状态,重复建设导致数据孤岛越来越多。缺乏一个全局的视角,以掌握城市运行中会产生哪些数据,这些数据由哪些部门的哪些系统采集,数据量有多少,数据的业务含义是什么,质量情况如何等。这些因素都会导致部门间数据协调难、数据的利用效率低下,数据资源的浪费。因此,需要一个统一的城市数据模型和处理框架将这些多源异构数据有效融合,实现城市数据底数清的目标。
3.2 数据质量差
各地政府部门的系统建设是分散的、独立的,缺乏统一的建设标准,建设能力也参差不齐,从而导致采集的数据质量得不到保障,并且由于业务的不断变化,大量数据的完整性、一致性、准确性、时效性都比较差。数据的利用存在着巨大的隐患,“垃圾进,垃圾出”的现状非常突出,不但不能满足单一政府机构业务的需要,更不能满足“三融五跨”所需的数据共享、互操作与业务发展的进一步要求。
3.3 数据整合难
目前很多大数据管理部门利用大数据技术进行了城市数据的大集中,但是达成的效果仍然是“物理集中,逻辑烟囱”,信息碎片化和分裂化问题没有根本解决。数据虽然在物理上的集中,但是如果不经过仔细的设计,并不能保证信息能够被多个应用共享。城市的各个主体要素在不同的场景下的活动数据的采集,缺乏统一的数据标准,从而导致在概念和逻辑层面无法统一,数据关联难度很大。
3.4 数据应用少
单纯靠人力很难深入理解城市“数据海洋”水面下隐含的真实应用需求和潜在业务价值。大数据本身的价值密度是很低的,大数据的价值是对多个相关数据进行分析和挖掘后所形成的决策支持,而这在某种程度上又是取决于大数据的应用场景。政府对大数据的投入越来越多,看得到的数据资产也越来越多,摸得着的信息系统也越来越多。然而,如何让这些成果转化为政府部门所需要的治理能力?“数据多、效果少”是各地大数据管理部门普遍遇到的难题,加大数据应用场景的发掘,以此引领政务服务的融合升级是一项重要的课题。
3.5 管理效率低
城市大数据治理的挑战体现在海量公共数据与全局管控效果之间的矛盾。主要现在如下几个方面:
海量多源数据采集技术难度大,缺乏科学有效的方法论和工具集进行高效精准的数据治理。
在信息管理领域跨部门、跨层级与跨领域的数据融合工具较少,较少关注实际应用场景的数据需求特征,导致数据融合与实际业务需求脱节。
数据利用的便捷性、易用性性不够,导致数据共享、实时访问、交互操作等过程不通畅。
缺乏端到端的管理工具用于提升效率,稳定性,可靠性,保障数据的持续产出。
3.6 缺乏管理机制
城市数据治理需要多方参与,这些参与的部门职责、人员角色分工都需要有明确的定义,相互配合协同共同开展数据治理的相关工作。目前很多大数据管理部门缺乏对数据治理工作的管理制度,流程规范,各参与方贡献评价,考核依据等方面缺乏明确的定义,各参与部门的积极性不高。
四、城市数据体系架构
4.1 整体架构图
城市数据体系包含战略规划、组织架构、制度体系、技术体系、数据体系、专题应用、基础资源等要素,保障数据的采集、归集、整合、融合、共享、应用等全生命周期的各个环节的正常运行,如下图所示。
4.2 战略与组织
将城市数据治理上升到政府工作的战略高度,为城市数据治理的落地提供战略保障。由高层领导推动,以政策发文形式明确数据治理工作的愿景、目的、目标和原则,各部门的角色和职责,规划的业务范围,投入的资源保障,演进路线,效益评估方法等内容,并且在所有的部门间达成共识,综合反映各部门的需求。
要通过战略规划和组织保障,将数据全生命周期管理中的各类责任落实到相关部门。以解决数据管理中的问题为导向,逐步实施、分层落实、动态优化。定义好决策层、管理层、执行层相关人员的职责范围,对数据治理过程中的重大事项决策、组织协调、数据认责、问题闭环管理、绩效评价与考核等相关工作进行落实。
4.3 制度体系
大数据建设,应充分实践 “标准先行“的原则,指导大数据建设规范化、流程化。以数据标准为出发点,对大数据建设的数据采集、归集、整合、共享、开放等全过程阶段的建设进行指导和规范。要积极借鉴国际标准,充分运用国家标准、行业标准,从数据业务定义、数据质量、数据安全、数据运维等方面明确要求,促进城市数据的规范化管理。
标准规范体系的规划和建设应从数据、技术、管理等角度全局规划,围绕数据定义、数据质量、数据安全三个核心要素开展,并且在建设过程中,根据实际重要业务需求为导向,抓住当前突出和紧迫的问题,优先建设,并且逐步形成增量迭代演进建设的过程。
制度体系要着眼于能实际落地实施,从三个维度代入数据治理的全过程:
数据角度:要对数据本身的描述、理解及其度量的要求进行定义,包括:业务描述要清晰,数据度量结果要符合预定的范围,数据设置和访问权限规则要合规等。出现问题时需要数据责任方对数据进行整改。
技术角度:对数据处理各环节上的平台工具的能力明确要求,包括功能、性能、可靠性、部署、技术标准等,以及操作管理的流程要求,包括角色分工、职责和工作流程等。技术不足可能导致风险,此时需要对技术工具进行升级改造。
管理角度:要对人员技能、管理制度和评价考核的做出明确的规定,定义总体原则,各部门或者参与方的职责要求,问题处理机制,评价考核机制等,管理机制在执行过程中可能需要逐步进行调整优化。
4.4 技术支撑
要建设能够满足城市数据体系建设要求的技术支撑平台,保障数据供应体系的健康运行。平台的建设应遵循以下原则:
稳定可扩展:根据业务发展的需要,在未来5-10年内保持技术架构、数据架构、业务架构的相对稳定性,不会因应用需求的变化而发生大的变化。可以在大数据资源平台上,根据不断变化的应用需求逐步迭代建设数据供应体系,其功能、性能等可以增量迭代更新,可以分批分阶段进行建设。
统一和安全:坚持 “一个数据中心”的原则,以大数据资源平台为中心,在拓展各类业务应用时,必须保障数据统一从大数据资源平台中获取。应实现对敏感数据与应用访问的权限控制和轨迹跟踪,加强对隐私数据的管控和审计,细化安全管理规范制度,做到事前可管、事中可控、事后可查确保系统数据安全。
开放性原则:各种子系统提供开放的软件接口,数据接口,且应符合业界开放式标准,促进平台的整合,开放竞争。资源平台的数据应逐步通过服务接口方式开放系统数据和应用,全面支持各部门数据和应用需求,提升数据资源应用的广度和深度。
4.5 数智赋能
通过数据的大集中形成全域统一城市数据资源,对数据资源进行整合、融合,形成城市各要素的主题库,并且结合场景化应用推导建设贴合业务需求的专题库,最终对数据进行统一编排、能力封装、业务构建,形成可以快速满足专题应用需求的业务支撑体系。具体实现路径可以通过构建标签和画像体系,实现对整合的海量数据进行归纳、关联、挖掘,形成了具有完备业务价值的标签,以标签为基础支撑政府相关部门的业务应用。用标签技术对政府业务对象进行画像和相关特征分析并进行识别、分类,建立相关的业务应用以辅助政府在相关的业务上进行工作流程、工作模式的改进。
五、城市数据治理实施路径
城市数据治理要面向全局进行规划,以需求为导向进行落地实施,重点保障数据质量和安全。主要实施节点包括包括规划盘点、整合融合、共享应用、资产评估、优化运营几部分。
第一阶段:从组织、人员、数据、需求角度统筹规划
建立组织架构,明确各个参与角色及职责;制定管理制度,工作流程。
进行需求调研,数据调研,数据资产盘点,摸清数据家底;
制定数据标准规范,规划数据架构。
第二阶段:采用先进技术和工具,进行管理和实施
搭建平台,汇集数据;进行数据清洗加工,标准化。
对数据进行整合、融合,形成权威、准确、一致、鲜活的数据。
第三阶段:对数据进行共享利用,发挥数据价值
数据支撑内部业务应用,促进业务创新,提升效率
数据对外共享,产生效益
第四阶段:着眼业务应用,对数据治理的效用进行评估
持续进行数据标准符合度、活性进行检查。
持续进行全链路数据质量监控,执行数据质量问题处理流程。
根据使用情况评估数据价值和成本。
设置灵活的存储策略,对数据进行区分性保护、备份和恢复。
第五阶段:过程和策略迭代优化
根据数据质量、价值、成本进行宏观分析,找到出现问题的环节,进行过程优化。
六、总结与展望
随着新基建的国家战略推出,全国各地的城市纷纷投入大规模的数据体系建设,城市数据体系的规模、维度会急剧增加,数据利用的深度和广度也会大大增强。这都会推动数据治理体系的发展和逐步成熟,城市数据治理的过程会逐步引入人工智能、区块链等新技术以降低成本、提高效率、保障安全性,在数据的全生命周期的管理环节会逐步实现自动化,智能化。为了进一步使用社会发展的需求,深化数据的利用,实现更大地域范围内的业务协同,必然会提出城市之间、城市与省之间跨地域跨层级的数据共享的强烈需求,形成数据共享应用的联盟,城市数据治理也会走向协同化、联盟化的道路。