欢迎进入人工智能互联网官方网站!
人工智能互联网
通知公告
大数据
大数据
我的位置: 主页 > 大数据
大数据时代下的智慧监测平台设计研究
发布时间:2023-02-09
  |  
阅读量:
  |  

近年来,各省、市聚焦打赢污染防治攻坚战,不断加大投入优化完善生态环境监测网络,积极引入 信息化辅助手段,建设了涵盖大气、水质、污染源、生态等各环境要素的业务系统,但随着信息化建设内容不断深化,之前存在的顶层设计不足、数据标准不统一、系统存在壁垒、信息存在孤岛、业务协同困难等问题逐步显现。

为此,生态环境部《关于推进生态环境监测体系与监测能力现代化的若干意见》特别要求,建立国家(区域)和地方智慧监测平台,加强监测数据标准化、规范化管理,实现全方位、全要素、全周期监测数据有效整合与互联互通。大数据技术是继物联网和云计算之后信息技术产业又一次重要的技术变革,该技术对于处理超出传统数据库系统存储管理和分析处理能力的多源海量数据集群,具有很大的技术优势。

党中央、国 务院高度重视大数据在推进生态文明建设中的地位和作用习近平总书记明确指出,要推进全国生态环境监测数据联网共享,开展生态环境大数据分析。山东省具备良好的信息化建设和应用基础,早在 2008 年就建设了以自动监测、实时监控为目标,覆盖大气环境、水环境、污染源三大要素的环境自动监控系统,是全国较早一批开展物联网感知的省份,监测数据在省、市、县三级生态环境部门共同使用,在全省环境管理中发挥了重要作用。

目前,该监测体系已积累了丰富的生态环境监测数据,但随着监测业务不断深化,监测指标不断增加,数据管理和使用仍存在孤岛现象,数据互联互通和共享共用程度还不高。如何实现新老系统有机衔接,把系统孤岛连接成信息岛链是需要重点解决的问题。迫切需要利用大数据技术,建立综合管理平台,实现数据的安全存储、高效管理、资源共享和协同联动,助力各 监测业务的全链条智慧化管理.

 

研究方法

传统大数据开发模式中,每个应用场景独立开发,会形成许多条块分割信息,经常导致系统存在壁垒、信息存在孤岛、业务协同困难等问题,如何打破信息壁垒弊端,把数据孤岛连接成信息岛链是需要重点解决的问题。山东省生态环境智慧监测平台采用最新的中台模式,通过中台作为桥梁连接前台应用与后台数据,实现数据资源的统一汇聚、治理、共享,做到横向上部门互联、纵向上各级贯通,并以结构化、组件化的方式打造业务应用场景,可以在充分利旧的基础上,实现新老系统融合,促进业务应用在各子系统之间协同办理信息同步,并持续提供可复用能力,即保障已有场景和未来应用能够形成统一整体,又避免重复建设、实现资源有效集约。

大数据中台模式采用统一基础框架层、公共中间层、组件应用层的分层架构,通过结构化、组件化的方式开发业务应用系统。一方面建立基于数据中台的数据资源中心,按统一标准对多源异构数据进行汇聚、清洗、存储、共享,提炼形成各个专题库。不同业务系统通过资源中心调取所需数据,同时系统 新产生的数据回流到资源中心,反哺补充到各个专题库,保障数据价值持续提升;另一方面建立基于业务中台的应用分析底座,通过整合资源,将具体应用功能形成通用组件,在每个系统中搭建联动业务模块,以微服务接口的方式将通用组件与不同的系统建立连接,实现子系统之间的业务连 接和信息流动,以期达到横向要素联动、纵向各级贯通的目标平台设计设计目标充分利用大数据等新一代信息技术,建设智慧监测平台,加强监测数据标准化、规范化管理,实现 全方位、全要素、全周期监测数据有效整合与互联互通,助力实现一网汇聚全省监测动态数据,一屏纵览全省监测业务全局,建立起横向业务协作、纵向业务联动的协同联动体系,助力各项监测业务实现全链条智慧化管理。

 

设计原则

(1)全面性原则。统筹考虑各环境要素业务需求,推动现代信息技术与监测工作全面融合,实现 省市兼顾,人财物管理与监测业务兼顾,新旧系统兼顾,破除信息孤岛,整合横纵资源,形成一个整体。

(2)先进性原则。采用先进的设计理念,以数据为驱动,通过业务打通和系统对接的方式,实现 全链条智慧化管理;采用先进的技术手段,确保系统具有较高的性能和较强的生命力,提高数据的汇聚 清洗、关联分析和专题应用能力。

(3)实用性原则。以需求为导向,以实用为目的,做到基础信息全、多、准,监测业务横向 协同、纵向联动,大力推进网上办”“掌上办,实现与大数据其他项目的互联互通,提高业务运行效率。

(4)标准化原则。通过建设统一的数据和业务支撑中台,为已建及待建应用系统提供通用的服务 能力,实现资源的有效集约。公共能力建设要符合结构化、模块化要求,从而推进信息化标准的贯彻落 实,保障平台体系的完整和灵活。

(5)扩展性原则。充分考虑未来省中心和驻市中心的业务发展需要,与事业单位深化改革实现接轨,留好接口,便于后续拓展;在技术上要用成熟的体系架构来构建,充分考虑系统的升级和扩容需要,有较好的兼容性。

 

 image.png

功能模块

(1)数据资源中心

数据资源中心采用数据中台技术,实现数据的采集、存储、管理和分析,为各类应用需求提供数 服务,重点解决统一信息资源采集标准,实现各级、各类监测信息资源的汇聚入库,实现信息资源全生命周期动态管理等问题。整体架构分为数据采集处理层、数据存储分析层和数据服务层。在统一的信息 资源规划下,构建基础库、专题库、主题库三库一体的监测数据资源中心。其中,基础库用于存储 人、财、物、地理信息等子系统共用的基础信息资源;专题库用于存储各要素或各业务室相对独立的数 据资源;主题库是关于多个部门协同联动的综合数据资源,强调在基础库和专题库的基础上共建共享 共用。各业务系统通过资源中心调取所需数据,系统新产生的数据再回流到资源中心,对数据资源进 行归集、更新、清洗、入库、共享的全生命周期动态管理,来确保不同系统使用数据的一致性,实 现跨层级、跨部门的协同联动和信息同步


image.png


(2)通用组件中心

通用组件中心采用业务中台技术,重点解决实现老旧系统的数据整合,打破传统研发模式间孤岛式 的信息壁垒,监测业务在各子系统之间实现协同办理信息同步等问题。通过整合数据资源和 技术手段,为前台业务应用和展示层创建一整套标准化、模块化和组件化的服务,实现以配件组装” “零代码的方式构建业务应用子系统,从而减少系统的开发成本和周期,增强系统的扩展和升级能力, 并为业务子系统之间的横向协同和各层级业务的纵向贯通提供技术框架。该板块主要涉及用户中心、地 理信息中心、流程中心、报表中心、任务调度中心、微服务管理中心、算法模型中心等。提供统一的服 务管理门户,为业务子系统提供标准化的组件、模块和技术服务,需建设统一的服务架构,具备持续高 效的可扩展能力。


image.png


(3)业务应用系统

业务应用子系统重点解决以下问题:一是建立基本统一的操作界面、查询统计、流程表单和地图服 务等半成品组件,保持各子系统的协调一致性;二是梳理各监测要素、各监测业务间内在关系,实 现分散的子系统之间共性信息及关联业务的有效连接和协同流转;三是满足各要素或各业务室不同深 度、特性的业务运转,助力工作流程优化、再造。该板块依托数据资源中心和通用组件中心,以流程为 牵引、以数据为驱动,采用整合、改造或新建的方式,将各项业务进行横向贯通和纵向下沉,构建涵盖 横向专题业务和纵向联动业务的应用子系统,各子系统形成的数据产品均回流至数据资源中心,为一 张图展示提供数据支撑。


image.png


(4)一张图可视化展示

按照全面集成、综合展示的原则,对各业务子系统的数据产品和工作成果进行统一汇聚融合, 以驾驶舱理念提供一站式决策支撑。重点展示以下内容:一是环境状况一张图,展示全省、各城市的生态环境质量状况和污染源排污情况;二是监测业务一张图,展示全省监测能力现状、年度任务完成情况和各项业务开展情况,分解量化工作目标实施挂图作战;三是专项工作一张图, 展示应急监测、质控检查、采测分离等专项工作开展情况;四是要素专题一张图,提取、整合与某 一环境要素相关的所有数据和成果,进行全方位的综合集成与展示。  

(5)辅助保障体系

辅助保障体系通过构建数据资产动态监控、平台运行监控、网络运行状态监控功能,及时全面地掌 握平台的整体运行指标数据,客观准确地展示平台当前的运行状态,并通过智能分析进行阈值预警,为保障平台的稳定运行提供支持。其中,数据资产动态监控以图形化、可视化的方式,构建覆盖数据全生 命周期管理展示界面,形象展示数据来源汇聚、数据资源管理、主题库构建等内容。平台运行监控实时 展示平台各模块运行状态的功能,并对这些信息按照多种维度进行搜索和筛选,辅助管理员进行集群、 主机等的异常诊断。网络运行状态监控通过使用高性能计算集群管理技术,将松散堆叠的服务器整合为 一整套集群系统,实现集群资源统一部署、管理、监控和调度,提高各项应用的计算处理能力

 

结论

大数据技术与生态环境监测行业的有机结合是发挥生态环境监测数据应用效益,提高监测监管工作效率,推进环境监测业务革新的重要途径。通过智慧监测平台建设应用,可以为生态环境监测业务开展注入新动能,助力由人海战向信息化联合作战的转变。生态环境监测领域应用信息化技术较早,普遍存在信息孤岛现象文章提出的中台模式,可以在充 分利旧的基础上融合新老系统,实现数据资源跨层级、跨部门的互联互通、共享共用,满足各监测业务 不同深度、特性的业务运转和流程再造,促进业务应用系统的协同联动和各级监测工作的上下贯通。大数据技术的广泛应用是智慧监测发展的必然趋势,在国--市不同层级探索积累经验,可以促进 大数据等新技术与环境监测业务的深度融合,有效提升监测感知高效化、分析关联化、应用智能化、测管一体化、服务社会化能力,为环境管理提供有力支撑。  


摘自:大数据时代下的智慧监测平台设计研究

大数据时代下的智慧监测平台设计研究(图5)大数据时代下的智慧监测平台设计研究_曲凯.pdf