基于 AMI与 J2EE的智能用电数据管理方法及系统 技术领域

本发明涉及用电数据管理、 用电数据采集、 展示和智能监控领域， 具体 的说， 是基于 AMI与 J2EE的智能用电数据管理方法及系统。

背景技术

目前在美国广泛应用的是高级量测体系 AMI, 而其中重要的是计量数据 管理系统 （MDMS )。 MDMS是一个带有分析工具的数据库， 通过与 AMI 自动数据手机系统的配合使用， 处理和储存电表的计量值， 能与其他信息系 统之间进行交互， 如用电信息系统、 账单系统、 电力网站、 停电管理系统、 电能质量管理和负荷预测系统、 移动工作组管理、 地理信息系统、 变压器负 荷管理系统。

MDMS的一个基本功能是对 AMI数据进行确认、 编辑、 估算、 以确保 即使通信网络终端和用户侧故障时， 流向上述信息系统或软件的数据流也是 完整这准确的。

我国各主要电力公司根据业务发展需要， 从 20世纪 90年代至今， 已经 建立了针对不同类型用户的电能信息采集系统 ，主要有关口电能量采集系统、 电力负荷管理系统、 客户电能量采集系统、 低压集中抄表系统和配电自动化 系统， 并且各种电能量采集终端的安装已经具有一定 规模。 电能信息采集系 统利用微电子和计算机网络、 传感等技术自动读取和处理表计数据， 将城市 居民的用电信息加以综合处理。 它主要实现用电数据采集、 用电数据管理、 表计控制、 营销业务综合应用、 表计运行维护管理。 现有的采集系统无法满足不同类型用户、 不同类型能源的采集需求， 缺 乏统一规划、 统一标准规范， 往往一个计量点要安装几个采集终端和各自系 统主站交换数据。 这不仅造成人力、 物力等资源的极大浪费， 还增加了计量 设备的负担， 影响了计量的准确度和设备的可靠行。

比如用户用电信息智能采集系统侧重于数据的 采集、 分析和预测， 而减 弱了数据检査和数据挖掘的功能，这样就不能 保证的数据的完整性和正确性。

为此设计出弥补数据完整性的采集系统， 如具有备用集中器的用电信息 采， 主要是通过当主集中器与主站之间的通信发生 故障而不能将用电数据发 送到主站时或当主集中器与采集器之间的通信 发生故障而不能实时采集用电 数据时， 启动并切换到备用集中器， 备用集中器将尚未发给主站的来自主集 中器的用电数据继续发送到主站， 并且继续收集采集器采集到的用电数据并 且发送到主站的方法来降低数据完整性的缺陷 。 但是此方法是通过增加硬件 设备的方法来解决的， 这样就不可避免的增加了投入成本， 也增加了投入效 益回收年限。

发明内容

本发明的目的在于提供基于 AMI与 J2EE的智能用电数据管理方法及系 统， 在不需要增加硬件设施的条件下， 采用技术手段自动或手动补采， 做到 数据的完整性。

本发明通过下述技术方案实现： 基于 AMI与 J2EE的智能用电数据管理 方法， 包括以下歩骤：

歩骤 A、 采集任务分配： 根据不同业务需求， 按照待采集数据的配置条 件要求， 进行分配采集任务； 歩骤 B、 采集任务执行： 经歩骤 A， 根据编制好的采集任务， 按照要求 自动下发采集指令到采集终端或量测设备， 获取采集终端或量测设备的各类 数据；

歩骤 C、 数据检査： 对歩骤 B采集回来的数据进行包括业务规则检査、 数据完整性检査、 数据质量检査， 以针对数据结果正确与否进行的检査； 歩骤 D、 数据存储： 将采集终端或量测设备采集回来的数据根据业 务需 要划分为一类实时数据、 二类历史数据、 三类事件数据， 分别建立对应的消 息队列， 将数据存储到缓存区达到设定量后进行批量存 储。

进一歩的， 为更好的实现本发明所述方法， 所述歩骤 A包括：

歩骤 A.l、数据采集：智能用电数据管理系统对 Q/GDW 376.1-2009协议、

MODBUS等采集终端常规协议的兼容开发与特性 开发， 根据不同的业务需 要， 通过智能电表、 集中器、 采集器采集能耗设备数据， 通过传感器采集环 境温度数据、 辐射、 风速、 压力等数据；

歩骤 A.2、 数据过滤： 将从主要由传感器组成的量测设备和主要由智 能 电表、 集中器、 采集器组成的采集终端得到的响应报文通过智 能用电数据管 理系统各种内置的过滤器进行数据匹配与过滤 ， 最终转换成智能用电数据管 理系统能够识别的数据和信息。

进一歩的， 为更好的实现本发明所述方法， 所述歩骤 B包含如下歩骤： 歩骤 B.l、 收集市面上各种主流采集终端或量测设备的通 信协议； 歩骤 B.2、 针对这些协议分析通信规则， 找共性， 开发兼容通信包； 歩骤 B.3、 针对主流采集设备的个性通信规则， 进行最小差异化开发； 歩骤 B.4、 打包成一个大共性， 小异性的兼容性通信 API; 歩骤 B.5、 搭建测试环境， 对主流采集设备进行测试

歩骤 B.6、 根据测试结果修改程序；

歩骤 B.7、 完成采集任务执行过程。

进一歩的， 为更好的实现本发明所述方法， 所述歩骤 C包含如下歩骤： 歩骤 C.l、 数据采集过程： 针对管理界面接收到的采集任务信息， 按其 具体配置条件对采集任务进行分组分时执行， 按照配置条件匹配目标采集终 端的通信协议对应在智能用电数据管理协议解 析中的 API, 通过智能用电数 据管理数据处理层对 API的采集指令进行数据转换， 自动按照采集任务下发 采集设备能够识别的加密的采集指令到采集终 端， 智能用电数据管理数据处 理层对采集终端反馈的加密的数据进行算法解 密， 并将采集回来的数据转换 为智能用电数据管理系统能够识别和存储的格 式。

歩骤 C.2、 数据质量检査： 提供有效的数据检査指标， 对采集的数据的 合理性、 有效性进行检査；

歩骤 C.3、 检査结果： 通过智能用电数据管理系统按照业务规格设置 的 数据验证指标对数据进行验证， 来实现数据的完整性和正确性；

歩骤 C.4、经歩骤 C.3 , 如果所采集数据为合格数据或采集数据成功则 将 执行歩骤 D; 如若所采集数据为不合格数据或采集数据不成 功则将进行数据 补采的选择， 当选择补采， 执行歩骤 C.1 , 当选择不补采， 执行歩骤0。

进一歩的， 为更好的实现本发明所述方法， 歩骤 C.3还包括以下歩骤： 歩骤 C3.1、 采集质量检査： 对采集任务的执行质量进行检査， 统计数据 采集成功率、 采集的完整率；

歩骤 C3.2、 实时召采： 数据检査完成后发现存在问题进行的差异化采 集 通讯。

基于 AMI与 J2EE的智能用电数据管理方法及系统， 包括传感器、 串口 服务器、 通讯服务电路、 采集终端， 所述传感器通过串口服务器同通讯服务 电路连接， 所述通讯服务电路连接采集终端， 所述采集终端包括智能电表、 集中器和采集器； 在所述通讯服务电路设置有将传感器、智能电 表、集中器、 采集器等所得终端或量测设备的响应报文进行 数据匹配与过滤的过滤链层； 在所述通讯服务电路设置有用于完成歩骤 B、 歩骤 C、 歩骤 D的 IoHandler 业务处理层； 所述过滤链层中包括链路层过滤器、 加密过滤器、 请求响应过 滤器、 应用层过滤器、 事件过滤器、 心跳过滤器、 时钟同歩过滤器、 身份认 证过滤器、 上行消息队列过滤器和下行消息队列过滤器； 经过滤链层所述 IoHandler业务处理层将数据对象处理最终转化为 业务数据进行存储。

进一歩的， 为更好的实现本发明所述系统， 在所述串口服务器与通讯服 务电路之间进行通信时采用 TCP/IP通信且采用 JMX监控； 在采集终端与通 讯服务电路之间进行通信时采用 TCP/IP通信且采用 JMX监控。

进一歩的， 为更好的实现本发明所述系统， 在通讯服务电路中采用 IOService通信服务。

本发明与现有技术相比， 具有以下优点及有益效果：

( 1 )本发明在不需要增加硬件设施的条件下，采� �技术手段自动或手动 补采， 做到数据的完整性。

(2 )本发明基于国家电网公司整理规划要求和一� �列标准规范，所有的 采集标准和规范均统一规范， 便于适应各种采集需求。

(3 ) 本发明设有一套可配置、 完整的并经过有效验证的数据检査指标， 能保证数据完整性的前提下确保数据的准确性 和有效性。

(4 )本发明在保证功能齐全完善的前提下降低投� �成本；并且具有比较 稳定、 效率更高的优点。

(5 )本发明数据采集实现采用无阻塞流通道技术� �现自动或人工补召方 式保证数据的完整性和有效性。

(6 ) 本发明数据检査采用可配置检査指标方式实现 数据检査的可配置、 可调节， 并设计出一套完整的数据检査指标方案。

附图说明

图 1为本发明所述方法流程图。

图 2为本发明所述系统及数据采集过程图。

图 3为本发明所述 JMX监控的通讯监控图。

具体实施方式

下面结合实施例对本发明作进一歩地详细说明 ， 但本发明的实施方式不 限于此。

J2EE, 是一套全然不同于传统应用开发的技术架构， 包含许多组件， 主 要可简化且规范应用系统的开发与部署， 进而提高可移植性、 安全与再用价 值。

AMI, 高级量测体系 (advanced metering infrastructure , AMI)是一个用来 测量、 收集、 储存、 分析、 运用和传送用户用电数据、 电价信息和系统运行 状况的完整的网络和系统,能够有效地支持需� �响应。

MDMS , 量测数据管理系统。 是一个带有分析工具的数据库， 通过与 AMI自动数据手机系统 （ADCS ) 的配合使用， 可处理和储存电表的计量值 得， 是 AMI体系中的一个重要组成部分。

JMX， JMX是一种应用编程接口， 可扩充对象和方法的集合体， 可以用 于跨越一系列不同的异构操作系统平台、 系统体系结构和网络传输协议， 灵 活的开发无缝集成的系统、网络和服务管理应 用它提供了用户界面指导、 Java 类和开发集成系统、 网络及网络管理应用的规范。

实施例 1 :

首先将系统内设备打开， 完成开启歩骤， 然后完成基于 AMI与 J2EE的 智能用电数据管理方法， 如图 1所示， 包括以下歩骤：

歩骤 A、 采集任务分配： 根据不同业务需求， 按照待采集数据的配置条 件要求， 进行分配采集任务；

歩骤 B、 采集任务执行： 经歩骤 A， 根据编制好的采集任务， 按照要求 自动下发采集指令到采集终端或量测设备， 获取采集终端或量测设备的各类 数据；

歩骤 C、 数据检査： 对歩骤 B采集回来的数据进行包括业务规则检査、 数据完整性检査、 数据质量检査等一系列以针对数据结果正确与 否进行的检 査；

歩骤 D、 数据存储： 将采集终端或量测设备采集回来的数据根据业 务需 要划分为一类实时数据、 二类历史数据、 三类事件数据， 分别建立对应的消 息队列， 将数据存储到缓存区达到设定量后进行批量存 储。

当歩骤 D完成后将结束数据采集， 完成结束歩骤。

实施例 2:

本实施例是在上述实施例的基础上进一歩优化 ，首先将系统内设备打开， 完成开启歩骤， 完成下述歩骤：

歩骤 A、 采集任务分配： 根据不同业务需求， 按照待采集数据的配置条 件要求， 进行分配采集任务， 包括下述歩骤：

歩骤 A.l、 数据采集： 智能用电数据管理系统对 Q/GDW 376.1-2009协 议、 MODBUS等采集终端常规协议的兼容开发与特性开 发， 根据不同的业 务需要， 通过智能电表、 集中器、 采集器采集能耗设备数据， 通过传感器采 集环境温度数据、 辐射、 风速、 压力等数据；

歩骤 A.2、 数据过滤： 将从主要由传感器组成的量测设备和主要由智 能 电表、 集中器、 采集器组成的采集终端得到的响应报文通过智 能用电数据管 理系统各种内置的过滤器进行数据匹配与过滤 ， 最终转换成智能用电数据管 理系统能够识别的数据和信息。

歩骤 B、 采集任务执行： 经歩骤 A， 根据编制好的采集任务， 按照要求 自动下发采集指令到采集终端或量测设备， 获取采集终端或量测设备的各类 数据， 数据采集整体设计基于统一规范要求和标准， 对各种采集需求做到完 美兼容， 包括下述歩骤：

歩骤 B.l、 收集市面上各种主流采集终端或量测设备的通 信协议； 歩骤 B.2、 针对这些协议分析通信规则， 找共性， 开发兼容通信包； 歩骤 B.3、 针对主流采集设备的个性通信规则， 进行最小差异化开发； 歩骤 B.4、 打包成一个大共性， 小异性的兼容性通信 API;

歩骤 B.5、 搭建测试环境， 对主流采集设备进行测试

歩骤 B.6、 根据测试结果修改程序；

歩骤 B.7、 完成采集任务执行过程。 歩骤 C: 数据检査： 对歩骤 B采集回来的数据进行包括业务规则检査、 数据完整性检査、 数据质量检査等一系列以针对数据结果正确与 否进行的检 査， 数据采集实现采用无阻塞流通道技术实现自动 或人工补召方式保证数据 的完整性和有效性， 数据检査采用可配置检査指标方式实现数据检 査的可配 置、 可调节， 并设计出一套完整的数据检査指标方案， 所述歩骤 C包含如下 歩骤：

歩骤 C.l、 数据采集过程： 针对管理界面接收到的采集任务信息， 按其 具体配置条件对采集任务进行分组分时执行， 按照配置条件匹配目标采集终 端的通信协议对应在智能用电数据管理协议解 析中的 API, 通过智能用电数 据管理数据处理层对 API的采集指令进行数据转换， 自动按照采集任务下发 采集设备能够识别的加密的采集指令到采集终 端， 智能用电数据管理数据处 理层对采集终端反馈的加密的数据进行算法解 密， 并将采集回来的数据转换 为智能用电数据管理系统能够识别和存储的格 式。

歩骤 C.2、 数据质量检査： 提供有效的数据检査指标， 对采集的数据的 合理性、 有效性进行检査；

歩骤 C.3、 检査结果： 通过智能用电数据管理系统按照业务规格设置 的 数据验证指标对数据进行验证， 来实现数据的完整性和正确性；

歩骤 C.4、经歩骤 C.3 , 如果所采集数据为合格数据或采集数据成功则 将 执行歩骤 D; 如若所采集数据为不合格数据或采集数据不成 功则将进行数据 补采的选择， 当选择补采， 执行歩骤 C.1 , 当选择不补采， 执行歩骤0。

歩骤 D: 数据存储： 将采集终端或量测设备采集回来的数据根据业 务需 要划分为一类实时数据、 二类历史数据、 三类事件数据， 分别建立对应的消 息队列， 将数据存储到缓存区达到设定量后进行批量存 储。

实施例 3:

本实施例是在上述实施例的基础上进一歩优化 ， 进一歩的， 为更好的实 现本发明所述方法， 歩骤 C.3还包括以下歩骤：

歩骤 C3.1、 采集质量检査： 对采集任务的执行质量进行检査， 统计数据 采集成功率、 采集的完整率；

歩骤 C3.2、 实时召采： 数据检査完成后发现存在问题进行的差异化采 集 通讯。 实时召采， 根据接收到的实时数据采集要求， 通过远程技术手段， 自 动下发采集指令， 实时召采终端或量测设备的数据。 本发明实时采集用电单 位中的各种信息， 主要包括照度、 温度、 湿度、 烟雾、 压力、 流量、 用电量、 设备状态等信息， 进行实时展示、 智能控制及异常事件监控和报警。

实施例 4:

基于 AMI与 J2EE的智能用电数据管理系统，如图 2所示，包括传感器、 串口服务器、 通讯服务电路、 采集终端， 所述传感器通过串口服务器同通讯 服务电路连接， 所述通讯服务电路连接采集终端， 所述采集终端包括智能电 表、 集中器和采集器； 在所述通讯服务电路设置有将传感器、 智能电表、 集 中器、 采集器等所得终端或量测设备的响应报文进行 数据匹配与过滤的过滤 链层； 在所述通讯服务电路设置有用于完成歩骤 B、 歩骤 C、 歩骤 D的 loHandler业务处理层； 所述过滤链层中包括链路层过滤器、 加密过滤器、请 求响应过滤器、 应用层过滤器、 事件过滤器、 心跳过滤器、 时钟同歩过滤器、 身份认证过滤器、 上行消息队列过滤器和下行消息队列过滤器； 经过滤链层 所述 loHandler业务处理层将数据对象处理最终转化为 业务数据进行存储。 数据采集以集中器、 采集器、 智能电表、 传感器、 串口服务器等硬件设 施为基础， 通过 tcp/ip协议和 lOService通信服务， 并经过过滤链层所设置的 链路层过滤器、 加密过滤器、 请求响应过滤器、 事件过滤器等对数据进行采 集过滤， 继续通过数据处理层设置的对象处理 （I类、 Π类、 参数、 事件、 modbus数据）、 数据质量检査、 采补、 数据批量库存来最终转化为业务数据 进行存储。

利用作为量测设备的传感器内所设置的诸如照 度传感器、 温度传感器、 湿度传感器、 烟雾传感器、 压力传感器， 将一应传感器可采集的数据进行采 集； 并利用智能电表、 采集器和集中器所构成的采集终端对流量、 用电量、 设备状态等信息进行采集， 传输到通讯服务电路内， 在其内部所设置的过滤 链层上的链路层过滤器、 加密过滤器、 请求响应过滤器、 应用层过滤器、 事 件过滤器、 心跳过滤器、 时钟同歩过滤器、 身份认证过滤器、 上行消息队列 过滤器和下行消息队列过滤器进行相应的过滤 ， 过滤出过滤链层所设定的不 一样的数据并清除， 经过滤后的数据， 继续通过数据处理层设置的对象处理 (I类、 II类、 参数、 事件、 modbus数据）、 数据质量检査、 采补、 数据批量 库存来最终转化为业务数据进行存储。

本发明主要用于用电设备的运行展示和智能监 控， 对于用电设备的实时 运行情况、 微环境的实时参数进行联动展示和智能控制， 当用电设备无人值 守时对可能发生的各种异常事件进行预测， 对已发生的各种故障进行记录并 自动通知相关责任人。

本发明能够一方面将人们从日常的繁重劳动中 解放出来， 另一方面能够 提高设备使用效率， 对智能减排、 增效降污的中国来说显得尤为重要。 实施例 5:

本实施例是在上述实施例的基础上进一歩优化 ， 进一歩的， 为更好的实 现本发明所述系统， 在所述串口服务器与通讯服务电路之间进行通 信时采用 TCP/IP通信且采用 JMX监控； 在采集终端与通讯服务电路之间进行通信时 采用 TCP/IP通信且采用 JMX监控。

系统通过 JMX监控实时的显示受控资源的状态信息，当受 控资源的状态 出现异常的时候， 该监控系统通过发送电子邮件或发送短消息方 式报警。

如图 3所示， 系统使用 JMX代理层所设的 JXM监控收集受控资源状态 信息。 JMI代理层和受控资源运行在同一台机器上。通 过 JMX分布式服务层 组件把代理层收集到的受控资源状态信息发送 到监控系统的监控应用客户端 管理程序。 监控应用客户端管理程序接收监控应用代理端 发送过来的受控资 源状态信息， 并对信息作进一歩处理。

进一歩的， 为更好的实现本发明所述系统， 在通讯服务电路中采用 IOService通信服务。

数据展现方面实现多种展现方式， 不但对基础数据进行査询展示， 并通 过数据挖掘、 数据分析实现了多种参数 （人员密度、 空气湿度、 环境温度、 原始数据、 特殊状况等） 情况下进行电能数据的各种预测。

本发明满足信息系统权限管理所需， 将企业身份数据进行统一管理， 所 有的受控资源对象或资源抽象对象进行集中管 理， 有效提高管理效率、 降低 生产及管理成本。

以上所述， 仅是本发明的较佳实施例， 并非对本发明做任何形式上的限 制， 凡是依据本发明的技术实质对以上实施例所作 的任何简单修改、 等同变 化， 均落入本发明的保护范围之内