今年能源行业有个热词是“泛在电力物联网”,这是国家电网公司推进“三型两网”建设的重要内容和关键环节。按照规划,到2021年初步建成泛在电力物联网,基本实现业务协同和数据贯通;到2024年,全面实现业务协同、数据贯通和统一物联管理,形成共建共治共享的能源互联网生态圈。

当前,业内纷纷开展对泛在电力物联网的研究和部署工作。百度智能云结合边缘计算、物联网、时序数据的技术特性,对泛在电力物联网的数据利用提出了一些看法,供业内参考。

泛在电力物联网是什么?

按照业内通用解释,泛在电力物联网是指围绕电力系统各环节,充分应用移动互联、人工智能等现代信息技术、先进通信技术,实现电力系统各环节万物互联、人机交互,具有状态全面感知、信息高效处理、应用便捷灵活特征的智慧服务系统,包含感知层、网络层、平台层、应用层四层结构。

泛在电力物联网的出现,不仅是技术的变革,更是管理思维的提升和管理理念的创新。泛在电力物联网将电力用户及其设备、电网企业及其设备、发电企业及其设备、供应商及其设备、以及人和物连接起来,产生共享数据,为用户、电网、供应商和其他社会机构提供服务。

一、如何通过专门的时序数据处理体系应对激增的数据量?

未来泛在物联网应用之后,数据量会激增,需要更专业的基础数据组件来处理。

以智能电表为例,通常商业用电都采集96点数据:即每天采集96次数据,也就是15分钟发送一条记录到云端。以全国智能电表6亿台来计算,一天产生的数据条数就会高达576亿条。

以Hadoop体系为代表的互联网大数据解决方案,主要处理的是互联网领域的非结构化数据,比如微博数据、搜索记录、新闻热点、爬虫数据等,不足以完全应对泛在物联网的数据特点。

泛在物联网的数据与传统大数据有如下区别:

▷ 时间序列特征明显,数据只有时间戳和数值在变化。

▷ 数据量大,上报频率高,并且维度多。

▷ 写多读少,90%以上是写场景,10%是读场景。

▷ 读写正交,同一个时间点写入多个维度数据,但通常会跨时间范围来读取同一个维度。

▷ 聚合分析,大量数据的聚合值更有意义。

针对泛在物联网数据的这些特点,对系统提出了更高的要求:

▷ 数据要压缩存储以节省成本。

▷ 高效的写入性能,且可横向扩展。

▷ 极高的查询性能,查询一段历史数据的聚合值要能秒级返回。

▷ 开放融合,与大数据平台生态融合以及标准SQL接口,方便集成各种大数据应用。

通过对泛在电力物联网时序数据的高性能存储和处理,让泛在物联的数据高效处理成为可能,为数据的有效利用打下基础。

二、时序数据治理如何与传统数据治理融合?

在泛在物联网的背景下,大量时序数据的产生为传统数据治理也带来了新的思路。时序数据往往数据量大、价值分散,要充分利用时序数据的特点和优势,来支撑企业整体的数据治理框架。

时间序列数据大部分通过设备采集传输而得到。因为传感器设备及网络等原因,在采集、 传输等各个环节都可能会出现问题,导致数据质量难以保证,加大了数据治理的难度。时间序列数据ETL有异常检测、数据填充、数据质量判断几个方面,和传统数据相比多了时间维度。

举三个典型的时序数据处理形式:

▷ 异常检测就是检测时间序列数据中的异常数据。例如,在几秒范围内,温度传感器不会报告差异很大的温度读数,不会显示出温度的剧烈变化。

▷ 数据填充是对异常值和缺失值根据周期、趋势等进行填充。

▷ 数据质量判断是对上传时间序列数据进行质量判断。数据质量过差时,可以及时让数据上传方修改问题(如更换传感器)。

通过对时序数据的治理和处理,给模型应用开发提供了条件,结合云端应用模型开发和物联网的边缘计算,将释放物联网的强大力量。

三、边缘计算释放数据价值

以上两点对数据的处理只是基础。随着边缘计算的发展,云端的模型应用已经具备在边缘端运行的条件。设备上报数据到云端处理的传统物联网结构也正在慢慢向“边云融合”的架构融合发展。

为什么边缘计算会在物联网的场景下发挥这么重要的价值呢,对于应用开发者来说,端上开发有以下几个难点:

1、端上的环境非常复杂,端上适配难。主要的通信芯片厂家有40多家,主要的控制芯片厂家有20多家,就算是最近刚兴起的AI芯片主要厂家也已经有10多家,与芯片适配的片上系统也非常复杂,所以端上适配模型就变得很困难。

2、管理海量设备和应用分发难。边缘计算的场景,不仅仅是设备管理和上传数据,大量的应用都是在云端完成训练和开发,需要同时分发到各个边缘侧,那就要有一个稳定的分发体系来保障。

通过“边”和“云”的协同,实现了“数据上行、知识下行”,实现更有层次的企业IT架构,特点如下。

► “云上分发,边缘执行”。边缘计算的云上实现应用开发,通过端云一体框架将应用分发到边缘执行。边缘计算已经成为物联网云平台的一部分,通过边缘计算,可以降低远传延迟、减少传输流量,并且可以允许数据临时离线,实现数据私有化。

► “云上管理,海量边缘”。在云端基于物联网来进行海量边缘设备的管理,并且可以进行应用配置、应用分发和更新、应用运行监控等。

► “边云协同,数据闭环”。物联网设备的数据上传到云上以后,云上基于海量数据实现应用开发,通过多级应用分发将应用分发到本地运行;本地的应用运行监控又可以将数据传到云端,对应用进行自动调优,调优后的模型又可以自动分发到本地。完成数据与应用的闭环。

举个例子,面向电网巡检视频分析场景,通过智能边缘,将机器视觉模型放置在无人机上,可以识别杆塔是否需要维护,通过端云一体,可以将可用样本回传到云端进行模型优化,并且远程升级优化。既降低了视频的远传带宽成本,也减少了人工作业,保障工作人员安全。 

小结:迎接开局之年 

2019年是泛在电力物联网建设“三年攻坚”战略突破期的开局之年,我们相信随着泛在物联网的应用建设的不断加快,基于时序数据+边缘计算的技术将渗透到电力用户、电网企业、发电企业的各类应用中,为全行业和更多市场主体创造更大的机遇。

百度智能云也将推进解决方案的落地,与业内共建生态圈,助力泛在电力物联网的建设。