DQZHAN技術訊：大數(shù)據(jù)分析技術在采集運維業(yè)務中的應用研究

摘要： 近年來，隨著用電信息采集系統(tǒng)的大力推廣，用電信息采集規(guī)模日漸龐大，數(shù)據(jù)深化應用不斷加強，對系統(tǒng)的運行維護工作也隨之擴大，迫切的運維需求與落后的運維能力不匹配等問題逐漸凸顯出來。 文章提出運用大數(shù)據(jù)多維分析技術，從異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質量評價 3 方面入手，對整體采集運維工作進行優(yōu)化，從而提升整體運維效率和質量，提高管理水平。

關鍵詞： 采集運維; 大數(shù)據(jù); 多維度; 智能化

0引言

用電信息采集系統(tǒng)建設已經(jīng)接近尾聲，目前累計接入智能電能表 4.2 億只、采集終端 1 263.84 萬臺，覆蓋用戶 3.86 億戶 [1]，因此，如何保證采集系統(tǒng)中各項業(yè)務的順利開展，將是今后要解決的主要問題。 采集運維業(yè)務中主要存在如下問題。

1)缺乏故障處理優(yōu)先級，運維效率低下。 各省電力公司平均每天產(chǎn)生 10 000 條異常工單，遠遠超過目前配備運維人員的工作能力。 大部分公司沒有制定合理的消缺機制，無法依據(jù)故障的緊急程度和重要等級開展運維業(yè)務 [2]。

2)故障種類復雜多樣，故障分析定位困難。 用電信息采集系統(tǒng)涉及的運維對象有： 智能電能表、采集終端、采集主站、本地通信信道和遠程通信信道 [3]。

目前統(tǒng)計的異?，F(xiàn)象共七大類59 種， 故障原因98 種。 故障分析定位非常困難，普通的運維人員通常不具備定位故障原因并確定消缺方案的技術能力。

3)缺少有效的考核評價體系。 目前采集運維工作大多采用“故障查詢 – 線下派工” 的模式，缺少運維結果和故障信息的反饋環(huán)節(jié)。 采集設備、計量設備、現(xiàn)場運維工作質量等方面均缺乏相關的考核評價體系，無法進一步提高運維工作質量 [4]。

為了解決以上問題，本文從采集運維業(yè)務中工單智能派發(fā)、智能分析處理和多維度質量評價 3 個角度介紹了大數(shù)據(jù)分析技術在采集運維業(yè)務中的應用。

1采集運維大數(shù)據(jù)系統(tǒng)模型

1.1大數(shù)據(jù)分析關鍵技術

大數(shù)據(jù)在采集系統(tǒng)中的應用包括數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)解讀和數(shù)據(jù)應用 6 個環(huán)節(jié) [5]，本文針對數(shù)據(jù)分析環(huán)節(jié)中，引入關系型聯(lián)機分析處理機制和多維分析技術進而優(yōu)化整個系統(tǒng)進行論述。

1) 關 系 型 聯(lián) 機 分 析 處 理(Relational Online Analytical Processing， ROLAP)。 關系型聯(lián)機分析處理是聯(lián)機分析處理(OLAP)的一種形式。 這種技術基于關系型數(shù)據(jù)庫，以關系型結構進行多維數(shù)據(jù)的表示和存儲，對存儲在關系數(shù)據(jù)庫(而非多維數(shù)據(jù)庫)中的數(shù)據(jù)作動態(tài)多維分析。 使用關系數(shù)據(jù)庫管理 系 統(tǒng)(Relational Database Management System，RDBMS)存儲數(shù)據(jù)，數(shù)據(jù)文件大小受 RDBMS 限制;數(shù)據(jù)裝載速度快; 存儲空間耗費小; 維度數(shù)沒有限制;可以通過 SQL 對數(shù)據(jù)進行處理 [6]。

2)多維聯(lián)機分析處理(Multidimensional OnLine Analytical Processing， MOLAP)。 多維聯(lián)機分析處理是 OLAP 的另一種形式，基于專門的多維分析數(shù)據(jù)存儲結構。 MOLAP 使用專有多維結構存儲

數(shù)據(jù)，數(shù)據(jù)文件大小可能受到操作系統(tǒng)平臺文件大小限制，難以達到 TB 級; 規(guī)劃存儲時需要對數(shù)據(jù)量進行預測算，否則可能導致數(shù)據(jù)爆炸; 數(shù)據(jù)裝載速度慢; 維數(shù)有限，無法支持維的動態(tài)變化; 缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標準; 分析查詢響應速度高于其他傳統(tǒng) OLAP 技術，支持高性能的輔助決策計算 [7]。

1.2大數(shù)據(jù)運維業(yè)務架構

該業(yè)務架構收集采集、營銷和運維數(shù)據(jù)，通過數(shù) 據(jù) 抽 取 轉 換 加 載(Extraction-TransformationLoading， ETL)層對數(shù)據(jù)進行分類適配，向數(shù)據(jù)存儲層提供數(shù)據(jù)，數(shù)據(jù)存儲層對數(shù)據(jù)進行分類存儲后向數(shù)據(jù)分析層提供所需數(shù)據(jù)。 數(shù)據(jù)分析層對數(shù)據(jù)進行優(yōu)化、數(shù)據(jù)檢索，為應用層的異常工單智能派發(fā)、異常工單智能處理及采集運維多維度質量評價提供數(shù)據(jù)支撐。 大數(shù)據(jù)運維業(yè)務架構示意如圖 1 所示。

數(shù)據(jù)源主要實現(xiàn)從采集主站、營銷系統(tǒng)和采集運維閉環(huán)系統(tǒng)獲取所需數(shù)據(jù)，如用戶檔案、采集成功 率和異常工單等數(shù)據(jù)。

數(shù)據(jù)ETL層的主要功能是使用ETL工具對數(shù)據(jù)源數(shù)據(jù)進行抽取、清洗、轉換，并向數(shù)據(jù)存儲層裝載。

數(shù)據(jù)存儲層采取混合型的大數(shù)據(jù)存儲和處理架構，實現(xiàn)對多源異構電力大數(shù)據(jù)的多樣性存儲和處理功能。 混合存儲可適應分布式文件系統(tǒng)、列式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等多種數(shù)據(jù)存儲和管理形式，以滿足不同應用的需求; 處理架構分別面向離線分析、實時計算、計算密集型數(shù)據(jù)分析等場景，采用分布式批處理、內(nèi)存計算、高性能計算等技術實現(xiàn) [8]。

數(shù)據(jù)分析層實現(xiàn)應用系統(tǒng)的基礎功能，如分析模型管理、批量計算、實時查詢等功能。 在數(shù)據(jù)分析層和數(shù)據(jù)處理層之間采用支持高并發(fā)、低時延事務操作的分布式內(nèi)存數(shù)據(jù)緩存技術，以降低業(yè)務應用操作與數(shù)據(jù)處理層之間的耦合性，提高應用服務響應效率 [9]。

應用層構建異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質量評價 3 項業(yè)務，實現(xiàn)采集運維閉環(huán)管理的業(yè)務功能。 采用模塊化軟件設計方法實現(xiàn) 3 個模塊功能的即插即用，并在充分考慮模塊之間的信息聯(lián)絡及功能聯(lián)合的基礎上，遵循規(guī)范的接口，實現(xiàn)模塊之間的功能融合，從而實現(xiàn) 3個業(yè)務模塊之間既可獨立運行，又可協(xié)作互補。

2大數(shù)據(jù)運維優(yōu)化方案

2.1異常工單智能化派發(fā)應用

目前，異常工單主要由采集運維人員人工派發(fā)，本文在研究了大量文獻 [10-12] 后發(fā)現(xiàn)： 人工派發(fā)工單

的問題在于不能充分對現(xiàn)場情況的緊急程度有合理的判斷，并且在異常工單大量產(chǎn)生時，對于工單的消

缺沒有合理的先后順序，從而導致須緊急處理的故障不能在*短時間內(nèi)修復，導致更大的經(jīng)濟損失。

本章提出對大量運維數(shù)據(jù)和系統(tǒng)歷史數(shù)據(jù)進行多維度分析，甄別各類異常的嚴重程度，輸出采集運維效用值模型，用于判斷異常處理的先后次序，逐步提升異常工單處理的完成率和工作成效的可控性，從而進一步提高采集系統(tǒng)設備可用率和數(shù)據(jù)完整性。

2.1.1 基于多維分析的采集運維效用值模型

對于單個表計效用值來說，主要有： 離下一抄表日天數(shù)、異常持續(xù)時間和月平均用電量 3 方面影響。

總體工單效用是該工單所包含的故障電表效益和的累加，即“故障電能表數(shù)量” 產(chǎn)生的影響。 將這些因素綜合考慮得出具體公式。

2.1.2 采集運維效用值模型應用

依據(jù) 2016 年 1 月 1 日至 5 月 31 日某省 24 907 294 戶低壓用戶每日采集成功率、抄表數(shù)據(jù)和 2016 年 3 月 1 日至 5 月 31 日采集異常運維數(shù)據(jù)，對共計 1 417 869 條數(shù)據(jù)、42 536 070 個數(shù)據(jù)項進行分析 [13]，數(shù)據(jù)項包括所屬地區(qū)、管理單位、供電單位、臺區(qū)編號、采集點編號、各類異常處理時限、應采電能表總數(shù)、采集成功率、各類采集模式下集中器掛接表計分布數(shù)量、臺區(qū)月電量、居民 / 非居用戶日平均電量等。

1)月平均用電量分析。 在對系統(tǒng)數(shù)據(jù)的分析過程中發(fā)現(xiàn)，如果僅使用電量作為效用值的單位，*后計算出的數(shù)值比較大，因此在整體模型中引入“標準月用電量” 作為*后數(shù)值單位。 標準用電戶電量是在抽取大部分用戶的實際用電情況基礎上統(tǒng)計出各類用戶的月平均用電量，然后依據(jù)用戶*多類型的用電戶的平均電量為標準用電戶電量。 以居民用戶和非居民單相表用戶月用電量為標準戶電量分界點：≤ 200 kWh 為 1 戶標準戶，大于 200 kWh 且小于等于 1 000 kWh 為 2 戶標準戶， >1 000 kWh 為 3 戶標準戶。

2)異常持續(xù)時間分析。 系統(tǒng)基于每個電表的故障異常每持續(xù)**就會造成**電量監(jiān)控損失，其電量監(jiān)控損失按照累加方式進行計算。 對 2016 年5 月 10 000 戶居民和非居民的日用電量進行分析，其情況如下： 隨機挑選 10 000 戶居民用電情況，計算日用電量標準偏差，并從小到大排列，得出曲線圖(見圖 2)。

根據(jù)曲線拐點，其電量標準偏差值為17，小于17 的用戶數(shù)占總數(shù)的 92%。 隨機挑選 10 000 戶非居民用電情況，計算日用電量標準偏差，并從小到大排列，得出曲線圖(見圖 3)。

根據(jù)曲線拐點，其電量標準偏差值為147，小于147 的用戶數(shù)占總數(shù)的 88.75%。

由以上圖可知，90% 左右的用戶日均電量波動小，故本文暫時以 1 個月內(nèi)的日平均電量作為故障

天數(shù)造成的單日損失監(jiān)控電量。 為了能夠更準確的預估指定用戶當前月的用電量，參考該用戶上一年 同月份用電量、上一個月用電量和前 3 日用電量，它們之間的比例是 5:2:3。 電量標準偏差值如公式 6 ;綜合考慮后異常持續(xù)時間的效用值如公式4 和5。

3)距離下一抄表日天數(shù)分析。 距離下一抄表日越近，該用戶損失監(jiān)控電量的概率越大，故障維修緊急度越高，當距離抄表時間遠時，該因數(shù)影響趨于零。 這里將系統(tǒng)中所有故障電表的故障處理時長作為距離下一抄表日因數(shù)影響的閾值。 距離天數(shù)超過閾值的，該因數(shù)影響為 0，距離天數(shù)在閾值內(nèi)越小，其監(jiān)控電量的缺省值越大。 故障時長統(tǒng)計截止于2016 年 6 月 1 日，統(tǒng)計持續(xù) N 天無抄電能表數(shù)據(jù)的電能表數(shù)分布情況(見圖 4)

從圖中可以看出持續(xù) 2~8 天的故障電表用戶占總故障用戶數(shù)的 59.06%，持續(xù) 9~21 天無抄電能表數(shù)據(jù)的用戶占總故障用戶數(shù)的 30.72%，持續(xù) 22 天及以上占比 10.22%，。

由于抄表應用目前在采集系統(tǒng)應用率*高，持續(xù) 2~8 天無抄電能表數(shù)據(jù)的用戶占總故障用戶數(shù)的 59.06%，故從離抄表天數(shù) 8 天作為開始計算抄表日影響的閾值，離抄表日 8 天效用值為 1，離抄表日7 天效用值為 2，以此類推，離抄表日 1 天效用值為8。 則緊急程度 s(xi) 的數(shù)學模型如公式 3。

4)故障電能表數(shù)量效用值分析。 對該省采集系統(tǒng)內(nèi) 5 個月產(chǎn)生的全部采集異常的電能表數(shù)及處理時長統(tǒng)計分析后發(fā)現(xiàn)，在運維時輸出效用值需要考慮掛載故障電能表數(shù)，否則不能達到運維效用的*大化。 但系統(tǒng)通過分析各個處理工單下所有故障電表的效用值總和來判斷其優(yōu)先級，效用值高的工單優(yōu)先處理。 總體效用值 (Y) 模型見公式 1。

2.2異常工單智能化分析處理

原來的采集運維工作由于缺乏系統(tǒng)大數(shù)據(jù)的支撐，在研究了大量文獻和現(xiàn)場調研后發(fā)現(xiàn)，運維人員僅通過對所屬地區(qū)的熟悉程度進行相對低效率的運維工作，缺乏對已發(fā)生故障的預分析能力，這導致運維人員僅能對現(xiàn)場故障類型進行逐個排查。 借鑒了前人研究 [14] 并引入對歷史異常工單大數(shù)據(jù)分析技術后，運維人員可通過系統(tǒng)的異常預分析功能更快地判斷現(xiàn)場故障原因，從而提高現(xiàn)場運維效率。

本章通過對歷史工單進行多維度、大批量數(shù)據(jù)分析，歸納數(shù)據(jù)規(guī)律，發(fā)現(xiàn)各維度下異常工單發(fā)生大概率的異常原因，并綜合考慮各維度下相同異常原因發(fā)生概率，輸出單個異常原因概率比值，對比各個異常原因比值的大小，從而對未來發(fā)生類似故障現(xiàn)象起到預分析作用，提升運維效率。

2.2.1 基于多維度分析異常原因概率比值

2.2.2 異常原因概率比值應用

通過對某個運維地區(qū) 1 個月 1 712 個歷史異常工單的故障設備類型”、生產(chǎn)廠家和“國網(wǎng)招標批次3 個維度的分類篩選，運用單個異常原因概率比值概念對該地區(qū)新產(chǎn)生集中器與主站無通信故障進行故障原因分析。

1)基于設備類型異常分析。 該地區(qū)與集中器和主站無通信時有關的歷史工單共有 761 條。 集中器發(fā)生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為32.82%、28.21% 和 12.82%，且該地區(qū)集中器 GPRS模塊故障偏多。

2)基于設備生產(chǎn)廠家異常分析。 該故障集中器為“某廠家” 生產(chǎn)設備，與其有關的工單共有 350 條。

發(fā)生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為51.43%、13.71% 和 16.00%，且該廠家集中器 GPRS模塊故障偏多。

3)基于國網(wǎng)招標批次異常分析。 該故障集中

器為“某批次招標” 供貨設備，與之有關的工單共有 243 條?！澳撑握袠恕?集中器發(fā)生無通信故障時很大部分都是由集中器 GPRS 模塊故障、主機故障、軟件故障造成，占比分別為 37.14%、14.29% 和17.14%，且該招標批次集中器 GPRS 模塊故障偏多。

運用異常原因概率比值公式計算后可得： 集中器 GPRS 模塊故障率 =(32.87%+51.43%+37.14%)/3=40.48%; 主機故障率 =(28.21%+13.71%+14.29%)/3=18.74%;

軟件故障率 =(12.82%+16.00%+17.14%)/3=15.32%。

由以上可知該集中器與主站無通信異常工單很可能是由于 GPRS 模塊故障導致，可指導現(xiàn)場運維人員優(yōu)先排查是否為集中器 GPRS 模塊故障。

2.3采集運維多維度質量評價

目前采集運維工作使用大數(shù)據(jù)技術，對終端、電能表和運維服務質量評價沒有有力的數(shù)據(jù)支撐。 借鑒了前人研究 [15] 并引入大數(shù)據(jù)后，可在采集數(shù)據(jù)、營銷數(shù)據(jù)、運維數(shù)據(jù)之間建立橋梁，實現(xiàn)采集運維多維度質量評價。

本章通過對某市級供電單位 217 萬用戶在 2016 年第 2 季度采集運維工單數(shù)據(jù)、采集成功率、采集抄表數(shù)據(jù)、工單歸檔數(shù)據(jù)等數(shù)據(jù)的分析梳理，建立采集終端、電能表、運維服務的質量評價指標計算規(guī)則，驗證采集運維多維度質量評價的可行性。

2.3.1 采集終端產(chǎn)品質量評價

根據(jù)采集運維情況對各終端廠商的終端質量進行量化分析，利用各終端廠商的運行終端數(shù)、確認終端問題數(shù)、異常終端占比、更換終端數(shù)、終端時鐘異常數(shù)等數(shù)據(jù)，建立采集終端產(chǎn)品質量分析評價指標計算規(guī)則如下。

1)終端故障更換率： 終端故障更換率 = 周期內(nèi)更換終端的數(shù)量 ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

2)終端時鐘偏差超標占比： 終端時鐘偏差超標占比 = 周期內(nèi)終端時鐘偏差超過 5 min 的終端數(shù)量 ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

3)各廠家終端故障率： 終端故障率 = 周期內(nèi)終端發(fā)生故障的次數(shù) ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

2.3.2 電能表產(chǎn)品質量評價

根據(jù)采集運維情況對各電表廠商的產(chǎn)品質量進行量化分析，利用各電表廠商的運行電表數(shù)、確認電表問題數(shù)、異常電表占比、更換電表數(shù)、電表時鐘異常數(shù)等數(shù)據(jù)，開展各電表廠商的產(chǎn)品質量分析，建立電能表產(chǎn)品質量分析評價指標計算規(guī)則：

故障更換率 = 周期內(nèi)更換電能表的數(shù)量 ÷ 周期內(nèi)在運行的電能表數(shù)量 ×100%。

2.3.3 采集運維工作質量評價

根據(jù)采集運維情況對各運維人員的工作質量和工作效率進行綜合評價，利用異常處理數(shù)量、異常處理率、異常處理時長等數(shù)據(jù)，對采集運維工作進行評價，建立分析評價指標計算規(guī)則。

1)異常工單派發(fā)率： 異常工單派發(fā)率 = 統(tǒng)計日期內(nèi)派發(fā)工單數(shù) ÷ 當期應派發(fā)的工單總數(shù) ×100%。

2)異常工單反饋率： 異常工單反饋率 = 反饋工單數(shù) ÷ 當期應反饋的工單總數(shù) ×100%。

3)采集故障處理及時率： 采集故障處理及時率 =已處理并恢復的采集故障數(shù) ÷ 當期應處理的采集故障電表總數(shù) ×100%。

3結語

通過引入大數(shù)據(jù)技術，對采集數(shù)據(jù)進行深入挖掘、分析與梳理，實現(xiàn)采集運維異常工單的智能化派發(fā)、分析處理和運維多維度質量評價，能夠使運維工作由粗放式向集約化、精益化轉變，進而提高運維工作效率和質量。

用電信息采集的運維管理是一項龐大而復雜的工作，本文提出的對異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質量評價只是對其中的一部分業(yè)務進行了優(yōu)化應用，后續(xù)還將對采集異常智能化甄別、異常工單智能處理及異常工單智能化派發(fā)進行更深入的實踐與研究，*終為滿足國網(wǎng)營銷部的“全覆蓋、全采集、全費控” 目標要求提供強有力的技術保障。