核心提示：　　智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)宋亞奇'周國亮\朱永利2（1.華北電力大學(xué)控制與計算機學(xué)院，河北省保定市071003；2新能源電力系統(tǒng)國家重點。需要指出的是，鑒于目前云平臺接收智能電網(wǎng)監(jiān)測數(shù)據(jù)的實

　　智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)宋亞奇'周國亮\朱永利2（1.華北電力大學(xué)控制與計算機學(xué)院，河北省保定市071003；2新能源電力系統(tǒng)國家重點。需要指出的是，鑒于目前云平臺接收智能電網(wǎng)監(jiān)測數(shù)據(jù)的實時性不能保證，可以在的數(shù)據(jù)接入與信息集成前面設(shè)置若干前置機，負(fù)責(zé)實時接收通信網(wǎng)中送來的報警信息或監(jiān)測數(shù)據(jù)，并在云平臺不能響應(yīng)時負(fù)責(zé)暫存。

　　智能電網(wǎng)各類應(yīng)用生產(chǎn)控制系統(tǒng)電力經(jīng)營管理電力營狀態(tài)檢風(fēng)險評銷系統(tǒng)測系統(tǒng)估系統(tǒng)任務(wù)管理、調(diào)度與監(jiān)控Hadoop云計算系統(tǒng)并行數(shù)據(jù)倉庫實時數(shù)據(jù)庫數(shù)據(jù)接入與信息集成智能電網(wǎng)大數(shù)據(jù)多級存儲系統(tǒng)另外，智能電網(wǎng)中的數(shù)據(jù)格式與傳統(tǒng)商業(yè)數(shù)據(jù)具有很大的不同，擁有自己的特點。比如在故障錄波及輸變電設(shè)備狀態(tài)監(jiān)測中，波形數(shù)據(jù)較多，而波形數(shù)據(jù)與傳統(tǒng)商業(yè)數(shù)據(jù)具有本質(zhì)的不同，具有數(shù)據(jù)生成速度快等特點。因此需要研究面向智能電網(wǎng)大數(shù)據(jù)存儲的格式，從而有利于后續(xù)的數(shù)據(jù)分析和計算。

　　智能電網(wǎng)環(huán)境下各類數(shù)據(jù)異構(gòu)，不能用已有的簡單數(shù)據(jù)結(jié)構(gòu)來描述，而計算機算法在處理復(fù)雜結(jié)構(gòu)數(shù)據(jù)方面相對低效，但處理同質(zhì)的數(shù)據(jù)則非常高效。因此，如何將數(shù)據(jù)組織成合理的同質(zhì)結(jié)構(gòu)，是大數(shù)據(jù)存儲處理中的一個重要問題。另外，智能電網(wǎng)中存在大量的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，如何將這些數(shù)據(jù)轉(zhuǎn)化為一個結(jié)構(gòu)化的格式，是一項重大挑戰(zhàn)。

　　3.2實時數(shù)據(jù)處理技術(shù)3.2.1數(shù)據(jù)處理的時效性對大數(shù)據(jù)而言，數(shù)據(jù)處理速度十分重要。一般情況下，數(shù)據(jù)規(guī)模越大，分析處理的時間就會越長。

　　傳統(tǒng)的數(shù)據(jù)存儲方案是為一定大小的數(shù)據(jù)量而設(shè)計的，在其設(shè)計范圍內(nèi)處理速度可能非常快，但不能適應(yīng)大數(shù)據(jù)的要求。未來智能電網(wǎng)環(huán)境下，從發(fā)電、輸變電環(huán)節(jié)，到用電環(huán)節(jié)，都需要實時數(shù)據(jù)處理。目前的云計算系統(tǒng)可以提供快速的服務(wù)，但有可能會受到短暫的網(wǎng)絡(luò)擁塞，甚至是單臺服務(wù)器故障的影響，而不能保證響應(yīng)時間。

　　基于內(nèi)存的數(shù)據(jù)庫越來越受到關(guān)注。內(nèi)存數(shù)據(jù)庫就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級，將數(shù)據(jù)保存在內(nèi)存中比從磁盤上訪問能夠極大地提高應(yīng)用的性能。目前電力系統(tǒng)已經(jīng)開始使用內(nèi)存數(shù)據(jù)庫，以提高實時性。例如，針對去年我國部分地區(qū)出現(xiàn)用電荒，而另一部分地區(qū)呈現(xiàn)電能過剩的狀態(tài)，SAP推出了基于HANA內(nèi)存數(shù)據(jù)庫的智能電表分析解決方案，希望能夠?qū)⒅悄茈娋W(wǎng)涉及的環(huán)節(jié)和電力大用戶的數(shù)據(jù)進行集成和整合分析，以實現(xiàn)各地電能消費情況的分析，以做好相應(yīng)的預(yù)防措施。

　　在大數(shù)據(jù)集中進行關(guān)鍵字的查詢也是一個重要挑戰(zhàn)。通過對整個數(shù)據(jù)集進行掃描來找到符合要求的記錄的方法顯然不可行，即使通過類似MapReduce這樣的并行處理技術(shù)加快掃描，也不是很合理。而通過事先為數(shù)據(jù)建立索引結(jié)構(gòu)來幫助查找是一種比較快速同時節(jié)省系統(tǒng)資源的方法。目前一般索引結(jié)構(gòu)的設(shè)計僅支持一些簡單數(shù)據(jù)類型，大數(shù)據(jù)則要求為復(fù)雜結(jié)構(gòu)數(shù)據(jù)建立合適的索引結(jié)構(gòu)，這也是一個巨大的挑戰(zhàn)。例如，物聯(lián)網(wǎng)采集的多維數(shù)據(jù)，其數(shù)據(jù)量不斷增長，同時對查詢時限有要求，需要不斷更新索引結(jié)構(gòu)，索引的設(shè)計就非常具有挑戰(zhàn)性。下面分別從發(fā)電、輸變電和用電環(huán)節(jié)分析智能電網(wǎng)大數(shù)據(jù)在數(shù)據(jù)處理方面帶來的挑戰(zhàn)。

　　3.2.2發(fā)電環(huán)節(jié)發(fā)電企業(yè)的特點是生產(chǎn)過程連續(xù)、自動化程度高，要求全過程的實時監(jiān)控、高速的實時數(shù)據(jù)處理、長期的歷史數(shù)據(jù)存儲以及生產(chǎn)信息的集成與共享。有研究表明，正常運行的SCADA系統(tǒng)接收到監(jiān)測數(shù)據(jù)延時如果超過50 ms，就會導(dǎo)致錯誤的控制策略；還有研究表明，SCADA系統(tǒng)在使用Internet環(huán)境下最普遍的TCP/IP協(xié)議時出現(xiàn)故障，主要原因是TCP協(xié)議在進行流量控制和數(shù)據(jù)糾錯，而造成數(shù)據(jù)延遲。未來的智能電網(wǎng)解決方案將需要實時響應(yīng)，即使出現(xiàn)節(jié)點故障的情況。目前的關(guān)系數(shù)據(jù)庫系統(tǒng)和云計算系統(tǒng)被設(shè)計為是處理永久、穩(wěn)定的數(shù)據(jù)。關(guān)系數(shù)據(jù)庫強調(diào)維護數(shù)據(jù)的完整性、一致性；云計算系統(tǒng)強調(diào)可靠性和可擴展性，但很難顧及有關(guān)數(shù)據(jù)及其處理的定時限制，不能滿足工業(yè)生產(chǎn)管理實時應(yīng)用的需要。

　　3.2.3輸變電環(huán)節(jié)狀態(tài)監(jiān)測對數(shù)據(jù)存儲與處理平臺的性能或?qū)崟r性具有較高的要求，而云計算技術(shù)雖然可以有效地處理大數(shù)據(jù)，但需要進一步提升云平臺對海量監(jiān)測數(shù)據(jù)的存取性能，以滿足實時性的要求。以往的大規(guī)模停電事故，最初是由一些環(huán)境因素引起的，比如大風(fēng)導(dǎo)致的線路跳閘等。現(xiàn)有SCADA系統(tǒng)的監(jiān)控范圍僅限于系統(tǒng)的主參數(shù)，對構(gòu)成系統(tǒng)的各重要設(shè)備的健康狀況的信息缺失，致使運行人員在事故面前難以做出正確的處理。未來智能電網(wǎng)要求具有故障自愈功能，其SCADA系統(tǒng)須擁有全網(wǎng)的監(jiān)測數(shù)據(jù)，需要將電力設(shè)備的狀態(tài)數(shù)據(jù)納入其中，這對平臺的實時處理提出了更高的要求。

　　新型綠色能源發(fā)電功率的不穩(wěn)定造成電網(wǎng)的波動，對整個電網(wǎng)調(diào)度形成很大的壓力。目前電網(wǎng)調(diào)度與控制模型不能夠處理這種大量的小型發(fā)電系統(tǒng)產(chǎn)生的波動和不可預(yù)知的行為。最新的研究表明，為支持這種情況，需要創(chuàng)建一種新型的電網(wǎng)狀態(tài)監(jiān)控系統(tǒng)，能夠更加細(xì)粒度地跟蹤電網(wǎng)實時狀態(tài)。因此未來的SCADA系統(tǒng)需要實時處理比目前多幾個數(shù)量級的監(jiān)控數(shù)據(jù)。

　　3.2.4用電環(huán)節(jié)未來智能電網(wǎng)環(huán)境下，家庭可能配備多種電能、電量監(jiān)測設(shè)備，用以實現(xiàn)低成本的用電，并與電網(wǎng)的負(fù)載相匹配。例如，電熱水器可能會選擇夜間這種用電量低谷時段運行；空調(diào)會根據(jù)用戶舒適度、電價以及電網(wǎng)負(fù)荷等參數(shù)實時自動調(diào)整。某種程度上，我們可以認(rèn)為SCADA系統(tǒng)進入了普通家庭，用電環(huán)節(jié)的實時數(shù)據(jù)處理變得越來越重要。

　　3.3異構(gòu)多數(shù)據(jù)源處理技術(shù)3.3.1異構(gòu)信息的整合未來智能電網(wǎng)要求貫通發(fā)電、輸電、變電、配電、用電、調(diào)度等多個環(huán)節(jié)，實現(xiàn)信息的全面采集、流暢傳輸和高效處理，支撐電力流、信息流、業(yè)務(wù)流的高度一體化。因此，首要功能是實現(xiàn)大規(guī)模多源異構(gòu)信息的整合，為智能電網(wǎng)提供資源集約化配置的數(shù)據(jù)中心。針對海量異構(gòu)數(shù)據(jù)，如何構(gòu)建一個模型來對其進行規(guī)范表達，如何基于該模型來實現(xiàn)數(shù)據(jù)融合，以及對其進行有效的存儲和高效查詢是亟需解決的問題。

　　電網(wǎng)各信息系統(tǒng)大多是基于本業(yè)務(wù)或本部門的需求，存在不同的平臺、應(yīng)用系統(tǒng)和數(shù)據(jù)格式，導(dǎo)致信息與資源分散，異構(gòu)性嚴(yán)重，橫向不能共享，上下級間縱向貫通困難，例如：電力系統(tǒng)中存在監(jiān)控、能量管理、配電管理、市場運營等各類信息系統(tǒng)，大多相互獨立，數(shù)據(jù)信息不能共享。使用云平臺實現(xiàn)各獨立系統(tǒng)的集成，可實現(xiàn)這些分散孤立系統(tǒng)之間的信息互通。

　　另外，智能電網(wǎng)的基礎(chǔ)設(shè)施規(guī)模龐大，數(shù)量眾多且分布在不同地點。例如：國家電網(wǎng)公司的信息化平臺在公司總部與各個網(wǎng)省公司建立2級數(shù)據(jù)中心，實現(xiàn)公司總部、網(wǎng)省公司、地市縣公司的3層應(yīng)用。如何有效管理這些基礎(chǔ)設(shè)施、減少數(shù)據(jù)中心的運營成本是一個巨大的挑戰(zhàn)。

　　3.3.2各類電網(wǎng)數(shù)據(jù)的高效管理在智能電網(wǎng)異構(gòu)多源信息融合和管理中，建立61970的信息互操作模型是很有必要的。由于智能電網(wǎng)中的數(shù)據(jù)類型比IEC61850所涉及的類型要多，所以應(yīng)用多層知識結(jié)構(gòu)和語義的方法、建立面向領(lǐng)域的分析模型與基于語義的服務(wù)模型是一種可選的方法。綜合運用統(tǒng)計學(xué)習(xí)、支持向量機、相關(guān)向量機和關(guān)聯(lián)規(guī)則挖掘等理論，研究異構(gòu)數(shù)據(jù)融合與挖掘的集成方案以及實時挖掘算法。由于設(shè)備狀態(tài)的劣化是一個由量變到質(zhì)變的過程，像多年積累的油色譜這樣的時序數(shù)據(jù)的挖掘更有意義，目前這種大數(shù)據(jù)挖掘雖有一些研究成果，但實用化程度不高。

　　3.4大數(shù)據(jù)可視化化分析技術(shù)面對海量的智能電網(wǎng)數(shù)據(jù)，如何在有限的屏幕空間下，以一種直觀、容易理解的方式展現(xiàn)給用戶，是一項非常有挑戰(zhàn)性的工作。可視化方法已被證明為一種解決大規(guī)模數(shù)據(jù)分析的有效方法，并在實踐中得到廣泛應(yīng)用。智能電網(wǎng)各類應(yīng)用產(chǎn)生的大規(guī)模數(shù)據(jù)集，其中包含高精度、高分辨率數(shù)據(jù)，時變數(shù)據(jù)和多變量數(shù)據(jù)等。一個典型的數(shù)據(jù)集可達TB數(shù)量集。如何從這些龐大復(fù)雜的數(shù)據(jù)中快速而有效地提取有用的信息，成為智能電網(wǎng)應(yīng)用中的一個關(guān)鍵技術(shù)難點。可視化通過一系列復(fù)雜的算法將數(shù)據(jù)繪制成高精度、高分辨率的圖片，并提供交互工具，有效利用人的視覺系統(tǒng)，并允許實時改變數(shù)據(jù)處理和算法參數(shù)，對數(shù)據(jù)進行觀察和定性及定量分析。

　　這方面的挑戰(zhàn)主要包括可視化算法的可擴展性、并行圖像合成算法、重要信息的提取和顯示等方面。

　　4結(jié)論未來的智能電網(wǎng)將是依托大數(shù)據(jù)處理分析技術(shù)的全景實時電網(wǎng)。云計算為這種異構(gòu)且多樣化的數(shù)據(jù)提供了存儲和分析的平臺。平臺運行一段后必然產(chǎn)生大數(shù)據(jù)，云平臺和大數(shù)據(jù)分析將會為電力設(shè)備的狀態(tài)檢修、電網(wǎng)自愈、孤立信息系統(tǒng)的互通提供支持，并成為重要的候選方案，具有低成本、好的系統(tǒng)擴展性（存儲容量無限）、高可靠性、并行分析等優(yōu)勢，在國際上已有幾例系統(tǒng)投入實際運行，但在實時性、數(shù)據(jù)一致性、隱私性和安全性方面仍有不少的挑戰(zhàn)，需要找出相應(yīng)的解決方法。大數(shù)據(jù)的處理技術(shù)還很欠缺，有待人們?nèi)ヌ剿鳌?/div>