- 相關(guān)推薦
基于數(shù)據(jù)庫管理的D5000系統(tǒng)數(shù)據(jù)管理技術(shù)
基于數(shù)據(jù)庫管理的D5000系統(tǒng)數(shù)據(jù)管理技術(shù)
引言
以特高壓、三華聯(lián)網(wǎng)[1]為代表的智能電網(wǎng)飛速發(fā)展,國家電網(wǎng)公司集約化、扁平化管理[2]的快速推進,計算機、通信技術(shù)的長足進步[3—5],推動了智能電網(wǎng)調(diào)度控制系統(tǒng)(簡稱“D5000系統(tǒng)”)的研發(fā)和推廣。
D5000系統(tǒng)體系架構(gòu),橫向上將原來多套獨立系統(tǒng)集成為分布在Ⅰ/Ⅱ/Ⅲ區(qū)的四大類應(yīng)用,縱向上貫穿各級調(diào)度[6]。原各個孤立系統(tǒng)的數(shù)據(jù)管理技術(shù)無法適應(yīng)這種架構(gòu)。各級調(diào)度間信息共享,需要信息安全保障,原孤立系統(tǒng)數(shù)據(jù)管理不具備這樣的功能。橫向集成、縱向貫通的體系架構(gòu)要求全局信息的支撐能力提升;數(shù)據(jù)規(guī)模急劇增加,原有孤立系統(tǒng)的數(shù)據(jù)管理無法應(yīng)對這種數(shù)據(jù)規(guī)模,也無法達到應(yīng)用協(xié)同所需的效率。因而亟需開發(fā)適應(yīng)D5000系統(tǒng)需求的數(shù)據(jù)管理技術(shù)。
D5000系統(tǒng)數(shù)據(jù)管理基于面向服務(wù)的總線,借助安全防護技術(shù),包含實時數(shù)據(jù)庫(簡稱實時庫)、商用關(guān)系數(shù)據(jù)庫(簡稱商用庫)、時間序列內(nèi)存庫(簡稱時序內(nèi)存庫)、時間序列文件庫(簡稱時序文件庫)和集中管理文件幾類數(shù)據(jù)服務(wù)。
文獻[7]提出基于商用庫的數(shù)據(jù)中心,將各種數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)中心,實現(xiàn)多套系統(tǒng)信息共享,該方式中間環(huán)節(jié)多,維護工作量大,定制性強,是早期缺乏統(tǒng)一平臺的數(shù)據(jù)共享方式。文獻[8—10]提出了通過資源集中、虛擬化、HBase等云技術(shù)的信息中心方案;文獻中將大機虛擬化成小機的方式和D5000系統(tǒng)將多臺服務(wù)器協(xié)作出一臺大機工作效能的研究方向思路不同;文獻 中提 到 的 基 于 “關(guān) 鍵 字—數(shù) 值”(Key—Value)的HBase,其性能無法滿足D5000系統(tǒng)實時處理、在線計算的要求,無法進行多條件檢索和聯(lián)合查詢;文獻中提到的Map/Reduce并行處理方式,須借助于文件交換,處理批處理任務(wù),難以滿足以信息實時處理為主的D5000系統(tǒng)。文獻[11]將商 用 庫 封 裝 成 電 力 市 場 數(shù) 據(jù) 管 理 平 臺。文 獻[12—13]介紹了采用拼接方式構(gòu)建的模型管理平臺;文獻[14—15]介紹了生產(chǎn)控制大區(qū)與管理信息大區(qū)內(nèi)、外數(shù)據(jù)平臺間的數(shù)據(jù)采集、存儲、交換、共享、加工等方面的研究內(nèi)容;文獻[16]對變電站數(shù)據(jù)中心進行了研究;但文獻[11—16]均不涉及底層數(shù)據(jù)管理研究,而是數(shù)據(jù)管理之上數(shù)據(jù)使用層面的研究。文獻[17]實現(xiàn)了參照公共信息模型(CIM)的對象實時庫原型,但工程化考慮不足,文獻提供的性能數(shù)據(jù)無法滿足電網(wǎng)調(diào)度控制系統(tǒng)要求。文獻[18]介紹了一種層次性實時庫,其實現(xiàn)方式采用了和本文所提實時庫不同的技術(shù)路線。文獻[19]介紹了一種可擴展標(biāo)記語言(XML)數(shù)據(jù)庫,但性能不高,未見工程應(yīng)用。文獻[17—19]中的實時庫均不支持橫向集成、縱向貫通架構(gòu)。文獻[20]介紹了D5000系統(tǒng)實時庫的部分技術(shù)。文獻[21]是D5000系統(tǒng)實時庫技術(shù)基礎(chǔ)上的深化研究。文獻[22]研究了電廠監(jiān)控系統(tǒng)使用時序庫的方法、時序庫在電網(wǎng)廣域測量系統(tǒng)(WAMS)中的使用[23]、時序庫的備份方式[24],但均未涉及時序內(nèi)存庫、時序文件庫實現(xiàn)技術(shù)。
Google設(shè)計了基于GFS(Google file system)的分布式存儲系統(tǒng)BigTable[25],為用戶提供簡單的數(shù)據(jù)服務(wù),客戶可以動態(tài)控制數(shù)據(jù)的分布和格式。
BigTable以行名、列名、時間戳建立索引,適用于特定的應(yīng)用環(huán)境。
Amazon提供了基于Dynamo基礎(chǔ)存儲架構(gòu)的簡單存儲服務(wù) (simple storage service,S3)[26],它以“桶”為容器、通過“鍵”查找“對象”,提供簡單、易用、低成本的數(shù)據(jù)管理方式。這兩種數(shù)據(jù)管理方式較好地適應(yīng)了非結(jié)構(gòu)化數(shù)據(jù)的特點,都能管理PB級別的數(shù)據(jù),具備良好的可擴展性,能夠很好地適用于電子商務(wù)、信息分析等數(shù)據(jù)量特別龐大,數(shù)據(jù)處理較為簡單,對響應(yīng)速度要求不高的業(yè)務(wù)。
其 他 的 非 結(jié) 構(gòu) 化 數(shù) 據(jù) 平 臺 諸 如Yahoo的PNUTS[27]、阿 里 云 的 開 放 數(shù) 據(jù) 處 理 服 務(wù)(ODPS)[28]等均具有類似特點。然而這些數(shù)據(jù)存儲管理方式均無法滿足調(diào)度控制系統(tǒng)對實時性的要求,數(shù)據(jù)查詢的靈活性和商用關(guān)系數(shù)據(jù)庫存在明顯差距,在存儲歷史數(shù)據(jù)時也無法達到時序文件庫的效率,難以直接應(yīng)用于以結(jié)構(gòu)化數(shù)據(jù)使用為主的調(diào)度控制系統(tǒng)中。
D5000系統(tǒng)的文件管理是基于服務(wù)總線的大粒度文件集中管理服務(wù),實現(xiàn)方式較為簡潔,本文不詳細介紹。
1 數(shù)據(jù)庫管理的特點
數(shù)據(jù)庫管理中的幾種技術(shù)適合于不同的場景,各具特點,同時也相互協(xié)作配合,相輔相成。
1)實時庫實時庫提供高速的本地訪問接口、遠方服務(wù)訪問接口,具有數(shù)據(jù)定義、存儲、驗證、瀏覽、訪問和復(fù)制等功能,支持?jǐn)?shù)據(jù)關(guān)系描述和檢索,對各種實時、在線類應(yīng)用程序提供數(shù)據(jù)共享和交換手段。實時庫中的模型數(shù)據(jù)來自商用庫按照應(yīng)用檢索的視圖。
2)商用庫商用庫具有結(jié)構(gòu)化、完整性和可靠性的特點。在D5000系統(tǒng)中,商用庫主要用于保存對一致性、可靠性要求很高,而對數(shù)據(jù)讀寫效率要求稍低的場景。商用庫管理的數(shù)據(jù)可分為模型數(shù)據(jù)和歷史數(shù)據(jù),模型數(shù)據(jù)包括數(shù)據(jù)字典、系統(tǒng)運行參數(shù)、電網(wǎng)設(shè)備參數(shù)、電網(wǎng)靜態(tài)拓撲連接信息等。歷史數(shù)據(jù)包括采樣、告警、計劃值、運行數(shù)據(jù)、考核數(shù)據(jù)等。
3)時序內(nèi)存庫時序 內(nèi) 存 庫 用 于 存 儲 諸 如 相 量 測 量 單 元(PMU)動態(tài)檢測這類高頻變化的時間序列數(shù)據(jù),其性能要遠高于下文介紹的時序文件庫,常用作時序文件庫的高速緩存。該數(shù)據(jù)庫采用共享內(nèi)存存儲數(shù)據(jù),并和時序文件庫協(xié)作運行,循環(huán)保存一段時間內(nèi)的數(shù)據(jù),超出時間范圍的數(shù)據(jù)將被后續(xù)數(shù)據(jù)覆蓋。WAMS應(yīng)用下的動態(tài)監(jiān)視、一次調(diào)頻、擾動識別、低頻振蕩等功能均直接使用時序內(nèi)存庫。
4)時序文件庫時序文件庫主要用于存儲較長時期的PMU動態(tài)監(jiān)測數(shù)據(jù)等高頻變化數(shù)據(jù),對于故障期間的數(shù)據(jù)還可永久保存。與穩(wěn)態(tài)數(shù)據(jù)相比,動態(tài)數(shù)據(jù)具有異地同步采樣、帶高精度時標(biāo)、高密度實時傳輸?shù)奶攸c,能精細反映電力系統(tǒng)動態(tài)行為過程,基于動態(tài)數(shù)據(jù)的電網(wǎng)運行動態(tài)監(jiān)視與分析應(yīng)用讓調(diào)度運行部門具備對電力系統(tǒng)低頻振蕩、短路故障、機組跳閘等電力故障行為進行有效監(jiān)測和事后分析能力。海量數(shù)據(jù)的高速采集和分析占用較大的傳輸帶寬和存儲空間,時序文件庫需具備快速壓縮存儲和高效檢索能力。
2 D5000系統(tǒng)對數(shù)據(jù)庫管理的需求
D5000系統(tǒng)對數(shù)據(jù)庫管理整體的要求是滿足橫向集成、縱向貫通架構(gòu),使用安全、可靠,D5000系統(tǒng)對數(shù)據(jù)庫管理方式還各有如下要求。
1)D5000系統(tǒng)對實時庫的要求在橫向集成、縱向貫通體系架構(gòu)下,D5000系統(tǒng)的數(shù)據(jù)規(guī)模遠大于孤立系統(tǒng)的數(shù)據(jù)規(guī)模。在線計算、分析、控制需要實時庫能夠快速讀寫,以適應(yīng)不斷涌現(xiàn)、不斷完善的各類應(yīng)用。要求支持多態(tài)、多應(yīng)用、多模式,應(yīng)用可選擇不同粒度的容器進行反演、仿真、分析計算。實時庫還可以和多源信息結(jié)合,進行信息的按需管理[29]。
2)D5000系統(tǒng)對商用庫的要求在D5000平臺對應(yīng)用廣泛支撐、備用調(diào)度建設(shè)、省地協(xié)作、地縣一體化的背景下,商用庫管理的數(shù)據(jù)規(guī)模成倍增加,尤其是包括數(shù)據(jù)采樣在內(nèi)的歷史數(shù)據(jù)管理將面臨極大壓力,商用數(shù)據(jù)庫及其上的服務(wù)需具備足夠的吞吐量應(yīng)對這樣的數(shù)據(jù)壓力。所選商用庫還需遵循通用數(shù)據(jù)庫訪問接口標(biāo)準(zhǔn)(DCI)以屏蔽不同廠家數(shù)據(jù)庫產(chǎn)品的差異。
3)D5000系統(tǒng)對時序內(nèi)存庫的要求作為時序文件庫的高速緩存,時序內(nèi)存庫需具備高速批量數(shù)據(jù)讀寫能力,能按照時間范圍快速讀寫單點、多點數(shù)據(jù)。
4)D5000系統(tǒng)對時序文件庫的要求電網(wǎng)運行動態(tài)監(jiān)視與分析功能對同步采集數(shù)據(jù)的時間分辨率有非常高的要求。以網(wǎng)級調(diào)度中心為例,主站系統(tǒng)按照200個廠站每秒采集50幀PMU數(shù)據(jù)的規(guī)模,測點數(shù)量超過50 000個,主子站間實時數(shù)據(jù)通信流量超過40Mbit/s,每小時的原始數(shù)據(jù)量超過36G字節(jié),海量數(shù)據(jù)存儲和查詢對數(shù)據(jù)存儲系統(tǒng)帶來巨大壓力。采用高效數(shù)據(jù)壓縮算法存儲電網(wǎng)運行動態(tài)數(shù)據(jù),在保留電網(wǎng)動態(tài)過程原貌的同時,減小數(shù)據(jù)對存儲空間的占用,是動態(tài)監(jiān)視與分析應(yīng)用建設(shè)的關(guān)鍵技術(shù)要求。
3 數(shù)據(jù)庫管理的體系架構(gòu)
數(shù)據(jù)庫 管 理 體 系 架 構(gòu) 可 分 為4個 層 次 (見圖1);A(chǔ) 設(shè) 施 層 包 括 計 算 機 硬 件、安 全 操 作系統(tǒng)。【1】
在基礎(chǔ)設(shè)施之上的是總線層。數(shù)據(jù)庫管理的設(shè)計體 現(xiàn) 了 面 向 服 務(wù) 的 思 想,基 于 面 向 服 務(wù) 架 構(gòu)(SOA)的總線是數(shù)據(jù)對外共享和應(yīng)用集成的基礎(chǔ),D5000系統(tǒng)的數(shù)據(jù)服務(wù)在橫向SOA支撐下,貫穿Ⅰ/Ⅱ/Ⅲ區(qū)。縱向SOA總線提供上下級系統(tǒng)間數(shù)據(jù)訪問能力。它是數(shù)據(jù)遠程訪問技術(shù)的基礎(chǔ)。安全防護提供總線、數(shù)據(jù)、應(yīng)用的整體安全保障機制,具體實現(xiàn)見4。2節(jié)。
實時庫、商用庫、時序內(nèi)存庫、時序文件庫在基于SOA的總線基礎(chǔ)上,被封裝成服務(wù),通過標(biāo)準(zhǔn)數(shù)據(jù)庫訪問接口[30]對外提供數(shù)據(jù)庫服務(wù),數(shù)據(jù)庫服務(wù)和標(biāo)準(zhǔn)數(shù)據(jù)庫訪問接口共同組成數(shù)據(jù)服務(wù)層。
4。3至4。6節(jié)介紹了D5000系統(tǒng)中各類數(shù)據(jù)庫的部分關(guān)鍵技術(shù)。數(shù)據(jù)訪問層的具體內(nèi)容詳見第5節(jié)。
數(shù)據(jù)服務(wù)層之上是使用各類數(shù)據(jù)的各類應(yīng)用。
4 數(shù)據(jù)庫管理關(guān)鍵技術(shù)
數(shù)據(jù)庫管理相關(guān)技術(shù)很多,限于篇幅,本文僅介紹部分關(guān)鍵技術(shù)。
4。1 數(shù)據(jù)遠程訪問技術(shù)為了實現(xiàn)上下級調(diào)度控制系統(tǒng)的縱向貫通,D5000系統(tǒng)實現(xiàn)了系統(tǒng)間數(shù)據(jù)遠程訪問的機制(見圖2)。圖2中有A和B兩個系統(tǒng),系統(tǒng)A需要訪問系統(tǒng)B的數(shù)據(jù)。具體步驟如下。
步驟1:系統(tǒng)A需將系統(tǒng)B中能提供哪些類型的數(shù)據(jù)注冊到資源表中。
步驟2:系統(tǒng)A中的應(yīng)用程序調(diào)用數(shù)據(jù)訪問接口。
步驟3:數(shù)據(jù)訪問接口會先通過遠程資源定位服務(wù)。
步驟4:查詢資源定位表。
步驟5:通過遠程資源定位服務(wù)返回的地址信息,通過SOA總線代理。
步驟6:找到系統(tǒng)B的資源代理。
步驟7:將請求帶到系統(tǒng)B的數(shù)據(jù)服務(wù)。
步驟8:系統(tǒng)B的數(shù)據(jù)服務(wù)取到數(shù)據(jù)后,逐級將結(jié)果返回給系統(tǒng)A的數(shù)據(jù)訪問接口,最后返回給調(diào)用程序!2】
4。2數(shù)據(jù)訪問安全技術(shù)數(shù)據(jù)訪問安全含通信加密與安全標(biāo)簽兩項技術(shù)。
通信加密通過數(shù)字證書、隧道配置,及數(shù)據(jù)預(yù)置的方式完成相互間的身份驗證及隧道協(xié)商。建立臨時隧道時,通過自定義的證書交換協(xié)議完成證書的交換,并完成雙向認(rèn)證及密鑰協(xié)商,對數(shù)據(jù)通信進行加密保護。這種加密方式對上層通信完全透明,不涉及上層通信程序的改動。
D5000系統(tǒng)建立了安全訪問控制策略,對系統(tǒng)中的所有訪問者(用戶、程序等)和所有服務(wù)都分配一個安全標(biāo)識,稱為標(biāo)簽。然后通過電力調(diào)度證書認(rèn)證(CA)系統(tǒng),在標(biāo)簽基礎(chǔ)上進行簽名,擴展出一種安全標(biāo)簽。
D5000系統(tǒng)上下級數(shù)據(jù)調(diào)用中,使用了安全標(biāo)簽,并按照標(biāo)簽中的安全策略進行數(shù)據(jù)訪問控制。
4。3實時庫直接定位技術(shù)實時庫直接定位技術(shù)適宜于關(guān)鍵字包含邏輯記錄號的情況,這種技術(shù)用關(guān)鍵字的邏輯記錄號也是物理記錄號(見圖3),記錄按照關(guān)鍵字中包含的記錄號放置,根據(jù)關(guān)鍵字查找記錄直接定位,沒有中間環(huán)節(jié);刪除記錄、插入記錄沒有記錄移動,不會產(chǎn)生內(nèi)存拷貝。通過關(guān)鍵字索引,獲取全表記錄效率可接近緊湊表的效率。設(shè)備表和大量定義表均配置成直接定位方式,工程現(xiàn)場使用效率較高。【3】
4。4商用庫歷史數(shù)據(jù)管理技術(shù)以天為單位查詢歷史數(shù)據(jù)是最為常用的歷史數(shù)據(jù)訪問方式,譬如日曲線、日報表等,在這樣的使用場景下,歷史數(shù)據(jù)按行存儲比按列存儲具備更高的訪問效率。歷史采樣采用了行式存儲方式,在該方式下,列表示采樣時間,行表示測點(見圖4)!4】
以1min遙測采樣為例,1min采樣表每天會產(chǎn)生三張表名帶日期的表:遙測值表、遙測狀態(tài)表和遙信值表。該表的第一個列為DATA_ID,是某個遙測量的關(guān)鍵字;DATA_0_0,DATA_0_1,…,DATA_23_59分別表示每天第0時0分,0時1分,…,23時59分的值,該表每一行記錄可以表示一個遙測量一天中每一分鐘的值,遙測量個數(shù)與該表記錄行數(shù)相同。遙測狀態(tài)表、遙信值表與遙測值表的結(jié)構(gòu)相同,只是表中保存的分別是遙測值的狀態(tài)、遙信值。
歷史數(shù)據(jù)的行式管理具有如下優(yōu)點:
1)查詢效率高。查詢某測點日曲線時,只需訪問1張表的1條記錄即可;查詢某一歷史時刻斷面,也只需訪問1張表的2列(含關(guān)鍵字列)。
2)便于管理。這種表結(jié)構(gòu)設(shè)計對于采樣數(shù)據(jù)的存儲、歸檔、備份、恢復(fù)非常方便。
4。5時序內(nèi)存庫批量快速訪問技術(shù)時序內(nèi)存庫采用SOA,提供服務(wù)端和客戶端。
如圖5所示,服務(wù)端接收基于PMU的前置應(yīng)用報文,將數(shù)據(jù)存儲在本地共享內(nèi)存中,應(yīng)用程序通過調(diào)用客戶端接口訪問服務(wù)端數(shù)據(jù)。在存儲方面,時序內(nèi)存庫采用固定時間長度、數(shù)據(jù)值等間隔、下標(biāo)直接定位的設(shè)計滿足動態(tài)信息數(shù)據(jù)高速、海量、帶時標(biāo)特點的高效存儲、檢索要求;同時,時序內(nèi)存庫還提供支持多線程的數(shù)據(jù)訪問及管理接口,充分利用CPU多路多核技術(shù)。這些方法有效地提升了時序內(nèi)存庫的快速批量訪問效率!5】
4。6時序文件庫壓縮存儲技術(shù)電網(wǎng)運行動態(tài)數(shù)據(jù)的在線無損壓縮有2個關(guān)鍵技術(shù)難題:
、賶嚎s算法須提供較高數(shù)據(jù)壓縮率支持海量數(shù)據(jù)存儲要求;②數(shù)據(jù)在線存儲和查詢要求壓縮算法在壓縮和解壓過程中都具有較短的響應(yīng)時間。時序文件庫采用獨特的數(shù)據(jù)無損壓縮算法,根據(jù)電網(wǎng)動態(tài)數(shù)據(jù)連續(xù)變化的特性,結(jié)合數(shù)據(jù)類型與數(shù)據(jù)測量值的變化趨勢進行針對性優(yōu)化,在獲得更大的數(shù)據(jù)壓縮比的同時保持較高的計算效率。
時序文件庫采用高速索引與內(nèi)存映射技術(shù)對壓縮數(shù)據(jù)段進行文件讀寫,獲得了較高的數(shù)據(jù)訪問速度,能夠很好地滿足省級以上調(diào)度中心的動態(tài)數(shù)據(jù)存儲要求。
5 數(shù)據(jù)庫訪問接口與數(shù)據(jù)庫維護管理
數(shù)據(jù)庫訪問提供3類接口。
1)數(shù)據(jù)庫本地訪問接口:以實時庫本地接口為代表,通過本地訪問接口,可將實時庫映射到進程地址空間,訪問實時庫就如同訪問本地數(shù)據(jù)一樣高效,沒有其他方面的開銷。各類在線應(yīng)用的處理、分析較多使用了數(shù)據(jù)庫本地訪問接口。
2)數(shù)據(jù)庫網(wǎng)絡(luò)訪問接口:在將數(shù)據(jù)庫封裝成服務(wù)的基礎(chǔ)上,提供網(wǎng)絡(luò)接口,供D5000系統(tǒng)內(nèi)部節(jié)點訪問分布在系統(tǒng)內(nèi)其他機器上的數(shù)據(jù)庫。這類接口存在網(wǎng)絡(luò)通信、序列化和反序列化的開銷,較數(shù)據(jù)庫本地訪問接口效率低,自動發(fā)電控制(AGC)等需要多機數(shù)據(jù)庫的應(yīng)用和本地沒有數(shù)據(jù)庫的工作站使用到了這類接口。
3)數(shù)據(jù)庫遠程訪問接口:如4。1節(jié)所述,在數(shù)據(jù)庫封裝成服務(wù)基礎(chǔ)上,通過通信代理,使用安全防護手段,可實現(xiàn)系統(tǒng)間的數(shù)據(jù)庫遠程訪問。
在數(shù)據(jù)庫維護上,隨著各級調(diào)控機構(gòu)協(xié)作加強[29,31—32],原有簡單數(shù)據(jù)庫維護方式無法保證模型共享基礎(chǔ)上的獨立維護和互不干擾,需采用分區(qū)域/分用戶的維護管理方式(見圖6)。【6】
該維護方式通過區(qū)域、廠站、節(jié)點/用戶、設(shè)備之間的多重關(guān)聯(lián)和級聯(lián)組合關(guān)系,結(jié)合廣域權(quán)限管理,保證數(shù)據(jù)庫協(xié)作維護管理的安全性和一致性。
6 數(shù)據(jù)庫容量和性能
在設(shè)計上,實時庫每張表的最大記錄個數(shù)可以達到1 600萬條。商用庫的歷史采樣點個數(shù)設(shè)計上沒有 限 制。時 序 內(nèi) 存 庫 和 時 序 文 件 庫 均 可 支 持10萬點的采樣,并可根據(jù)需要進行擴展。
經(jīng)過測試,實時數(shù)據(jù)庫直接定位的訪問速度不低于200萬次/s讀(寫)。商用庫能在1~2s之內(nèi)完成20萬個采樣點的保存,單個采樣點一天歷史數(shù)據(jù)的查詢在16ms以內(nèi)。時序文件庫讀寫速度不低于100萬條/s數(shù)據(jù)記錄,時序內(nèi)存庫讀寫速度不低于300萬條/s數(shù)據(jù)記錄。
無論D5000系統(tǒng)在容量還是性能上,這幾種數(shù)據(jù)庫都能很好地滿足系統(tǒng)未來長期運行的需要。
7 結(jié)語
以數(shù)據(jù)庫管理為核心的D5000系統(tǒng)數(shù)據(jù)管理技術(shù),橫向上支持應(yīng)用在Ⅰ/Ⅱ/Ⅲ區(qū)集成、擴展,縱向上支持各級調(diào)度貫通、協(xié)作,支持各種數(shù)據(jù)訪問方式,滿足各級調(diào)度高效協(xié)同運行效率要求。數(shù)據(jù)管理技術(shù)已成功應(yīng)用于各級D5000系統(tǒng)。數(shù)據(jù)管理技術(shù)作為D5000系統(tǒng)核心技術(shù),有效保障了各級電網(wǎng)調(diào)度控制系統(tǒng)安全、穩(wěn)定、高效運行,為智能電網(wǎng)建設(shè)提供了有力的技術(shù)支撐。
隨著以集群為方向的D5000系統(tǒng)深化研究的開展[33],為集群服務(wù)的分布式數(shù)據(jù)管理將成為未來重要的研究方向,研究內(nèi)容包括以下幾個方面。
1)靈活分布的數(shù)據(jù)集群化存儲方法需要研究滿足電網(wǎng)業(yè)務(wù)需求、可靈活分布的數(shù)據(jù)集群化存儲方法,其難點在于如何實現(xiàn)數(shù)據(jù)按電網(wǎng)業(yè)務(wù)需求進行分片,將數(shù)據(jù)合理分布存儲在集群的多個節(jié)點中,為提高集群處理的效率提供數(shù)據(jù)存儲支撐。
2)數(shù)據(jù)遷移和冗余互備技術(shù)集群化系統(tǒng)中,節(jié)點數(shù)量眾多,硬件故障概率較大,需要研究分布式數(shù)據(jù)的冗余備份技術(shù),實現(xiàn)所有分片數(shù)據(jù)的備份存儲,保證各冗余備份的數(shù)據(jù)一致性,在節(jié)點故障時仍可提供實時數(shù)據(jù)訪問,提高分布式數(shù)據(jù)的可靠性。
3)高效分布式數(shù)據(jù)訪問技術(shù)需要研究滿足應(yīng)用性能需求的分布式數(shù)據(jù)訪問技術(shù),滿足大規(guī)模電網(wǎng)數(shù)據(jù)計算的實時性要求,其難點在于如何提供高效的算法,實現(xiàn)高效的透明分布式數(shù)據(jù)訪問。
隨著D5000系統(tǒng)監(jiān)控范圍的擴大,歷史數(shù)據(jù)的不斷豐富,已有業(yè)務(wù)的融合與新業(yè)務(wù)的產(chǎn)生,借鑒云計算[3]與大數(shù)據(jù)處理[4]的思想,參考其他數(shù)據(jù)平臺[25—28],進行歷史數(shù)據(jù)挖掘與分析也將是D5000系統(tǒng)數(shù)據(jù)管理技術(shù)極具潛力的研究方向。
參 考 文 獻
[1]艾琳,王超,陳為化。三華特高壓同步聯(lián)網(wǎng)及其對調(diào)度方式的影響[J]。能源技術(shù)經(jīng)濟,2011,23(5):38—41。