故障診斷與容錯控制系統(tǒng)的數(shù)據(jù)驅(qū)動設計

【學員問題】能耗監(jiān)測系統(tǒng)數(shù)據(jù)交換的設計？

【解答】在能耗監(jiān)測系統(tǒng)中，數(shù)據(jù)測量儀表得到數(shù)字信號，通過數(shù)據(jù)采集器定時采集數(shù)據(jù)并發(fā)送到數(shù)據(jù)中心，應用軟件處理數(shù)據(jù)，上傳數(shù)據(jù)，整個過程都是數(shù)據(jù)交換和數(shù)據(jù)處理的過程。如何結(jié)合能耗監(jiān)測系統(tǒng)的特點，將現(xiàn)有的成熟技術(shù)合理地用到能耗監(jiān)測系統(tǒng)中，是數(shù)據(jù)交換設計的關鍵。數(shù)據(jù)交換主要包括數(shù)據(jù)發(fā)送、數(shù)據(jù)傳輸和數(shù)據(jù)解析，數(shù)據(jù)解析依賴數(shù)據(jù)發(fā)送時的數(shù)據(jù)定義。

1.數(shù)據(jù)采集過程

在能耗監(jiān)測系統(tǒng)中數(shù)據(jù)要記錄到省市級信息中心的數(shù)據(jù)庫中需要包括以下幾個環(huán)節(jié)，傳感器測量數(shù)據(jù)，采集器獲取傳感器數(shù)據(jù)，采集器向省市級信息中心發(fā)送數(shù)據(jù)，省市級信息中心系統(tǒng)軟件接收并存儲數(shù)據(jù)。因此數(shù)據(jù)交換分為兩大部分，其一為數(shù)據(jù)傳感器和采集器的數(shù)據(jù)交換，其二為采集器和省市級數(shù)據(jù)中心系統(tǒng)平臺軟件的數(shù)據(jù)交換。采集器通過RS-485協(xié)議定時和傳感器通訊并采集數(shù)據(jù)，采集器向信息中心上傳數(shù)據(jù)。數(shù)據(jù)傳感器和采集器為現(xiàn)場有線連接，具有標準的協(xié)議，不用單獨設計，而采集器和信息中心數(shù)據(jù)交換必須經(jīng)過INTERNET，在連接方式和數(shù)據(jù)表示法及其格式方面沒有統(tǒng)一標準，必須結(jié)合系統(tǒng)特點制定自己的數(shù)據(jù)表示法和數(shù)據(jù)傳輸格式。

2.能耗監(jiān)測數(shù)據(jù)的表示方法

數(shù)據(jù)傳輸采用數(shù)據(jù)流方式發(fā)送和接收，當采集器與信息中心建立連接后，開始發(fā)送數(shù)據(jù)流，在數(shù)據(jù)流中包括了采集器獲取的各個傳感器的數(shù)據(jù)，因此數(shù)據(jù)流中必須能夠區(qū)分數(shù)據(jù)是哪個傳感器的數(shù)據(jù)，數(shù)據(jù)代表的物理意義（如空調(diào)用電、動力用電等）。能耗監(jiān)測數(shù)據(jù)按照《國家機關辦公建筑和大型公共建筑能耗監(jiān)測系統(tǒng)軟件開發(fā)指導說明書》定義數(shù)據(jù)代碼，明確真實數(shù)據(jù)和計算機表示數(shù)據(jù)的關系。定義將隨著能耗監(jiān)測系統(tǒng)的不斷完善，進行補充和修改。在本軟件中嚴格執(zhí)行開發(fā)指導說明書中的代碼定義，使得后面信息中心的數(shù)據(jù)解析變得很容易，為解析數(shù)據(jù)提供了開放的定義，也為數(shù)據(jù)采集器提供了開放的標準。

3.采用標準的傳輸數(shù)據(jù)格式

數(shù)據(jù)格式應獨立于軟件和硬件，避免對軟件和硬件的依賴，同時也減小了對軟件和硬件的限制，便于不同應用程序之間共享數(shù)據(jù)。本軟件采用XML格式傳送數(shù)據(jù)，主要考慮XML數(shù)據(jù)以純文本格式進行存儲，純文本數(shù)據(jù)在不同操作系統(tǒng)之間都是一樣的，不依賴于操作系統(tǒng)，同時XML有其獨立的語法定義，已成為一種標準，不用單獨制定格式定義規(guī)則，且通用性強，已開發(fā)出一些公開發(fā)表的成熟解析工具，減少了編寫程序的工作，程序穩(wěn)定性也大大提高。從數(shù)據(jù)采集器到數(shù)據(jù)中轉(zhuǎn)站或信息中心，再上傳到住建部信息中心，各級均采用XML格式進行數(shù)據(jù)交換。

4.在數(shù)據(jù)接收和數(shù)據(jù)記錄之間采用中間件技術(shù)

系統(tǒng)軟件接收采集器發(fā)送的數(shù)據(jù)時間短，而接收到的數(shù)據(jù)需要記錄原始數(shù)據(jù)，并在進行拆分運算后再記錄到各自的數(shù)據(jù)庫中，需要時間遠大于接收時間，因此接收的瓶頸發(fā)生在接收數(shù)據(jù)后的處理，當有大量的被監(jiān)測建筑物時，可能造成數(shù)據(jù)堵塞或丟失數(shù)據(jù)，因此必須解決傳輸數(shù)據(jù)的速度問題。為此將數(shù)據(jù)接收存儲程序分成兩部分，第一部分直接與數(shù)據(jù)采集器直接進行數(shù)據(jù)交換，及時獲取數(shù)據(jù)，該部分程序功能簡單，只起中間傳遞作用，維護量很小，第二部分保存數(shù)據(jù)到數(shù)據(jù)庫并進行數(shù)據(jù)拆分，中間采用具有郵局功能的中間件技術(shù)（第三方軟件），將兩部分隔離，第一部分軟件將得到的數(shù)據(jù)直接發(fā)給中間件，中間件可保證將收到的數(shù)據(jù)準確送達第二部分，這樣較好地解決了數(shù)據(jù)接收速度和準確到達目的地的問題。第二部分程序?qū)@得的數(shù)據(jù)按照能耗監(jiān)測系統(tǒng)軟件開發(fā)指導說明書中的要求進行存儲拆分，建立各種數(shù)據(jù)庫，供數(shù)據(jù)分析展示模塊使用。

5.根據(jù)軟件模塊功能確定編程語言

數(shù)據(jù)接收部分是數(shù)據(jù)交換的核心，在選擇語言時，需要考慮數(shù)據(jù)傳輸格式和界面設計，該部分沒有復雜界面，傳輸數(shù)據(jù)格式在上述3.2和3.3中已經(jīng)明確，采用XML格式進行數(shù)據(jù)傳輸，所以采用JAVA語言作為數(shù)據(jù)交換部分的編程語言，它具有較強的處理XML格式數(shù)據(jù)的功能，同時有很強的跨平臺可移植性，數(shù)據(jù)無需轉(zhuǎn)換，所以便于操作系統(tǒng)升級；數(shù)據(jù)分析展示部分對界面要求高，屬于客戶服務器模式，采用。Net編程。

6.采用標準的協(xié)議與數(shù)據(jù)采集器進行數(shù)據(jù)通訊

目前，不同廠家的BAS系統(tǒng)之間很難進行數(shù)據(jù)交換，各自組成一個封閉的系統(tǒng)。原因是沒有開放的統(tǒng)一的數(shù)據(jù)傳輸標準。能耗監(jiān)測系統(tǒng)是一個新的應用系統(tǒng)，而采集器必須與省市級平臺軟件進行數(shù)據(jù)交換。因此上游軟件開發(fā)商應考慮系統(tǒng)的開放性和兼容性，便于采集器生產(chǎn)商自行開發(fā)滿足系統(tǒng)軟件要求的數(shù)據(jù)發(fā)送程序，便于集成商集成系統(tǒng)。通過3.2和3.3建立的開放能耗監(jiān)測系統(tǒng)數(shù)據(jù)通訊協(xié)議，數(shù)據(jù)采集器廠商可以方便地開發(fā)與系統(tǒng)軟件通訊的數(shù)據(jù)發(fā)送程序。

7.雙通道設計

監(jiān)測系統(tǒng)和采集器一直處于連續(xù)運行狀態(tài)，當一些采集器參數(shù)需要更新或程序升級時，采用兩個連接的邏輯通道，可以在不影響正常使用情況下，保證信息中心與采集器的指令信息交換。

以上內(nèi)容均根據(jù)學員實際工作中遇到的問題整理而成，供參考，如有問題請及時溝通、指正。

由大數(shù)據(jù)觸發(fā)的數(shù)據(jù)驅(qū)動的做法是一種最好的理解。如今，各個組織正在各種數(shù)據(jù)結(jié)構(gòu)，格式和分布式地理數(shù)據(jù)源位置等方面進行競爭，并在時間框架和數(shù)量上超過了現(xiàn)有系統(tǒng)的能力。

以往人們關注了社交，移動和云平臺的應用與發(fā)展。同樣重要的是，在大數(shù)據(jù)時代之后涌現(xiàn)出的幾種輔助技術(shù)得到了蓬勃發(fā)展，由此產(chǎn)生的基礎架構(gòu)，架構(gòu)，以及IT挑戰(zhàn)表明，整個數(shù)據(jù)環(huán)境發(fā)生了模式轉(zhuǎn)變，這種變化是由改變業(yè)務進行方式的力量的開始決定的。

由于這種轉(zhuǎn)變的迅速性和其需求的即時性，許多組織希望在市場上尋找最好的解決方案，并有大量的點解決方案來解決數(shù)據(jù)景觀的大規(guī)模系統(tǒng)變化，而這些零碎的方法在短期內(nèi)提供有限的價值，但是由于供應商的鎖定和業(yè)務的需求不斷變化，長期來說其最終成本更高。

此外，即時的反應需要不同的工具來管理大數(shù)據(jù)的每個方面復雜的架構(gòu)，同時耗費大量的時間。這種方法的根本缺陷是，這樣的工具不是明確設計用于大數(shù)據(jù)，這限制了其在大數(shù)據(jù)革命后的價值。

大數(shù)據(jù)的涌入指出了一系列跨行業(yè)因素產(chǎn)生創(chuàng)新的方式，從最初的采納到分析。這些普遍存在的市場力量對于為數(shù)據(jù)管理過程的每個方面需要針對大數(shù)據(jù)技術(shù)設計的全面方法是有幫助的。

大量的數(shù)據(jù)使得需要一個集中的平臺，應對當今和未來的數(shù)據(jù)驅(qū)動實踐的每一個方面，最好以終端用戶管理的自助服務智能數(shù)據(jù)湖的形式實現(xiàn)。

無處不在的市場力量

了解負責重塑數(shù)據(jù)環(huán)境的市場力量的性質(zhì)，需要在技術(shù)和非技術(shù)方面對其進行分析。在前者中，對SMAC（社交，移動，分析和云計算）的依賴代表了訪問大數(shù)據(jù)手段的最大決定因素。這些技術(shù)深深地影響了大數(shù)據(jù)對企業(yè)的獲取形式和形式。它們最顯著的效果可能是它們所使用外部數(shù)據(jù)創(chuàng)造的前所未有的價值，這反過來又有助于強調(diào)這種數(shù)據(jù)與內(nèi)部數(shù)據(jù)的集成。同樣，他們負責多元結(jié)構(gòu)數(shù)據(jù)的突出和其固有價值的企業(yè)的復雜性。

這種復雜數(shù)據(jù)格式所帶來的新穎的復雜性通過單一集中的語義平臺的流線型架構(gòu)而被均勻地緩解。具體來說，通過在RDF圖上鏈接在一起的演進的語義模型來無縫地合并數(shù)據(jù)源和類型的多樣性的多結(jié)構(gòu)化格式。在該框架內(nèi)，所有數(shù)據(jù)元素以標準化方式彼此并排表示，代替了對傳統(tǒng)方法所要求的各種結(jié)構(gòu)化數(shù)據(jù)管理不同數(shù)據(jù)庫，數(shù)據(jù)模型和模式的需要。在這樣的獨特平臺中，其架構(gòu)和底層基礎設施被明顯簡化，相應地降低了成本。

非技術(shù)力量的典型代表是加速的業(yè)務步伐，并在這些縮短的時間框架內(nèi)解析的數(shù)據(jù)量。企業(yè)進行的速度會受到互聯(lián)網(wǎng)的普遍性以及它在工作流中根深蒂固的實時響應的巨大影響。這種權(quán)宜之計是大數(shù)據(jù)的其他規(guī)定，例如當前流行的傳感器數(shù)據(jù)，移動通信的快速性，以及這些因素能夠產(chǎn)生的機會的增加。在這些力量的影響的關鍵考慮是它們的臨時性質(zhì)。組織可以獲得更多的機會，但他們也稍縱即逝，需要對時間敏感的方法來利用數(shù)據(jù)。

綜合平臺解決了這些加速的時間問題，使終端用戶在決策和基于分析的行動階段比零碎的方法更快。對單個節(jié)點的語義圖表示適當?shù)募铀僬{(diào)整模式和重新調(diào)整了模型與其他方法的奇異性。加速了整個數(shù)據(jù)準備過程，這可以壟斷最好的數(shù)據(jù)科學家的時間，或者最基本的以數(shù)據(jù)為中心的需求過分依賴IT。用戶能夠投入更多的時間用于數(shù)據(jù)發(fā)現(xiàn)和分析，分享現(xiàn)代企業(yè)制定的速度。

解決常規(guī)問題

上述力量已經(jīng)塑造了數(shù)據(jù)環(huán)境，由于日益分層的數(shù)據(jù)管理過程的必要性，導致集中的語義平臺廣泛的問題。來自SMAC技術(shù)的多結(jié)構(gòu)化數(shù)據(jù)以快速交付的大量數(shù)據(jù)可能對數(shù)據(jù)格局的常規(guī)領域造成嚴重破壞，包括：信息治理，數(shù)據(jù)準備，數(shù)據(jù)集成，搜索和發(fā)現(xiàn)，商業(yè)智能和文本分析。

當考慮采用點解決方法的孤島方式處理數(shù)據(jù)的這些方面時，容易成為供應商鎖定或昂貴的更新的犧牲品，從而產(chǎn)生大量的停機時間。這種方法最大的問題是，當業(yè)務需求或流程改變時，會缺乏靈活性，任務組織重新啟動手段實現(xiàn)，這六個重要功能之一。因此，當他們的系統(tǒng)不能產(chǎn)生價值，同時被迫采用更多的系統(tǒng)維護時，組織會花費更多的時間。

集中式方法的核心價值主張是實現(xiàn)數(shù)據(jù)使用的所有必要條件的整體方式。通過向現(xiàn)有系統(tǒng)提供必要的覆蓋，該方法能夠在短期和長期中實現(xiàn)收益。立即獲益包括更大程度的企業(yè)治理監(jiān)督，部分通過標準化建模促進，在大多數(shù)情況下，包括所有企業(yè)數(shù)據(jù)。隨后，數(shù)據(jù)來源和數(shù)據(jù)建模更容易解釋，并且更易于追蹤，這加速了集成嘗試。其結(jié)果是更快地洞察在組織范圍內(nèi)的治理協(xié)議與高度可見的數(shù)據(jù)，增加對數(shù)據(jù)資產(chǎn)的信任。

隨后的收益與這種洞察的性質(zhì)有關，遠遠超過從點解決方案中收集的收益。語義圖的鏈接數(shù)據(jù)方法集中于節(jié)點之間的關系洞察，這有助于其他技術(shù)無與倫比的看似無關的數(shù)據(jù)元素的背景文化。用戶能夠有更多的數(shù)據(jù)，以識別他們之間的關系，以及他們的使用情況，否則是無法發(fā)現(xiàn)的。

此外，這種鏈接數(shù)據(jù)方法使數(shù)據(jù)發(fā)現(xiàn)過程在很大程度上實現(xiàn)了自動化，同時提供了探索性分析，用戶可以在其中詢問和回答盡可能多的問題。分析的結(jié)果是全面明確，并且包羅萬象。采取零碎的方法，實現(xiàn)這些目標是困難的。

預期未來的發(fā)展

培養(yǎng)對集中化需求的最緊迫的營銷力量是大數(shù)據(jù)本身日益擴大的影響。對未來幾年生產(chǎn)的數(shù)據(jù)量的預測表明，其擴張并不會停止和停滯。當考慮連接的設備的數(shù)量全部無限地在物聯(lián)網(wǎng)中產(chǎn)生數(shù)據(jù)，以及增強現(xiàn)實和虛擬現(xiàn)實的進步，并考慮這樣的數(shù)據(jù)的人工智能選項的可用性時，顯而易見的是大數(shù)據(jù)的規(guī)模，速度，結(jié)構(gòu)將在不久的將來大量增加。

集中的圖形感知環(huán)境為這些即將到來的技術(shù)進步做好準備。使用它作為hadoop或其他數(shù)據(jù)湖設置的基礎，使其具有在這種工作負載密集型數(shù)據(jù)驅(qū)動部署中持續(xù)提供價值所需的規(guī)模和性能一致性。更重要的是，它是一個單一的手段簡化每個組件的短期解決方案，點解決方案不是為大數(shù)據(jù)的需求而創(chuàng)建的。這種方法對于目前來說是不夠的，并且對于未來大數(shù)據(jù)應用的更嚴格的負擔當然不可行。這樣的實現(xiàn)僅僅支持這樣的觀念：集中的，關系精明的語義圖解表示用于以管理數(shù)據(jù)為中心的需求的工業(yè)力量的融合。

必要的集中

從大數(shù)據(jù)的變革性可以看出，無論何處部署數(shù)據(jù)都可以提高業(yè)務價值。它的增長可以歸因于業(yè)務加速，支持技術(shù)的新生態(tài)系統(tǒng)，以及企業(yè)中數(shù)據(jù)類型的多樣性的快速發(fā)展。它只有單純的市場力量，需要一個整體的手段來管理每個謹慎的組件轉(zhuǎn)換數(shù)據(jù)到洞察行動。這些力量的影響是消除對現(xiàn)有基礎設施簡單地附加一些附加工具的需要。

相反，它強制要求簡化企業(yè)架構(gòu)，實施成本效益好的基礎設施，用于包圍企業(yè)的大量數(shù)據(jù)類型和技術(shù)，并且監(jiān)督長期重用數(shù)據(jù)所需的組織范圍治理和來源。如今的市場力量促成了對這種整體數(shù)據(jù)管理的需求同，而未來是強制性的。