故障診斷與容錯(cuò)控制系統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)內(nèi)容簡(jiǎn)介

【學(xué)員問(wèn)題】能耗監(jiān)測(cè)系統(tǒng)數(shù)據(jù)交換的設(shè)計(jì)？

【解答】在能耗監(jiān)測(cè)系統(tǒng)中，數(shù)據(jù)測(cè)量?jī)x表得到數(shù)字信號(hào)，通過(guò)數(shù)據(jù)采集器定時(shí)采集數(shù)據(jù)并發(fā)送到數(shù)據(jù)中心，應(yīng)用軟件處理數(shù)據(jù)，上傳數(shù)據(jù)，整個(gè)過(guò)程都是數(shù)據(jù)交換和數(shù)據(jù)處理的過(guò)程。如何結(jié)合能耗監(jiān)測(cè)系統(tǒng)的特點(diǎn)，將現(xiàn)有的成熟技術(shù)合理地用到能耗監(jiān)測(cè)系統(tǒng)中，是數(shù)據(jù)交換設(shè)計(jì)的關(guān)鍵。數(shù)據(jù)交換主要包括數(shù)據(jù)發(fā)送、數(shù)據(jù)傳輸和數(shù)據(jù)解析，數(shù)據(jù)解析依賴數(shù)據(jù)發(fā)送時(shí)的數(shù)據(jù)定義。

1.數(shù)據(jù)采集過(guò)程

在能耗監(jiān)測(cè)系統(tǒng)中數(shù)據(jù)要記錄到省市級(jí)信息中心的數(shù)據(jù)庫(kù)中需要包括以下幾個(gè)環(huán)節(jié)，傳感器測(cè)量數(shù)據(jù)，采集器獲取傳感器數(shù)據(jù)，采集器向省市級(jí)信息中心發(fā)送數(shù)據(jù)，省市級(jí)信息中心系統(tǒng)軟件接收并存儲(chǔ)數(shù)據(jù)。因此數(shù)據(jù)交換分為兩大部分，其一為數(shù)據(jù)傳感器和采集器的數(shù)據(jù)交換，其二為采集器和省市級(jí)數(shù)據(jù)中心系統(tǒng)平臺(tái)軟件的數(shù)據(jù)交換。采集器通過(guò)RS-485協(xié)議定時(shí)和傳感器通訊并采集數(shù)據(jù)，采集器向信息中心上傳數(shù)據(jù)。數(shù)據(jù)傳感器和采集器為現(xiàn)場(chǎng)有線連接，具有標(biāo)準(zhǔn)的協(xié)議，不用單獨(dú)設(shè)計(jì)，而采集器和信息中心數(shù)據(jù)交換必須經(jīng)過(guò)INTERNET，在連接方式和數(shù)據(jù)表示法及其格式方面沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，必須結(jié)合系統(tǒng)特點(diǎn)制定自己的數(shù)據(jù)表示法和數(shù)據(jù)傳輸格式。

2.能耗監(jiān)測(cè)數(shù)據(jù)的表示方法

數(shù)據(jù)傳輸采用數(shù)據(jù)流方式發(fā)送和接收，當(dāng)采集器與信息中心建立連接后，開(kāi)始發(fā)送數(shù)據(jù)流，在數(shù)據(jù)流中包括了采集器獲取的各個(gè)傳感器的數(shù)據(jù)，因此數(shù)據(jù)流中必須能夠區(qū)分?jǐn)?shù)據(jù)是哪個(gè)傳感器的數(shù)據(jù)，數(shù)據(jù)代表的物理意義（如空調(diào)用電、動(dòng)力用電等）。能耗監(jiān)測(cè)數(shù)據(jù)按照《國(guó)家機(jī)關(guān)辦公建筑和大型公共建筑能耗監(jiān)測(cè)系統(tǒng)軟件開(kāi)發(fā)指導(dǎo)說(shuō)明書(shū)》定義數(shù)據(jù)代碼，明確真實(shí)數(shù)據(jù)和計(jì)算機(jī)表示數(shù)據(jù)的關(guān)系。定義將隨著能耗監(jiān)測(cè)系統(tǒng)的不斷完善，進(jìn)行補(bǔ)充和修改。在本軟件中嚴(yán)格執(zhí)行開(kāi)發(fā)指導(dǎo)說(shuō)明書(shū)中的代碼定義，使得后面信息中心的數(shù)據(jù)解析變得很容易，為解析數(shù)據(jù)提供了開(kāi)放的定義，也為數(shù)據(jù)采集器提供了開(kāi)放的標(biāo)準(zhǔn)。

3.采用標(biāo)準(zhǔn)的傳輸數(shù)據(jù)格式

數(shù)據(jù)格式應(yīng)獨(dú)立于軟件和硬件，避免對(duì)軟件和硬件的依賴，同時(shí)也減小了對(duì)軟件和硬件的限制，便于不同應(yīng)用程序之間共享數(shù)據(jù)。本軟件采用XML格式傳送數(shù)據(jù)，主要考慮XML數(shù)據(jù)以純文本格式進(jìn)行存儲(chǔ)，純文本數(shù)據(jù)在不同操作系統(tǒng)之間都是一樣的，不依賴于操作系統(tǒng)，同時(shí)XML有其獨(dú)立的語(yǔ)法定義，已成為一種標(biāo)準(zhǔn)，不用單獨(dú)制定格式定義規(guī)則，且通用性強(qiáng)，已開(kāi)發(fā)出一些公開(kāi)發(fā)表的成熟解析工具，減少了編寫(xiě)程序的工作，程序穩(wěn)定性也大大提高。從數(shù)據(jù)采集器到數(shù)據(jù)中轉(zhuǎn)站或信息中心，再上傳到住建部信息中心，各級(jí)均采用XML格式進(jìn)行數(shù)據(jù)交換。

4.在數(shù)據(jù)接收和數(shù)據(jù)記錄之間采用中間件技術(shù)

系統(tǒng)軟件接收采集器發(fā)送的數(shù)據(jù)時(shí)間短，而接收到的數(shù)據(jù)需要記錄原始數(shù)據(jù)，并在進(jìn)行拆分運(yùn)算后再記錄到各自的數(shù)據(jù)庫(kù)中，需要時(shí)間遠(yuǎn)大于接收時(shí)間，因此接收的瓶頸發(fā)生在接收數(shù)據(jù)后的處理，當(dāng)有大量的被監(jiān)測(cè)建筑物時(shí)，可能造成數(shù)據(jù)堵塞或丟失數(shù)據(jù)，因此必須解決傳輸數(shù)據(jù)的速度問(wèn)題。為此將數(shù)據(jù)接收存儲(chǔ)程序分成兩部分，第一部分直接與數(shù)據(jù)采集器直接進(jìn)行數(shù)據(jù)交換，及時(shí)獲取數(shù)據(jù)，該部分程序功能簡(jiǎn)單，只起中間傳遞作用，維護(hù)量很小，第二部分保存數(shù)據(jù)到數(shù)據(jù)庫(kù)并進(jìn)行數(shù)據(jù)拆分，中間采用具有郵局功能的中間件技術(shù)（第三方軟件），將兩部分隔離，第一部分軟件將得到的數(shù)據(jù)直接發(fā)給中間件，中間件可保證將收到的數(shù)據(jù)準(zhǔn)確送達(dá)第二部分，這樣較好地解決了數(shù)據(jù)接收速度和準(zhǔn)確到達(dá)目的地的問(wèn)題。第二部分程序?qū)@得的數(shù)據(jù)按照能耗監(jiān)測(cè)系統(tǒng)軟件開(kāi)發(fā)指導(dǎo)說(shuō)明書(shū)中的要求進(jìn)行存儲(chǔ)拆分，建立各種數(shù)據(jù)庫(kù)，供數(shù)據(jù)分析展示模塊使用。

5.根據(jù)軟件模塊功能確定編程語(yǔ)言

數(shù)據(jù)接收部分是數(shù)據(jù)交換的核心，在選擇語(yǔ)言時(shí)，需要考慮數(shù)據(jù)傳輸格式和界面設(shè)計(jì)，該部分沒(méi)有復(fù)雜界面，傳輸數(shù)據(jù)格式在上述3.2和3.3中已經(jīng)明確，采用XML格式進(jìn)行數(shù)據(jù)傳輸，所以采用JAVA語(yǔ)言作為數(shù)據(jù)交換部分的編程語(yǔ)言，它具有較強(qiáng)的處理XML格式數(shù)據(jù)的功能，同時(shí)有很強(qiáng)的跨平臺(tái)可移植性，數(shù)據(jù)無(wú)需轉(zhuǎn)換，所以便于操作系統(tǒng)升級(jí)；數(shù)據(jù)分析展示部分對(duì)界面要求高，屬于客戶服務(wù)器模式，采用。Net編程。

6.采用標(biāo)準(zhǔn)的協(xié)議與數(shù)據(jù)采集器進(jìn)行數(shù)據(jù)通訊

目前，不同廠家的BAS系統(tǒng)之間很難進(jìn)行數(shù)據(jù)交換，各自組成一個(gè)封閉的系統(tǒng)。原因是沒(méi)有開(kāi)放的統(tǒng)一的數(shù)據(jù)傳輸標(biāo)準(zhǔn)。能耗監(jiān)測(cè)系統(tǒng)是一個(gè)新的應(yīng)用系統(tǒng)，而采集器必須與省市級(jí)平臺(tái)軟件進(jìn)行數(shù)據(jù)交換。因此上游軟件開(kāi)發(fā)商應(yīng)考慮系統(tǒng)的開(kāi)放性和兼容性，便于采集器生產(chǎn)商自行開(kāi)發(fā)滿足系統(tǒng)軟件要求的數(shù)據(jù)發(fā)送程序，便于集成商集成系統(tǒng)。通過(guò)3.2和3.3建立的開(kāi)放能耗監(jiān)測(cè)系統(tǒng)數(shù)據(jù)通訊協(xié)議，數(shù)據(jù)采集器廠商可以方便地開(kāi)發(fā)與系統(tǒng)軟件通訊的數(shù)據(jù)發(fā)送程序。

7.雙通道設(shè)計(jì)

監(jiān)測(cè)系統(tǒng)和采集器一直處于連續(xù)運(yùn)行狀態(tài)，當(dāng)一些采集器參數(shù)需要更新或程序升級(jí)時(shí)，采用兩個(gè)連接的邏輯通道，可以在不影響正常使用情況下，保證信息中心與采集器的指令信息交換。

以上內(nèi)容均根據(jù)學(xué)員實(shí)際工作中遇到的問(wèn)題整理而成，供參考，如有問(wèn)題請(qǐng)及時(shí)溝通、指正。

由大數(shù)據(jù)觸發(fā)的數(shù)據(jù)驅(qū)動(dòng)的做法是一種最好的理解。如今，各個(gè)組織正在各種數(shù)據(jù)結(jié)構(gòu)，格式和分布式地理數(shù)據(jù)源位置等方面進(jìn)行競(jìng)爭(zhēng)，并在時(shí)間框架和數(shù)量上超過(guò)了現(xiàn)有系統(tǒng)的能力。

以往人們關(guān)注了社交，移動(dòng)和云平臺(tái)的應(yīng)用與發(fā)展。同樣重要的是，在大數(shù)據(jù)時(shí)代之后涌現(xiàn)出的幾種輔助技術(shù)得到了蓬勃發(fā)展，由此產(chǎn)生的基礎(chǔ)架構(gòu)，架構(gòu)，以及IT挑戰(zhàn)表明，整個(gè)數(shù)據(jù)環(huán)境發(fā)生了模式轉(zhuǎn)變，這種變化是由改變業(yè)務(wù)進(jìn)行方式的力量的開(kāi)始決定的。

由于這種轉(zhuǎn)變的迅速性和其需求的即時(shí)性，許多組織希望在市場(chǎng)上尋找最好的解決方案，并有大量的點(diǎn)解決方案來(lái)解決數(shù)據(jù)景觀的大規(guī)模系統(tǒng)變化，而這些零碎的方法在短期內(nèi)提供有限的價(jià)值，但是由于供應(yīng)商的鎖定和業(yè)務(wù)的需求不斷變化，長(zhǎng)期來(lái)說(shuō)其最終成本更高。

此外，即時(shí)的反應(yīng)需要不同的工具來(lái)管理大數(shù)據(jù)的每個(gè)方面復(fù)雜的架構(gòu)，同時(shí)耗費(fèi)大量的時(shí)間。這種方法的根本缺陷是，這樣的工具不是明確設(shè)計(jì)用于大數(shù)據(jù)，這限制了其在大數(shù)據(jù)革命后的價(jià)值。

大數(shù)據(jù)的涌入指出了一系列跨行業(yè)因素產(chǎn)生創(chuàng)新的方式，從最初的采納到分析。這些普遍存在的市場(chǎng)力量對(duì)于為數(shù)據(jù)管理過(guò)程的每個(gè)方面需要針對(duì)大數(shù)據(jù)技術(shù)設(shè)計(jì)的全面方法是有幫助的。

大量的數(shù)據(jù)使得需要一個(gè)集中的平臺(tái)，應(yīng)對(duì)當(dāng)今和未來(lái)的數(shù)據(jù)驅(qū)動(dòng)實(shí)踐的每一個(gè)方面，最好以終端用戶管理的自助服務(wù)智能數(shù)據(jù)湖的形式實(shí)現(xiàn)。

無(wú)處不在的市場(chǎng)力量

了解負(fù)責(zé)重塑數(shù)據(jù)環(huán)境的市場(chǎng)力量的性質(zhì)，需要在技術(shù)和非技術(shù)方面對(duì)其進(jìn)行分析。在前者中，對(duì)SMAC（社交，移動(dòng)，分析和云計(jì)算）的依賴代表了訪問(wèn)大數(shù)據(jù)手段的最大決定因素。這些技術(shù)深深地影響了大數(shù)據(jù)對(duì)企業(yè)的獲取形式和形式。它們最顯著的效果可能是它們所使用外部數(shù)據(jù)創(chuàng)造的前所未有的價(jià)值，這反過(guò)來(lái)又有助于強(qiáng)調(diào)這種數(shù)據(jù)與內(nèi)部數(shù)據(jù)的集成。同樣，他們負(fù)責(zé)多元結(jié)構(gòu)數(shù)據(jù)的突出和其固有價(jià)值的企業(yè)的復(fù)雜性。

這種復(fù)雜數(shù)據(jù)格式所帶來(lái)的新穎的復(fù)雜性通過(guò)單一集中的語(yǔ)義平臺(tái)的流線型架構(gòu)而被均勻地緩解。具體來(lái)說(shuō)，通過(guò)在RDF圖上鏈接在一起的演進(jìn)的語(yǔ)義模型來(lái)無(wú)縫地合并數(shù)據(jù)源和類型的多樣性的多結(jié)構(gòu)化格式。在該框架內(nèi)，所有數(shù)據(jù)元素以標(biāo)準(zhǔn)化方式彼此并排表示，代替了對(duì)傳統(tǒng)方法所要求的各種結(jié)構(gòu)化數(shù)據(jù)管理不同數(shù)據(jù)庫(kù)，數(shù)據(jù)模型和模式的需要。在這樣的獨(dú)特平臺(tái)中，其架構(gòu)和底層基礎(chǔ)設(shè)施被明顯簡(jiǎn)化，相應(yīng)地降低了成本。

非技術(shù)力量的典型代表是加速的業(yè)務(wù)步伐，并在這些縮短的時(shí)間框架內(nèi)解析的數(shù)據(jù)量。企業(yè)進(jìn)行的速度會(huì)受到互聯(lián)網(wǎng)的普遍性以及它在工作流中根深蒂固的實(shí)時(shí)響應(yīng)的巨大影響。這種權(quán)宜之計(jì)是大數(shù)據(jù)的其他規(guī)定，例如當(dāng)前流行的傳感器數(shù)據(jù)，移動(dòng)通信的快速性，以及這些因素能夠產(chǎn)生的機(jī)會(huì)的增加。在這些力量的影響的關(guān)鍵考慮是它們的臨時(shí)性質(zhì)。組織可以獲得更多的機(jī)會(huì)，但他們也稍縱即逝，需要對(duì)時(shí)間敏感的方法來(lái)利用數(shù)據(jù)。

綜合平臺(tái)解決了這些加速的時(shí)間問(wèn)題，使終端用戶在決策和基于分析的行動(dòng)階段比零碎的方法更快。對(duì)單個(gè)節(jié)點(diǎn)的語(yǔ)義圖表示適當(dāng)?shù)募铀僬{(diào)整模式和重新調(diào)整了模型與其他方法的奇異性。加速了整個(gè)數(shù)據(jù)準(zhǔn)備過(guò)程，這可以壟斷最好的數(shù)據(jù)科學(xué)家的時(shí)間，或者最基本的以數(shù)據(jù)為中心的需求過(guò)分依賴IT。用戶能夠投入更多的時(shí)間用于數(shù)據(jù)發(fā)現(xiàn)和分析，分享現(xiàn)代企業(yè)制定的速度。

解決常規(guī)問(wèn)題

上述力量已經(jīng)塑造了數(shù)據(jù)環(huán)境，由于日益分層的數(shù)據(jù)管理過(guò)程的必要性，導(dǎo)致集中的語(yǔ)義平臺(tái)廣泛的問(wèn)題。來(lái)自SMAC技術(shù)的多結(jié)構(gòu)化數(shù)據(jù)以快速交付的大量數(shù)據(jù)可能對(duì)數(shù)據(jù)格局的常規(guī)領(lǐng)域造成嚴(yán)重破壞，包括：信息治理，數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)集成，搜索和發(fā)現(xiàn)，商業(yè)智能和文本分析。

當(dāng)考慮采用點(diǎn)解決方法的孤島方式處理數(shù)據(jù)的這些方面時(shí)，容易成為供應(yīng)商鎖定或昂貴的更新的犧牲品，從而產(chǎn)生大量的停機(jī)時(shí)間。這種方法最大的問(wèn)題是，當(dāng)業(yè)務(wù)需求或流程改變時(shí)，會(huì)缺乏靈活性，任務(wù)組織重新啟動(dòng)手段實(shí)現(xiàn)，這六個(gè)重要功能之一。因此，當(dāng)他們的系統(tǒng)不能產(chǎn)生價(jià)值，同時(shí)被迫采用更多的系統(tǒng)維護(hù)時(shí)，組織會(huì)花費(fèi)更多的時(shí)間。

集中式方法的核心價(jià)值主張是實(shí)現(xiàn)數(shù)據(jù)使用的所有必要條件的整體方式。通過(guò)向現(xiàn)有系統(tǒng)提供必要的覆蓋，該方法能夠在短期和長(zhǎng)期中實(shí)現(xiàn)收益。立即獲益包括更大程度的企業(yè)治理監(jiān)督，部分通過(guò)標(biāo)準(zhǔn)化建模促進(jìn)，在大多數(shù)情況下，包括所有企業(yè)數(shù)據(jù)。隨后，數(shù)據(jù)來(lái)源和數(shù)據(jù)建模更容易解釋，并且更易于追蹤，這加速了集成嘗試。其結(jié)果是更快地洞察在組織范圍內(nèi)的治理協(xié)議與高度可見(jiàn)的數(shù)據(jù)，增加對(duì)數(shù)據(jù)資產(chǎn)的信任。

隨后的收益與這種洞察的性質(zhì)有關(guān)，遠(yuǎn)遠(yuǎn)超過(guò)從點(diǎn)解決方案中收集的收益。語(yǔ)義圖的鏈接數(shù)據(jù)方法集中于節(jié)點(diǎn)之間的關(guān)系洞察，這有助于其他技術(shù)無(wú)與倫比的看似無(wú)關(guān)的數(shù)據(jù)元素的背景文化。用戶能夠有更多的數(shù)據(jù)，以識(shí)別他們之間的關(guān)系，以及他們的使用情況，否則是無(wú)法發(fā)現(xiàn)的。

此外，這種鏈接數(shù)據(jù)方法使數(shù)據(jù)發(fā)現(xiàn)過(guò)程在很大程度上實(shí)現(xiàn)了自動(dòng)化，同時(shí)提供了探索性分析，用戶可以在其中詢問(wèn)和回答盡可能多的問(wèn)題。分析的結(jié)果是全面明確，并且包羅萬(wàn)象。采取零碎的方法，實(shí)現(xiàn)這些目標(biāo)是困難的。

預(yù)期未來(lái)的發(fā)展

培養(yǎng)對(duì)集中化需求的最緊迫的營(yíng)銷(xiāo)力量是大數(shù)據(jù)本身日益擴(kuò)大的影響。對(duì)未來(lái)幾年生產(chǎn)的數(shù)據(jù)量的預(yù)測(cè)表明，其擴(kuò)張并不會(huì)停止和停滯。當(dāng)考慮連接的設(shè)備的數(shù)量全部無(wú)限地在物聯(lián)網(wǎng)中產(chǎn)生數(shù)據(jù)，以及增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的進(jìn)步，并考慮這樣的數(shù)據(jù)的人工智能選項(xiàng)的可用性時(shí)，顯而易見(jiàn)的是大數(shù)據(jù)的規(guī)模，速度，結(jié)構(gòu)將在不久的將來(lái)大量增加。

集中的圖形感知環(huán)境為這些即將到來(lái)的技術(shù)進(jìn)步做好準(zhǔn)備。使用它作為hadoop或其他數(shù)據(jù)湖設(shè)置的基礎(chǔ)，使其具有在這種工作負(fù)載密集型數(shù)據(jù)驅(qū)動(dòng)部署中持續(xù)提供價(jià)值所需的規(guī)模和性能一致性。更重要的是，它是一個(gè)單一的手段簡(jiǎn)化每個(gè)組件的短期解決方案，點(diǎn)解決方案不是為大數(shù)據(jù)的需求而創(chuàng)建的。這種方法對(duì)于目前來(lái)說(shuō)是不夠的，并且對(duì)于未來(lái)大數(shù)據(jù)應(yīng)用的更嚴(yán)格的負(fù)擔(dān)當(dāng)然不可行。這樣的實(shí)現(xiàn)僅僅支持這樣的觀念：集中的，關(guān)系精明的語(yǔ)義圖解表示用于以管理數(shù)據(jù)為中心的需求的工業(yè)力量的融合。

必要的集中

從大數(shù)據(jù)的變革性可以看出，無(wú)論何處部署數(shù)據(jù)都可以提高業(yè)務(wù)價(jià)值。它的增長(zhǎng)可以歸因于業(yè)務(wù)加速，支持技術(shù)的新生態(tài)系統(tǒng)，以及企業(yè)中數(shù)據(jù)類型的多樣性的快速發(fā)展。它只有單純的市場(chǎng)力量，需要一個(gè)整體的手段來(lái)管理每個(gè)謹(jǐn)慎的組件轉(zhuǎn)換數(shù)據(jù)到洞察行動(dòng)。這些力量的影響是消除對(duì)現(xiàn)有基礎(chǔ)設(shè)施簡(jiǎn)單地附加一些附加工具的需要。

相反，它強(qiáng)制要求簡(jiǎn)化企業(yè)架構(gòu)，實(shí)施成本效益好的基礎(chǔ)設(shè)施，用于包圍企業(yè)的大量數(shù)據(jù)類型和技術(shù)，并且監(jiān)督長(zhǎng)期重用數(shù)據(jù)所需的組織范圍治理和來(lái)源。如今的市場(chǎng)力量促成了對(duì)這種整體數(shù)據(jù)管理的需求同，而未來(lái)是強(qiáng)制性的。