鋼鐵企業MES系統中的數據存儲及其應用

　　引言

　　鋼鐵企業MES系統中的數據是企業生產和管理的核心業務數據。數據量大，實時性強，并發訪問頻繁，數據吞吐量大，這就需要保證數據存取的高效響應時間、高可靠性，以及系統抵御數據丟失風險的能力和系統的容災能力。另外，隨著企業技改的進行，業務不斷擴展，新系統的建設等等，這些變化要求數據存儲系統有良好的擴展能力。因此，完全有必要對數據存儲方面的有關技術進行探討、研究。根據鋼鐵企業的特點，建立一種具有良好擴展性、可用性、可靠性的數據存儲模式，以滿足鋼鐵企業MES系統對于數據存儲的要求。

　　1、目前主要數據存儲技術分析

　　1.1 DAS(直連式存儲器)技術

　　直連式存儲器，就是將磁盤陣列柜通過SCSI接口和線纜直接連接到服務器上，由于采用了SCSI協議，因此這種應用主要是用于數據庫中的數據存儲上面。這種連接方式的弊病是由于受SCSI技術的限制，其連接距離有限，而且SCSI共享和仲裁的機制也導致了它的最大傳輸速度不能超過80 MB/s，所有的這些弊端導致了它只能作為單一節點的存儲設備，不適合用在需要大規模高效率的企業存儲環境中。尤其不適合鋼鐵企業MES系統的要求。

　　1.2 NAS(網絡附加存儲)技術

　　NAS——網絡附加存儲，即將存儲設備連接到現有的網絡上，提供數據和文件服務。NAS服務器一般由存儲硬件、操作系統以及其上的文件系統等幾個部分組成。簡單的說，NAS是通過與網絡直接連接的磁盤陣列，它具備了磁盤陣列的主要特征：高容量、高效能、高可靠。NAS將存儲設備通過標準的網絡拓撲結構連接，可以無需服務器直接上網，不依賴通用的操作系統，而是采用一個面向用戶設計的、專門用于數據存儲的簡化操作系統，內置了與網絡連接所需的協議，因此使整個系統的管理和設置較為簡單。其次NAS是真正即插即用的產品，并且物理位置靈活，可放置在工作組內，也可放在其他地點與網絡連接。因此，用戶選擇NAS解決方案，原因在于NAS價格合理、便于管理、靈活且能實現文件共享。

　　NAS的主要應用場所是在需要對網絡用戶提供大容量的文件存儲的領域里。因此，NAS的解決方案不適合鋼鐵企業MES系統的數據存儲。　1.3 SAN(存儲區域網)技術

　　SAN——存儲區域網絡，即通過特定的互連方式連接若干臺存儲服務器組成一個單獨的數據網絡，提供企業級的數據存儲服務。SAN是一種特殊的高速網絡，連接網絡服務器和諸如大磁盤陣列或備份磁帶庫的存儲設備，SAN置于LAN之下，而不涉及LAN。利用SAN，不僅可以提供大容量的存儲數據，而且地域上可以分散，并緩解了大量數據傳輸對于局域網的影響。SAN的結構允許任何服務器連接到任何存儲陣列，不管數據置放在哪里，服務器都可直接存取所需的數據。

　　SAN具有下面幾個特點：首先SAN具有無限的擴展能力，由于SAN采用了網絡結構，服務器可以訪問存儲網絡上的任何一個存儲設備，因此用戶可以自由增加磁盤陣列、帶庫和服務器等設備，使得整個系統的存儲空問和處理能力得以按客戶需求不斷擴大。另外，SAN具有更高的連接速度和處理能力，SAN采用了為大規模數據傳輸而專門設計的光纖通道技術。SAN存儲結構見圖1。

　　從SAN的結構圖中看到：多個服務器主機通過光纖接口設備連接到光纖互連設備，而光通道的互連設備又通過光纖與多個光纖接口的磁盤設備或磁帶庫設備相連。這種存儲網絡的直接結果：主機系統與存儲設備均可雙向靈活擴展，整個系統可以形成存儲共享的有機整體。同時，光纖通道的訪問能力大大高于傳統的SCSI技術所提供的通道能力。通過以上對各種數據存儲技術的分析、比較，SAN數據存儲技術模式更適合鋼鐵企業MES系統對數據存儲系統的要求。

　　2、MES系統數據系統分析

　　2.1 數據存儲系統分析

　　2.1.1 海量數據及存儲系統擴容要求

　　隨著鋼鐵企業信息化建設的不斷深入，應用系統數量不斷增加以及應用系統不斷擴展。一方面，數據量將急劇增長；另一方面，MES系統數據信息的急劇膨脹，應用也越來越廣泛深入，對系統性能和容量的要求也將越來越高。所以，系統應具有良好的可擴充性能，當業務發展需要擴充時，容量和性能均應平滑擴充，最大限度地保證用戶的使用需求。

　　2.1.2對數據I/O能力的要求

　　企業MES系統有著訪問頻度高、訪問用戶多的特點，所以，必須保證具有高效的數據I/O能力。

　　2.1.3高級的存儲服務需求

　　鋼鐵企業MES系統實時性要求高(7×24 h不間斷工作)，隨之帶來了許多高級的存儲服務需求，例如進行數據挖掘、數據實時分析，要求存儲系統具有數據快照(Snapshot)功能；數據遷移，要求存儲系統具有實時、快速、零風險的數據遷移工具，可以完成舊存儲設備到新設備的無縫遷移；數據異地容災，要求存儲系統具有遠程同步/異步鏡像功能，靈活配置策略的數據復制技術。所以，必須從設備選型和方案設計上保證系統的安全性/高可用性。

　　2.2數據備份系統分析

　　在鋼鐵企業MES系統中，至關重要的是業務數據。因此，必須建立一套完善的自動備份管理系統，對不斷擴大的業務系統和不斷增長的數據進行保護，才能最大限度地減少數據丟失造成的損失。要求備份系統能夠有一套自動恢復的機制。在系統出現錯誤時無需過多人工干預就能夠恢復系統。

　　對業務數據恢復時間的要求很高，因此備份軟件應提供一種機制，使用戶在災難發生后，能在非常短的時間內恢復服務器上的系統軟件和數據。支持在文件和數據庫正被使用時的備份。鋼鐵企業MES系統7×24 h不間斷工作，在備份期間仍然有文件和數據庫被打開使用，系統應該能夠備份這些文件和數據庫，否則會導致數據不完整。正如前面描述，SAN是先進的存儲體系結構。利用SAN技術不但可以釋放傳統的網絡資源(LANfree Backup)，甚至可以釋放大量的系統資源(Serverless Backup)，大大提高網絡數據的備份速度，提高數據備份的可靠性與可管理性。

　　2.3數據容災系統分析

　　數據的集中帶來了管理的便利，以及充分利用資源，大大減少了成本。然而，數據集中也有潛在的危險。一旦數據中心發生災難，那將是不可估量的損失。完整的存儲解決方案是建立數據容災、備份中心。為保證數據中心的核心業務和關鍵數據的7×24 h有效性，必需構建一個安全可靠的災難備份中心。如上所述，SAN數據存儲模式使得通過光纖可以將備份設備的物理連接延伸至幾公里甚至幾十公里，使異地數據備份及容災成為可能。

　　維護一個備份數據中心面臨的一個最主要的技術挑戰是確保備份數據中心與主數據中心的數據能保持同步。最理想的情況下，主數據中心和備份中心的數據應該完全相同。

　　3、解決方案

　　3.1系統總體結構

　　鋼鐵企業MES系統對數據中心的系統有很高的要求。根據前面所述，采用SAN數據存儲技術來構建系統硬件。采用美國EMC公司硬件存儲系統(磁盤陣列)，美國StorageTek公司磁帶庫，備份管理軟件選擇EMC NetWorker，復制軟件采用FalconStorIPStor。

　　系統中包括EMC CX3-10光纖磁盤存儲子系統、光纖交換機及配套的GBIC、光纖主機適配卡、多模光纜。采用EMC CX3-10存儲服務器，將MES系統的主要業務數據集中存儲到EMC CX3-10中，這樣不僅使分布在整個網絡上各個地方的數據進行集中存儲，保證數據的安全，而且還降低了數據管理的復雜程度。所有的數據集中存儲到EMC CX3-10中更易于建立及管理備份系統，例如添加磁帶庫。系統總體結構見圖2。

　　3.2系統構建

　　3.2.1數據存儲系統設計

　　①存儲磁盤系統

　　美國EMC公司是數據中心信息系統的基礎設施產品和解決方案的主要提供商。EMC的角色是提供構建和管理其不斷增長的信息系統的基礎設施，使其能靈活地支持企業不斷快速增長的業務的需要。

　　針對MES系統數據存儲的要求，結合EMC公司產品的技術與特點，提出以下解決方案：

　　配置2臺EMC CX3-10存儲磁盤陣列，將其中1臺存儲磁盤陣列移到遠程備份中心使用，通過FalconStor FRDS實現數據的遠程容災。此方案包括原系統升級、數據備份、遠程容災方案。

　　EMC CLARiiON磁盤陣列具有獨立的存儲處理器(Storage Processors)，是建立在硬件RAID技術基礎上的創新的存儲系統。CX3-10是EMC于2006年發布的最新一代光纖陣列系統。

　　②光纖交換機

　　Brocade210E光纖交換機可顯著提高存儲企業網絡(SAN)的性能和功能。基于第三代BrocadeA-SIC技術的210E集4GB/s光纖通道傳輸容量及各項全新功能于一身，大大加強了交換機的操作，令企業既可擁有更高的安全性、可用性性能，又能享有集中式的數據管理。

　　Brocade210E交換機專為企業環境設計，并集成了廣泛的高可用性硬件及軟件功能。Broeade210E尤其適合既希望升級現有環境，又希望不影響商業運作的企業。由于Brocade210E能完全配合原有的交換機使用，因此能支持核心至邊緣(Core-to-Edge)體系結構，有助于加強擴展性，提高更高的性能及可用性。

　　③方案技術特點

　　先進的高性能海量存儲解決方案，實現數據整合。據此建立起來的信息架構具有開放性、平臺無關性、擴充和重構的靈活性。

　　容錯存儲系統和SAN通道高可用性及負載均衡解決方案RDAC，實現全架構的高可用能力。企業存儲網絡(ESN)及SAN綜合管理解決方案信息的高度整合，配合強大的管理軟件，實現信息的集中式全面管理。

　　此方案框架下，支持基于SAN的Lan-free、Serverless的綜合快速磁帶備份方案。為今后采用基于IP/FC遠程數據鏡像，跨越整個架構的完全高可用性留有接口，數據保護能力強大。

　　3.2.2數據備份系統設計

　　①備份設備選型

　　針對鋼鐵企業MES系統的要求，結合StorageTek公司產品的技術與特點，選用StorageTek L40磁帶庫。

　　多年電子數據的積累，存儲量會變得相當可觀。這就要求選擇磁帶庫存儲容量要適應數據的增長、磁帶機的讀寫速度要滿足備份窗口的要求。將磁帶庫匹配兩個LTO磁帶機，提供備份服務。采用EMCNetworker備份管理軟件控制StorageTek IA0磁帶庫，實現無人執守網絡備份。

　　②備份系統規劃

　　在數據中心選擇1臺PC服務器作為備份服務器，安裝EMC NetWorker NetWork Edition for Windows為基本的備份平臺。配置磁帶庫自動加載系統，進行定時的自動備份。

　　配置1臺大容量磁帶庫StorageTek L40，實現數據大容量存儲。磁帶庫配置2個LTO磁帶機，40個磁帶槽。備份服務器上需要配置1塊光纖接口卡(HBA)，用來連接光纖交換機。2個磁帶機和機械臂串連起來通過光纖橋接器連接到光纖交換機上。

　　由于業務數據都是存儲在數據庫中的(Oracle/SQL)，其存儲與組織方式有別于普通的文件，因此，對于Oracle/SQL選用EMC NetWorker Module for Oracle/SQL，無論系統結構如何改變，EMC可以對數據庫的系統文件及數據進行在線備份，當數據庫發生錯誤時，可以通過備份的數據對其進行恢復。真正的Online實時備份，保持備份數據的完整性。該備份系統支持磁帶庫或光盤庫等高性能存儲設備，可做高速備份，可管理大量的數據備份介質。同時EMC軟件可以非常好的與Alphastor軟件結合，對在線和離線磁帶的循環管理和實現磁帶庫的虛擬共享管理，為產銷一體化及MES系統以后不斷增長的儲存需求和管理提供良好的擴展性。

　　③方案技術特點

　　高效自動化備份機制。 
　　LAN Free備份。 
　　完善的數據災難恢復功能，提供不同層次的容災需求。 
　　統一集中的備份策略，自動化管理，減少人為錯誤。 
　　介質(磁帶)的在線和離線自動跟蹤管理。 
　　有效的媒體管理。 
　　滿足系統不斷增加的需求。
　　
　　3.2.3數據容災系統設計

　　①軟件選配.

　　選擇FalconStor IPStor DiskSafe作為數據遠程復制工具。IPStor是一個純軟件解決方案，與存儲設備沒有關系，不管存儲設備是SCSI、還是FC設備，也不管設備是否來自同一廠家、同一品牌。IPStor可以充分利用現有IT架構、現有的存儲設備，大大地降低投資成本。

　　另一個問題值得關注的是兩地數據通信鏈路。推薦帶寬10 Mb/s以上，當然這取決于主數據中心數據變化程度。IPStor支持IP，也支持FC數據復制。實施中可以根據用戶實際情況，作出相應的調整。

　　②容災方案說明

　　在數據備份中心配置一臺高性能的Pc服務器作為IPStor Appliance服務器，安裝IPStor Server存儲管理軟件。IPStor Appliance服務器通過HBA連接到本地光纖存儲交換機中。

　　在數據備份中心，從IBM DS4300中分配一定數量磁盤空間給IPStor服務器，作為IPStor所管理的存儲池，將存儲池劃分多個數據卷，數據卷可以重定向應用服務器，分配給IBM小型機使用。
 
　　在主數據中心的數據服務器上安裝IPStor DiskSafe復制軟件。IPStor DiskSafe是基于數據塊級的主機到IPStor存儲池數據遠程復制模塊(DSR)，安裝在應用主機上通過IP/SAN將數據以數據塊的方式復制到備份數據中心IPStor所管理的存儲池中，結合了IPStor提供的應用感知數據庫代理模塊，保證傳輸數據時的數據庫一致性。

　　一旦數據需要恢復，可以將數據反同步，從備份數據中心復制到主數據中心。數據服務器安裝(mount)IPStor數據卷，從啟數據庫實例，系統聯機。

　　同樣，可以將復制過來的數據卷在備份數據中心進行測試、開發等應用，配置過程簡單。

　　4、結語

　　在研究分析現行主要數據存儲技術的基礎上，針對鋼鐵企業MES系統對數據存儲的要求，建立了一個SAN網絡數據存儲的基本架構，在此基礎上，構建了一個適合鋼鐵企業MES系統要求的集數據存儲、數據備份、數據恢復及數據容災于一身的數據存儲系統。該系統滿足中遠期的數據庫增長、數據增長，具備方便靈活的擴充能力。此外，還對系統的中遠期目標進行充分的考慮，包括系統的擴容、高速備份、數據遷移、容災處理等。