方案簡介

隨著互聯網技術的發展，越來越多的應用面向云計算。云計算是網絡計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算機和網絡技術發展融合的產物。云計算的核心思想，是將大量用網絡連接的計算資源統一管理和調度，構成一個計算資源池為用戶按需服務。云計算是IT服務提供方式的一種改變，它在對數據中心呈幾何倍數增長的情況下，有望顯著提高效率和靈活性。許多云計算部署依賴于計算機集群，包括計算、網絡互聯、存儲等，如圖1-3。圖1-4為具體一個云計算應用的拓撲部署。

圖 1-3

圖 1-4

     上述圖1-4，描述了一個云計算應用，其主要業務應用在經分系統中支持Oracle Rac，和分布式話單分析等，其中配置的集群服務器節點共有32臺刀片服務器，每個結點內置40Gb InfiniBand QDR HCA 卡網卡，連接到MIS5030 IB交換機中。多臺業務應用服務器連接到核心GE萬兆交換機中。以太網與IB網的連接通過MBX 5020 完成。MBX 5020有4個IB口，每個IB 可連接3個GE口，從而實現了計算結點與以太網服務器的通訊。

VSA 服務器：VSA為存儲加速軟件，配置了2個服務器，每個服務器內置一塊HCA（IB）卡和兩塊HBA（FC）卡，以及一塊512GB SSD固態盤。VSA服務器作為網關設備，實現了IB到FC的轉換。

HCA卡：40Gb InfiniBand QDR HCA 網卡。

HBA卡：8Gb FC卡。

SSD固態盤：采用CFD-SATAE電子盤產品，持續讀寫能力達200MB/s，用于加載VSA軟件做緩存用。

VSA連接著FC交換機與后端的FC存儲。

上述拓撲圖中，實現了IB、Ethernet、FC網絡的整合互通，應用在不同的云計算需求網絡部署中。

在當今企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。大數據將挑戰企業的存儲架構、數據中心的基礎設施等，也會引發數據倉庫、數據挖掘、商業智能、云計算等應用的連鎖反應。未來企業會將更多的TB級數據集用于商務智能和商務分析。到2020年，全球數據使用量預計將暴增44倍，達到35.2ZB（1ZB=10億TB）。

如何去分析這些數據，挖掘其內在價值，就需要分布式計算來支撐海量數據的分析工作。

早先那種多線程，多任務分解的日志分析設計，是分布式計算的一個單機版縮略，如何將這種單機的工作進行分拆，變成協同工作的集群，就是分布式計算框架設計所涉及的。

分布式計算運用在多場景，大數據量的分布式處理，是云計算服務中其業務內容必須用到的。

InfiniBand是針對對帶寬延遲要求比較高的領域設計的一種網絡，現階段主流帶寬是40Gb/s，網絡中端到端延遲可以控制在us級別，InfiniBand 網絡采用集中管理，支持網絡劃分，QOS等功能，擴展方便，可達數千個節點，經驗證，適用于MPI， ORACLE RAC，HADOOP等的應用。

1.2 節點系統

云計算核心是計算能力的集中和規模性突破，云計算中心對外提供的計算類型決定了云計算中心的硬件基礎架構。從云端客戶需求看，云計算中心通常需要規模化的提供以下幾種類型的計算能力：

?  大型服務器

一是高性能的、穩定可靠的高端計算，主要處理緊耦合計算任務，這類計算不僅包括對外的數據庫、商務智能數據挖掘等關鍵服務，也包括自身賬戶、計費等核心系統，通常由8路以上的大服務器提供。上述圖1-4，描述了這種情況的一個云計算應用的拓撲；

?  高密度服務器

二是面向眾多普通應用的通用型計算，用于提供低成本計算解決方案，這種計算對硬件要求較低，一般采用高密度、低成本的超密度集成服務器，以有效降低數據中心運營商的運營成本和終端用戶的使用成本；

?  高性能計算HPC

三是面向科學計算、生物工程等業務，提供百萬億、千萬億次計算能力的高性能計算，其硬件基礎是高性能集群。

1.3 網絡系統

網絡互聯技術是云計算中的關鍵因素，需要滿足5個關鍵因素對網絡的需求：

2  高帶寬/低延遲

2  整合型以太網

2  支持多種類作業任務

2  擴展性和可管理性

2  綠色/低能耗

對于支持云計算的網絡架構，解決方案應該是開放的，支持各廠商產品；采用“逐步擴展”式的布置，避免一次性淘汰更換。

采用的網絡互聯設備有：

2  40G IB網絡設備：用來支撐高性能的服務器架構，包括IB交換機和IB網卡

2  網關設備：支持多種協議的網絡連接與融合

2  10G以太網設備：支持以太網高速互聯的交換機和萬兆網卡

2  光纖設備：支持光通道傳輸的光模塊與光纖交換機

2  通用的百兆千兆網傳輸設備：包括線纜與網卡、模塊

1.4 存儲系統

不論是商業計算、普通應用，或是科學計算，在硬件架構層，影響云計算能力的除了計算能力以外，最重要的一個環節就是存儲。云計算采用數據統一集中存儲的模式，存儲的數據規模通常可以達到TB乃至PB級別，計算平臺處理的海量并發必然會帶來海量的并發讀寫。由于數據量非常大，讀寫并發高，普通存儲設備不可能滿足數據處理中對性能、穩定性和可用性方面的要求。并且傳統的存儲和文件系統在設計時并沒有考慮到大規模需求以及全球內容分發。存儲多達數十億的文件會占用千兆字節的空間，要確保這些文件能夠在多個數據中心之間快速、高效的共享，傳統解決方案的部署復雜、很難管理、不易擴展，且費用高昂。

DataDirect Networks 采用 Web Object Scaler (WOS)，有效改善了上述問題。WOS是最尖端的基于云的文件存儲技術，從根本上簡化并改進了從多個分布于不同地域的網站存儲、分發和訪問文件的方式。只需通過一個易于使用的管理界面，便能創建輕松、無限擴展的全球存儲云。WOS存儲技術具備管理方便、低延遲、可自動創建備份和執行災難恢復程序，安全性、可靠性高，易于擴展等特點。

云存儲應用案例：

?  高速的交易結算系統– CDR (呼叫數據記錄) 和互聯網帶寬使用記錄均為小文件，每秒可到達數百萬個，而現有的存儲技術若未能實現基礎結構的擴展，就無法滿足如此快速的交易需求。即使使用現有的存儲技術，高峰時期也容易造成數據的丟失。WOS 每秒可輕松處理海量交易。

?  視頻監控– 智能型 IP 攝像頭直接與NVR (網絡視頻) 對話，反過來，NVR可將錄像轉移到 iSCSI 陣列等存儲設備上。使用 WOS，從此就無需再使用 NVR，因此攝像頭錄制的視頻便可直接轉移到WOS 存儲云上。這樣不僅能夠降低成本和復雜性，并且由于 WOS固有的多功能性，用戶可同時從多個監控中心訪問錄像檔案。WOS 還自帶故障轉移和災難恢復功能，而這一點對敏感數據很重要。

?  Internet/Web2.0 – 管理用戶生成內容的網站必須能夠應付持久性數據不斷擴大的存儲需求，以及管理數以百萬計文件的挑戰。多功能的 WOS 能夠存儲數以十億計的文件，且不會對用戶端造成任何影響，是能夠滿足高速擴展需求的理想的解決方案。

?  銀行 – 支票影像應用平臺能夠創建數以百萬計的小文件，而這些小文件會對傳統的基于 NFS 的文件造成嚴重損壞。一個WOS 云便能在同一個命名空間內輕松存儲數十億支票影像，并自動將這些影像分發至多個數據中心，保護數據的同時還能提高訪問速度。

?  文檔及文件存檔– WOS 云是理想的存儲庫，適用于超過80% 的非結構性數據，這些數據需要保持在線狀態但只是偶爾對其進行訪問。將不常使用的數據遷移到 WOS，能夠釋放 1 層空間，延長使用壽命并降低持有成本。即使存檔數據不斷擴大，您也可隨時根據需要快速、順暢地添加 WOS 節點。

?  政府– WOS 云可為用戶提供海量規模和優異性能，適用于大型視頻、成像和存檔項目，同時還可實現政府機構和關聯機構之間自動、快速的信息共享，用于應急響應系統、快速聯動系統。

1.5 應用軟件

搭建云計算平臺，需要軟件技術的支持，這些軟件包括：

?  應用軟件：

提供云計算平臺服務的應用軟件，如網絡加速、任務調度、高性能計算軟件、安全、存儲、系統優化等軟件。

?  虛擬化軟件

虛擬化技術主要分為以下幾個大類 ：

2  平臺虛擬化（Platform Virtualization），針對計算機和操作系統的虛擬化。

2  資源虛擬化（Resource Virtualization），針對特定的系統資源的虛擬化，比如內存、存儲、網絡資源等。

2  應用程序虛擬化（Application Virtualization），包括仿真、模擬、解釋技術等。

?  網絡、集群管理軟件

網絡、集群管理軟件可幫助搭建和管理“云系統”。集群計算系統是云計算系統的核心。集群管理軟件通過提供監控、告警、報表、控制、統籌管理機制等功能，提高了集群運作性能，保證了集群整體安全，方便了用戶使用和管理。

?  分布式計算軟件

分布式軟件充分利用分布式資源，通過將計算過程分解，由多臺服務器并行處理，計算結果綜合起來得到最終結果的方式，使計算量巨大的處理可以再在更短時間內完成。分布式軟件通過綜合調度、并行處理的方式，使分布式系統資源充分利用，各節點協同工作，以低成本達到類似一臺大型機的運算效果。