國家超級計算深圳中心(簡稱“深圳超算中心”)是國家863計劃、廣東省和深圳市的重大項目,也是深圳建市以來最大的科研基礎設施。深圳超算中心立足深圳、面向全國、服務華南、港、澳、臺及東南亞地區,將承擔各種大規模科學計算和工程計算任務,同時以其強大的數據處理和存儲能力為社會提供云計算服務,將建成功能齊全、平臺豐富、高效節能、國際一流的高性能計算研究開發中心和云計算服務中心,運營后能夠大大緩解華南乃至東南亞地區高性能計算能力緊張的局面,在新能源開發、新材料研制、自然災害預警分析、氣象預報、工業仿真模擬等眾多領域發揮重要作用。
深圳超算中心總投資12.2億元,配備了每秒1271萬億次計算峰值、20PB超大存儲量的曙光6000超級計算機系統。一期建設用地面積1.2公頃,總建筑面積4.3萬平方米,其中機房樓地面四層1.2萬平方米、科研樓地面16層3.1萬平方米。
圖 深圳超算中心主體大樓
基于該項目的重要影響以及超級計算機超強的運算能力,對數據中心基礎設施應用提出的巨大挑戰不言而喻,特別是對高達25kW/機柜高熱密度的刀片計算系統散熱提出了嚴峻挑戰。如何配建一套與之相匹配的制冷系統,并且實現綠色節能,成了深圳超算中心項目建設過程中的一項關鍵技術任務。
為此,提供了針對性極強的水冷機柜系統解決方案。水冷機柜采用高效節能的水冷技術,為全封閉式機柜, 單機柜制冷量最大可達30kW, 滿足機柜內高熱密度服務器的散熱要求。機柜內制冷循環與機房內空調系統獨立。機柜內置高效節能的V 型盤管熱交換系統實現機房冷卻水和機柜內空氣的隔離熱交換。機柜內空氣循環系統采用正面送風、背面排風的形式。工作時,機柜風扇吸收服務器背面排出的熱風, 從回風口送入盤管全熱交換器系統中冷卻,再將冷風從送風口送至服務器正面,灌入刀片服務器,依次循環,以達到對服務器的散熱功能。水冷機柜的風扇控制系統可根據機柜內溫度調節風速, 高效節能,風扇系統采用2+1冗余結構,確保風扇故障、維修情況下, 機柜制冷系統仍能正常運轉。水冷機柜底部的V 型盤管留有進水口和回水口, 通過帶有靜態水力平衡閥的金屬軟管與水管管道相連。在盤管的回水端, 安裝有三通閥,三通閥會根據送氣口出風溫度自動調節, 將多余的冷水旁通掉, 使流經內部盤管的水流量大小合適, 從而控制機柜送風口溫度維持在設定范圍內。
圖 深圳超算中心水冷機柜系統
水冷機柜制冷系統的優點, 主要如下:
采用水作為制冷劑,節能環保;
可靠性高,能有效解決傳統的空調集中送風所存在的散熱不均勻等問題;
制冷量大,能解決普通空調散熱系統所無法實現的高熱密度散熱問題;
制冷效率高,刀片服務器內置于密閉的柜體內,能大大降低機房噪音。
該解決方案不論是在技術先進性還是節能等方面,均很好地滿足了深圳超算的應用需求,經過實際運行的考驗,性能發揮非常穩定,顯示效果出眾,完全達到了項目設計的預期目標,力地保障了深圳超算的高效、穩定運行,獲得了客戶的高度認可。