如何構建省錢的服務器集群

申請免費試用、咨詢電話：400-8352-114

來源：泛普軟件

以下這些知名機構用價廉低耗的計算機構建集群，同樣提供了近乎實時的處理能力，它們用于搜尋早期宇宙的跡象、研發(fā)下一代雷達或又快又經濟地運行網絡測試。他們的做法值得借鑒。

GPU集群與天文研究

這是一項很特別的挑戰(zhàn)：在澳大利亞內陸為默奇森寬視場射電望遠鏡陣列（Murchison Widefield Array，MWA）構建一個高性能計算集群。由于這里晚上沒有任何射電干擾，所以更容易搜尋早期宇宙的跡象。

MWA旨在幫助宇宙學家了解宇宙大爆炸之后，宇宙的起源、最早的恒星、星系以及類星體形成等問題，同時，該集群還將跟蹤太陽，特別是太陽風暴與不斷變化的太陽磁場關系等。但是，MWA需要驚人的一站式計算能力來處理大量的數據。

可供選擇的辦法并不多。研究人員發(fā)現，MWA的電力供給將會是一個大問題。MWA距離最近的居民點約50公里，離最近的市鎮(zhèn)約300公里。由標準的高性能計算節(jié)點組成的集群其耗電量會很大，而當地又缺少相應的基礎設施。

因此，MWA改而使用約80個圖形處理器（GPU）Nvidia Tesla S1070組成了兩個集群，整套系統(tǒng)的電力供給依靠40千瓦的柴油發(fā)電機組來供電。

以最高3GB/s的速度通過MWA的天文數據將進行2.5TFLOPS運算。由于澳大利亞內陸沒有光纖通道，圖像只好在本地進行處理，工作量相當大。天線捕獲射電數據（因此需要沒有射電干擾的場地）后，把數據傳送給被稱為相關器的設備，相關器再把數據提供給GPU。

圖像處理環(huán)節(jié)包括通過數學方程式將傅里葉數據轉換成實際空間數據、校正電離層失真和調校測量儀器。

目前，集群還沒有構建完畢，不過測試原型機已經開始運行了。Richard Edgar表示，按每瓦TFLOPS這個指標來衡量，該集群是世界上速度最快的。

美國空軍與PS 3集群

人類在技術方面的一大挑戰(zhàn)是：讓計算機像人那樣執(zhí)行相同的任務。這對美國空軍來說，意味著教計算機學會識別雷達圖像、準確辨認任何異常情況，而且常常是實時進行，處理起來不能有任何延遲。

美國空軍研究實驗室信息管理部的首席科學家Richard Linderman表示，該實驗室對計算的需求非常高。他解釋說，實驗室使用的特殊圖像“能實時消除大氣扭曲”。實驗室還采用神經形態(tài)計算算法，“探索如何以與人腦同樣的方式使用計算機，比如強大的目標識別能力?！?/P>

Richard Linderman表示，幾年前他的團隊開始分析超級計算機的成本時，首先考慮了PlayStation（PS）游戲機。他說，IBM專門為洛斯阿拉莫斯國家實驗室（Los Alamos）制造的“走鵑（Roadrunner）”超級計算機成本遠超過1億美元，但他看了相關報道后認識到，該超級計算機所用的芯片其實就是IBM、索尼和東芝聯合設計的Cell處理器，而PS 3游戲機用的也是這種芯片。

Richard Linderman表示，PS 3集群最初的構建成本約33萬美元，峰值性能為40TFLOPS，因而性價比要比Roadrunner高約10倍。美國空軍最近重新設計了集群，以便使用更便宜的組件，獲得更強大的計算能力?，F在，GPU和PS 3芯片基本上各占一半，峰值性能約為500TFLOPS，成本僅為200萬美元。

Richard Linderman說：“我們不想付大筆電費，所以用電效率是個重要因素。500TFLOPS超級計算機耗電量大多數達到幾兆瓦，而這個集群的耗電量只有300千瓦，這樣每年將節(jié)省1兆瓦用電，相當于省下了100萬美元。其節(jié)省幅度相當大，又可以獲得500TFLOPS的性能?！?/P>

MIT與插座式集群

對傳統(tǒng)的集群或超級計算機來說，目的是通過使用速度非?？斓墓蚕韮却?，同時運行多個應用或“任務”，這項工作需要高速網絡和高速磁盤訪問。

不過有時候，單項任務（如運行網絡測試）則需要高速的單精度浮點格式，而不需要超級計算機或高性能計算（HPC）集群的雙精度數據傳輸速度和共享內存。

麻省理工學院（MIT）發(fā)現，使用插座式計算機（plug computer）組成的集群，就能在耗電量很低的情況下運行網絡測試。插座式計算機其實就是連接到網絡的超小型裸機服務器，典型的插座式計算機包括Marvell公司的SheevaPlug或GuruPlug，或者基于這種平臺開發(fā)的其他產品，比如QuadAxis公司的QuadPlug。

設計該集群項目的麻省理工學院系統(tǒng)管理員Kurt Keville稱，麻省理工學院的這個集群用標準Wi-Fi連接而成，工作時總耗電量才約100瓦。他說：“我們現在的一大瓶頸就是內存、網絡帶寬和延遲?！蹦壳埃槭±砉W院使用許多獨立的處理器核心，借助多路徑網絡技術，在無線網絡上劃分任務。這種技術需要部署的無線熱點總數比較少，可以更充分地利用每個核心。這意味著，麻省理工學院使用低成本的插座式計算機，即可為特定的應用任務構建多個集群，費用比處理所有HPC任務的傳統(tǒng)集群低得多。

該團隊還采用這一集群為學生們提供低成本的、太陽能供電的無線網絡。Kurt Keville表示，目前不打算構建一般性的集群，因為功能更齊全的處理器耗電量很大，成本過高。

但使用共享內存來處理復雜的計算任務行不通，因為單臺插座式計算機缺乏足夠的內存和處理速度，無法同時處理多個任務。

桑迪亞國家實驗室與無磁盤集群

這個值得考慮的集群選擇根本不是傳統(tǒng)的硬件節(jié)點。桑迪亞國家實驗室（Sandia National Laboratories）的研究人員Ron Minnich構建了一個使用100萬個虛擬機的集群，并爭取近期將這個系統(tǒng)擴展到1000萬個虛擬機。

每個虛擬機由該實驗室的“雷鳥（Thunderbird）”超級計算機上運行的Linux內核構成。有意思的是，這臺超級計算機本身就是個集群，由近5000臺戴爾計算機相互連接而成。為了構建這個包括100萬個節(jié)點的集群，Ron Minnich在每個戴爾節(jié)點上運行250個虛擬機。如果要擴展到1000萬個節(jié)點，他就得在現有集群中的每臺戴爾計算機上運行更多的虛擬機。

Ron Minnich及其團隊正使用這個集群模擬僵尸網絡如何感染計算機，分析互聯網如何工作，以及幫助開發(fā)下一代操作系統(tǒng)和安全軟件。他表示，最終，他的團隊希望能夠模擬一個小國家的計算機網絡，甚至能模擬像美國這類大國的計算機網絡，以便在虛擬環(huán)境下監(jiān)測網絡攻擊。換句話說，他想在實驗室里建立網絡攻擊的虛擬模型。

Ron Minnich說：“一些緊迫的問題需要越來越多的計算資源，比如為氣候變化建立模型、研制新藥以及研究更有效的開發(fā)能源。”此外，虛擬化技術還會在研發(fā)大規(guī)模系統(tǒng)方面起到越來越重要的作用，因為它能夠在一個平臺上運行多個操作系統(tǒng)，并處理針對特定應用的操作系統(tǒng)。

基于GPU的射電望遠鏡集群MWA。很顯然，MWA完全依賴GPU驚人的計算能力來為天文研究創(chuàng)建大量的實時圖像。

麻省理工學院的系統(tǒng)管理員Kurt Keville說，他們發(fā)現，可以使用插座式計算機集群，在非常低功耗的情況下進行網絡測試。

幫助構建MWA集群的研究人員Richard Edgar說：“在電力這么有限的情況下，像至強和皓龍這些當代處理器提供不了所需的計算能力。我們考慮過改用低功耗的MIPS處理器，但它們也提供不了所需的性能。由于計算方面的要求極高，供電量較低，使用GPU就成了惟一有望成功的辦法?！?/P>

集群計算仍在發(fā)展當中。據麻省理工學院的Kurt Keville預測，在不遠的將來，巨型超級計算機集群占整整一層大樓的現象將不復存在。研究人員不會提前幾周安排批處理任務，而是會拿來幾臺插座式計算機，即刻構建自己的集群。他說：“我們要重新思考對待科學計算的角度，考慮到可以使用的新產品和高昂的電力成本。面對更多的問題，我們需要更多的解決辦法?！?/P>

發(fā)布：2007-04-29 10:18 編輯：泛普軟件 · xiaona [打印此頁] [關閉]

相關欄目：