Google自爆數(shù)據(jù)中心基礎設施

申請免費試用、咨詢電話：400-8352-114

Google數(shù)據(jù)中心的內部運作不再秘而不宣。

Google一向很少對外透露其數(shù)據(jù)中心的工作，但5月28日，Google伙伴Jeff Dean在Google I/O會議的聽眾前，輕輕撩起了Google公司基礎設施的神秘面紗。

一方面，Google用的是一般的服務器、處理器、硬盤、軟驅等等。另一方面，Dean似乎認為1800臺服務器也是非常普通、不值得一提。而Google公司使用的軟件，能在半秒之內回應700至1000臺服務器的搜索請求，則完全是另一回事。

Google從未透露他們究竟擁有多少臺服務器，但Dean認為至少不下數(shù)十萬臺。Dean表示，每個機柜里存放了大約40臺服務器。而根據(jù)某項估計， Google目前在全球有36個數(shù)據(jù)中心，以每個中心有150個機柜計算， Google的服務器至少超過20萬臺，而實際數(shù)字還要比這大得多，且每天都在增加中。

不論真正的數(shù)字有多少，Google的成就也實在驚人，部分原因是他們推翻了電腦業(yè)的傳統(tǒng)做法。當所有的超大型數(shù)據(jù)中心，如紐約股票交易所或航空公司的聯(lián)合訂位系統(tǒng)都是采用許多主流服務器和軟件系統(tǒng)的時候，Google的數(shù)據(jù)中心絕大部分卻是自身的技術建設而成。

有些制造和出售服務器的公司雖然不以為然，但Google顯然相信自己的技術命運最好操縱在自己手中。Google搜索產(chǎn)品與使用者經(jīng)驗副總裁搜 Marissa Mayer在5月29日的演講中提到，共同創(chuàng)辦人Larry Page鼓勵員工對“不可能的事情”保持一種健康的不敬。也就是說，別太相信有什么不可能的事情。

要維持如此大規(guī)模的運作，Google必須對每一臺機器都抱有一種隨時可犧牲的態(tài)度，服務器制造商喜歡宣傳他們的主機質量優(yōu)越、具有高度承受故障或當機的能力，但Google仍然寧愿把錢投資在冗余軟件系統(tǒng)上。

Dean表示：“我們的觀點是，擁有兩倍數(shù)量但比較不可靠的硬件，勝過數(shù)量一半但比較可靠的硬件。你必須為軟件提供可靠保障，如果你有1萬臺主機在運作，每天一定會有一些意外?！?/P>

Dean說，每次新業(yè)務上線最能顯示出硬件的脆弱。一般每個新業(yè)務上線的第一年，通常會發(fā)生1000次個別主機的故障、數(shù)千次硬盤故障；一次電力輸送問題，會導致500至1000太主機失效約6小時；20次機柜損壞，每次會造成40至80臺主機下線；5次機柜搖晃，會導致一半的網(wǎng)絡封包在傳送過程中遺失；整個業(yè)務至少一次重新上線，在兩天之內的任何時間，影響5%到主機。整個業(yè)務中還有一半的幾率會過熱，可能導致5分鐘內讓幾乎所有服務器當機，恢復則需要花費1到2天地時間。

雖然Google用一般的硬件組裝其服務器，卻不用傳統(tǒng)的封裝，他們要求英特爾提供特制的主機板。Dean表示，Google目前在每40臺服務器的機柜外，都包了一層外殼，這是Google自行開發(fā)的設計，而不是服務器廠商提供的外殼。

Dean表示，Google使用了幾種服務器組裝的方式，有些配備了很多硬盤，有點則數(shù)量比較少。還有一些大范圍的差異，他說：“我們不同的數(shù)據(jù)中心都有一些差異，但數(shù)據(jù)中心內部不會。”

對于服務器本身，Google偏好使用多核心晶片。許多習慣追求運算速度的軟件公司其實很難適應多核心的晶片，但Google沒有這種問題。他們在技術上早就必須適應橫跨數(shù)萬臺電腦的結構，因此他們已經(jīng)進入平行運算的世界。

Dean說：“我們真的很喜歡使用多核心主機。對我們而言，多核心主機就像很多相互連接、性能優(yōu)越的小機器，對我們來說相對好用?！?/P>

雖然Google對搜索和其他服務都要求快速回應，其平行運算能在單一指令的執(zhí)行相對較慢時產(chǎn)生快速回應的結果。這對于多核心處理器和多線程模式設計者是一大鼓勵。Dean說：“單線程的表現(xiàn)對我們來說無關緊要，我們有很多平行化的問題。”

那么Google要如何處理這些一般的硬件問題呢？用軟件。

Dean說明了Google軟件的三個核心要素：GFS（Google檔案系統(tǒng)）、BigTable和MapReduce演算法。雖然Google資助了許多有助于其開展的開放源代碼的計劃，這些仍然屬于專有軟件。

Dean表示，三者中級別最低的GFS幾乎在所有主機中運作，負責儲存資料。某些GFS的化身是“許多petabyte大小”的檔案系統(tǒng)。目前有超過200個業(yè)務在執(zhí)行GFS，其中許多都包含數(shù)千臺主機。

GFS把一塊儲存的資料（通常是64MB），至少放在三臺稱為chunkserver的主機內；假如chunkserver發(fā)生故障，主服務器便負責吧資料備份到一個新的地方。Dean說：“至少在儲存層級，主機故障完全由GFS系統(tǒng)處理?！?/P>

一窺Google數(shù)據(jù)中心自行定制的40臺服務器機柜?；A建設大師Jeff Dean在Google I/O大會上展示了這張照片。（IT168）