谷歌數據中心供電系統剖析

2013-12-12 10:01:51 北極星電力信息化網　點擊量：評論 (0)

2011年中，谷歌公布了其在2010年全年的數據中心耗電情況。根據谷歌提供的數據，這家互聯網公司一年的電力消耗量高達近23億千瓦時，比21萬個美國家庭一年的用電量加一塊兒還要多。據斯坦福大學的Jonathan Ko

被吹回整個機房冷環境中。空氣循環單元107的框架上還架設有支撐架108，支撐架108用于安裝線槽110和112等，分別用于布設供電線纜和光纖或銅纜等。空氣循環單元上還有一些網線等，用于控制風扇的轉速，并將收集到的壓力、溫度、設備故障信息等送回到機房監控中。

三聯柜頂部的配電系統100則包括IT機柜供電的配線盒116，該配線盒向上可通過118接入口從一根或者兩根供電母排上獲得電力，向下則通過配電空開122以及線纜120等給102a-c的三聯柜每個機柜分別供電。比如每個機柜有三根線120到機柜PDU，那么122配電空開就總共有9個微斷連接到9條輸出線纜120上，或者3個3P的空開。

由于三聯柜通常都是工廠預制并安裝好TOR的整機柜，當三聯柜被滾動安裝鎖固在空氣循環框架107后，就可以直接從線槽110或者112上連接上聯光纖。然后供電的配線盒116向上則從供電母線取電，向下則給三聯柜機柜的PDU供電。最后等所有的線纜都連接好并帶電后，三聯柜內的服務器上電開始加載系統開始工作。如前面所述，每個機柜有30個導軌安裝30臺服務器，每個機柜采用三相空開，每相空開帶載10臺設備，每組三聯柜共有9路輸出空開，如果任何部分發生故障，那么最多也只會影響到1/9的設備，在保證人身安全的同時，盡量縮小故障影響面。

圖5(a)是谷歌三聯柜更為詳細的展示，三聯柜202a-c內的三個機柜整個連為一體，導軌205用于支撐服務器的安裝。標識為204a-c為機柜上的PDU垂直安裝在機柜前面的左側，PDU上有30個左右的母頭插座用于安裝服務器電源插頭。由于PDU和服務器非常靠近，而且插座基本平齊于服務器前面板，因此可以采用非常短的電源線用于連接服務器和PDU，電源線纜安裝美觀且管理方便。圖5(b)是安裝了服務器的三聯柜，這些服務器可以是計算、存儲等各種類型的IT設備。整個三聯柜通過底部的滾輪方便搬運和安裝，并且這些三聯柜以及要安裝的服務器會以整機柜的方式在工廠整體安裝調試好，搬運到現場后整體交付，即插即用，滿足快速部署和建設的需求。

圖6(a)是PDU及機柜一角的俯視圖，其中302是用于支撐待安裝服務器的導軌，而304則是PDU的支撐架，用于固定垂直的PDU 306到機柜上。PDU內部包含三根導線308、310和312，每根導線連接PDU上1/3的插座，比如導線312連接到PDU頂部的10個插座314，310負責中間的10個插座，而308則負責底部的10個插座。圖6(b)則描述了服務器主板316被安裝在導軌302上，以及和PDU的電源線連接示意。服務器316通過電源線320以及電源插頭318從PDU上取電，當然這里電源線只是示意，實際上谷歌的服務器電源往往安裝在熱通道側，電源線穿過服務器到機柜前面的冷通道來取電，滿足谷歌服務器全正面冷通道維護的需求。圖6(c)更為詳細的展示了導軌302和PDU 306之間的位置，插座314和導軌302一一對應逐個匹配，所以服務器電源線可以就近很好得連結到每個插座，當然如果有需要，也可能會有冗余的插座用于安裝其他需要的設備，比如交換機等。

圖7是PDU的示意圖，整條PDU分為6個子部分，從402到412，每個子部分則包含5個插座。當然也可以分成其他數量的子部分和不同的插座數，但每個子部分之間是沒有直接電氣連接的，且每個部分會設置有獨立的空開或者熔絲等來保護該子部分。標識為418、420和422的三個插座是三個電氣連接口，用于整條PDU從低壓母線排上的配線盒來取電。比如前面的例子，418輸入的電源線會覆蓋到2個PDU子部分，共連接10個插座。同樣的，420和422輸入也各覆蓋10個插座。PDU上還安裝有部分的熔絲保護槽414，用于安裝和快速更換熔絲。比如，圖7中414熔絲槽內的熔絲可以用于保護和隔離406部分的5個插座。如果406子部分5個插座的總負載電流不超過15A，那么418的輸入線纜會選擇載流量為30A的電源線，整條PDU則可以承載3*30A的IT負荷。在230Vac到240Vac供電情況下，418輸入會選擇10AWG或者4mm^2的線纜。根據谷歌服務器300到400瓦的典型功率，單機柜功率約在9-12KW附近。此外，上級配線盒內會選擇容量較大，而且動作響應時間較慢的開關，這種情況下靠近負載的熔絲會在故障發生時先于上級的開關動作，快速切斷負載，并且確保不會影響到上級開關，這種上下級開關和熔絲的選擇性問題會在后面詳細描述。