雙碳戰(zhàn)略下，數(shù)據(jù)中心的“冷”與“熱”

隨著高密度計(jì)算興起，芯片、服務(wù)器性能和單機(jī)柜功率密度持續(xù)提升，浸沒式液冷開始受到青睞。

圖片來源：intel

在《碟中諜5》中有這樣一個(gè)場景：一座位于摩洛哥的數(shù)據(jù)中心被直接“泡”在了水里，為了讓自己的技術(shù)支持班吉·鄧恩通過一個(gè)需要步態(tài)識別的走廊，阿湯哥縱身一躍，跳入了漩渦之中，順著水流就被推入了計(jì)算機(jī)中樞，從而黑掉了安保系統(tǒng)……

這部電影的上映時(shí)間是2015年，場景看似科幻，但其實(shí)就在同一年，阿里云已經(jīng)開始進(jìn)行浸沒式液冷技術(shù)的概念驗(yàn)證。

所謂浸沒式液冷，就是將布滿密密麻麻紅黃色線頭的服務(wù)器浸泡在水一樣的液體里，只是這些液體并不是普通的水，而是特殊的絕緣冷卻液，服務(wù)器運(yùn)算中產(chǎn)生的熱量被冷卻液吸收后，再進(jìn)入外循環(huán)冷卻。

數(shù)據(jù)中心的能耗大致由通信及網(wǎng)絡(luò)設(shè)備?供電配電系統(tǒng)?照明及輔助設(shè)備和冷卻系統(tǒng)組成,其中冷卻部分的能耗約占數(shù)據(jù)中心總能耗的40%左右?

以往由于風(fēng)冷成本低、部署簡單，一直被廣泛使用。但近年來，隨著高密度計(jì)算興起，芯片、服務(wù)器性能和單機(jī)柜功率密度持續(xù)提升，浸沒式液冷開始受到青睞。

以阿里云在杭州的云數(shù)據(jù)中心為例，作為國內(nèi)規(guī)模最大的全浸沒液冷集群，整體節(jié)能超70%，年均PUE低至1.09。相比傳統(tǒng)數(shù)據(jù)中心，每年可以省電7000萬度，相當(dāng)于西湖周邊所有路燈連續(xù)點(diǎn)亮8年的耗電量。

尤其是今年2月，我國“東數(shù)西算”工程正式全面啟動(dòng)。其中，提出了三個(gè)發(fā)展方向：綠色節(jié)能、算力調(diào)度、安全可靠。綠色節(jié)能被放在了優(yōu)先位置。

“無論從政策角度、市場需求還是技術(shù)成熟度來講，均標(biāo)志著數(shù)據(jù)中心進(jìn)入‘液冷時(shí)代’。”中國電子節(jié)能技術(shù)協(xié)會秘書長呂天文此前在2022數(shù)據(jù)中心液冷技術(shù)研討會上說道。

數(shù)據(jù)中心的能耗焦慮

數(shù)據(jù)中心的概念起源于20世紀(jì)50年代末，當(dāng)時(shí)美國航空公司與IBM合作，創(chuàng)建了一個(gè)屬于美國Sabre公司的乘客預(yù)定系統(tǒng)，使其主要商業(yè)領(lǐng)域的這一部分變得自動(dòng)化。

不過，早期的數(shù)據(jù)中心還只能靠幾臺大型主機(jī)完成本地?cái)?shù)據(jù)計(jì)算，不僅不能做分布式運(yùn)算，也無法對外提供服務(wù)。直到90年代中期，互聯(lián)網(wǎng)出現(xiàn)并對市場產(chǎn)生了巨大影響。隨著公司對互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用的支撐需求，數(shù)據(jù)中心作為一種服務(wù)模式為大多數(shù)公司所接受。

2010年以后，隨著云計(jì)算技術(shù)的興起，云數(shù)據(jù)中心又逐漸走進(jìn)了大家的視線。與之前相比，云數(shù)據(jù)中心的基礎(chǔ)設(shè)備更加規(guī)?；?biāo)準(zhǔn)化和智能化，建設(shè)成本更低、承載的業(yè)務(wù)更多。

回顧數(shù)據(jù)中心發(fā)展歷史不難發(fā)現(xiàn)：數(shù)據(jù)逐漸成為了新型生產(chǎn)要素，對于生產(chǎn)力發(fā)展的重要性在不斷提升。

在我國，自2020年數(shù)據(jù)中心被納入“新基建”以來，各地?cái)?shù)字化相關(guān)產(chǎn)業(yè)發(fā)展浪潮愈發(fā)風(fēng)起云涌。在日前舉辦的世界5G大會Tech-Talk2022前瞻論壇上，國家信息中心信息化和產(chǎn)業(yè)發(fā)展部主任單志廣表示，全國國家數(shù)據(jù)中心集群建設(shè)中，2022年新開工項(xiàng)目25個(gè)，投資超過1900億元。

不過，數(shù)據(jù)中心的繁榮，也帶來了一系列問題，比如需要占用更多的場所、增加能耗等等。在首屆“東數(shù)西算”粵港澳大灣區(qū)（廣東）算力產(chǎn)業(yè)大會上，南方科技大學(xué)清潔能源研究院院長、澳大利亞國家工程院外籍院士劉科在大會現(xiàn)場表示，飛速增加的數(shù)據(jù)中心帶來了飛速增加的能源消耗，截至2020年底，中國數(shù)據(jù)中心耗電量已經(jīng)突破2000億千瓦時(shí)，能耗占全國總用電量的2.7%，預(yù)計(jì)2022年耗電量將達(dá)到2700億千瓦時(shí)。

這一能耗量之所以引人關(guān)注，可以從一組對比數(shù)字看出端倪。截至2020年12月31日24時(shí)，三峽電站2020年全年累計(jì)生產(chǎn)清潔電能1118億千瓦時(shí)。也就是說，2020年數(shù)據(jù)中心一年的耗電量相當(dāng)于當(dāng)年兩個(gè)三峽電站的發(fā)電量。

宏觀的能耗數(shù)字凸顯了問題的急迫性，而細(xì)微的能耗環(huán)節(jié)則讓摸清能耗來源以及尋找解決方案更加有的放矢。

眾所周知，數(shù)據(jù)中心的載體是一個(gè)個(gè)IT設(shè)備，而所有IT設(shè)備的計(jì)算能力是由芯片來決定。從目前來看，整個(gè)服務(wù)器的主流芯片的功耗是不斷增長的，甚至在最近幾年出現(xiàn)了一個(gè)斜率相當(dāng)大的上升。隨著服務(wù)器芯片的功率從100W、200W增長到350W、400W，服務(wù)器的功耗會有一個(gè)翻倍的增長，這就決定單機(jī)柜功率密度從最早的4KW、6KW增長到15KW到20KW。

不久前，在2022英特爾中國數(shù)據(jù)中心合作伙伴技術(shù)峰會上，英特爾數(shù)據(jù)中心平臺技術(shù)與架構(gòu)部中國區(qū)總經(jīng)理王飛透露，2025年英特爾預(yù)計(jì)有50億顆CPU核心投入運(yùn)營。這就意味著，一方面算力的發(fā)展在支撐著數(shù)據(jù)中心、數(shù)據(jù)經(jīng)濟(jì)和全球經(jīng)濟(jì)的發(fā)展；但另一方面，這也會給全球經(jīng)濟(jì)的可持續(xù)發(fā)展，以及數(shù)據(jù)中心的節(jié)能減碳帶來更多挑戰(zhàn)。他介紹說，2030年數(shù)字中心將消耗全球3%-6%的電能。

顯然，在這樣的趨勢下，傳統(tǒng)的風(fēng)冷方式已經(jīng)無法滿足數(shù)據(jù)中心的散熱和制冷需求。“目前，風(fēng)冷技術(shù)仍然被大規(guī)模使用。隨著我們對風(fēng)冷技術(shù)的不斷增強(qiáng)，比如說增加它的體積、面積、熱管技術(shù)和各種先進(jìn)技術(shù)，以及在數(shù)據(jù)中心級跟機(jī)架級和節(jié)點(diǎn)上做各種優(yōu)化，數(shù)據(jù)中心的PUE也可以降到1.2左右。 但之后我們也發(fā)現(xiàn)，即使有這么多的優(yōu)化，仍然有高達(dá)20%的能耗浪費(fèi)在數(shù)據(jù)中心的散熱和維護(hù)上面，另外還要加上系統(tǒng)風(fēng)扇的能耗。這對于減碳目標(biāo)來說，仍然不夠理想。”王飛說道。

PUE監(jiān)管更加嚴(yán)格

一邊是數(shù)據(jù)中心革新能效的自我驅(qū)動(dòng)，另一邊，隨著雙碳目標(biāo)的確定，從中央到地方，均將限制高PUE寫入政策，對數(shù)據(jù)中心的監(jiān)管更加嚴(yán)格。

什么是PUE？PUE是數(shù)據(jù)中心總能耗與IT設(shè)備能耗的比值，基準(zhǔn)是2，數(shù)值越接近1代表其用能效率越高。一般來說，對數(shù)據(jù)中心的的評價(jià)指標(biāo)主要有三個(gè)，分別是PUE（電能利用效率）、可再生能源結(jié)構(gòu)比例以及碳排放量。其中，PUE是主要的政策抓手。

6月，工信部等六部門聯(lián)合印發(fā)《工業(yè)能效提升行動(dòng)計(jì)劃》，該計(jì)劃中指出：到2025年，新建大型、超大型數(shù)據(jù)中心電能利用效率優(yōu)于1.3。

過去數(shù)據(jù)中心作為地方政府的經(jīng)濟(jì)抓手，廣受歡迎。近幾年，各大一線城市已經(jīng)紛紛對數(shù)據(jù)中心的節(jié)能指標(biāo)做出了嚴(yán)格的要求。

北京在《北京市新增產(chǎn)業(yè)的禁止和限制目錄(2018年版)》中明確規(guī)定，全市禁止新建和擴(kuò)建PUE大于1.4的數(shù)據(jù)中心。上海在《上海市推進(jìn)新一代信息基礎(chǔ)設(shè)施建設(shè)助力提升城市能級和核心競爭力三年行動(dòng)計(jì)劃(2018-2020年)》中指出，新建數(shù)據(jù)中心PUE要限制在1.3以下。

相比之下，深圳則最為嚴(yán)格。在《深圳市發(fā)展和改革委員會關(guān)于數(shù)據(jù)中心節(jié)能審查有關(guān)事項(xiàng)的通知》中強(qiáng)調(diào)，只有PUE低于1.25的數(shù)據(jù)中心才可以享受新增能源消費(fèi)量40%以上的支持。

從地方政府態(tài)度不難看出，GDP產(chǎn)值固然重要，但更重要的還是單位能耗的GDP產(chǎn)值要上升。對于身處其中的企業(yè)來說，既然傳統(tǒng)風(fēng)冷逐漸無法滿足數(shù)據(jù)中心散熱需求，那就必須找到一種合適的技術(shù)，完成經(jīng)濟(jì)效益和發(fā)展效益的平衡。

浸沒式液冷，突破能耗高墻

早在2015年，正在做云計(jì)算以及推廣的阿里云意識到算力的迅速增長對未來的挑戰(zhàn)。這個(gè)挑戰(zhàn)不光是芯片本身的散熱問題，同時(shí)也有數(shù)據(jù)中心能耗大幅度增長的問題。

“當(dāng)時(shí)我們就認(rèn)為未來一定需要找到一種合適的技術(shù)，做到充分釋放計(jì)算的潛能，同時(shí)也可以做到可持續(xù)發(fā)展。”阿里云服務(wù)器研發(fā)資深技術(shù)專家鐘楊帆在2022英特爾中國數(shù)據(jù)中心合作伙伴技術(shù)峰會說道。

當(dāng)時(shí)，液冷的概念剛剛出現(xiàn)不久。于是，阿里找到英特爾開始共同投入研究液冷技術(shù)。“當(dāng)時(shí)也是一個(gè)摸索，我們對市面上所有液冷的方向和技術(shù)都做了探索和實(shí)踐，包括冷板的技術(shù)，兩相、單相的技術(shù)，也做了一些樣機(jī)和試驗(yàn)。”鐘楊帆說道。

作為技術(shù)服務(wù)商，英特爾圍繞浸入式液冷所面臨的材料兼容性、電氣信號完整性、芯片散熱特性、服務(wù)器系統(tǒng)散熱特性、服務(wù)器及機(jī)柜結(jié)構(gòu)設(shè)計(jì)等課題，從處理器定制和服務(wù)器系統(tǒng)開發(fā)與優(yōu)化著手，突破芯片功耗墻功耗和冷卻兩大影響算力提升的關(guān)鍵問題，使得液冷服務(wù)器在阿里云數(shù)據(jù)中心從實(shí)驗(yàn)逐漸發(fā)展到大規(guī)模部署。且英特爾對液冷技術(shù)的研究不僅于CPU，對FPGA等部件在液冷條件下的兼容性驗(yàn)證也有相關(guān)的研究。

2016年，阿里云首發(fā)了浸沒式液冷系統(tǒng)。2017年后不斷擴(kuò)大規(guī)模，2018年建成首個(gè)互聯(lián)網(wǎng)行業(yè)最大規(guī)模浸沒式液冷服務(wù)器集群，開啟了浸沒式液冷的正式商用。2020年，阿里云又投產(chǎn)了首個(gè)5A級綠色液冷IDC。

從2015年探索開始，至今7年的時(shí)間，阿里云為何會從眾多的實(shí)驗(yàn)路線中選定浸沒式液冷路線？

與傳統(tǒng)的風(fēng)冷服務(wù)器相比，液冷技術(shù)一方面存在能效上的優(yōu)勢。因?yàn)樗懈玫臒岵东@能力，對于浸沒式液冷來說，甚至可以達(dá)到100%的熱捕獲能力。據(jù)鐘楊帆介紹，在液冷技術(shù)的加持之下，阿里云的浸沒式液冷數(shù)據(jù)中心的PUE甚至可以降到1.09左右。而傳統(tǒng)風(fēng)冷的年均PUE則是1.5，相比之下，能耗下降了34.6%。

另外，隨著整個(gè)數(shù)據(jù)中心能耗的提高，能源或者熱能的回收再利用也成為一個(gè)非常重要的話題。對于數(shù)據(jù)中心來說，在理論上它產(chǎn)生的熱能都可以被回收再利用，如果可以做到比較好的熱能捕獲，就可以回收再利用，甚至銷售由這些熱能轉(zhuǎn)化的能源，而液冷技術(shù)恰恰可以更好地支持熱能的捕獲和回收再利用。

除此之外，由于液冷的熱傳導(dǎo)效率比傳統(tǒng)的風(fēng)冷要高很多，因此能突破傳統(tǒng)風(fēng)冷制冷能力的瓶頸，從而讓單機(jī)柜功力密度提升了很多。鐘楊帆介紹說，傳統(tǒng)風(fēng)冷技術(shù)下，單機(jī)柜一般是10KW左右的散熱能力，但采用全浸沒液冷技術(shù)可以做到100KW以上。

再加上浸沒式液冷數(shù)據(jù)中心在地域上并不“挑剔”，具有更強(qiáng)的普適性，因此布局難度有所降低。在浸沒式液冷技術(shù)下，設(shè)備處于較低溫度運(yùn)行，再加上取消風(fēng)扇后沒有了震動(dòng)，設(shè)備的可靠性進(jìn)一步提升，噪音進(jìn)一步減少。阿里云通過實(shí)際的運(yùn)行實(shí)驗(yàn)發(fā)現(xiàn)，浸沒液冷技術(shù)能夠讓設(shè)備的故障率下降50%。

研發(fā)“無人區(qū)”，標(biāo)準(zhǔn)、成本如何解？

根據(jù)MordorIntelligence的報(bào)告,2020年全球數(shù)據(jù)中心浸沒式液冷市場的整體規(guī)模為2.97億美元,預(yù)計(jì)到2026年將達(dá)到7.03億美元,期間復(fù)合年增長率為15.27%?

數(shù)據(jù)中心浸沒式液冷技術(shù)發(fā)展迅速，優(yōu)勢也顯而易見，能突破散熱瓶頸，實(shí)現(xiàn)更優(yōu)能效比，但真正應(yīng)用的企業(yè)并不多，即使是在數(shù)據(jù)中心領(lǐng)域有著非常大技術(shù)投資的互聯(lián)網(wǎng)巨頭，也沒有真正規(guī)?；瘧?yīng)用這項(xiàng)技術(shù)。這就意味著浸沒式液冷技術(shù)的研發(fā)就像行走在“無人區(qū)”，前面沒有領(lǐng)路人，很多技術(shù)方向都是需要摸索，也就不得不面臨技術(shù)難度、成本偏高、缺乏標(biāo)準(zhǔn)化，還有腐蝕、漏液等問題。

浸沒式液冷技術(shù)的原理是用液體去代替空氣進(jìn)行換熱，它同傳統(tǒng)的風(fēng)冷技術(shù)相比，革命性的地方不只是散熱方式的變化，還會涉及到整個(gè)數(shù)據(jù)中心的生態(tài)，服務(wù)器、網(wǎng)絡(luò)設(shè)備、監(jiān)控乃至數(shù)據(jù)中心整體設(shè)計(jì)都將被改變和重新定義。“比如不導(dǎo)電的液體有很多種，哪種液體能夠滿足長期演進(jìn)和長期使用？RD設(shè)備放在液體中是否能夠長期穩(wěn)定工作？甚至如何運(yùn)維等等。”鐘楊帆說道。

為此，阿里云聯(lián)合了全球數(shù)十家合作伙伴，從芯片到服務(wù)器整機(jī)到機(jī)柜再到數(shù)據(jù)中心等多個(gè)供應(yīng)商。比如芯片的重要合作伙伴是英特爾，其第三代英特尓®至強(qiáng)®可擴(kuò)展處理器、以及高性能可編程芯片F(xiàn)PGA等產(chǎn)品都需要在浸沒液冷系統(tǒng)中高效并可靠地運(yùn)行。通過聯(lián)合供應(yīng)商聯(lián)合研究開發(fā)驗(yàn)證，一點(diǎn)點(diǎn)地迭代部署來發(fā)現(xiàn)問題，解決問題，從而實(shí)現(xiàn)規(guī)?；渴?。

處于行業(yè)初期，供應(yīng)鏈、生產(chǎn)鏈并不健全導(dǎo)致標(biāo)準(zhǔn)也缺失，比如業(yè)界對液冷材料兼容性、液冷產(chǎn)品材料選型、浸沒液冷機(jī)柜和服務(wù)器結(jié)構(gòu)、光模塊等均沒有規(guī)范標(biāo)準(zhǔn)。“如果沒有標(biāo)準(zhǔn)，特別是行業(yè)標(biāo)準(zhǔn)，就沒有規(guī)模經(jīng)濟(jì)，就很難降低成本，也就很難做到復(fù)用去支持可循環(huán)經(jīng)濟(jì)的產(chǎn)業(yè)鏈的發(fā)展。”王飛說道。

為了推動(dòng)行業(yè)標(biāo)準(zhǔn)發(fā)展，阿里云先是在去年與中國信通院云計(jì)算與大數(shù)據(jù)研究所、OPPO共同發(fā)起“浸沒液冷智算產(chǎn)業(yè)發(fā)展論壇”，并在今年5月舉辦的第一屆浸沒液冷智算產(chǎn)業(yè)發(fā)展論壇上，發(fā)布了新的浸沒式液冷技術(shù)的三大技術(shù)標(biāo)準(zhǔn)和兩項(xiàng)白皮書。

英特爾則是發(fā)起成立了綠色數(shù)據(jù)中心技術(shù)創(chuàng)新論壇，集合20家ICT產(chǎn)業(yè)上下游廠商，橫跨多個(gè)領(lǐng)域，覆蓋整個(gè)數(shù)據(jù)中心產(chǎn)業(yè)鏈。該論壇的成立，旨在通過技術(shù)創(chuàng)新和產(chǎn)業(yè)合作，加速數(shù)據(jù)中心運(yùn)營模式的綠色轉(zhuǎn)型，推動(dòng)數(shù)據(jù)中心節(jié)能減排、可持續(xù)發(fā)展，支撐數(shù)字基礎(chǔ)設(shè)施建設(shè)、碳中和計(jì)算，實(shí)現(xiàn)碳達(dá)峰、碳中和的“雙碳”目標(biāo)。

另外，對新技術(shù)的引入、研發(fā)等存在成本。浸沒式液冷系統(tǒng)的部署成本不僅包含液冷設(shè)備罐體和冷卻液的價(jià)格以及后續(xù)的維護(hù)成本,還包括泵?換熱器?過濾器?傳感器等一系列用來滿足液冷系統(tǒng)設(shè)計(jì)實(shí)踐的其它設(shè)施的改造和維護(hù)成本?尤其是對于那些已按照風(fēng)冷系統(tǒng)建設(shè)完成的數(shù)據(jù)中心來說,改造成本往往是巨大的?據(jù)了解，當(dāng)前由于浸沒式比起傳統(tǒng)方式初期投入構(gòu)建成本高，大約都有幾倍的價(jià)差。

為了解決成本高昂的問題，據(jù)TomsHardware報(bào)道，英特爾持續(xù)研發(fā)浸沒式液冷散熱解決方案，讓數(shù)據(jù)中心更多地采用浸沒式液冷散熱，同時(shí)不需要耗費(fèi)大量資金設(shè)計(jì)定制解決方案，這將大幅度降低成本及碳排放。

任何技術(shù)在發(fā)展初期，具體發(fā)展道路都是曲折的、迂回的，伴隨著數(shù)據(jù)中心節(jié)能減碳的需要與高密度數(shù)據(jù)中心的發(fā)展，政策驅(qū)動(dòng)、巨頭出手，數(shù)據(jù)中心浸沒式液冷正進(jìn)入大規(guī)模商用加速道。（本文首發(fā)鈦媒體app 作者｜韓敬嫻）

免責(zé)聲明：市場有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：