騰訊數(shù)據(jù)中心首席架構(gòu)師林志勇在第4屆中國數(shù)據(jù)中心綠色能源大會上發(fā)表《數(shù)據(jù)中心暖通架構(gòu)發(fā)展趨勢及未來液冷技術(shù)的思考》主題演講，就暖通架構(gòu)方面，分享了數(shù)據(jù)中心規(guī)模以及服務(wù)對象兩個關(guān)鍵因素帶來的影響，并對暖通技術(shù)的部件、產(chǎn)品、和系統(tǒng)三個技術(shù)發(fā)展的層面進行了詳細的剖析。其中對于騰訊暖通技術(shù)演化的路徑和間接蒸發(fā)冷空調(diào)的最佳實踐以實例進行了梳理和展示。

 

　　ONE、最好的數(shù)據(jù)中心暖通架構(gòu)是什么？

　　回答這個問題，可以先看看數(shù)據(jù)中心的兩個關(guān)鍵點：

 

　　01、數(shù)據(jù)中心的規(guī)模

　　數(shù)據(jù)中心作為服務(wù)器的承載體，其規(guī)模與業(yè)務(wù)規(guī)模密切相關(guān)。它可以是存儲間內(nèi)的幾臺機器，也可以是辦公大樓內(nèi)的幾十個機架，甚至可以是專門的大樓。數(shù)據(jù)中心可以位于華南或華北，也可以位于中國其他地區(qū)，也可以位于其他國家。規(guī)模的大小和地理位置的不同氣候條件，決定了數(shù)據(jù)中心的暖通架構(gòu)需要作出不同的選擇。

 

　　02、數(shù)據(jù)中心的服務(wù)對象多樣

　　當(dāng)前，服務(wù)器主要分為幾種類型，包括通用計算型、GPU機型、存儲和交換機。不同類型的服務(wù)器對環(huán)境的要求也各不相同。例如，磁帶存儲類型對溫度、濕度、清潔度和變化速度非常敏感，其負載波動特性也有很大差異，因此需要選擇特殊的暖通系統(tǒng)以滿足其需求。因此，并不存在一種最佳的暖通架構(gòu)，只有最適合的暖通架構(gòu)。適合的暖通架構(gòu)需要綜合考慮需求，并平衡供給端、成本、業(yè)務(wù)交付時間、運維等方面的因素。

　　行業(yè)內(nèi)，暖通技術(shù)的發(fā)展可以通過部件，產(chǎn)品，和系統(tǒng)三個層面來考慮：

 

　　01、部件層面

　　近年來我們看到在數(shù)據(jù)中心領(lǐng)域引入了一系列創(chuàng)新的部件技術(shù)，如變頻壓縮機、氣懸浮和磁懸浮技術(shù)、EC風(fēng)機、空空換熱芯（用于空氣對空氣的熱交換）、電子膨脹閥和氟泵等。這些部件技術(shù)的創(chuàng)新推動了整個數(shù)據(jù)中心暖通產(chǎn)品的更新迭代。

 

　　02、產(chǎn)品層面

　　為了適應(yīng)不同應(yīng)用場景的需求，我們看到市場上涌現(xiàn)出了一系列產(chǎn)品，如房間級空調(diào)、列間空調(diào)、冷凍水機組、冷卻裝置單元（CDU）、空氣處理單元（AHU）等。所有這些產(chǎn)品的出現(xiàn)適應(yīng)不同的應(yīng)用場景需求。

 

　　03、系統(tǒng)層面

　　如今更多的暖通架構(gòu)和建筑協(xié)同設(shè)計，采用集中式暖通架構(gòu)，還是采用分布式暖通架構(gòu)，有不同的氣流組織架構(gòu)，有不同的管網(wǎng)設(shè)計，控制系統(tǒng)也從單機，到多級群控，到平臺監(jiān)控。

 

　　可以說，在過去幾年中，圍繞部件、產(chǎn)品和系統(tǒng)這三個維度，數(shù)據(jù)中心的暖通技術(shù)不斷向前推進，不斷創(chuàng)新。

　　在騰訊數(shù)據(jù)中心的多年發(fā)展歷程中，我們積極探索和試點不同的暖通技術(shù)，目前主要專注于兩個技術(shù)方向：

 

　　01、是以城市多層庫為主的集中式冷凍水方案

　　這種方案將數(shù)據(jù)中心的冷卻需求集中在一個中央冷卻系統(tǒng)中，通過冷凍水來傳遞和分發(fā)冷量。這種集中式方案可以實現(xiàn)遠距離的熱傳輸和冷卻效果，并具備較好的可控性。

 

　　02、依托騰訊T-block而引入的分布式AHU架構(gòu)

　　這種架構(gòu)下的分布式空氣處理單元（AHU）包括了間接蒸發(fā)AHU和氟泵AHU。采用分布式的AHU架構(gòu)，在質(zhì)量、效率、成本上相對比于傳統(tǒng)的集中式冷凍水都有較大的改進。

　　自2018年起，騰訊陸續(xù)建設(shè)了以T-block為代表的自有園區(qū)。在這些園區(qū)中，我們引入了間接蒸發(fā)AHU產(chǎn)品，并吸引了許多行業(yè)內(nèi)的伙伴參與到我們的項目中。經(jīng)過幾年的積累和實踐，目前我們在華南地區(qū)實現(xiàn)了年均PUE值最低可達到1.21，在華北地區(qū)實現(xiàn)了年均PUE值最低可達到1.18。

 

　　未來，隨著芯片功率密度的增加，傳統(tǒng)的風(fēng)冷散熱已經(jīng)接近極限，芯片級液冷散熱已經(jīng)不再是可忽視的問題。因此，在未來的暖通架構(gòu)中，我們將關(guān)注如何支持液冷散熱的需求。

 

　　TWO、這幾年行業(yè)內(nèi)的幾種新的暖通技術(shù)產(chǎn)品漸漸成熟，未來我們還能做些什么？

　　在討論未來要做什么之前，我們有必要了解一下數(shù)據(jù)中心在暖通領(lǐng)域仍面臨著哪些挑戰(zhàn)：

 

　　首先，暖通服務(wù)對象的挑戰(zhàn)。IT設(shè)備的生命周期相對較短，一般是5年或者更少，而暖通系統(tǒng)的生命周期為10年甚至更長。因此，暖通系統(tǒng)的設(shè)計需要考慮如何滿足未來IT設(shè)備的需求，包括風(fēng)冷、液冷或者風(fēng)液混合場景的需求，這是一個挑戰(zhàn)。

 

　　第二，存量土建設(shè)置的挑戰(zhàn)。由于土建建設(shè)和業(yè)務(wù)需求的時間不匹配，暖通架構(gòu)需要考慮已建好土建的限制，并同時兼顧未來服務(wù)器和業(yè)務(wù)的需求，因此需要進行特殊的設(shè)計和考慮。

 

　　第三，項目建設(shè)計劃的波動。經(jīng)濟環(huán)境的變化可能對項目規(guī)劃產(chǎn)生影響。在項目規(guī)劃變化的情況下，可能需要調(diào)整已有的建設(shè)下發(fā)訂單產(chǎn)品的使用場所，因此暖通產(chǎn)品需要具備兼容性，最大程度上減少變更，滿足項目調(diào)撥的需求。

 

　　第四，極端氣候變化的挑戰(zhàn)。極端高溫天氣的出現(xiàn)對暖通系統(tǒng)產(chǎn)生重大影響。隨著氣候變化，可能會面臨更多極端高溫場景。這會降低制冷量、增加功耗，對整個數(shù)據(jù)中心的運行安全產(chǎn)生影響。因此，在暖通設(shè)計時，需要更多關(guān)注如何兼容未來可能的極端氣候變化。

 

　　第五，數(shù)據(jù)中心能效政策的挑戰(zhàn)。全國范圍內(nèi)對數(shù)據(jù)中心的基本要求是PUE小于1.3，有些地方要求更嚴格，如1.25甚至1.15。如何保證成本不增加或者增加有限的情況下去滿足能效的要求，是一個較大的挑戰(zhàn)，需要進行充分考慮。

 

　　第六，水資源規(guī)劃的挑戰(zhàn)。水資源規(guī)劃將變得越來越重要，尤其是在數(shù)據(jù)中心集群出現(xiàn)時。南方相對來說水資源較豐富，但北方水資源匱乏，特別是當(dāng)數(shù)據(jù)中心集群建設(shè)超出當(dāng)?shù)厮Y源供應(yīng)能力時。因此，在新建數(shù)據(jù)中心或運營過程中可能會面臨無水或缺水的情況，而在這種情況下，暖通系統(tǒng)必須能夠正常運行。因此，在選擇暖通架構(gòu)時必須充分考慮水資源的情況。

 

　　在應(yīng)對這些挑戰(zhàn)的過程中，我們未來需要從四個主要方面進行考慮和努力：

 

　　01、加強協(xié)同設(shè)計

　　這包括與服務(wù)器端的緊密合作，將數(shù)據(jù)中心的暖通系統(tǒng)設(shè)計與服務(wù)器的散熱設(shè)計、業(yè)務(wù)部署特點和業(yè)務(wù)調(diào)度特性更緊密地結(jié)合起來，以實現(xiàn)更優(yōu)秀的暖通系統(tǒng)設(shè)計。

 

　　其次是加強數(shù)據(jù)中心內(nèi)部的協(xié)同設(shè)計。在選址、能源評估、建設(shè)形式、氣流組織等方面，我們需要進行更多的合作，并進行前瞻性地考慮。例如，在選址階段，周圍可能沒有工廠，空氣質(zhì)量是可接受的，但在運營過程中，可能會發(fā)現(xiàn)在數(shù)據(jù)中心周邊出現(xiàn)預(yù)計之外的化工廠，導(dǎo)致空氣質(zhì)量下降。因此，在數(shù)據(jù)中心的整個生命周期中，如何解決這種問題，需要暖通系統(tǒng)設(shè)計時進行更多的協(xié)同考慮。

 

　　最后是加大運營設(shè)計的比重。過去，我們更多關(guān)注的是物理層面上的運營設(shè)計，如維護空間、維護平臺等。未來，我們需要更多關(guān)注暖通系統(tǒng)的數(shù)字化運營設(shè)計。這意味著通過數(shù)字手段來支持現(xiàn)場的自動化和智能化運營。

 

　　02、質(zhì)量

　　它將成為大型數(shù)據(jù)中心的關(guān)鍵工作之一。近年來，我們不斷看到由于暖通系統(tǒng)故障導(dǎo)致的宕機問題，這給數(shù)據(jù)中心帶來了巨大的經(jīng)濟損失。隨著數(shù)字經(jīng)濟的快速發(fā)展，暖通系統(tǒng)的可靠性變得更加重要。

 

　　我們可以觀察到，從集中式暖通系統(tǒng)向分布式暖通系統(tǒng)的轉(zhuǎn)變是在系統(tǒng)設(shè)計層面上降低風(fēng)險的舉措。然而，在這幾年快速建設(shè)的過程中，也存在一些問題。例如，對于新引入和定制化產(chǎn)品，缺乏完整有效的質(zhì)量控制機制。在技術(shù)規(guī)范方面，缺乏充分的質(zhì)量量化設(shè)計；在測試方案方面，缺乏成熟的標準和方法制定；在工藝方面，缺乏全面的風(fēng)險評估。因此，在未來一段時間內(nèi)，行業(yè)可能需要進一步加大力度，以確立技術(shù)要求、規(guī)范質(zhì)量評估，并提升工藝水平。

 

　　03、搭建多方參與的多體系信息平臺

　　該平臺不應(yīng)該將各方割裂獨立，而是將技術(shù)、產(chǎn)品、建設(shè)和運營等多方的信息流融合起來，實現(xiàn)多維度的暖通系統(tǒng)平臺構(gòu)建。

 

　　例如，在項目建設(shè)過程中，我們是否能夠自動匯總和跟蹤物流狀態(tài)和建設(shè)進度？是否能夠自動收集產(chǎn)品實驗測試數(shù)據(jù)、第三方測試數(shù)據(jù)和現(xiàn)場數(shù)據(jù)，并生成分析對比報告？是否能夠快速建立備件信息庫，并進行智能庫存管理和自動變更管理？我們是否能夠建立產(chǎn)品和部件的健康度模型，并進行及時地預(yù)測，并啟動自動的修復(fù)流程？同時，產(chǎn)品研發(fā)端是否能夠快速生成現(xiàn)場數(shù)據(jù)分析報告，并進行產(chǎn)品的迭代升級？

 

　　在當(dāng)今經(jīng)濟大環(huán)境下，我們經(jīng)常聽到“降本增效”的口號，而降低成本的真正有效手段是提高效率?？梢韵胂?，一旦我們打通各方的信息流，讓信息智能流通，我們的溝通成本和人力成本將大大降低。

 

　　04、液冷技術(shù)

　　在決定是否采用液冷技術(shù)時，我們需要考慮一些因素。以往，很多的液冷項目主要是起到能效示范作用，但隨著芯片功率密度的提高和人工智能應(yīng)用的增加，傳統(tǒng)的風(fēng)冷散熱能力將達到極限。因此，液冷逐漸成為一項必要需求。

 

　　在行業(yè)內(nèi)，人們對液冷技術(shù)進行了廣泛討論，主要涉及兩種技術(shù)：浸沒式和冷板式。這兩種技術(shù)各有優(yōu)缺點，選擇適合的技術(shù)需要考慮多個方面。

 

　　首先，我們應(yīng)該考慮該技術(shù)的生態(tài)圈是否成熟，供應(yīng)鏈體系是否能夠滿足規(guī)?；褂?，以及成本是否合理。其次，我們需要考慮技術(shù)的運維是否具有延續(xù)性和便利性。此外，我們還需要考慮兼容性。傳統(tǒng)老舊機房是否能夠支持液冷服務(wù)器？新建的液冷機房是否能夠與老舊的風(fēng)冷服務(wù)器兼容？通過充分考慮這些因素，每個用戶可以根據(jù)自身實際情況選擇最適合的技術(shù)方案。對于騰訊來說，由于擁有大量的風(fēng)冷服務(wù)器和風(fēng)冷機房，從部署和運維兼容性的角度來看，冷板式液冷技術(shù)是一個比較匹配的選擇。

　　如果我們選擇冷板液冷技術(shù)，那么液冷和風(fēng)冷的功率占比就變得非常重要。我們都知道，冷板只解決了芯片的散熱問題，而其他組件，如主板、內(nèi)存、硬盤和網(wǎng)卡，仍然需要通過風(fēng)冷方式進行散熱。因此，對于一臺服務(wù)器而言，液冷和風(fēng)冷所占總功率的比例至關(guān)重要。不同類型的服務(wù)器具有不同的比例，例如，大數(shù)據(jù)存儲服務(wù)器的液冷比例約為45%，而GPU訓(xùn)練服務(wù)器的液冷比例可高達85%。

 

　　對于一個機房來說，在建設(shè)初期很難準確預(yù)測業(yè)務(wù)在其生命周期內(nèi)的具體部署情況。是全部采用GPU訓(xùn)練型服務(wù)器？還是大數(shù)據(jù)存儲型服務(wù)器？或者兩者混合？因此，我們的機房需要具備一定的彈性，以滿足現(xiàn)場的部署需求。

 

　　在行業(yè)中已經(jīng)存在一些采用液冷架構(gòu)方案的案例，其中風(fēng)冷和液冷共用設(shè)施冷源。這種架構(gòu)能夠支持100%的風(fēng)冷模式。在風(fēng)冷側(cè)，采用了30°C供水的空氣處理單元（AHU），這樣機房冷通道的溫度大約在35°C左右。可以完全依靠自然冷卻來實現(xiàn)風(fēng)冷和液冷的效果。

 

　　然而，在國內(nèi)的大多數(shù)場景中，我們?nèi)孕枰３值陀?7°C的冷通道送風(fēng)溫度，因此無法完全依靠自然冷卻來實現(xiàn)散熱。因此，架構(gòu)也會有一些不同之處。

　　結(jié)合騰訊的使用場景，騰訊的冷板液冷架構(gòu)需要考慮以下幾個方面：

 

　　首先，一級冷源端應(yīng)該是共享的，能夠提供100%的制冷能力，并具備相應(yīng)的冗余度，以確保系統(tǒng)的穩(wěn)定性和可靠性。

 

　　其次，二級冷源端的運行應(yīng)根據(jù)室外環(huán)境溫度進行梯度調(diào)整。在高溫環(huán)境下，液冷和風(fēng)冷應(yīng)獨立供冷，風(fēng)冷可以采用機械制冷方式。而在中溫區(qū)間，風(fēng)冷可以通過機械補冷的方式實現(xiàn)部分自然冷卻。而在低溫區(qū)域，液冷和風(fēng)冷可以合并為一套系統(tǒng)來供冷。

 

　　此外，該架構(gòu)應(yīng)盡可能采用集成預(yù)制的方式，以簡化現(xiàn)場布管和控制調(diào)試的過程。同時，應(yīng)采用小顆粒度的模塊化設(shè)計，支持小規(guī)模的分期建設(shè)，以降低系統(tǒng)性風(fēng)險。下方的圖示為我們最終的架構(gòu)模型，其中集成預(yù)制的產(chǎn)品被稱為一體化冷源。

　　采用一體化冷源后，現(xiàn)場可以采用類似分布式空氣處理單元（AHU）的部署方式。圖中展示了T-block的可能部署示意圖。我們還建立了PUE與室外濕球溫度的預(yù)測模型，采用一體化冷源可以實現(xiàn)較高的能效水平。當(dāng)然，液冷技術(shù)仍處于初期應(yīng)用階段，仍存在許多未知的運行場景，需要在實際運行中不斷改進架構(gòu)和產(chǎn)品方案。

 

　　暖通技術(shù)已有一百多年的發(fā)展歷史，當(dāng)暖通技術(shù)與數(shù)據(jù)中心相結(jié)合，在數(shù)字經(jīng)濟的高速路上行駛時，我們看到了新的機遇和挑戰(zhàn)。新的需求、新的方向，更需要整個行業(yè)共同努力，協(xié)同共建。