Nestejäähdytys ei ole datakeskuksissa uusi keksintö, mutta laskentatehon tiheyden kasvu on tehnyt siitä muutamassa vuodessa valtavirtaa. Perinteinen konesaliräkki kuluttaa muutamia kilowatteja, kun taas tekoälylaskentaan rakennettu räkki voi kuluttaa kymmeniä tai yli sata kilowattia. Tällaista tehotiheyttä ei jäähdytetä ilmalla.
Nestejäähdytys jaetaan käytännössä kolmeen ratkaisuun: suoraan piirille vietävään jäähdytykseen, koko laitteen upottamiseen dielektriseen nesteeseen ja näiden yhdistelmiin. Tämä artikkeli vertailee ratkaisuja ja kertoo, mitä kukin niistä tarkoittaa laitoksen suunnittelun, käytön ja huollon kannalta. Kokonaisuuteen voit tutustua datakeskuksen jäähdytyksen kattavassa oppaassa.
Miksi ilmajäähdytys tulee vastaan
Ilma on huono lämmönsiirtoaine. Vesi sitoo massaa kohti noin nelinkertaisen lämpömäärän ilmaan verrattuna, ja tilavuutta kohti ero on yli kolmetuhatkertainen. Sama lämpömäärä vaatii siis ilmalla valtavan tilavuusvirran.
Puhaltimien teho kasvaa suunnilleen virtauksen kuutiossa, joten ilmamäärän kaksinkertaistaminen moninkertaistaa puhallinsähkön. Jossain vaiheessa raja tulee vastaan: lisätty jäähdytysteho maksaa enemmän sähköä kuin kannattaa maksaa, ja samalla melu ja tilantarve kasvavat. Käytännössä hyvin toteutettu ilmajäähdytys käytäväerotteluineen riittää noin 20 kilowattiin räkkiä kohti, poikkeustapauksissa hieman enemmän. Tekoälyräkit ylittävät tämän moninkertaisesti.
Nestejäähdytyksessä lämpö otetaan talteen siellä, missä se syntyy, eikä sitä levitetä ensin koko salin ilmaan ja kerätä sieltä takaisin. Tämä parantaa hyötysuhdetta ja nostaa samalla talteen otettavan lämmön lämpötilaa, mikä on hukkalämmön hyödyntämisen edellytys.
Suora nestejäähdytys eli direct-to-chip
Suorassa nestejäähdytyksessä prosessorin päälle asennetaan kylmälevy (englanniksi cold plate), jonka sisällä on kapeita virtauskanavia. Jäähdytysneste virtaa niiden läpi, ottaa lämmön vastaan ja kulkee räkin jakotukkien kautta CDU-yksikölle, joka siirtää lämmön laitospiiriin.
Yksifaasinen ratkaisu on näistä selvästi yleisin. Siinä neste pysyy koko ajan nestemäisenä, ja nesteenä on tyypillisesti vesi-glykoliseos. Kaksifaasisessa ratkaisussa neste höyrystyy kylmälevyn sisällä ja lauhtuu takaisin nesteeksi, jolloin siirtyvä lämpömäärä on suurempi, mutta järjestelmä on selvästi monimutkaisempi.
Direct-to-chip-jäähdytyksen käytännön piirre, joka jää hankkeissa usein liian vähälle huomiolle, on jäännöskuorma. Cold platet kattavat prosessorit ja kiihdyttimet, eivät muuta laitetta. Muistit, virtalähteet, verkkokortit ja levyt tuottavat edelleen lämpöä, joka poistuu ilmalla. Osuus riippuu laitteistosta, mutta karkeasti nesteeseen siirtyy noin 70–80 prosenttia räkin lämmöstä. Loput on jäähdytettävä ilmalla, eli nestejäähdytetty sali tarvitsee edelleen ilmajäähdytystä. Jos tätä ei ole mitoitettu, sali lämpenee, vaikka nestepiiri toimii moitteettomasti.
Ratkaisun vahvuus on, että se toimii tavanomaisella palvelinlaitteistolla ja soveltuu myös jälkiasennukseen. Heikkous on, että putkisto, paine ja liitokset tulevat räkin sisään, ja jokainen pikaliitin on mahdollinen vuotokohta.
Immersiojäähdytys
Immersiojäähdytyksessä koko palvelin upotetaan altaaseen, joka on täytetty sähköä johtamattomalla eli dielektrisellä nesteellä. Puhaltimia ei tarvita lainkaan, ja käytännössä kaikki laitteen tuottama lämpö siirtyy nesteeseen.
Yksifaasisessa immersiossa neste pysyy nestemäisenä, ja se pumpataan altaasta lämmönsiirtimen läpi. Nesteenä on tyypillisesti synteettinen tai mineraalipohjainen öljy. Kaksifaasisessa immersiossa neste kiehuu komponenttien pinnalla ja lauhtuu altaan kannessa olevaan kierukkaan, jolloin lämmönsiirtokyky on erittäin suuri.
Immersio ratkaisee tehotiheysongelman perusteellisesti, mutta se maksaa muualla. Altaat ovat painavia ja muuttavat salin lattiakuormat ja koko tilajärjestelyn. Palvelimet on muokattava altaaseen sopiviksi, mikä rajaa laitevalintaa ja vaikuttaa takuuehtoihin. Huolto tarkoittaa märän palvelimen nostamista altaasta, joten huoltokäytännöt ja valumisen hallinta on suunniteltava erikseen. Jälkiasennus olemassa olevaan ilmajäähdytettyyn saliin on harvoin järkevää.
Kaksifaasiratkaisut ja PFAS-sääntely
Kaksifaasisen immersion nesteet ovat olleet pääosin fluorattuja yhdisteitä, jotka kuuluvat PFAS-aineisiin. Tämä on muuttanut tilannetta ratkaisevasti. 3M ilmoitti joulukuussa 2022 luopuvansa kaikesta PFAS-valmistuksesta vuoden 2025 loppuun mennessä ja ajoi Novec-tuotannon alas sovitusti. Yhtiö oli alan selvästi suurin toimittaja, joten markkinalta poistui samalla se neste, jolle suuri osa kaksifaasiratkaisuista oli rakennettu.
Korvaavia fluorattuja nesteitä on saatavilla muilta toimittajilta, mutta EU:n valmisteilla oleva laaja PFAS-rajoitusehdotus ei rajaa niitä ulkopuolelle. Operaattori, joka rakentaa nyt kaksifaasisen immersion näiden varaan, siirtää sääntelyriskiä eteenpäin eikä poista sitä. Fluorivapaita hiilivetypohjaisia vaihtoehtoja kehitetään, mutta ne eivät ole vielä laajassa käytössä.
Käytännön seuraus on selvä. Yksifaasinen direct-to-chip-jäähdytys on noussut selvästi yleisimmäksi nestejäähdytystavaksi, ja kaksifaasisen immersion kasvu on pysähtynyt. Suomalaisessa hankkeessa kaksifaasista immersiota kannattaa harkita vain, jos sille on erityinen tekninen peruste ja nesteen saatavuus on varmistettu koko elinkaaren ajaksi.
Takaovijäähdytin välivaiheena
Neljäs vaihtoehto jää usein mainitsematta, vaikka se on monessa hankkeessa järkevin ensiaskel. Takaovijäähdytin (englanniksi rear-door heat exchanger, RDHx) asennetaan räkin taakse, ja räkin läpi kulkeva lämmin ilma jäähdytetään siinä nesteellä ennen kuin se palaa saliin.
Ratkaisu tuo nesteen saliin, mutta ei räkin sisään. Palvelimiin ei kosketa, laitetakuut säilyvät, eikä yksikään pikaliitin ole palvelimen sisällä. Kapasiteetti riittää tyypillisesti selvästi ilmajäähdytystä korkeampiin tehotiheyksiin, joskaan ei tekoälyräkkien tasolle. Monessa kohteessa takaovijäähdytin on hyvä tapa nostaa olemassa olevan salin tehotiheyttä ja rakentaa samalla laitospuolen nestepiiri valmiiksi ennen varsinaista siirtymää.
Ratkaisujen vertailu
| Ratkaisu | Kuvaus ja käyttökohteet |
|---|---|
| Direct-to-chip, yksifaasinen | Siirtää prosessorin lämmön nesteeseen tavanomaisella laitteistolla. Sopii tekoäly- ja HPC-räkkeihin sekä vaiheittaiseen siirtymään olemassa olevissa saleissa. |
| Direct-to-chip, kaksifaasinen | Siirtää erittäin suuria lämpövuota pienessä tilassa. Sopii erikoiskohteisiin, joissa yksifaasinen jäähdytys ei riitä ja tarvittavan nesteen saatavuus on varmistettu. |
| Immersio, yksifaasinen | Poistaa puhaltimet ja siirtää käytännössä kaiken lämmön nesteeseen. Sopii uusiin saleihin, joiden rakenne ja laitekanta on suunniteltu immersioaltaille. |
| Immersio, kaksifaasinen | Tarjoaa erittäin suuren lämmönsiirtokyvyn. Soveltuvuus on arvioitava tapauskohtaisesti, sillä PFAS-sääntely rajaa nesteiden saatavuutta. |
| Takaovijäähdytin | Nostaa tehotiheyttä ilman muutoksia palvelimiin. Sopii olemassa oleviin saleihin ja vaiheittain kasvaviin hankkeisiin. |
Hybridi on käytännön ratkaisu
Nestejäähdytystavan valinta vaikuttaa suoraan seuraaviin asioihin:
-
lattiakuormat, salin tilajärjestely ja huoltotilan tarve
-
laitevalinta ja laitevalmistajan takuuehdot
-
talteen otettavan lämmön lämpötila ja siten hukkalämmön arvo
-
huollettavuus käytön aikana eli se, mitä voidaan huoltaa salia pysäyttämättä
-
vuotoriski ja vuodonvalvonnan toteutus
-
nesteen saatavuus ja sääntely koko elinkaaren ajan
-
mahdollisuus kasvattaa tehotiheyttä myöhemmin
Näistä kaksi viimeistä ratkaisevat useimmin sen, kaduttaako valinta. Sääntelyn muutos voi tehdä toimivasta ratkaisusta ylläpidettävän mutta laajentumiskelvottoman, ja laajennuskyvyn puute tulee vastaan juuri silloin, kun kapasiteettia tarvittaisiin lisää.
Yleisimmät virhearviot
Jäännöskuorma unohtuu. Nestejäähdytetty sali tarvitsee edelleen ilmajäähdytystä. Tämä on tavallisin yksittäinen mitoitusvirhe.
Lämpötilataso valitaan liian matalaksi. Matala menovesi tuntuu turvalliselta, mutta se vähentää vapaajäähdytystunteja ja laskee hukkalämmön arvon. Lämpötilataso sovitaan laitevalmistajan kanssa, ei varmuuden vuoksi.
Huoltokäytäntöjä ei määritellä. Kuka irrottaa pikaliittimen, miten piiri tyhjennetään ja mitä tehdään valuvalle nesteelle. Nämä on sovittava ennen käyttöönottoa, ei ensimmäisen huoltotarpeen yhteydessä.
Puhtaus jää asennusaikaiseksi yksityiskohdaksi. Hitsaushilse tai metallilastu päätyy suoraan kylmälevyn virtauskanavaan, eikä sitä saa sieltä pois. Aihetta käsitellään artikkelissa [nestejäähdytyksen vesikemia, suodatus ja materiaaliyhteensopivuus](https://www.finkova.fi/julkaisut-ja-oppaat/artikkelit/nestejaahdytyksen-vesikemia-suodatus-ja-materiaaliyhteensopivuus/).
Laajennusvara mitoitetaan asennushetken kuormalle. Tehotiheys nousee laitoksen elinkaaren aikana. CDU-yksiköiden ja piirien mitoitusta käsitellään artikkelissa CDU-yksiköt datakeskuksessa.
Nestejäähdytyksen asennus ja käyttöönotto Finkovalta
Nestejäähdytettyjen piirien asennus, käyttöönotto ja huolto on meille käynnissä olevaa työtä suomalaisissa datakeskushankkeissa.
Asennamme, käyttöönotamme ja huollamme valmistajan ohjeiden ja takuuehtojen mukaan sekä dokumentoimme jokaisen vaiheen. Samalta toimittajalta hoituvat myös piirien ympärille tarvittavat venttiilit, pumput, virtaus- ja energiamittaus sekä kunnonvalvonta.
Jos hankkeessanne harkitaan siirtymää nestejäähdytykseen tai olemassa olevan salin tehotiheyden nostoa, katsotaan vaihtoehdot läpi ennen kuin ratkaisu lyödään lukkoon. Tutustu myös datakeskuspalveluihimme ja muihin osa-alueisiin datakeskuksen jäähdytyksen oppaassa.
Ota yhteyttä, autamme mielellämme.