Nestejäähdytyspiiri näyttää yksinkertaiselta. Suljettu kierto, pumppu, lämmönsiirrin ja vettä. Käytännössä se on kuitenkin vaativimpia nestejärjestelmiä, joita datakeskukseen rakennetaan, ja sen käyttöikä ratkeaa harvoin mekaniikassa. Se ratkeaa siinä, mitä piirissä kiertää ja mistä materiaaleista piiri on tehty.
Syy on mittakaavassa. Prosessorin kylmälevyn (englanniksi cold plate) sisällä virtauskanavat ovat kymmenesosamillimetrien luokkaa, ja ne on suunniteltu ahtaiksi juuri siksi, että lämpö siirtyisi mahdollisimman tehokkaasti. Sama ahtaus tekee niistä herkkiä. Hiukkanen, joka ei haittaisi missään muualla laitoksessa, tukkii kanavan eikä lähde sieltä pois. Tämä artikkeli käy läpi, miten piiri pidetään toimintakuntoisena koko elinkaaren ajan. Kokonaisuuteen voit tutustua datakeskuksen jäähdytyksen kattavassa oppaassa.
Kolme riskiä, jotka kaikki ovat hallittavissa
Nestepiirin ongelmat palautuvat lähes aina kolmeen asiaan.
Hiukkaset. Asennuksessa syntyvä hitsaushilse, metallilastu, tiivistejäte tai korroosion irrottama aines kulkeutuu virtauksen mukana ahtaimpaan kohtaan ja jää sinne. Sen lisäksi, että hiukkaset tukkivat kylmälevyn kanavia, ne jäävät pikaliittimien tiivistepintoihin ja aiheuttavat vuotoja.
Korroosio. Piirissä on tyypillisesti useaa metallia: kuparia kylmälevyissä, ruostumatonta terästä putkistossa ja lämmönsiirtimessä, joskus alumiinia. Eri metallien yhdistelmä nesteessä muodostaa galvaanisen parin, jossa epäjalompi metalli syöpyy. Lisäksi esiintyy pistekorroosiota ja rakokorroosiota erityisesti liitosten ja tiivisteiden kohdalla.
Mikrobit. Lämmin, hitaasti virtaava tai paikallaan seisova vesi on mikrobeille ihanteellinen kasvualusta. Syntyvä biofilmi tukkii kanavia, heikentää lämmönsiirtoa ja aiheuttaa korroosiota kerrostuman alla, jossa sitä ei havaita ennen kuin vaurio on syntynyt.
Kaikki kolme ovat estettävissä, mutta vain jos ne ratkaistaan suunnitteluvaiheessa. Jälkikäteen korjaaminen tarkoittaa piirin avaamista ja pahimmillaan kylmälevyjen vaihtoa.
Kaksi piiriä, kaksi vaatimustasoa
Palvelinpiirille eli TCS:lle ja laitospiirille eli FWS:lle asetetaan eri vaatimukset, koska ne ovat rakenteeltaan ja riskeiltään erilaisia.
TCS on suljettu piiri, jonka nesteenä on tyypillisesti 25-prosenttinen propyleeniglykoliseos. Sen olosuhteet ovat vakaat, mutta vaatimustaso on tiukka, koska neste kulkee kylmälevyjen läpi. FWS on laajempi ja vaihtelevampi piiri, jonka vaatimukset riippuvat lämmönpoiston toteutuksesta ja paikallisesta vedenlaadusta.
ASHRAE:n ohjeistuksessa laitospiirin pH on tyypillisesti välillä 7–9 ja palvelinpiirin selvästi tiukempi, suunnilleen välillä 8,0–9,5. Ratkaisevaa on kuitenkin laitevalmistajan, CDU-toimittajan ja nestetoimittajan antama arvo, ei yleisohje. Nämä arvot kirjataan hankkeen dokumentaatioon, ei asentajan muistiin.
Mitä nesteestä seurataan
Nestenäytteestä määritetään käytännössä seuraavat asiat:
-
glykolipitoisuus
-
pH ja jäljellä oleva puskurikapasiteetti (englanniksi reserve alkalinity)
-
ulkonäkö ja kirkkaus
-
korroosionestoaineiden pitoisuus
-
kokonaiskovuus
-
kloridi ja sulfaatti
-
hajoamistuotteina syntyvät hapot
-
liuenneet metallit
-
johtokyky
-
liuennut happi
Johtokyky on näistä nopein ja halvin jatkuvasti mitattava indikaattori, koska sen nousu kertoo epäpuhtauksista ennen kuin muut arvot ehtivät muuttua. Ionittomalle vedelle käytetty raja on käytännössä noin 100 µS/cm, jonka yläpuolella galvaaninen korroosio alkaa kiihtyä eri metallien rajapinnoissa. Glykolipohjaisissa nesteissä raja on selvästi korkeampi, tyypillisesti 2 000–2 500 µS/cm, koska glykoli itsessään nostaa johtokykyä. Useimmissa CDU-yksiköissä on valmiina johtokykymittaus, joten kyse on lähinnä siitä, että hälytysrajat asetetaan ja niitä seurataan.
Näytteet otetaan ensimmäisen kerran käyttöönotossa. Tämä lähtötaso on se, johon kaikkia myöhempiä tuloksia verrataan. Ilman sitä yksittäinen analyysitulos kertoo vain sen hetken arvon, ei suuntaa.
Materiaaliyhteensopivuus ratkaistaan paperilla, ei työmaalla
Nesteen kanssa kosketuksiin joutuvat materiaalit määritellään hankkeessa listana, ja sekä ASHRAE että Open Compute Project julkaisevat tästä valmiit taulukot. Lista kattaa metallien lisäksi tiivisteet, letkut, kalvot ja suodatinmateriaalit.
Metallien osalta tärkein yksittäinen sääntö on välttää alumiinin ja kuparin yhdistelmää samassa piirissä. Se on klassinen galvaanipari, jossa alumiini syöpyy, ja syöpymistuotteet kulkeutuvat suoraan kylmälevyn kanaviin. Elastomeerien osalta kyse on siitä, kestääkö tiiviste juuri sitä nestettä ja lämpötilaa, jota piirissä käytetään.
Käytännön riski ei ole suunnittelupöydällä, vaan asennuksessa ja huollossa. Yksi väärä tiiviste tai letku voi liuottaa aineita koko piiriin, ja seuraukset näkyvät vasta kuukausien päästä analyysissä tai suodattimen paine-erossa. Tämä on syy siihen, miksi materiaalilista kuuluu myös asentajan ja huoltajan käsiin eikä vain suunnittelijan kansioon.
Suodatus
Suodatus mitoitetaan piirin ahtaimman kohdan mukaan, ei putkikoon mukaan. CDU-yksiköissä on tyypillisesti tarjolla 50 tai 25 mikrometrin suodattimet. Monissa nykyisissä kylmälevyissä tämä ei riitä, vaan tarvitaan sivuvirtasuodatus, jossa osa kierrosta ohjataan jatkuvasti selvästi hienomman suodattimen läpi (englanniksi side-stream filtration). Open Compute Projectin ohjeistuksessa tavoitteena on alle viisi mikrometriä, ja sinne edetään portaittain karkeammasta aloittaen. Sivuvirtasuodattimen läpi ohjattavan virtauksen suuruudeksi ohjeistetaan noin kymmenesosa kokonaisvirtauksesta.
Suodattimen tarkkuus ilmoitetaan joko absoluuttisena tai nimellisenä. ASHRAE suosittelee palvelinpiirille absoluuttista arvoa, koska nimellinen arvo kertoo vain keskimääräisestä erotuskyvystä eikä takaa, että sitä suuremmat hiukkaset pysähtyvät. Ero ei ole tekninen hiusten halkomista, vaan se ratkaisee, pääseekö hiukkanen kylmälevyyn vai ei.
Suodattimille asennetaan painemittaus ennen ja jälkeen. Paine-eron kasvu on ensimmäinen merkki siitä, että piirissä liikkuu jotain, jota siellä ei pitäisi olla. Suodatinmateriaalin on itsensäkin oltava hyväksyttyjen materiaalien listalla.
Huuhtelu, täyttö ja umpiperät
Piirin puhtaus ratkaistaan ennen kuin laitteet kytketään. Huuhtelu tehdään ennen kylmälevyjen liittämistä, ja puhtaus todennetaan mittaamalla, ei silmämääräisesti. Tämä on nestejäähdytyshankkeen tärkein yksittäinen laatuvaihe, ja se on myös vaihe, joka aikataulupaineessa jää useimmin vajaaksi.
Piiri on suunniteltava täysin tyhjennettäväksi, eikä siihen saa jäädä umpiperiä eli haaroja, joissa neste ei virtaa. Seisova neste on juuri se paikka, jossa mikrobikasvu alkaa ja josta biosidi ei tehoa, koska se ei kierrä sinne asti.
Happi pääsee suljettuunkin piiriin useaa reittiä: lisäveden mukana, kaasua läpäisevien letkumateriaalien läpi, paisunta-astian kautta ja aina kun piiri avataan huollossa. Näistä lisävesi on tavallisin. Jos piiriä täydennetään verkostovedellä ilman käsittelyä, koko nestespesifikaatio menettää merkityksensä.
Huolto-ohjelma
Käytännössä toimiva ohjelma sisältää nämä:
-
nesteanalyysi säännöllisin välein, tyypillisesti kahdesti vuodessa, sekä aina piirin avaamisen jälkeen
-
johtokyvyn ja pH:n jatkuva seuranta CDU:n mittauksista hälytysrajoineen
-
suodattimien paine-eron seuranta ja vaihdot paine-eron perusteella, ei kalenterin
-
lisäveden laadun ja määrän seuranta, koska kasvava täydennystarve kertoo vuodosta
-
korroosionestoaineiden pitoisuuden seuranta ja lisäys analyysin perusteella
-
dokumentoitu materiaalilista huollon käytettävissä
Näistä lisäveden määrän seuranta jää useimmin tekemättä, vaikka se on halvin ja kertoo eniten. Hiljalleen kasvava täydennystarve on vuoto, joka ei ole vielä näkynyt lattialla.
Yleisimmät virheet
Piiriä täydennetään verkostovedellä. Nopea ja helppo tapa pilata koko nestespesifikaatio.
Tiiviste tai letku vaihdetaan siihen, mitä varastossa sattuu olemaan. Materiaalilista on olemassa juuri tätä tilannetta varten.
Analyysi tehdään ensimmäisenä vuonna ja unohtuu sitten. Korroosionestoaineet kuluvat vähitellen, ja niiden loppuminen ei näy mitenkään ennen kuin vaurio on jo alkanut.
Eri valmistajien nesteitä sekoitetaan. Lisäainekemiat eivät välttämättä ole yhteensopivia, ja seoksen ominaisuuksia ei tiedä kukaan.
Suodattimet vaihdetaan aikataulun mukaan ilman paine-eron seurantaa. Tällöin ei tiedetä, oliko vaihto myöhässä vai turha.
Huuhtelu jää kesken aikataulusyistä. Tämän hinta realisoituu vasta tuotannossa, ja silloin se on kylmälevyjen hinta.
Piirien rakennetta ja CDU:n roolia käsitellään artikkelissa CDU-yksiköt datakeskuksessa ja jäähdytystapojen eroja artikkelissa nestejäähdytys datakeskuksessa.
Nestepiirien huuhtelu, käyttöönotto ja huolto Finkovalta
Nestejäähdytettyjen piirien huuhtelu, täyttö, käyttöönotto ja huolto on meille käynnissä olevaa työtä suomalaisissa datakeskushankkeissa.
Työskentelemme laitevalmistajan ja nestetoimittajan määrittelyjen mukaan ja dokumentoimme jokaisen vaiheen, koska juuri dokumentaatio on se, mihin myöhemmät takuu- ja vastuukeskustelut nojaavat. Samalta toimittajalta hoituvat myös piirien ympärille tarvittavat venttiilit, pumput, virtaus- ja energiamittaus sekä kunnonvalvonta.
Jos hankkeessanne ollaan määrittelemässä nestespesifikaatiota, huuhtelukäytäntöjä tai huolto-ohjelmaa, käydään ne läpi ennen kuin piiri täytetään. Tutustu myös datakeskuspalveluihimme.
Ota yhteyttä, autamme mielellämme.