"공기 대신 물로 식힌다"…NHN, B200 7656장 AI 데이터센터 공개

양평 'NHN 팩토리X 서울' 가보니…GPU 서버 사이로 냉각수 '물길'

4080장 GPU 하나의 클러스터로 연결…TOP500 글로벌 20위

 

NHN 팩토리X 서울 내부 전경[사진=NHN클라우드]

“공랭은 라면을 빨리 식히려고 입으로 부는 것이라면, 수랭은 차가운 물이 있는 냄비에 넣는 겁니다.”

18일 서울 영등포구 양평동 ‘NHN 팩토리 X 서울 데이터센터’ 6층 데이터홀. 이일준 NHN클라우드 기술사업부장은 이날 기자들에게 데이터센터를 공개하며 수랭식 냉각 기술을 이렇게 설명했다. 검은색 서버 랙이 양옆으로 길게 늘어서 있었지만 소음은 크지 않았다. 

NHN클라우드는 이곳에 엔비디아 B200 GPU 7656장을 구축하고, 고성능 GPU에서 발생하는 열을 식히기 위해 수랭식 냉각 방식을 적용했다.
 

NHN클라우드 팩토리X 서울 서버랙 상부의 물이 유입되는 시설[사진=NHN클라우드]

데이터홀 안에는 랙당 최대 6개의 GPU 서버가 들어서 있었다. 랙 위쪽에는 검은색 배관이 길게 이어졌다. 차가운 냉각수를 공급하고, 서버에서 열을 흡수한 물을 다시 회수하는 배관이다. 랙 아래쪽에는 냉각분배장치(CDU)가 자리 잡고 있었다.

이 사업부장은 “공랭식 서버는 대화가 안 될 정도로 시끄럽지만, 지금 수랭식 환경은 60~70데시벨 정도”라며 “서버 뒤쪽에 있는 검정색 줄이 냉각수가 들어가고 나오는 배관”이라고 설명했다.

AI 학습과 추론에 쓰이는 최신 GPU는 높은 연산 성능만큼 많은 전력을 소비하고 열도 많이 발생한다. NHN은 냉각수가 GPU와 중앙처리장치(CPU)의 발열 부품에 직접 닿는 콜드 플레이트를 이용해 열을 빼내는 직접 액체냉각(DLC) 방식을 적용했다.

이 사업부장은 “공랭으로는 랙당 30~40kW 정도까지는 가능한데 그 이상은 굉장히 어렵다”며 “현재 이곳의 랙은 130kW 정도의 전력을 사용한다”고 말했다. 이어 “앞으로 나올 엔비디아 장비들은 더 높은 전력을 사용할 텐데, 그런 발열을 공랭으로 식히기는 어렵다”고 설명했다.

수랭식이 비용을 무조건 줄이는 것은 아니다. 별도의 냉각 설비를 구축해야 하고 물을 사용하는 만큼 누수 모니터링도 필요하다. 대신 고밀도로 GPU를 배치하면서 발생하는 열을 효과적으로 제거할 수 있다는 장점이 있다.

이 사업부장은 “기존 데이터센터에 수랭 설비가 없어서 별도 공사를 해야 했다”며 “사전 조사에서는 빨라도 10개월 정도 걸릴 것으로 봤지만, 실제로는 4~5개월 정도에 수랭식 공사를 진행했다”고 말했다.

 

NHN클라우드 팩토리X 서울 관제실[사진=NHN 클라우드]

NHN 팩토리 X 서울은 지하 4층·지상 10층 규모의 데이터센터다. NHN클라우드는 3~6층을 사용하며, 3~5층에서는 정부 AI 컴퓨팅 자원을 운영한다. 특히 3·4층에는 B200 GPU 4080장을 하나의 통합 클러스터로 연결했다. 6층은 NHN클라우드의 자체 AI 클라우드 서비스와 GPU 인프라 운영 공간이다.

전체 B200 GPU는 7656장이다. 이 가운데 4080장 규모의 NIPA-CL1과 2040장 규모의 NIPA-CL2 등 대규모 GPU 클러스터를 구축했다. NIPA-CL1은 4080장의 GPU를 하나의 연산 환경으로 연결했으며, 두 클러스터는 글로벌 슈퍼컴퓨터 순위인 TOP500에서 각각 20위와 40위를 기록했다.

데이터센터를 빠져나오기 전 들른 관제실에서는 전력과 온도, 냉각, GPU와 네트워크 상태가 모니터에 실시간으로 표시되고 있었다. 이 사업부장은 “관제실에서 전력과 온도, 냉각 상태 등을 계속 보고 있다”며 “이상 상황이 발생하면 바로 운영 체계가 작동한다”고 설명했다. 관제실은 24시간 운영되며 주간 4명, 야간 2명이 상주한다.