'주경야독' 하는 AIDC…GPU 가동률 높인다맥킨지는 이러한 특성 차이로 학습과 추론이 데이터센터의 입지와 설계, 전력 공급 전략에도 서로 다른 영향을 미칠 것으로 분석하고 있다.
특히 실시간 서비스의 트래픽이 낮아지는 시간대에 추론용 GPU를 다른 작업에 활용하는 방식이 하나의 해법으로 제시된다. 추론 수요가 높은 시간에는 GPU를 실시간 서비스에 우선 배치하고, 수요가 줄어드는 시간에는 유휴 GPU를 학습·재학습·배치 작업 등에 투입하는 방식이다.기사보기
