요즘 128기가 램이 300만원 하는 세상에서 기가바이트의 Spark인 AI TOP ATOM을 구매했습니다.
메인으로 사용할 것은 아니라 1TB를 구매했습니다.
무슨 의미냐면 이미 DGX Spark 가 있기 때문입니다.
NVIDIA Cx7으로 연결해서 구성을 마쳤는데, 제가 하나 잘못 알고 있었던 게 있더라고요.
저는 이 둘을 연결하면 마치 한 서버의 멀티 GPU처럼 묶여서 동작할 줄 알았는데, 그게 아니었습니다. 두 기기를 각각의 노드로 두고 Cx7 기반으로 통신하면서, vLLM이나 Ray 같은 분산 프레임워크를 통해 모델을 돌려야 하는 구조더라고요.
한쪽에서 모델을 실행하면 장치들이 알아서 멀티로 잡힐 줄 알았는데... 제가 생각했던 것과는 방식이 조금 달랐네요... ㅠ
원래 계획했던 구조와는 조금 달라졌지만, 그래도 충분히 활용 가능하니까 이 정도로 만족하려고요.
