로컬 LLM 한 번 제대로 돌려봐야겠다는 생각에 무작정 드래곤볼을 모으기 시작했습니다.
처음에는 RTX 3090.
"24GB VRAM이면 못 돌리는 게 없겠지?"
실제로 돌려보니 꽤 괜찮았습니다. 모델도 잘 올라가고 속도도 만족스러웠습니다.
근데 쓰다 보니 발열 관리가 너무 귀찮았습니다.
여름에는 방 온도가 올라가고, 팬 소리도 신경 쓰이고, 항상 켜두기에도 부담이 있더군요.
결국 정리.
그러다 문득 생각했습니다.
"아 맞다. 최신 노트북 있잖아."
라이젠 AI 240에 RTX 5050, 램 32GB.
스펙만 보면 꽤 괜찮아 보였습니다.
"이 정도면 VS Code에 Continue 붙이고 바이브 코딩 정도는 충분하지 않을까?"
언제나 그렇듯 지는 건 나였습니다.
Continue도 붙여보고, 이것저것 로컬 모델도 연결해봤는데 결과는 처참했습니다.
모델 크기도 애매하고, 컨텍스트도 아쉽고, 코딩 정확도도 기대에 못 미쳤습니다.
결국 또 장비병에 당한 건가 싶어서 마음을 비우게 되더군요.
그러다가 마지막으로 M1 Max에 다시 도전했습니다.
M1 Max... 작년만 해도 가격이 착했는데..지금은 기본형이 160~190.... 아 가격...
그래도 어찌저찌 구해서 테스트 해봤는데
솔직히 큰 기대는 안 했습니다.
"아무리 그래도 GPU 달린 PC보다는 못하지 않을까?"
근데...
아 신발.
이게 되네? ㅋㅋㅋ
Mac Studio M1 Max 32GB에 Ollama 설치하고 Roo Code 연결.
Qwen3.6 27B 올리고 Flutter 프로젝트를 물렸습니다.
처음엔 ripgrep 문제로 삽질도 좀 했고 설정도 만졌는데, 어느 순간부터 진짜로 프로젝트를 읽기 시작하더군요.
로그를 보니 2만 토큰 넘게 집어넣고 분석 중.
"오...?"
그러더니 테스트 파일 수정.
"에이 설마."
바로 테스트 실행.
flutter test test/planet_model_test.dart
결과:
00:00 +20: All tests passed!
순간 진짜 웃음이 나왔습니다.
몇 달 동안
3090 → 5050 → M1 Max
돌고 돌아 내린 결론은,
생각보다 중요한 건 GPU 이름이 아니라
"얼마나 괜찮은 모델을 안정적으로 돌릴 수 있느냐"
인 것 같습니다.
물론 절대 성능은 아직도 3090이 강합니다.
근데 개발자가 매일 쓰는 로컬 AI 코딩 환경 기준으로는 M1 Max도 생각보다 엄청 괜찮네요.
몇 년 전만 해도 맥 미니 같은 걸로 27B 모델 물려서 Flutter 프로젝트 수정하고 테스트 통과시키는 날이 올 줄은 상상도 못 했습니다. 😅
여유가 생기면 m4 max /ultra 128기가 돌려보고 싶네요 ㅎㅎ
