지난주 금요일까지만 해도 제 결론은 이랬습니다.
로컬 LLM은 결국 얼마나 큰 모델을 안정적으로 돌릴 수 있느냐가 중요하다.
그래서 3090을 정리하고, RTX 5050 노트북을 거쳐, 결국 M1 Max 32GB까지 왔습니다.
실제로 M1 Max는 기대 이상이었습니다.
Qwen 27B를 올려서 Flutter 프로젝트를 읽히고, 테스트까지 통과시키는 모습을 보면서 꽤 놀랐습니다.
그때는 진심으로
"생각보다 GPU 이름보다 모델 크기가 더 중요하구나"
라고 생각했습니다.
그런데 주말에 조금 다른 실험을 해봤습니다.
제가 게임용으로 만든 경제 모델이 있는데, 과거 데이터를 주고 앞으로의 값을 추정해 보라고 시켰습니다.
이번에는 M1 Max에서 Qwen3 14B와 27B를 사용했습니다.
당연히 더 좋은 답이 나올 거라고 생각했는데...
의외의 결과가 나왔습니다.
처음에는 함수 자체를 시작값으로 착각해 버렸고, 다시 정정해서 계산을 진행했지만 최종 답변이 나오기까지 30분~1시간 정도가 걸렸습니다.
반면 RTX 5050 노트북에서는 Qwen3 9B와 14B로 같은 작업을 시켰는데, 10분 정도 만에 제가 원했던 방향의 결과를 거의 바로 도출했습니다.
그 순간 든 생각은 단 하나였습니다.
결국은 엔비디아더라.
물론 M1 Max가 나쁘다는 이야기는 아닙니다.
여전히 전력 효율이 좋고, 조용하고, 대용량 모델을 올리기 쉽습니다.
하지만 실제 업무에서 중요한 건
몇 B 모델을 올릴 수 있느냐
몇 TPS가 나오느냐
보다
"원하는 결과를 몇 분 안에 얻을 수 있느냐"
인 것 같습니다.
그 기준에서는 아직 엔비디아의 CUDA 생태계와 추론 속도가 주는 체감 이점이 꽤 컸습니다.
그런데 주말 동안 M1 Max와 RTX 5050 노트북을 번갈아 사용하면서 또 하나 느낀 점이 있었습니다.
생각보다 추론 속도보다 더 중요한 것이 있더군요.
바로 모델 재로딩 시간입니다.
M1 Max는 큰 모델을 올릴 수 있다는 장점이 있지만, 새로운 모델을 읽거나 메모리에서 내려갔다가 다시 올라오는 상황이 생각보다 자주 발생했습니다.
문제는 이 과정이 짧게는 수 분, 길게는 5분 이상 걸린다는 점입니다.
특히 Roo Code나 Continue 같은 에이전트형 워크플로우에서는 컨텍스트가 바뀌거나 모델을 전환하거나 캐시 적중률이 떨어지는 상황이 계속 발생하는데, 그때마다 모델을 다시 읽기 시작합니다.
한 번 기다리는 건 괜찮습니다.
그런데 이게 하루에 열 번, 스무 번 반복되면 이야기가 달라집니다.
체감상 추론 자체보다 모델 로딩을 기다리는 시간이 더 길게 느껴질 정도였습니다.
반면 RTX 5050 노트북은 올릴 수 있는 모델 크기는 작지만 모델 변경이나 재시작 시 부담이 훨씬 적었습니다.
결국 실제 개발 환경에서는
"27B를 돌릴 수 있느냐"
보다
"지금 당장 답을 받을 수 있느냐"
가 더 중요하다는 생각이 들었습니다.
참고로 테스트에 사용한 프롬프트와 주요 파라미터는 최대한 동일하게 맞췄습니다.
Temperature, Context, 반복 패널티 등 주요 설정은 동일하게 적용했고, 각 환경에서 모델만 변경하며 비교했습니다.
또한 여러 차례 시행착오를 거치며 파라미터를 최적화한 뒤 동일한 조건으로 테스트를 진행했습니다.
따라서 이번 결과는 단순한 파라미터 튜닝 차이라기보다는 실제 운용 환경에서의 추론 속도, 모델 로딩 시간, 캐시 활용 효율 등이 더 크게 영향을 준 결과라고 보고 있습니다.
그래서 현재 제 결론은 이렇습니다.
가성비 대용량 모델 = M1 Max
조용한 개발 환경 = M1 Max
작업 완료 시간 = 엔비디아
코딩/추론 생산성 = 아직 엔비디아 우세
3090 → 5050 → M1 Max까지 돌고 돌아봤는데,
지금 다시 하나만 고르라고 하면 아마 엔비디아 쪽으로 갈 것 같습니다.
물론 이번 테스트가 절대적인 성능 비교라고 보기는 어렵습니다.
다만 적어도 제가 실제로 사용하는 개발 환경과 추론 작업 기준에서는,
벤치마크 점수나 모델 크기보다
"답이 언제 나오느냐"
가 훨씬 중요했습니다.
결국 로컬 AI도 마지막에 남는 건 TPS가 아니라 생산성인 것 같습니다.
결론: 같은 모델을 돌릴수 있다면 노트북 5050도 나쁘지 않더라.... 입니다
PS) 메모리 대역폭 차이도 큰 것 같습니다. 엔비디아 상급 GPU는 1TB/s 근처인데 애플 실리콘은 M1 100GB/s → Pro 200GB/s → Max 400GB/s → Ultra 800GB/s 수준이라, 비슷한 체감을 내려면 결국 Ultra로 가야 하고 그때부터는 가격이 안드로메다로 출발하네요. 😅
