맨날 chatgpt, gemini 사용할줄만 알았지 딱히 튜닝을 생각해보진 않았습니다
그러던 중 하고있는 업무에 AI를 도입하고싶고, 보안문제는 웹용 AI에 데이터를 업로드하는걸 허락하지 않아서
LLM 생각만하고 아주 간단한 설치해서 아 되는구나? 정도만 확인해본 수준이였습니다
사용중인 workstation을 확인해보니 RTX 2000 ADA 혹은 RTX PRO 2000 blackwell 이 달려있더군요
모두 16G 모델이긴한데 본격적?으로 AI를 굴리기엔 턱없이 부족한 모델이긴합니다.
아무튼 저 워크스테이션에 테스트 삼아 qwen3.5-4B 모델을 다운받고
아주 간단한 예제 생성기를 만든다음 그 예제를 통해 학습을 시켜봤습니다
4B 모델인데도 학습시 메모리를 9G 이상 사용하는게 하드웨어의 한계때문에 조금 씁쓸합네요
학습전, 100, 1000, 10000개 학습 후 각각 동일한 아주 간단한 문제를 주고 문제 해결을 요구 해 보았는데
학습전: 뭔가 생각을 하지만 제한된 토큰내에서 답을 찾지 못했습니다
100: 뭔가 생각하는 방법이 바뀌고 뭔가 결과를 내놓긴하는데 틀린답을 내놓네요
1000: 생각이 100개 경우보다 매우 간단해지고 올바른 답을 찾아냈습니다
10000: 생각이 1000개 경우 보다 조금 길어졌지만 원인도 정확하게 찾고 답도 제대로 찾아냈습니다
아직은 실무와는 너무나 동떨어진 기초적인 레벨이지만 그래도 AI가 배워서 해결을 하는과정을 처음확인한지라 매우 신기합니다.
현재는 학습을 4단계로 예상하고 가능성 여부만 확인한 정도인데 1단계 정도는 진행해서 가능성여부를 좀 더 구체적으로 체크 해보는것도 괜찮을것 같다는 판단이 섭니다.
또 4B 모델인데 30B, 70B, 120B 모델은 어느정도일지... 궁금해 결국 어제 ASUS Ascent GX10 (DGX SPARK) 한대 질렀습니다... (갑자기 3560유로에 1Tb 모델이 올라와있길래 그만...)
이 결과를 좀 더 발전시켜서 과제를 만들어 A100이 달린 직장내 클러스터 사용 요청을 해 볼 수 있지 않을까 생각 해 봅니다.
