AI에 관심없던 레거시 개발자가 무슨 바람이 들었는지 미치도록 일하고 있습니다.
자그만하게 5080 24할부 질러서 장난감으로 놀다가
어느새 v100 10대를 만질 줄이야…
성능이 느려도 300GB VRAM이 깡패입니다.
올해 봄부터 open webui 소스 내려다 받아서 열심히 뜯고 씹고 삽질하고 있습니다.
제미니와 GPT에게 리눅스 배우고, 서블릿도 공부하면서 하나하나 디버깅하며 배우고 있어요.
제 최종 목표는 llama.cpp를 이용해서 제손으로 서비스 만들기 입니다.
지금까지 한거는 로컬로 모델별 벤치돌리고, MCP 서버 만들고, comfyUI로 이미지 생성과 수정까지 할 수 있는 단계까지 왔습니다.
뒤 돌아보니 약 100계단 중 이제 10계단 오른 느낌이네요. 좀 더 젋었더라면 2계단씩 뛰어 올랐을 탠데 체력이 부족합니다..!
로컬로 하니 속도가 너무 느립니다. gemma4 32b 기준으로 tool call을 해도 30초 걸리고 만족도는 반반입니다. 평균 토큰 속도는 한 24-28정도 구요.
이미지 생성은 100자내 프롬프트로 1024*1024 사이즈 생성까지 한 3분입니다. 현재 쿠다 버전때문애 오류 잡는다고 삽질이구요.
이렇게까지 오니 AI 개발 전업하고 싶은데 그동안 업무가 쌓이는 바람에 다 쳐내고 다음 단계를 계획하고 있습니다.
AI당원님들 과로 조심하시고 다같이 삽질에 빠져보시죠.?!
