제가 llm을 동원해서 글을 읽고 찾아내고 분류하는 작업을 하고 있습니다.
qwen3.8나와서 잘 됐다 하고 열심히 조정하고 있는데도 글에서 숫자나 문맥의 이해를 너무 못하는 것이었습니다. 아스트라를 동원해서 토큰 다 태워가면서 조절을 했는데도 계속 실패하고 좋아지는 듯하다가도 다시 원점으로돌아가기를 반복해서 상심하고 있었습니다.
근데 보니까 아스트라가 qwen모델을 직접 파이썬으로 컨트롤 해서 답을 얻고 있던 것이었습니다. 즉 단발성 호출로 일을 처리하려고 하니까 호출 할 때마다 다른 답이 나오고 있던 것입니다... 아우... 지난 몇 주동안 계속 이러고 있었는데 저는 그것도 모르고 있었던 것입니다.
그래서 간단한 하네스인 pi 로 감싸서 하라고 했는데.....
지난 2주동안의 삽질이 무색하게 바로 완벽히 작동하는 것 아니겠습니까!!! 그동안 토큰만 엄청 날렸는데 너무 속상했는데도, 잘 되는 것 보니까 기분이 좋아서 아스트라에게는 뭐라고 안했습니다..
그러다가 궁금한게 생겼는데 최약체 pi도 이렇게 잘하는데 다른 것을 사용하면 얼마나 좋을까도 생각해보게 되었습니다. 지금 잘되고 있어서 개발자의 법칙에 의해서 건드리지는 못하고 있습니다.
ai당 당원님들은 local llm 코딩 or 에이전틱 하네스를 무엇을 주로 사용중이신지 궁금합니다.
ai 성능은 확실히 모델 반 하네스 반인 것 같아서 어떤 하네스를 테스트 해볼 지 궁금하기도 하구요..
