안녕하세요. 백수 사이드 프로젝트로 만들어본 거 하나 공유드립니다.
영화 「메멘토」 보신 분 계실텐데, 주인공이 단기 기억이 안 남아서 몸에 문신으로 사실을 새기며 살잖아요. 그 발상을 7.5B 작은 LLM(Gemma 4 E4B)에 적용하면 어떨까 싶어서 만들어봤어요. 이름은 제멘토(Gemento) 입니다.
핵심 질문은 단순했어요 - 모델을 더 키우지 말고, 외부에 구조화된 메모(문신)를 두고 같은 모델을 여러 번 부르면, 큰 모델 없이도 복잡한 추론이 될까?
가장 재밌었던 결과 (다단계 루프 품질 누적):
같은 Gemma 4 E4B, 같은 문제, 호출 횟수만 다르게:
* 단일 추론 : 50.0%
* 2루프 : 72.2%
* 4루프 : 88.9%
* 8루프 : 94.4%
모델은 안 바뀌었고 오케스트레이터(루프 + 외부 메모)만 갈았는데 정답률이 단조 증가했어요. 처음 v1으로 돌렸을 땐 0% 나와서 좌절했는데, 설계가 핵심입니다.
그 외 검증된 것들:
- 계산기·선형대수·LP solver 붙이니 어려운 수학 문제 0% → 100%
- 긴 문서 3-hop 질문에서는 역할 분리(ABC) + 청크 반복이 RAG/전체 투입 압도(재밌는건 대형llm 대비 lost in the middle이 획기적으로 줄 것 같습니다 - 대신 연산 시간 trade off)
환경은 Windows + LM Studio + Gemma 4 E4B라 일반 PC면 충분합니다. MIT 라이선스, 9차례 실험 노트도 같이 올라가 있어요.
GitHub: https://github.com/hang-in/gemento
연구노트
https://github.com/hang-in/gemento/blob/main/docs%2Freference%2FresearchNotebook.md
비슷한 방향 연구 아시는 분 알려주시면 감사하겠습니다. 피드백·이슈 환영입니다.
** 이 실험의 영감을 주신 다모앙AI당의 로컬LLM 유저분들께 무한 감사드립니다. **
