https://github.com/jundot/omlx/pull/3161
이 PR을 보면 2bit 피크 메모리 사용량이 37gb입니다.
nmap을 ssd에 두고 모델만 ram에 상주시키는 방법입니다.
제가 64GB맥을 가지고 있어서 2bit로 찍먹은 가능하겠네요 하하.
근데 속도를 보면 M5Max에서 30t/s니까 M5Pro에서는 반토막 난다고 예상하면 15t/s 정도겠네요.
A6B 2bit가 27B보다 똑똑하지 않다면 굳이 사용할 의미는 없을듯 합니다.
아쉽네요.
