지금까지 api사용하면서 클로드와 코덱스는 그냥 모델만 바꿔가면서 아껴 사용했지만 올라마와 오픈라우터는 인 아웃 가격이 표시되니 이걸 기준으로 모델과 공급업체를 골라 사용했었슴미다
요즘 별거 안 해도 사용량이 쭉쭉빠지길래 확인해 보니
캐시쪽에서 어마어마하게 빠져나간거 같은 느낌이 들어 확인해 봤슴미다
이건 오픈코드에 muse-spark- 정보제공버전이라 싼데 인풋 아웃풋이 엄청 저렴함미다 그런데 캐시는 생각을 안 하고 있었는데 오늘 확인해 보니 캐시 사용량이 어마어마 함미다
대략 인풋 10 : 캐시 1000~1200 : 아웃풋 1 정도로 보임미다
올라마도 비슷하게 사용하고 있으니 캐시가 어마어마하게 사용되는걸 이제 알았슴미다
모델에 따라 캐시가 읽기용 쓰기용 나눠져 있는 것도 있으니 캐시 잘 안보고 사용하다 사용량 폭탄맞을 수 있슴미다
api 사용할때 컨택스트 종종 리셋 시켜주면서 사용해야 함미다????
