https://localrig.com
구글 검색해서 우연히 들어간 사이트인데, 정리가 매우 잘 되어 있습니다.
현재 내 그래픽카드 GPU로 여러 모델 돌렸을시 초당 몇 토큰 나오는지,
해당 LLM 모델을 내 그래픽카드로 돌릴 수 있는지 알 수 있습니다.
초기에 LLM 모델 돌리려고 그래픽카드 구입할 때 속도가 얼마나 나오는지 알 수 있어서 좋네요.
맥 M4, M5는 용량이 큰걸 돌릴 순 있는데, 속도가 의외로 느리네요.
제 인텔 A770 16G 싼맛에 샀는데, 의외로 속도 괜찮게 나와서 위안받았습니다. :)
▶ 원문 출처: https://localrig.com
