amd ai max 395를 더 잘 사용할 수 있는 rocm 새 버전이 나왔슴미다
기존 버전은 그래픽카드용 rocm이 메인이었는데
이번엔 495를 대비하는 거 같슴미다
아직 vllm이나 llama에서 정식으로 rocm을 지원하는 버전이 안 나와서
제 에이전트에게 llama용을 빌드 해 달라고 했슴미다
이렇게 해서 vllm은 수시간 걸린다고 해서 llama로 선택했고 생각보다 일찍 끝나는걸 보면 vllm도 수시간까지는 안 걸릴거 같기도 한데 일단 나중에 정식버전 나오면 그때 사용해 보기로 하고
기존 rocm과 불칸은 불칸이 좀 더 성능이 좋았었슴미다
그런데 이번에 rocm10 버전으로 해서 테스트 해 봤슴미다
이전에는 불칸에 밀렸던게 이젠 비슷하거나 조금 올라오는거 같슴미다
이런 리눅스에서 측정한 것이라 윈도우는 다를 수 있슴미다
https://rocm.docs.amd.com/en/latest/about/release-notes.html
에이전트에게 이 주소 던져 주고 llama로 빌드 해서 알아서 해줘 를 시전했슴미다
