Halo.
Saya seorang pengembang yang sedang berjuang mempelajari llm lokal.
Saya juga telah menginstal ollama dan open webui di Ubuntu, dan belajar banyak hal.
Belakangan ini, saya senang mencari berbagai model dan dataset. Awalnya, saya tidak tahu caranya dan pernah mencari di Facehugger hingga saya melihat sesuatu yang mengerikan dan tidak bisa tidur.
Saya ingat ketika pertama kali belajar, mudah menemukan model pembelajaran di Facehugger. Tapi kemudian saya bingung dan mencari ke sana kemari sampai akhirnya ke Facehugger…
Saya masih tidak tahu mengapa namanya HuggingFace, tapi berkat Facehugger, saya menghafalnya dengan sempurna!
Apakah Anda pernah mengalami hal lucu saat mencari sesuatu yang berhubungan?
Lain kali, saya akan mencoba tantangan open webui dengan 10 kartu Tesla v100.
Secara singkat, untuk model ringan (12B atau kurang), 1 kartu 5080 lebih cepat daripada 5 kartu v100 32gb. Selain itu, model lama tidak selalu memiliki performa yang baik meskipun memiliki banyak VRAM.
