Di zaman ini di mana RAM 128GB berharga 3 juta won, saya membeli AI TOP ATOM Spark dari Gigabyte.
Bukan untuk digunakan sebagai perangkat utama, saya membeli 1TB.
Maksudnya adalah karena saya sudah memiliki DGX Spark.
Saya menyelesaikan konfigurasi dengan menghubungkannya melalui NVIDIA Cx7, dan ternyata saya salah paham tentang satu hal.
Saya pikir ketika menghubungkan keduanya, mereka akan bekerja seperti multi-GPU dari satu server, tetapi ternyata tidak demikian. Anda harus memposisikan dua perangkat sebagai node terpisah dan berkomunikasi berbasis Cx7, kemudian menjalankan model melalui kerangka kerja terdistribusi seperti vLLM atau Ray.
Saya pikir ketika menjalankan model dari satu sisi, perangkat akan secara otomatis menangani multi, tetapi... cara kerjanya sedikit berbeda dari apa yang saya bayangkan... ㅠ
Meskipun strukturnya sedikit berbeda dari rencana awal, karena tetap dapat digunakan dengan baik, saya akan puas dengan tingkat ini.
