Halo, saya Pazz.
Akhir-akhir ini, KOSPI tampaknya benar-benar menyala dengan Samsung dan SK Hynix.
Jika kita mengeluarkan Samsung dan Hynix, saham-saham lainnya hanya terasa di level 3500-4000. Dua saham ini sedang hard-carry KOSPI.
Saat teknologi AI seperti Agentic AI terus berkembang ke arah yang memory-centric, harga target Samsung dan Hynix tampaknya terus meningkat tanpa batas.
Dalam situasi ini, saya secara tidak sengaja melihat LPU (Language Processing Unit) Groq yang diinvestasikan Nvidia akhir tahun lalu, dan ini adalah konsep yang sangat menarik.
Pertama, untuk pelatihan dan inferensi AI, memori berkecepatan sangat tinggi, yaitu HBM, sudah menjadi keharusan yang semua orang tahu sekarang.
Karena HBM menyapu jumlah memori, kekurangan memori menjadi parah sehingga harga memori terus naik, dan kapasitas ekspansi perusahaan memori pun paling cepat akan meningkat secara bertahap dari akhir tahun ini hingga awal tahun depan... memori telah menjadi inti dari investasi infrastruktur AI.
Dalam situasi ini, LPU Groq menggunakan SRAM internal untuk inferensi.
SRAM benar-benar disebut sebagai raja memori dengan kinerja dan daya rendah yang tidak tertandingi dibandingkan dengan DRAM. Memori cache CPU adalah SRAM. Dapat dibuat dengan cukup baik menggunakan proses logika umum. Satu-satunya kelemahan adalah jauh lebih mahal daripada DRAM.
LPU Groq menyisipkan ratusan megabita SRAM secara internal dan juga menanamkan sirkuit komputasi yang diperlukan untuk inferensi di sampingnya, menunjukkan kinerja yang luar biasa dengan puluhan kali lipat lebih baik dan konsumsi daya puluhan kali lipat lebih rendah dibandingkan dengan kombinasi GPU+HBM yang ada. Karena SRAM dan sirkuit komputasi ditanamkan tepat di sampingnya, ini tidak bisa tidak jelas. Tampaknya sama dengan konsep PIM (Processing In Memory).
Namun, kelemahan LPU adalah dua hal: kapasitas per chip yang rendah (ratusan megabita per chip LPU vs puluhan gigabita HBM) dan mahal. Tampaknya kapasitas diselesaikan dengan memasang ratusan chip sekaligus, dan bagian yang mahal tampaknya mencoba untuk diimbangi dengan kecepatan generasi token yang tidak masuk akal. Karena jika Anda mempercepat generasi token, Anda hanya perlu menggunakan satu unit daripada sepuluh unit.
Tapi ada bagian yang benar-benar membuka mata saya!
LPU dapat dibuat dengan cukup banyak menggunakan proses foundry logika yang sudah ada. DRAM hanya dapat dibuat oleh Samsung, Hynix, Micron, dan CXMT di Bumi. Karena sangat berbeda dari proses logika.
Sebaliknya, ada beberapa foundry logika seperti TSMC, Samsung, Intel, GlobalFoundries, SMIC, dll.
Logika juga memiliki hambatan untuk proses paling canggih, tetapi tidak sebanyak memori. Chip Groq kali ini dibuat dengan proses 4nm, katanya.
Ini berarti jika harga memori naik secara tidak masuk akal, saya berpikir bahwa sebaliknya akan lebih ekonomis untuk membuat LPU dengan proses logika. Katanya Ketua Choi Tae-won berbicara tentang keuntungan operasional Hynix sebesar 1000 triliun won. Jika demikian, mungkin lebih ekonomis hanya dengan menata SRAM secara internal dengan proses logika dan membuat serta menggunakan chip. Karena daya juga berkurang secara signifikan, dari perspektif TCO, itu juga akan cukup menguntungkan.
Sampai sekarang, tidak banyak informasi detail tentang LPU yang dibuka, jadi saya juga tidak tahu bagaimana teknologi ini akan berkembang di masa depan. Saya berpikir bahwa Ketua Jensen Huang mungkin membahas teknologi ini di GTC yang diadakan sekitar pertengahan bulan depan.
Apakah teknologi ini akan menjadi bom bagi industri memori kami atau akan berlalu tanpa pengaruh yang berarti, kita perlu menunggu dan melihat lebih lanjut.
Untuk saat ini, saya berbagi karena saya pikir bagus untuk menyimpan kata LPU di benak Anda.
