Rumor: Ada rumor beredar bahwa Google tidak akan lagi menggunakan HBM mulai dari TPU v8.
Insiden ini berasal dari kekurangan kapasitas produksi HBM secara global yang diperkirakan tidak akan mampu memenuhi permintaan pertumbuhan kecerdasan buatan (AI) selama 2-3 tahun ke depan. Pada saat yang sama, HBM yang ada memiliki keterbatasan kapasitas karena karakteristik desainnya yang dipasang tetap di papan induk.
Oleh karena itu, Google merencanakan untuk mengembangkan solusi baru yang ditargetkan untuk diluncurkan pada tahun 2027. Solusi ini menghapus HBM dan membangun lemari memori DRAM independen (berisi 16-32 nampan) yang mengadopsi metode alokasi memori dinamis melalui teknologi foton.
Teknologi ini menguraikan komponen HBM yang awalnya tunggal dan sederhana menjadi tiga bagian.
- Lapisan Transmisi: Memastikan efisiensi komunikasi antar lemari melalui OCS (Optical Circuit Switching) dan protokol CXL khusus menggunakan semua interkoneksi optik. Modul memori dari CPU, GPU, dan kumpulan memori berbagi satu set protokol.
- Lapisan Penyimpanan: Memperluas ruang pengalamatan secara signifikan dengan mengganti HBM menggunakan susunan DRAM skala besar. Kapasitas memori yang sesuai dengan TPU tunggal dapat meningkat dari 192GB/256GB menjadi 512GB atau 768GB atau lebih.
- Lapisan Kontrol: Menambahkan server CPU khusus di sisi memori untuk manajemen.
Dibandingkan dengan metode koneksi langsung "TPU+HBM" yang ada, solusi gabungan terpisah "3-in-1" ini mengurangi kehilangan efisiensi komputasi menjadi kurang dari 2%.
Terkait dengan teknologi ini, pertama-tama ada OCS (Optical Switching). OCS mengimplementasikan pengalihan kecepatan tinggi dalam lingkungan optik murni dan mencapai bandwidth dan latensi yang mendekati koneksi langsung menggunakan HBM atau HBM fotoni silikon. Ethernet tradisional (menggunakan tembaga) biasanya memiliki latensi 200 nanodetik atau lebih, sedangkan menggunakan jaringan pengalihan optik penuh OCS dapat mengurangi latensi menjadi kurang dari 100 nanodetik, yang sangat penting.
Kedua, arsitektur ini memiliki arsitektur CPU dual-sisi (CPU Tier-1 dan Tier-2).
CPU Tingkat 1 (Sisi TPU): Terletak di papan induk TPU dan terutama bertanggung jawab atas komunikasi timbal balik antara TPU.
CPU Tingkat 2 (Sisi Kumpulan Memori): Terutama dikerahkan di sisi server memori (server DRAM) dan terutama bertanggung jawab untuk mengkoordinasikan komunikasi antara TPU dan ruang pengalamatan memori terdistribusi.
CPU Tier-2 dikerahkan secara independen. Secara logis, CPU papan induk TPU asli juga dapat membaca kumpulan memori, tetapi menggunakan CPU lama memerlukan konversi protokol yang kompleks (misalnya, konversi antara sinyal PCIe dan protokol serupa CXL), yang menyebabkan hambatan efisiensi.
Ketiga, antarmuka diselesaikan secara langsung di tingkat chip melalui 'antarmuka kemasan foton'. Metode ini mirip dengan teknologi CPO (Co-Packaged Optics), mengintegrasikan antarmuka optik secara langsung di dalam paket chip seperti CPU/TPU untuk menggantikan modul optik eksternal yang ada. Pemasok pertama yang dihubungi dalam fase desain solusi adalah Lightmatter, dan kemudian berkolaborasi dengan beberapa pemasok lainnya.
Solusi ini mengubah metode akses level papan induk frekuensi super tinggi asli menjadi metode 'akses antar lemari' dengan menghapus HBM dan menggantinya dengan kumpulan memori DRAM eksternal. Secara teori, hal ini dapat menyebabkan latensi dan kehilangan efisiensi yang signifikan, tetapi pada kenyataannya, tidak demikian. Secara spesifik, ada konversi elektrik/optik yang kompleks antara chip, host, dan jaringan ring, dan konversi protokol tingkat perangkat keras ini dan pengaturan menghasilkan overhead tersembunyi yang signifikan dan tidak terlihat oleh pengguna. Dengan mengadopsi solusi kumpulan memori DRAM, konversi CXL diperkenalkan, tetapi banyak langkah konversi protokol perangkat keras yang merepotkan dari arsitektur yang ada dihilangkan.
Selama 2 tahun ke depan, jika harga HBM turun dan kinerja meningkat karena perluasan kapasitas produksi produsen seperti Samsung atau SK Hynix, kemungkinan Google kembali ke solusi HBM karena masalah biaya sangat rendah. Google tidak berpikir bahwa produsen top seperti SK Hynix, Samsung, dan Micron akan mengubah harga garis produk utama mereka atau strategi produksi massal untuk satu atau dua pelanggan utama. Mereka mungkin dapat mengorbankan sebagian keuntungan, tetapi tidak akan berkompromi pada tingkat ekstrem.
Solusi ini mengurangi ketergantungan pada CoWoS karena HBM tidak lagi diperlukan. Selain itu, chip HBM yang ada di substrat interposer silikon asli menempati area yang luas, dan dengan menghapus HBM, area CoWoS yang dihemat dapat digunakan sepenuhnya untuk inti komputasi TPU. Oleh karena itu, dalam ukuran fisik yang sama, Anda dapat membuat chip TPU dengan kinerja yang lebih kuat dan area yang lebih luas tanpa dibatasi oleh ukuran fisik HBM. Dalam hal kapasitas memori, generasi V7 memiliki kapasitas HBM tunggal sekitar 192GB, dan V8A sekitar 256GB, tetapi melalui pemindahan memori, kapasitas memori per TPU dapat digandakan hingga 512GB atau diperluas hingga 768GB atau lebih.
Solusi ini direncanakan untuk diimplementasikan tahun depan, dan jalur final akan ditentukan sebelum 5 Maret. Tingkat pemasangan awal adalah sekitar 30%, dan diperkirakan penggantian 100% akan dicapai dalam 3 tahun.
Sektor yang diuntungkan:
- OCS (Mesin Optik): Penyedia utama Lightmatter mengintegrasikan antarmuka optik dalam paket chip untuk menggantikan modul eksternal, menyediakan antarmuka pengemasan fotonik.
- Metode seperti CXL: Chip serupa CXL (chip MXC) diperlukan untuk saling menghubungkan TPU dan pool memori, dengan harga per chip $100. Satu chip mengelola dua saluran untuk dua modul memori 256GB dan menyinkronkan koneksi sisi TPU dan memori. Untuk 512GB, dibutuhkan dua chip MXC, dan untuk 768GB, dibutuhkan empat.
- Modul DRAM: Kapasitas (GB) meningkat secara signifikan.
- CPU: Setiap baki memori harus dilengkapi dengan CPU untuk penjadwalan. Kinerja tinggi tidak diperlukan, dan CPU berbasis ARM dapat digunakan.
- PCB: Kasus DRAM independen membutuhkan PCB multilayer besar untuk mengakomodasi banyak slot DIMM.
Sumber: 國泰海港(Guotai Haitong)
