Profesor Richard Sutton adalah orang yang secara akademis mendirikan pembelajaran penguatan, dasar dari AI modern.
Pada tahun 2019, John Kemeny dan Richard Sutton sedang meneliti AGI. Saat itu, tidak ada ChatGPT seperti sekarang ini,
dan mereka meneliti dengan cara yang berbeda.
Kali ini, Richard Sutton pensiun dan mendirikan OAK Research Institute.
Artikel tanggal 14 Juli
https://officechai.com/ai/father-of-reinforcement-learning-richard-sutton-starts-oak-lab-to-work-on-new-approaches-to-ai/
Kritik Sutton yang Lama terhadap LLM
Sutton telah menghabiskan banyak waktu dalam setahun terakhir untuk menguraikan argumen inti OAK Lab.
Dalam podcast, ia berpendapat bahwa model bahasa besar (LLM) tidak dapat menerima umpan balik dari dunia nyata dan
tidak dapat menetapkan tujuan mereka sendiri, oleh karena itu LLM dan semua model yang dibangun di atasnya tidak dapat dianggap benar-benar cerdas.
Pengenalan Arsitektur OAK di Luar LLM
Algoritma kami tidak menyimpan atau memutar ulang data, melainkan belajar secara real-time.
Menggabungkan algoritma ini dengan jaringan saraf berbasis peristiwa memungkinkan kami untuk mengimplementasikan sistem pembelajaran yang mengurangi sumber daya komputasi dan
konsumsi energi beberapa digit dibandingkan dengan metode konvensional. Efisiensi komputasi yang tinggi memungkinkan pembelajaran berkelanjutan dalam waktu nyata.
Tujuan kami adalah menemukan dan mengimplementasikan algoritma yang memungkinkan agen mencapai tujuan di lingkungan yang besar.
Fokus kami adalah pada pembelajaran melalui pengalaman langsung, bukan pada kumpulan data yang dipilih.
Masih dalam tahap penelitian, tetapi apakah kecerdasan yang lebih pintar akan datang hanya dengan pusat data saat ini?
LLM menggunakan memori dan GPU dalam jumlah besar...
