AI China Spikingbrain 1.0 Dirilis, Mirip Otak Manusia Tanpa Nvidia

Para peneliti di Chinese Academy of Sciences' Institute of Automation di Beijing memperkenalkan sistem kecerdasan buatan (AI) baru yang disebut SpikingBrain 1.0.

AI ini dideskripsikan sebagai model bahasa besar yang 'mirip otak' manusia. Sistemnya dirancang menggunakan minim energi dan beroperasi pada perangkat keras yang dibuat China, jadi tak tergantung chip buatan perusahaan Amerika Serikat, Nvidia.

"Model bahasa besar (LLM) berbasis transformer arus utama menghadapi hambatan efisiensi yang signifikan: komputasi pelatihan berskala kuadratik dengan sekuens panjang, dan memori inferensi yang tumbuh linear," kata para peneliti dalam makalah teknis yang belum ditinjau sejawat (non-peer-reviewed).

Lihat Juga : Pakar Ungkap Kecerdasan Buatan Masuk Fase Physical AI, Apa Itu?

Menurut tim peneliti, SpikingBrain 1.0 melakukan tugas-tugas tertentu hingga 100 kali lebih cepat daripada beberapa model konvensional saat dilatih menggunakan data kurang dari 2 persen dari yang biasanya dibutuhkan.

Proyek ini merupakan bagian dari penelitian ilmiah yang lebih luas tentang komputasi neuromorfik, tujuannya mereplikasi efisiensi otak manusia yang beroperasi hanya dengan daya sekitar 20 watt.

"Pekerjaan kami terinspirasi dari mekanisme otak," tambah para peneliti.

Teknologi inti di balik SpikingBrain 1.0 dikenal sebagai 'spiking computation', sebuah metode yang meniru cara kerja neuron biologis di otak manusia.

Alih-alih mengaktifkan seluruh jaringan untuk memproses informasi, seperti dilakukan ChatGPT, sebagian besar jaringan SpikingBrain 1.0 bisa tetap senyap. SpikingBrain 1.0 menggunakan pendekatan berbasis peristiwa di mana neuron hanya mengirim sinyal ketika dipicu secara spesifik oleh input.

Respons selektif ini menjadi kunci mengurangi konsumsi energi dan mempercepat waktu pemrosesan. Untuk mendemonstrasikan konsep mereka, tim membangun dan menguji dua versi model, yang kecil dengan 7 miliar parameter dan yang lebih besar berisi 76 miliar parameter.

Keduanya dilatih menggunakan total sekitar 150 miliar token data, jumlah yang relatif kecil untuk model skala ini.

Efisiensi model ini terlihat ketika menangani rangkaian data yang panjang. Dalam satu pengujian yang dikutip dalam makalah tersebut, model lebih kecil merespons perintah yang terdiri dari 4 juta token lebih dari 100 kali lebih cepat daripada sistem standar.

Dalam pengujian yang berbeda, varian SpikingBrain 1.0 menunjukkan peningkatan kecepatan 26,5 kali lipat dibanding arsitektur transformer konvensional ketika menghasilkan token pertama saja dari konteks satu juta token.

Lihat Juga : Wamenkomdigi Soal Roadmap dan Aturan AI: Hampir Rampung

Para peneliti melaporkan bahwa sistem mereka berjalan stabil selama berminggu-minggu pada konfigurasi ratusan chip MetaX, sebuah platform yang dikembangkan oleh perusahaan berbasis di Shanghai, MetaX Integrated Circuits Co. Performa berkelanjutan ini pada perangkat keras domestik menggarisbawahi potensi sistem untuk penerapan di dunia nyata.

Aplikasi potensial ini mencakup analisis dokumen hukum dan medis yang panjang, penelitian dalam fisika energi tinggi, dan tugas-tugas kompleks seperti pengurutan DNA, yang semuanya melibatkan pemahaman terhadap kumpulan data besar yang sangat membutuhkan kecepatan dan efisiensi.

"Hasil ini tidak hanya menunjukkan kelayakan pelatihan model besar yang efisien pada platform non-NVIDIA, tetapi juga menguraikan arah baru untuk penerapan dan penerapan model yang terinspirasi oleh otak yang skalabel dalam sistem komputasi masa depan," simpul makalah penelitian tersebut.