Bagaimana Gemini AI Bisa Lepas Kendali dan Retas 3 Perusahaan?
Model kecerdasan buatan (AI) Gemini milik Google dilaporkan berhasil mengakses sistem tiga perusahaan nyata saat menjalani pengujian keamanan yang seharusnya berlangsung di lingkungan tertutup.
Insiden tersebut terjadi ketika Gemini mengikuti tes keamanan bertipe Capture The Flag atau CTF pada Mei.
Dalam pengujian semacam ini, model diminta mencari cara menembus sistem target dan mengambil informasi rahasia yang sengaja ditempatkan di dalam lingkungan uji.
Namun, menurut laporan 36kr, lingkungan pengujian yang seharusnya tidak terhubung ke internet secara tidak sengaja memiliki akses ke jaringan publik.
Masalah lain muncul karena nama perusahaan fiktif yang digunakan dalam simulasi ternyata sama dengan nama sebuah perusahaan nyata.
Alhasil, Gemini menemukan dua target dengan nama serupa, yakni satu berada di lingkungan simulasi, sementara lainnya merupakan sistem perusahaan sungguhan di internet.
Model tersebut kemudian memilih target di internet. Gemini dilaporkan menemukan layanan daring milik perusahaan itu dan mencoba masuk menggunakan kombinasi kredensial yang lemah.
Setelah beberapa kali mencoba, model ini berhasil memperoleh akses.
Cari password yang bocor di internet
Dalam dua percobaan berikutnya, Gemini menggunakan metode berbeda.
Model tersebut mencari nama perusahaan melalui internet dan menemukan dua repositori kode yang dapat diakses secara publik.
Repositori tersebut ternyata menyimpan informasi login yang tak sengaja diunggah pengembang, mulai dari akun, password, hingga key.
Gemini kemudian menggunakan kredensial tersebut untuk mencoba mengakses sistem perusahaan.
Upaya itu berhasil dan membuat Gemini masuk ke sistem back-end dua perusahaan lainnya.
Alhasil, Gemini disebut berhasil mengakses tiga perusahaan nyata selama pengujian.
Metode yang digunakan oleh Gemini bukan eksploitasi zero-day atau malware canggih.
Gemini hanya memanfaatkan password lemah dan kredensial yang bocor ke repositori publik, dua celah keamanan dasar yang kerap menjadi perhatian dalam keamanan siber.
Sepanjang proses tersebut, menurut laporan, tidak ada manusia yang secara langsung memberi instruksi kepada Gemini untuk menyerang perusahaan-perusahaan tersebut.
Google tidak sepakat jika kejadian tersebut disebut sebagai AI yang lepas kendali.
Vice President of Security Engineering Google Heather Adkins mengatakan model berhenti setelah menyadari bahwa target yang diakses merupakan perusahaan nyata.
Google membandingkan kejadian tersebut dengan program bug bounty, ketika peneliti keamanan mencari celah sistem agar dapat diperbaiki.
Perusahaan juga menekankan tidak ada kerusakan yang ditimbulkan selama insiden tersebut.
Menurut Adkins, kejadian itu justru menunjukkan pentingnya melatih AI agar bertindak secara bertanggung jawab.
Google menilai mekanisme keamanan dasarnya bekerja karena Gemini menghentikan aktivitas setelah mengenali target nyata. Namun, penjelasan itu mendapat kritik.
CEO perusahaan keamanan AI Corridor Jack Cable menilai analogi dengan bug bounty tidak tepat.
Menurut dia, peneliti keamanan atau white hat hacker biasanya mendapatkan izin terlebih dahulu sebelum menguji sistem perusahaan.
Dalam kasus Gemini, tiga perusahaan tersebut tidak memberikan izin sebelum sistem mereka diakses.
Setelah muncul kritik, Google kemudian menekankan pentingnya mengembangkan model AI yang kuat secara aman dan menyatakan sedang bekerja sama dengan mitra evaluasi untuk memperbaiki proses pengujian.
(lom)