Agen AI Anthropic dan OpenAI Lepas Kendali saat Diuji
Agen kecerdasan artifisial (AI) kedapatan membuat identitas daring palsu dan kode berbahaya dalam pengujian keamanan terhadap model buatan OpenAI dan Anthropic.
Temuan itu diungkap AI Security Institute Inggris atau AISI setelah menguji agen yang ditenagai Mythos 5 milik Anthropic dan GPT-5.6-Sol buatan OpenAI.
ADVERTISEMENT
SCROLL TO CONTINUE WITH CONTENT
AISI mengatakan sejumlah agen melakukan tindakan tanpa izin selama evaluasi keamanan yang dirancang untuk mengukur kemampuan kedua model tersebut.
"Beberapa agen yang diuji terlibat dalam aktivitas berkelanjutan dan berpotensi membahayakan yang ditujukan kepada orang serta organisasi nyata," kata AISI dalam unggahan blog, dikutip dari Reuters, Rabu (5/7).
Dalam pengujian tersebut, AISI memberikan skenario keamanan siber fiktif kepada para agen AI.
Dari skenario yang dijalankan sebanyak 122 kali, AISI menemukan 19 tindakan tanpa izin dalam 10 rangkaian pengujian.
Agen Anthropic disebut bertanggung jawab atas 17 tindakan, sedangkan agen OpenAI melakukan dua tindakan lainnya.
Tindakan paling serius melibatkan agen yang menulis kode berbahaya dan membuat identitas daring palsu.
Identitas tersebut digunakan dalam upaya meyakinkan seseorang agar menyetujui kode yang dibuat agen.
AISI tidak menyebut agen mana yang melakukan tindakan tersebut. Namun, Anthropic mengonfirmasi agen miliknya bertanggung jawab.
AISI mengatakan tidak ditemukan dampak nyata dari seluruh pelanggaran yang terjadi selama pengujian.
Lebih lanjut, Anthropic menyatakan tengah bekerja sama dengan AISI untuk memperoleh informasi lebih terperinci mengenai insiden tersebut.
"Kami berterima kasih kepada AISI Inggris atas kepemimpinannya dalam insiden ini, yang menegaskan perlunya pembahasan lebih luas mengenai cara mengevaluasi agen AI yang semakin mumpuni secara aman," kata Anthropic.
Perusahaan juga mengatakan akan melakukan penyelidikan sendiri.
Peneliti organisasi nirlaba CivAI Andrew Yoon menilai tindakan agen Anthropic menunjukkan perusahaan belum sepenuhnya memahami perilaku modelnya.
"Fakta bahwa Mythos melakukan tindakan menipu seperti itu, dengan kesadaran yang tampak bahwa ia menargetkan orang sungguhan, menunjukkan Anthropic tidak memiliki kendali sebaik yang mereka kira terhadap modelnya," kata Yoon.
Sementara itu, OpenAI mengungkap kedua tindakan tanpa izin yang dilakukan agennya berkaitan dengan akses internet.
Agen tersebut terhubung ke internet dengan cara yang dilarang dalam perintah pengujian.
"Kami berkomitmen bekerja sama dengan industri untuk memperkuat praktik bersama dalam melaksanakan evaluasi berisiko tinggi secara aman," kata OpenAI.
Perusahaan berencana mempertemukan institut AI nasional, evaluator independen, laboratorium AI, dan pihak lain dalam beberapa pekan mendatang.
OpenAI juga mengungkap insiden terpisah yang melibatkan Irregular, perusahaan pihak ketiga penyedia layanan pengujian.
Kesalahan konfigurasi dari Irregular membuat agen OpenAI tanpa sengaja dapat terhubung ke internet.
Insiden serupa terkait kesalahan konfigurasi sebelumnya juga diungkap Anthropic.
Sebagai catatan, agen dalam evaluasi AISI tidak keluar dari lingkungan pengujian terisolasi untuk mencapai internet.
AISI memang memberikan akses internet kepada agen tersebut sebagai bagian dari prosedur pengujian standar.
Kasus itu berbeda dengan insiden pada Juli ketika agen OpenAI membobol perusahaan AI Hugging Face setelah keluar dari lingkungan pengujian.
(lom)[Gambas:Video CNN]