Hasil Kerja ChatGPT Bakal Punya Watermark, Ini Fungsinya

OpenAI mengumumkan akan memberikan tanda atau watermark tak terlihat pada teks yang dihasilkan chatbot ChatGPT dan Codex. Tanda ini mungkin tidak akan terlihat bagi sebagian orang, tetapi tampak pada pemilihan diksi dan pola kalimat teks yang dihasilkan AI.

Kebijakan tersebut diberlakukan untuk mematuhi regulasi Undang-undang AI Uni Eropa (EU AI Act) yang mengharuskan perusahaan AI menandai konten agar bisa diidentifikasi oleh sistem lain untuk tujuan transparansi.

"Teknologi penanda air teks kami, textGrain, menambahkan sinyal statistik tak terlihat pada pilihan kata model. Detektor kami mencari sinyal tersebut untuk menilai apakah suatu bagian teks berisi tanda air OpenAI," tulis OpenAI di laman resminya pada Senin (5/10).

Perusahaan mengklaim bahwa kemampuan textGrain untuk mendeteksi hasil tulisan AI telah menyamai atau bahkan melampaui kinerja detektor lain, termasuk SynthID yang dikembangkan Google DeepMind.

Meski demikian, keandalan dalam evaluasi internal dan uji coba tidak menjamin deteksi andal untuk penggunaan sehari-hari. OpenAI menyebut beberapa kekurangan yang masih ditemukan seperti jika teks yang dihasilkan terlalu pendek atau telah sedikit diedit.

Kesalahan yang ditemukan selama pengujian adalah pelaporan adanya watermark padahal tidak ada (false positive) atau melewatkan watermark yang sebenarnya ada (false negative).

OpenAI menyebut konten dengan teks yang lebih pendek lebih sulit dideteksi daripada konten dengan teks yang lebih panjang. Selain itu, konten yang memiliki lebih sedikit fleksibilitas dalam pemilihan diksi seperti matematika juga lebih sulit untuk dideteksi.

Hasil pengujian juga menunjukkan penggantian pemilihan kata sekitar 10 persen mampu mengurangi akurasi deteksi dari sekitar 92 persen menjadi 66 persen, dan penggantian sekitar 25 persen kata dapat menurunkannya menjadi 17 persen.

Namun, perusahaan menegaskan pemberian watermark tidak akan memengaruhi akurasi dan kinerja jawaban yang dihasilkan. Singkatnya, teknologi ini hanya akan membuat teks yang dihasilkan memiliki pola-pola pemilihan kata yang dapat dideteksi.

Watermark akan memungkinkan pihak-pihak yang membutuhkan, seperti organisasi ahli atau akademisi, mengetahui suatu teks dibuat oleh AI atau benar-benar karya orisinal, seperti dalam pengungkapan penyalahgunaan dan penegakan hukum lainnya sesuai kebijakan yang berlaku.

Dalam beberapa minggu mendatang, watermark akan diterapkan untuk pengguna ChatGPT dan Codex secara lokal di Uni Eropa. Sementara itu, bagi pelanggan Application Programming Interface (API), opsi penambahan watermark ini sudah tersedia secara global.

OpenAI belum merilis fitur ini secara global karena kelemahan-kelemahan yang masih ditemukan dalam uji coba awal. Ke depannya, perusahaan akan meningkatkan fungsi watermark dan kemampuan deteksi tersebut.

"Keterbatasan ini berkontribusi pada keputusan kami untuk hanya memberikan akses awal ke detektor kepada peneliti dan organisasi ahli yang disetujui, yang dapat membantu kami mengevaluasi keandalan dan penggunaan yang bertanggung jawab," kata perusahaan.