“Dalam evaluasi atas potongan teks sepanjang 400 token, mengganti 10 persen kata dengan sinonim menurunkan tingkat deteksi dari sekitar 92 persen menjadi 66 persen,” tulis OpenAI.
Penurunan makin besar saat lebih banyak kata diganti. Ketika 25 persen kata diubah, tingkat deteksi merosot dari sekitar 92 persen menjadi 17 persen.
OpenAI Akui Detektor Bisa Keliru
OpenAI juga mengakui bahwa detektornya tidak sempurna. Menurut perusahaan, teks buatan AI bisa lolos dari deteksi, sementara tulisan manusia bisa salah ditandai sebagai buatan AI. Kekeliruan itu lebih mungkin terjadi pada teks pendek, teks hasil terjemahan, dan jawaban matematika yang pilihan katanya terbatas.
“Tidak terdeteksinya watermark tidak membuktikan bahwa teks itu ditulis manusia,” tulis OpenAI, sebagaimana dikutip dari BleepingComputer.
Untuk sementara, akses ke detektor hanya dibuka bagi peneliti dan organisasi ahli yang lolos proses pendaftaran dan disetujui oleh OpenAI.
Baca juga
Anthropic dan Google Lebih Dulu Menerapkan Watermark
OpenAI bukan perusahaan pertama yang menandai teks buatan AI. Anthropic lebih dulu mengumumkan watermark untuk teks buatan chatbot Claude pada Agustus 2026. Berbeda dengan ChatGPT yang untuk sementara baru berlaku di Uni Eropa, watermark Claude diterapkan Anthropic di seluruh dunia.
Sementara itu, Google DeepMind sudah merilis teknologi watermark teks bernama SynthID Text secara open source sejak Oktober 2024.
Anthropic, Google, Meta, Microsoft, dan OpenAI juga sudah berkomitmen mengikuti code of practice Uni Eropa mengenai konten buatan AI, bersama sejumlah perusahaan lain. (*)