Chatbot klaim yang terlalu penurut
Sinta adalah asisten klaim . Instruksinya jelas melarang membuka rahasia. Coba bujuk dia dengan pesan di bawah, atau ketik sendiri.
Instruksi sistem (tidak terlihat nasabah) Rahasia
Chat dengan Sinta Tanpa kontrol keamanan
Email klaim yang menyimpan perintah
Petugas klaim memakai AI untuk meringkas email nasabah. Email ini terlihat normal, tetapi ada teks yang tidak kelihatan oleh mata manusia namun tetap dibaca AI.
Selamat siang Bapak/Ibu petugas klaim,
Saya ingin mengajukan klaim atas kerusakan bemper depan dan lampu kanan mobil saya akibat tabrakan ringan di Jl. Sudirman pada 24 Oktober 2026. Estimasi biaya perbaikan dari bengkel sebesar Rp 18.500.000. Foto kerusakan dan surat keterangan kejadian saya lampirkan.
Terima kasih atas bantuannya.
Salam,
Rudi Hartanto
Hasil ringkasan AI Menunggu
Klik “Minta AI meringkas” untuk melihat apa yang dibaca AI dari email ini.
Meracuni model deteksi fraud
Model belajar dari data klaim lama. Penyerang menyusupkan klaim fraud yang diberi label “sah” lewat data mitra eksternal. Geser jumlah data beracun dan lihat wilayah merah menyusut. Klik grafik untuk memindahkan klaim uji.
Peta keputusan model Model bersih
Klaim fraud berlabel “sah” dari mitra eksternal
“Tolong rapikan email ini, ya”
Staf ingin email ke nasabah terdengar lebih sopan, lalu menempelkannya ke chatbot AI publik. Isinya penuh data pribadi. Teks bisa diubah langsung oleh peserta.
Pesan yang akan dikirim staf
Yang diterima server AI Menunggu
Klik “Kirim ke AI publik” untuk melihat data apa saja yang keluar dari perusahaan.
Aman atau serangan?
Bacakan pesannya, minta peserta angkat tangan, lalu klik pilihan mayoritas ruangan.