Tidak sedikit orang yang menerima saran dari chatbot atau aplikasi berbasis AI, lalu langsung mengikutinya tanpa banyak mempertanyakan. Padahal, ada pengalaman dan penilaian pribadi yang sebenarnya bisa diandalkan untuk mengevaluasi saran tersebut.
Fenomena ini ternyata punya penjelasan ilmiah, dan dikenal dengan istilah automation bias.
Apa Itu Automation Bias?
Automation bias adalah kecenderungan manusia untuk menjadi kurang waspada ketika suatu pekerjaan sudah diotomatisasi atau dibantu oleh sebuah teknologi. Begitu ada sistem otomatis yang ikut terlibat, kewaspadaan biasanya menurun dan orang lebih mudah percaya pada hasil yang diberikan, meskipun sistem tersebut bisa saja salah.
Hal ini terjadi karena otak manusia secara alami mencari jalan pintas agar bisa mengambil keputusan lebih cepat dan tidak terlalu membebani proses berpikir. Sayangnya, anggapan bahwa AI "pasti lebih akurat" tidak selalu sesuai kenyataan. Chatbot populer seperti ChatGPT atau Gemini, misalnya, seringkali memberikan jawaban yang tidak konsisten atau "halusinasi", jawaban yang sebenarnya salah namun terdengar meyakinkan.
Yong Jin Park, profesor di Howard University, menjelaskan bahwa orang umumnya berharap AI akan selalu memberikan hasil yang konsisten. Namun pada praktiknya, AI justru sering tidak memenuhi ekspektasi tersebut.
Ketika Manusia Mulai Meragukan Penilaiannya Sendiri
Nyalleng Moorosi, peneliti senior di Distributed AI Research Institute, memberikan pandangan menarik mengenai hal ini. Menurutnya, AI dipasarkan sebagai teknologi yang sangat canggih, sehingga banyak orang menjadi ragu untuk mempertanyakannya. Akibatnya, ketika hasil AI bertentangan dengan apa yang sebenarnya diyakini benar, orang justru meragukan penilaiannya sendiri.
Hal ini berisiko, sebab AI bukan sistem yang sempurna, setidaknya sampai saat ini. Banyak algoritma AI dilatih menggunakan data yang sudah mengandung bias, misalnya bias gender atau ras. Sebagai contoh, ada perusahaan yang menggunakan AI untuk menyortir CV pelamar. Karena data historis perusahaan tersebut selama bertahun-tahun lebih banyak mempekerjakan laki-laki, maka AI bisa saja "belajar" bahwa pelamar laki-laki lebih ideal. Akibatnya, sistem otomatis memberikan nilai rendah atau membuang CV pelamar perempuan, walaupun kualifikasinya sangat bagus. Dari contoh tersebut kita bisa tau bahwa apabila hasil tersebut diikuti tanpa berpikir kritis, bias-bias tersebut justru ikut terotomatisasi dan dapat berdampak diskriminatif di dunia nyata.
Contoh Automation Bias yang Sering Dialami Vibe Coder
Automation bias bukan sekadar teori. Dampaknya bisa berakibat fatal.
Contoh di dunia programming, seorang backend developer meminta tolong AI untuk dibuatkan middleware yang bertugas untuk melakukan validasi apakah user sudah login atau belum berdasarkan token JWT yang dikirim dari frontend, kemudian AI memberikan kode seperti berikut:
import jwt from 'jsonwebtoken';
export const authMiddleware = (req, res, next) => {
const authHeader = req.headers['authorization'];
if (!authHeader) return res.status(401).json({ message: 'Token ga ada.' });
const token = authHeader.split(' ')[1];
try {
const decodedToken = jwt.decode(token); // wtf
if (!decodedToken) return res.status(401).json({ message: 'Token ga valid.' });
req.user = decodedToken;
next();
} catch {
return res.status(500).json({ message: `Internal Server Error` });
}
}Ketika kode tersebut dijalankan yang terjadi adalah sebagai berikut:
- User login dan mendapatkan token JWT.
- User kirim token tersebut ke API.
- Request berhasil. API menerima token dan sukses membaca id user dan role user dari token tersebut.
Karena testing berhasil dan kodenya jalan, developer tersebut terkena automation bias. Dia tidak mengecek kembal pendekatan dan logika di belakangnya, dia tidak menyadari bahwa kode tersebut sebenarnya sangat berbahaya. Dengan menggunakan jwt.decode(), kode tersebut hanya menerjemahkan token menjadi string/teks tanpa mengecek signature dari token tersebut, sehingga siapa pun bisa membuat token palsu dengan payload yang diinginkan, lalu mengirimkannya ke API dan mendapatkan akses yang seharusnya tidak mereka miliki. Bayangkan kalau si developer langsung up ke staging, lolos QA, dan masuk production.
Jika developer tersebut tidak terkena automation bias, dia mungkin akan menyadari bahwa kode tersebut tidak aman, dan mengimplementasikan pendekatan lain yang lebih aman seperti menggunakan jwt.verify() untuk memastikan token tersebut valid dan tidak dipalsukan, atau pendekatan lain yang sebenarnya dia sudah paham.
Contoh tersebut menunjukkan bahwa semakin besar anggapan bahwa AI itu andal, semakin besar pula risiko ikut salah ketika AI tersebut keliru.
Apakah Ada Cara untuk Mengatasinya?
Sejumlah peneliti telah mencoba mencari solusi, meskipun hasilnya belum sepenuhnya memuaskan.
Salah satu penelitian pada 2023 mencoba mengurangi automation bias pada alat seleksi karyawan berbasis AI. Hasilnya, memberi tahu pengguna mengenai tingkat kesalahan dan potensi bias dalam sistem AI cukup membantu mereka menjadi lebih kritis dalam menilai kandidat. Menampilkan data secara lebih rinci, bukan hanya satu skor ringkas, juga terbukti membantu orang berpikir lebih objektif.
Menariknya, sekadar mengingatkan pengguna bahwa keputusan akhir tetap berada di tangan mereka ternyata tidak banyak berpengaruh. Orang tetap cenderung mengikuti saran AI meskipun secara teknis mereka menyadari bahwa merekalah yang bertanggung jawab atas keputusan tersebut.
Lalu, apa solusi praktisnya bagi kita di dunia software engineering? Karena passif-warning saja tidak terlalu mempan, satu hal yang mungkin bisa sangat ampuh adalah mengembalikan mentalitas fundamental seorang engineer, yaitu budayakan kembali RTFM (Read the Fu__ing Manual). Ya, setidaknya luangkan waktu sejenak untuk membuka dokumentasi resmi dari teknologi atau library yang digunakan. Kalau perlu, baca juga standar internasional (seperti ISO) terkait pendekatan yang digunakan. Verifikasi kembali apakah kode dari AI sudah sejalan dengan best practice yang dianjurkan atau belum. Dengan begitu, kita bisa meminimalisir risiko automation bias sekaligus meningkatkan kualitas kode yang kita buat.
Haruskah Penggunaan AI Dihentikan?
Menurut saya tidak. Takut terhadap automation bias bukan berarti kita harus menolak AI sama sekali. Justru menolak AI di era saat ini sama saja dengan menolak kemajuan zaman.
Saya analogikan dengan penggunaan kalkulator. Dulu, banyak orang yang takut bahwa kalkulator akan membuat kita kehilangan kemampuan berhitung manual. Namun pada kenyataannya, kalkulator justru membantu kita melakukan perhitungan yang lebih kompleks dengan lebih cepat, sementara kita tetap bisa menggunakan kemampuan berhitung manual untuk hal-hal sederhana. Kita semua tau kalkulator bisa melakukan perhitungan kompleks dengan cepat, namun dia tidak pernah paham konteks dari apa yang sedang kita hitung. Sama halnya dengan AI, kita bisa memanfaatkannya untuk tugas-tugas yang memang membutuhkan kecepatan dan kapasitas besar, sambil tetap mempertahankan kemampuan berpikir kritis dan penilaian pribadi untuk memastikan hasil yang diberikan AI benar-benar sesuai dengan konteks dan kebutuhan kita.
Walaupun begitu, kita juga harus sepakati bahwa AI tidak boleh digunakan tanpa pengawasan, terutama untuk hal-hal yang berisiko tinggi dan sensitif seperti hal hal yang berhubungan dengan medis, finansial, bahkan atau bahkan data pribadi. Tujuannya agar bias yang terdapat di dalamnya tidak secara diam-diam merugikan seseorang.
Sayangnya, regulasi mengenai hal ini menurut saya masih jauh tertinggal. Di tengah lambatnya hukum dan regulasi dalam mengejar teknologi, muncul keresahan baru melihat bagaimana AI semakin sering digunakan secara semena-mena, nir-etika, dan tanpa memikirkan konsekuensi fatalnya.
Kasus yang paling mengerikan dan merusak adalah penyalahgunaan AI untuk membuat konten deepfake, seperti memanipulasi wajah seseorang menjadi konten NSFW (pornografi) tanpa izin. Ini bukan lagi sekadar perkara bias algoritma, melainkan tindak kejahatan yang bisa menghancurkan reputasi dan mental korban hanya dalam hitungan menit, bermodalkan generator gambar atau video.
Di ranah keseharian, kemudahan akses terhadap AI juga membuat banyak orang kelewat percaya diri. Tidak sedikit yang kini menjadikan chatbot sebagai "dokter pribadi" untuk konsultasi medis secara sembarangan. Mereka menelan mentah-mentah diagnosis dan rekomendasi obat dari AI untuk gejala penyakit yang serius. Padahal, seperti yang kita bahas sebelumnya, AI yang dikendalikan dokter saja masih bisa keliru, apalagi jika ditafsirkan oleh orang awam tanpa dasar ilmu medis sama sekali.
Hal serupa juga terjadi di sektor keuangan. Banyak orang dengan santainya menjadikan AI sebagai financial advisor mutlak untuk menentukan ke mana seluruh uang tabungan mereka harus diinvestasikan, atau saham apa yang harus dibeli hari ini. Ketika AI tersebut berhalusinasi atau memberikan prediksi tren pasar yang salah lalu uang mereka ludes, kepada siapa mereka akan menuntut ganti rugi? Tentu saja tidak ada.
Ketiga contoh ekstrem di atas menjadi bukti bahwa secanggih apa pun sebuah teknologi, kebodohan dan ketiadaan etika penggunanya tetap menjadi celah yang paling berbahaya. Karena regulasi dan hukum belum bisa menjadi payung pelindung yang kuat, maka benteng pertahanan terakhir kita saat ini hanyalah akal sehat dan literasi digital kita sendiri.
References:
- "Why AI Can Push You to Make the Wrong Decision at Work" oleh Simon Spichak, di BrainFacts.org.