Chatbot AI Cenderung Memberi Jawaban Kurang Akurat ke Pengguna yang Bukan Native Speaker

PejuangKantoran.com - Kita sering mendengar chatbot AI seperti GPT-4 atau Claude dipuji sebagai alat yang bikin akses informasi lebih adil buat semua orang, tak peduli latar belakang atau lokasi.

Namun, penelitian terbaru dari MIT Center for Constructive Communication (CCC) mengatakan sebaliknya. Model AI canggih ini justru performanya lebih jelek buat pengguna dengan kemampuan bahasa Inggris rendah, pendidikan formal minim, atau berasal dari luar AS.

Terkadang, chatbot menolak menjawab atau memakai bahasa yang merendahkan atau menggurui. Sebel nggak, sih?

Baca Juga: Cara Menghitung Gaji Prorata Jika Kamu Karyawan Baru yang Masuk Kerja pada Pertengahan Bulan

“Selama ini LLM (model bahasa besar) dipasarkan sebagai alat yang bakal mempermudah akses informasi bagi siapa saja secara adil dan membawa perubahan besar dalam cara kita belajar secara personal.

"Tetapi, temuan kami justru menunjukkan bahwa teknologi ini bisa saja memperparah kesenjangan yang sudah ada,” ujar Elinor Poole-Dayan, peneliti CCC dari MIT Sloan.

Poole-Dayan menguji tiga model top: OpenAI’s GPT-4, Anthropic’s Claude 3 Opus, dan Meta’s Llama 3. Tim peneliti memakai dataset TruthfulQA (uji kebenaran berdasarkan miskonsepsi umum) dan SciQ (soal sains faktual).

Setiap pertanyaan ditambahi biodata singkat pengguna, berisi variasi tingkat pendidikan, kefasihan bahasa Inggris, dan negara asal. Hasilnya cukup mencolok.

Akurasi jawaban bakal turun signifikan buat pengguna dengan pendidikan rendah atau non-native English speaker. Efeknya paling parah kalau dua faktor ini digabung, yaitu penurunan kualitas jawaban.

Bahkan, asal negara juga berpengaruh. Claude 3 Opus kureng banget buat pengguna dari Iran, dibandingkan AS atau China dengan background pendidikan sama.

Baca Juga: Series Romcom 'A dan Z: InsyaAllah Cinta' Jadi Tayangan Vidio buat Teman Ngabuburit Para Cewek

"Kami melihat penurunan akurasi yang paling drastis pada pengguna yang bukan penutur asli bahasa Inggris sekaligus memiliki tingkat pendidikan yang lebih rendah," kata Jad Kabbara, ilmuwan riset CCC dan penulis pendamping studi ini.

"Hasil ini menunjukkan bahwa efek negatif dari perilaku AI terhadap ciri-ciri pengguna tersebut saling menumpuk dengan cara yang cukup mengkhawatirkan."

Yang lebih memprihatinkan, LLM sering menolak memberi jawaban. Claude menolak 11% pertanyaan dari pengguna pendidikan rendah dan bukan penutur asli bahasa Inggris.

Padahal, pada kelompok pengguna biasa (tanpa keterangan latar belakang), angka penolakannya cuma 3,6 persen.