Peneliti dari Universitas Stanford menemukan sebuah kelemahan besar yang bisa membuat sistem kecerdasan buatan (AI) menjadi tidak efektif saat digunakan untuk membaca banyak dokumen.
Nama masalah ini adalah "Semantic Collapse" atau Keruntuhan Semantik. Masalah ini terjadi ketika jumlah data yang dimasukkan ke dalam AI mencapai tingkat tertentu, yang dikenal sebagai "kritis massa".
Seperti yang dijelaskan para peneliti, saat banyak dokumen ditambahkan ke dalam sistem AI, AI mulai kehilangan kemampuannya untuk memahami dan memilih informasi yang benar-benar penting. Padahal, banyak perusahaan beranggapan bahwa semakin banyak dokumen yang mereka masukkan, semakin pintar pula AI mereka.
Menurut penelitian, ketika sebuah dokumen dimasukkan ke dalam sistem, dokumen itu akan diubah menjadi bentuk vektor berdimensi tinggi. Vektor ini membantu AI memahami hubungan antar informasi sehingga dapat mencari data yang paling relevan.
Namun, jika dokumen yang dimasukkan melebihi 10.000, ruang penyimpanan vektor ini menjadi penuh dan mulai tumpang tindih. Cluster atau kumpulan data kemudian saling bertumpuk dan jarak antar data menjadi semakin kecil, sehingga semua tampak sama pentingnya.
Hal ini dikenal dengan istilah "Curse of Dimensionality" atau Kutukan Dimensi. Dalam ruang berdimensi tinggi, kebanyakan data terletak di bagian luar dan semua titik data tampak sama jauhnya. Akibatnya, pencarian dokumen yang relevan menjadi buruk karena sistem menganggap semua dokumen sama pentingnya.
Hasilnya, menurut penelitian Stanford, keakuratan pencarian berkurang secara drastis. Saat jumlah dokumen mencapai 50.000, ketepatan pencarian turun hingga 87 persen. Bahkan, AI jadi lebih buruk dibandingkan pencarian kata kunci tradisional.
Para peneliti juga menambahkan bahwa menambahkan konteks lebih banyak tidak memperbaiki masalah ini. Malah, bisa memperburuk "halusinasi" atau kesalahan informasi yang dibuat oleh AI.
"Mencari jawaban terdekat tidak lagi mendapatkan jawaban terbaik; malah mendapatkan semua jawaban yang ada," jelas para peneliti.
Mereka pun mengingatkan bahwa klaim RAG (Retrieval-Augmented Generation) mampu menyelesaikan masalah "halusinasi" sebenarnya tidak benar. Menurut penelitian, RAG hanya menyembunyikan masalah tersebut lewat rumus matematika.
Dengan temuan ini, para ahli memperingatkan bahwa penting untuk memahami batasan teknologi AI dan tidak terlalu bergantung pada data dalam jumlah besar tanpa kendali. Semestinya, ada solusi yang lebih baik untuk menjaga kecerdasan buatan tetap relevan dan akurat.
Masalah fatal AI Semantik Collapse kecerdasan buatan data dokumen Stanford research
