Yeni bir araştırmaya göre ChatGPT, programlama ile ilgili sorulara sık sık yanlış karşılıklar veriyor ve geliştiriciler de yanılgılı bilgileri yok sayıyor.
OpenAI’ın ChatGPT sohbet botu araçların çalışanların işlerini aşırı kolaylaştıracak devrimsel teknolojiler oldukları, hatta gelecekte insanların işlerini ellerinden alabilecekleri konuşulan teknolojiler olarak öne çıkıyor. Pek çok çalışan da işlerini kolaylaştırmak için yapay zekâya güveniyor. Öte yandan yeni bir araştırmaya göre ChatGPT, programlama ile ilgili sorulara %52 oranında yanlış yanıt veriyor.
Purdue Üniversitesi’nden araştırmacıların gerçekleştirdiği çalışmada, Stack Overflow’dan alınan 517 programlama sorusu ChatGPT’ye soruldu. Sonrasında ise yapay zekâ sohbet botunun bu sorulara doğru yanıt verme yüzdesi ölçüldü. Araştırmacılar makalelerinde, “Analizimiz bize ChatGPT cevaplarının %52’sinin yanlış bilgi içerdiğini ve %77’sinin ayrıntılı olduğunu gösterdi. Yeniden de çalışma iştirakçilerimiz, ChatGPT’nin cevaplarının kapsamlılığı ve akıcı lisan usulü nedeniyle %35 oranında ChatGPT’nin cevaplarını kullanmayı tercih etti.” ifadelerini kullandı.
Geliştiriciler yanlışlı karşılıkları yakalayamadı
Daha rahatsız edici olan kısım ise geliştiricilerin yanılgılı karşılıkları çoğu zaman yakalayamaması oldu. Araştırmaya göre katılımcılar, ChatGPT karşılıklarındaki yanlışlı bilgileri %39 oranında görmezden geldi. Araştırmacılar bu durumun, ChatGPT’nin yanlış yanıtlarına karşı tedbir alınması gerektiği manasına geldiğini ve görünüşte doğru olan yanıtların riskini ortaya koyduğunu belirtti.
Elbette ki bu .çalışma sırf tek bir senaryo ve sohbet botları da çeşitli emellere göre özelleştirilebiliyor. Yapay zekâ araçları üreten firmalar da botların daha doğru yanıtlar verebilmesi için çalışmalarına devam ediyor.