ChatGPT, Copilot, Gemini… Haber özetlerinde hepsi sınıfta kaldı!

BBC’nin yeni bir araştırmasına göre, ChatGPT de dahil olmak üzere dünyanın en tanınan dört yapay zeka sohbet robotu, haberleri yanlış özetliyor.

BBC, ilk dört sırada yer alan ChatGPT, Copilot, Gemini ve Perplexity’den haber kuruluşundaki 100 haberi özetlemesini istedi ve akabinde yapay zekanın karşılıklarının ne kadar doğru olduğunu belirlemek için her bir karşılığı derecelendirdi.

Çalışmada, “Haberlerle ilgili sorulara verilen yapay zeka karşılıklarının %51’inin bir şekilde çok önemli problemler içerdiği” ve “BBC içeriğine atıfta bulunan yapay zeka karşılıklarının %19’unun yanlış olgusal tabirler, sayılar ve tarihler olgusal yanılgılar içerdiği” bulundu.

Muazzam ölçüdeki yanlış özet için verilen örneklerin arasında “Gemini, yanlış bir şekilde NHS’nin sigarayı bırakmaya yardımcı olarak elektronik sigarayı önermediğini söylemesi” ve “ChatGPT ve Copilot, Rishi Sunak ve Nicola Sturgeon’ın ayrıldıktan sonra bile hala vazifede olduklarını söylemesi” gibi birçok haber yer alıyor.

Yapay zeka, fikir ve gerçeği ayıramıyor mu?

Ancak bu yanlış bilgilerin yanı sıra, çok önemli bir bulgu daha bulunuyor. Haber kuruluşunun çalışmasında, yapay zekanın “fikir ve gerçek arasında ayrım yapmakta zorlandığı, editoryal davrandığı ve her zamantemel bağlamı dahil etmekte başarısız olduğu” bulundu.

Apple Intelligence’ın iOS 18.3’te bu özelliği süreksiz olarak kaldırmasına yol açan karışıklıkları da içeren, şimdi haber özetleme araçlarında sıkça görülen problemler düşünülürse bu sonucun çok şaşırtan olmadığı söylenebilir. Tekrar de bu çalışma, yapay zeka tarafından verilen özetlere tam olarak güvenmemeniz gerektiğini bir defa daha hatırlatıyor.

BBC’nin bu çalışma ile ulaştığı sonuca göre “Microsoft’un Copilot’u ve Google’ın Gemini’si, OpenAI’nin ChatGPT’si ve Perplexity’sinden daha çok önemli problemlere sahip.”

Çalışma, bahis hakkında daha ayrıntılı bilgi vermezken, yapay zeka özetleme araçları hakkındaki kuşkuları bir sefer daha doğruluyor. Yapay zeka ve büyük lisan modelleri süratle gelişiyor olsa da, bu süratli gelişmeyle bir arada beklenebileceği hala mükemmelleşmemiş pek çok sorun da bulunuyor. Gelişmelerebir süratle kusurlar ortadan kaldırılırken, şimdilik yapay zeka araçlarından özetlemesini istediğiniz şeylere çok önemli bir miktar kuşkuyla yaklaşmanızda yarar var.