Google, yapay zekanın “halüsinasyon görme” problemini SAFE ile çözecek

Yapay zeka dayanaklı sohbet robotlarının en çok eleştirilen davranışlarından biri, bir soruyu ikna edici bir şekilde yanıtlarken size gerçekte yanlış bilgiler vermesi. Bu duruma halüsinasyon deniliyor.

Yani yapay zeka halüsinasyon görüyor ama bu sanrısını karşısındaki beşere da çok gerçekçi şekilde anlatıp ikna ediyor. Basitçe söylemek gerekirse, yapay zeka kullanıcısını tatmin etmek için gerçekle ilişkisi olmayan bir şeyler uyduruyor.

Resim ya da video oluşturmak için üretken yapay zeka kullanan araçlarda bu türlü bir sorun söylediği söz edilen değil, en nihayetinde bunlar sanatsal sonuçlar ortaya koyuyorlar. Lakin sohbet robotları için bu çok büyük bir sorun ve hatta OpenAI’den kısa bir süre önce ayrılan ünlü uzman Andrej Karpathy, halüsinasyon yeteneğinin, üretken yapay zekanın temel teknolojisi olan büyük lisan modellerinin (LLM’ler) en büyük özelliği olduğunu da itiraf etti. Yani yapay zeka bu işi baht yapıtı yapmıyor. Taammüden, sonuç üretmek için yapıyor. Doğruluğu da denetim etmiyor. Korkutucu olansa çoğu kullanıcının bu halüsinasyonları fark etmesinin imkansız olması.

Yapay zekanın halüsinasyon görmesini engellemek teknolojik bir zorluk ve bu sorunu çözmek hiç de kolay değil. Lakin Google DeepMind ve Standford Üniversitesi bir çeşit süreksiz tahlil bulmuş aynıi görünüyor. Araştırmacılar, yapay zeka sohbet robotları tarafından üretilen uzun formlu karşılıkları esasen denetim eden LLM tabanlı bir sistem – Search-Augmented Factuality Evaluator ya da SAFE – geliştirdiler.

SAFE nasıl işliyor?

Sistem yanıtları dört adımda tahlil ediyor, işliyor ve değerlendirerek doğruluğunu teyit ediyor. İlk olarak, SAFE karşılığı tek tek gerçeklere ayırıyor, bunları gözden geçiriyor ve Google Arama’dan gelen sonuçlarla karşılaştırıyor. Sistem ayrıyeten tek tek gerçeklerin yepyeni soruyla ilgisini de denetim ediyor.

SAFE’nin performansını kıymetlendirmek için araştırmacılar yaklaşık 16.000 bilgiden oluşan bir bilgi kümesi olan LongFact’i oluşturdular. Akabinde sistemi dört farklı aileden (Claude, Gemini, GPT, PaLM-2) 13 LLM üzerinde test ettiler.

Vakaların %72’sinde SAFE, insan notlandırıcılarla benzeyensonuçları verdi. Uyuşmazlık durumlarında ise SAFE %76 oranında doğru sonuç verdi. Bunun da ötesinde, araştırmacılar SAFE kullanımının insan kontrolcülerden 20 kat daha ucuz olduğunu ve böylelikle, yapay zekanın her an ürettiği milyarlarca karşılığı denetim etmenin mümkün olacağını vurguluyor.

Tabi SAFE’in, yapay zeka algoritmalarıyla entegre olabilmesi için, şirketlerin Google ile mutabakatlar yapması da gerekecek ve muhtemelen geliri paylaşmak zorunda olacaklar. Ya da kendi güvenlik sistemlerini geliştirmeye çalışacaklar. Lakin artık kimse yapay zekanın halüsinasyon görmediğine emin olmadan, aldığı yanıtlara inanmak istemiyor. Bakalım bu sorun efektif olarak ne zaman çözülecek?