Friedrich Schiller Üniversitesi Jena'daki araştırmacılar, bilimsel görevlerde dil-görüntü modellerinin güçlü ve zayıf yönlerini ortaya koyuyor

Yapay Zeka İçinYenilikçi Değerlendirme Yöntemi

"Çalışmamız yapay zeka araştırmalarındaki bir sorunu çözüyor: Modellerin eğitim sırasında hangi verileri gördüğü belirsizse, çok modlu sistemleri nasıl adil bir şekilde değerlendirebilirsiniz?" diyor Jena'daki Friedrich Schiller Üniversitesi ve Jena'daki Helmholtz Enerji Uygulamalarında Polimerler Enstitüsü'ndeki (HIPOLE) Carl Zeiss Vakfı genç araştırma grubunun başkanı Dr. Kevin Maik Jablonka, metodolojik yeniliği açıklarken. Geliştirilen değerlendirme prosedürü, mevcut yapay zeka sistemlerinin bilimsel uygulamalardaki güçlü ve zayıf yönlerini ilk kez sistematik olarak analiz etmeyi mümkün kılıyor.

Jablonka, "Hem metni hem de görselleri anlayabilen çok modlu yapay zeka sistemleri, bilimsel destek sistemlerinin geleceği olarak görülüyor," diye açıklıyor. "Bu modellerin araştırmacılara literatür değerlendirmesinden veri analizine kadar günlük çalışmalarında gerçekten destek olma potansiyeli olup olmadığını öğrenmek istedik."

Günlük Bilimsel Yaşamdan Binlerce Görev

Çok modlu yapay zekanın yeteneklerini test etmek için uluslararası ekip, bilimsel çalışmanın üç temel alanından 1.100'den fazla gerçekçi görev içeren "MaCBench" değerlendirme prosedürünü (https://macbench.lamalab.org) geliştirdi: literatürden veri çıkarma, laboratuvar ve simülasyon deneylerini anlama ve ölçüm sonuçlarını yorumlama. Testler, spektroskopi verilerinin analizinden laboratuvar güvenliğini değerlendirmeye ve kristal yapılarını yorumlamaya kadar uzanan görevleri içeriyordu.

Ekip, önde gelen yapay zeka modellerini bilimsel bilgileri anlama ve birbirine bağlama yetenekleri açısından inceledi. Jablonka, "Saf metin modellerinin aksine, bu sistemler görsel ve metinsel bilgileri aynı anda işleyebilmelidir; bu da bilimsel çalışmalar için temel bir yetenektir," diye açıklıyor.

Basit Görevlerde Başarı, Karmaşık Düşünmede Zayıflıklar

Sunulan çalışmanın sonuçları farklı bir tablo ortaya koyuyor: Yapay zekâ modelleri laboratuvar ekipmanlarını güvenilir bir şekilde tanısa veya standart verileri neredeyse hatasız çıkarsa da, mekansal analizlerde ve farklı bilgi kaynaklarını birbirine bağlamada temel zayıflıklar ortaya çıktı. Jablonka, "Aynı bilginin, görüntü yerine metin olarak sunulduğunda modeller tarafından önemli ölçüde daha iyi işlenmesi özellikle dikkat çekiciydi," diyor. "Bu, farklı veri türlerinin entegrasyonunun henüz optimum şekilde çalışmadığını gösteriyor."

Bir diğer çarpıcı keşif ise, modellerin performansının internetteki test materyallerinin sıklığıyla güçlü bir korelasyon göstermesiydi. Araştırmacı, "Bu, modellerin gerçek bilimsel anlayış geliştirmek yerine kısmen eğitim verilerinden elde edilen örüntü tanımaya dayandığını gösteriyor," diyor.

Daha İyi Yapay Zeka Destek Sistemleri İçin Temeller

Bulgular, geleceğin bilimsel yapay zeka asistanlarının geliştirilmesinde faydalı olabilir: Jablonka, "Bu sistemlerin araştırmalarda güvenilir bir şekilde kullanılabilmesi için, mekansal algılarının ve farklı bilgi türlerinin birbirine bağlanmasının temelden iyileştirilmesi gerekiyor," diye özetliyor. "Çalışmamız, bu zorlukların nasıl ele alınabileceğini ve doğa bilimleri için yapay zeka araçlarının nasıl geliştirilebileceğini somut bir şekilde gösteriyor."

KAYNAK: https://www.chemeurope.com/en/news/1186916/the-limits-of-ai-in-materials-science.html