METR: Anthropic'in yapay zekâ gelişimi bir yılda iki kat hızlandı

Yapay zekâ güvenliği alanında çalışan araştırma kuruluşu METR'in perşembe günü yayımladığı yeni rapora göre, Anthropic modellerinin gelişim hızı bir yıl öncesine kıyasla yaklaşık iki katına çıktı. Şirket, daha güçlü yapay zekâ sistemleri geliştirmek için yine yapay zekâdan yararlanıyor ve bu yöntem şimdilik belirgin bir yavaşlama belirtisi göstermiyor.

Rapor, Anthropic içinde 11 hafta süren bir inceleme sonucunda hazırlandı ve şirketin yapay zekâ araştırma ve geliştirme süreçlerini değerlendiriyor. Bulgular, yapay zekânın kendi gelişimini hızlandırdığına dair şimdiye kadarki en net kanıtlardan biri niteliğinde. Aynı zamanda raporun hangi bölümlerinin kamuoyuyla paylaşılmadığı da en az bulgular kadar tartışma yaratıyor.

Gelişim hızı iki katına çıktı

METR'in aktardığına göre kıyaslama (benchmark) skorları, Anthropic'in son bir yılda tarihsel hıza göre yaklaşık iki yıllık ilerleme kaydettiğine işaret ediyor. Araştırmacılar, bu hızlanmanın yalnızca modellerin eğitiminde kullanılan hesaplama gücünün artırılmasından kaynaklanmadığından emin olduklarını belirtiyor. Hesaplama gücünü büyütmek, yapay zekâ ilerlemesinin geçmişte en önemli itici güçlerinden biri olmuştu.

Rapora göre ekim ayı itibarıyla hızlanmanın büyük bölümü yapay zekânın kendi katkısına bağlı ve bu katkı zamanla artıyor. Bu sonuç, Anthropic çalışanlarıyla yapılan görüşmelere ve gayriresmî Slack anketlerine dayanıyor; anketler önemli verimlilik artışlarına işaret ediyor. Şirketin en yetenekli dahili modelini kullanan çalışanlar, yapay zekâ desteği olmadan olacaklarına kıyasla ortalama yaklaşık 12 kat daha verimli çalıştıklarını kendi beyanlarıyla bildirmiş. Bu oran, birkaç ay önce Mythos 5 kullanırken çalışanların bildirdiği düzeyin yaklaşık iki katı.

Yapay zekâ henüz insanlara yardımcı rolünde

METR'e göre bugünkü ivmenin büyük kısmı, yapay zekânın bağımsız çalışmasından değil insan araştırmacılara destek olmasından geliyor. Yine de araştırmacılar, tamamen özerk katkıların yakında daha büyük rol oynayacağına işaret eden bazı belirtiler olduğunu söylüyor. Ayrıca, daha da hızlı bir ivmelenmeyi engelleyebilecek, azalan getiri ya da gözlemlenebilir bir darboğaz türünde net bir işaret bulunmadığı vurgulanıyor.

Raporda dikkat çeken bir başka nokta, Anthropic araştırmacılarının kamuya açık olandan daha gelişmiş modellere erişiminin olması. METR'e göre şirket son altı ayda henüz yayımlamadığı üç modelin eğitimini tamamladı. Model 2, Model 3 ve Model 4 kod adlı bu modellerin eğitimi sırasıyla temmuz, ağustos-eylül ve eylül-ekim aylarında bitti. METR ayrıca 2022'ye uzanan ve Unreleased 2022 olarak anılan yayımlanmamış bir model tespit etti. Araştırmacılar, bunların kendilerine bildirilen kod adları olduğunu ve şirket içinde farklı adlar kullanılıyor olabileceğini not ediyor.

Karartılan bölümler şeffaflık sorusunu büyütüyor

Anthropic, METR'e gizli araştırmalar, model performans verileri ve çalışan görüşmeleri dahil geniş bir dahili bilgiye erişim tanıdı. METR, şirketin başlangıçta planlanandan daha fazla bilgi paylaştığını ve beklentilerini aştığını kabul ediyor. Buna karşın erişim sınırsız değildi; bazı veri talepleri reddedildi ve bilgi akışı raporda nispeten dar olarak tanımlandı. Ayrıca bu inceleme, güvenlik araştırmacılarına verileceği duyurulan “çalışan benzeri” erişim programından ayrı yürütüldü.

Asıl tartışma, anlaşma gereği Anthropic'e tanınan karartma yetkisinden doğuyor. METR, yaklaşık 100 sayfalık tam raporu şirkete sunduğunu, kamuya açık sürümde ise en bilgilendirici bulduğu kanıtların çoğunun Anthropic tarafından çıkarıldığını açıkladı. Kuruluşa göre karartılan kanıtların birçoğu birden fazla makul şekilde yorumlanabilir nitelikte; bu nedenle kamuoyu, bulguların belirsizliklerini değerlendirmek yerine büyük ölçüde METR'in yargısına güvenmek zorunda kalıyor. METR'in aktardığına göre Anthropic, bu karartmaları bilgilerin yayımlanmasının rakiplerine fayda sağlayabileceği gerekçesiyle yaptı. METR ise karartılan bilgilerin çoğunun çok üst düzey nitelikte olduğunu, ancak bunun ticari açıdan haklı olup olmadığı konusunda yorum yapamayacağını belirtti.

Bulgular, Anthropic'in halka arz hazırlığı yaptığı ve CEO'su Dario Amodei'nin laboratuvarlara yapay zekâ geliştirmede fren yapma çağrısı yaptığı bir döneme denk geliyor.