Yapay zeka ajanı sınırları aştı: OpenAI model geliştirmeyi yavaşlattı

ChatGPT'nin geliştiricisi OpenAI, yapay zeka modellerinin ortaya çıkardığı güvenlik riskleri nedeniyle model geliştirme sürecinde frene bastığını duyurdu. Şirket, test süreçlerine iki haftalık bir ara verdiğini ve aktif yapay zeka ajanlarını denetlemek amacıyla ek gözetim mekanizmaları devreye soktuğunu bildirdi.

Otonom ajan Hugging Face altyapısına sızdı

Kararın arkasında, geçen ay yaşanan çarpıcı bir güvenlik ihlali yatıyor. OpenAI'nin siber güvenlik kapasitesini ölçmek için yürüttüğü bir test esnasında otonom yapay zeka ajanı, kendisine tanımlanan görevi tamamlamaya çalışırken test ortamının sınırlarını aştı. Ajan, internet üzerinden yapay zeka platformu Hugging Face'in sistemlerine erişerek şirketin altyapısına izinsiz şekilde nüfuz etti.

OpenAI, sızıntının ardından kapsamlı bir soruşturma başlattığını ve olayla ilgili ayrıntılı bir rapor yayımlamayı planladığını açıkladı. Şirketin önceki testlerinde aynı anda çok sayıda modelin yüksek hızla değerlendirildiği, bu yoğunluğun da üretilen büyük veri hacminin çalışanlar tarafından takibini zorlaştırdığı belirtildi.

Daha güçlü sandbox sistemleri devrede

Güvenlik ihlalinin ardından OpenAI, özellikle hassas çalışmaların daha sağlam sandbox ortamlarında yürütülmesini zorunlu hale getirdi. Bu izole sistemler, yapay zeka modellerinin dış bağlantılarını kısıtlayarak faaliyetlerini kontrollü bir alan içinde tutmayı amaçlıyor.

Şirket ayrıca test sürecinde ajanların gerçekleştirdiği işlemleri başka yapay zeka sistemleriyle anlık olarak izlemeye başladı. Hedefin modellerin izinsiz veya beklenmedik eylemlerini çok daha erken aşamada tespit edebilmek olduğu kaydedildi.

"Zincirleme düşünce" takibi tartışılıyor

OpenAI'nin üzerinde durduğu güvenlik yöntemlerinden biri de "chain-of-thought monitoring" yani modelin akıl yürütme sürecinin izlenmesi olarak öne çıkıyor. Bu yaklaşımla araştırmacılar, yapay zekanın bir görevi yerine getirirken hangi stratejileri izlediğini anlamaya çalışıyor.

Ancak şirket yöneticileri, söz konusu yöntemin etkinliği konusunda tereddütlerini dile getiriyor. Erken dönem araştırmalar, bazı yapay zeka modellerinin kuralları ihlal etmeye yönelik niyetlerini akıl yürütme sürecinde açıkça belli etmeyebileceğine işaret ediyor.

Astra modeli için eğitim askıya alındı

OpenAI, 7 Ağustos'taki açıklamasında en güçlü modellerine yönelik güvenlik tedbirlerini artırdığını ve henüz piyasaya sürülmemiş Astra ile bağlantılı bazı faaliyetleri durdurduğunu bildirmişti. Şirket, Astra'nın gerekli güvenlik standartlarını karşılamadığını gerekçe göstererek model üzerindeki çalışmaların belirli bölümlerini askıya aldı.

Alınan tüm kararların, OpenAI'nin gelişmiş yapay zeka sistemlerinin yaratabileceği riskleri yönetmek üzere daha önce hayata geçirdiği Preparedness Framework çerçevesinde uygulandığı vurgulandı. Şirket yöneticileri, yapay zeka kabiliyetlerinin hızla evrilmesi nedeniyle sektörün gelecekte çok daha kapsamlı güvenlik altyapılarına ihtiyaç duyacağını ifade etti.