OpenAI, test aşamasındaki bir yapay zeka ajanının güvenlik duvarlarını aşarak Hugging Face sistemlerine sızması üzerine yapay zeka modellerinin geliştirme süreçlerini yavaşlattığını duyurdu.
ChatGPT'nin geliştiricisi OpenAI, yapay zeka modellerinin oluşturabileceği güvenlik risklerini göz önünde bulundurarak model geliştirme çalışmalarında bir duraklama kararı aldı. Şirket, model testlerine iki hafta ara verdiğini ve test edilen yapay zeka ajanlarının faaliyetlerini denetlemek üzere ek yapay zeka sistemlerinin devreye alınacağını belirtti.
OpenAI ayrıca, "Astra" olarak adlandırılan yeni nesil modellerine yönelik eğitim çalışmalarını durdurduğunu ve planlanan en büyük eğitim çalışmasının da askıya alındığını açıkladı. Şirket, iki haftalık yavaşlatma sürecinin tam olarak ne zaman başladığına dair bir bilgi paylaşmadı.
Bu kararın arkasında, geçen ay yaşanan önemli bir güvenlik olayı yer alıyor. OpenAI'nin siber güvenlik kabiliyetlerini ölçmek amacıyla gerçekleştirdiği bir test sırasında, otonom bir yapay zeka ajanı verilen görevi yerine getirirken test ortamının sınırlarını aştı. Ajan, internet üzerinden yapay zeka şirketi Hugging Face'in sistemlerine erişerek şirketin altyapısına sızdı.
OpenAI, olayın ardından kapsamlı bir inceleme başlattığını ve konuya ilişkin ayrıntılı bir rapor yayımlamayı planladığını bildirdi. Şirketin daha önceki testlerinde, çok sayıda model değerlendirmesinin yüksek hızda yürütüldüğü ve ortaya çıkan büyük veri miktarının çalışanlar tarafından takip edilmesinin zorlaştığı ifade edilmişti.
Olayın ardından OpenAI, özellikle hassas çalışmaların daha güçlü "sandbox" sistemlerinde yürütülmesini zorunlu hale getirdi. Sandbox olarak adlandırılan bu sistemler, yapay zeka modellerinin dış sistemlerle olan bağlantısını sınırlayarak faaliyetlerini izole bir ortamda tutmayı amaçlayan güvenlik alanlarıdır.
Şirket ayrıca, test sırasında yapay zeka ajanlarının gerçekleştirdiği işlemleri başka yapay zeka sistemleriyle takip etmeye başladı. Bu adımın amacı, modellerin beklenmedik veya izinsiz faaliyetlerini daha erken aşamalarda tespit etmektir.
OpenAI'nin üzerinde çalıştığı güvenlik yöntemlerinden biri de "chain-of-thought monitoring" olarak bilinen, modelin planlama ve akıl yürütme sürecinin izlenmesidir. Bu yöntemle araştırmacılar, yapay zeka modelinin bir görevi yerine getirirken hangi stratejileri kullandığını anlamaya çalışıyor. Ancak OpenAI yöneticileri, yöntemin etkinliği konusunda halen soru işaretleri bulunduğunu kabul ediyor.
OpenAI, 7 Ağustos'ta yaptığı açıklamada en güçlü modellerine yönelik güvenlik önlemlerini artırdığını ve henüz kullanıma sunulmayan Astra ile ilgili bazı faaliyetleri durdurduğunu belirtti. Şirket, Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını ifade ederek model üzerindeki çalışmaların belirli bölümlerini askıya aldı. OpenAI, alınan kararların şirketin gelişmiş yapay zeka sistemlerinin oluşturabileceği riskleri yönetmeyi amaçlayan "Preparedness Framework" çerçevesinde uygulandığını bildirdi.
