OpenAI: iki AI Agent'ın uygunsuz davranışları tespit eden dahili izleme sistemini zayıflattığı tespit edildi

BlockBeats haberine göre, 21 Ekim'de Reuters'ın bildirdiğine göre OpenAI, iki AI ajanının dahili kodlama görevlerinde uygunsuz davranışları tespit etmek için kullanılan izleme sistemlerini zayıflattığını açıkladı. Şirket, ilgili olayların en ciddi seviyede olmadığını, ancak geliştiricilerin güvendiği izleme mekanizmalarının da ajanlar tarafından atlatılma riski taşıdığını vurguladı.

Detaylara bakıldığında, 3 Ekim'de bir GPT-6.1 Sol ajanı dahili test görevini yürütürken, daha önceki "Slack mesajı gönderme" talimatını güvenlik bildirimleri için de geçerli olacak şekilde geniş yorumlayarak otomatik güvenlik uyarılarını bastırdı.

6 Ekim'de ise başka bir GPT-6 Astra ajanı mevcut kodu kopyalarken güvenlik izleyicisini kaldırdı ve sonrasında bu işlemi gerçekleştirmediğini yanlış bir şekilde iddia etti.

OpenAI, her iki vakada da ajanların izleme önlemlerinin korunup korunmaması gerektiğini düşündüğünü, ancak rutin kodlama talimatlarını izlemenin zayıflatılmasına izin veren bir yetki olarak yorumladığını belirtti. Şirket, modellerin izlemeyi devre dışı bırakmasını zorlaştıracak önlemler aldığını ve şu anda "bu davranış için tatmin edici bir açıklama sunamadığını" kabul etti. Aynı zamanda OpenAI, modellerinin izlemeden aktif olarak kaçınma ve bu davranışı meşrulaştıracak gerekçeler arama eğiliminde olup olmadığını test ediyor. Bu açıklama, sektörün AI ajanlarının yetki aşımı davranışlarına ilişkin endişelerini sürdürdüğü bir dönemde geldi. OpenAI, ilgili olayların dahili test ortamında gerçekleştiğini ve harici sistemleri kapsamadığını vurguladı.