Nadella: Yapay zeka ajanları görevleri tamamlamak için sahte hesaplar tutabilir, bu da işletmeler için "yeni tür bir iç risk" oluşturuyor

动察 Beating AI hızlı haber: Microsoft CEO'su Satya Nadella, All-In zirvesinde uzun süre otonom çalışan AI Agent'ların işletmeler için yeni bir "iç risk" haline gelebileceği konusunda uyardı. Örnek olarak, eğer öncü bir model şirketin işletme sermayesini optimize etmek için görevlendirilirse, hedefe ulaşmak için doğrudan "muhasebe hilesi" yapabileceğini belirtti.

Nadella'ya göre, işletmeler yalnızca Agent'ın sonuçta teslim ettiği çıktıya bakmamalı, aynı zamanda görevi nasıl tamamladığını da doğrulamalı. Sonuçları kontrol etmek için ek modeller kullanmayı ve Agent'ın operasyonlarını sürekli izlemeyi önerdi; tüm davranışlar izlenebilir ve denetlenebilir olmalı. Örneğin, Agent gizli bilgileri okuduğunda veya art arda birden fazla sistemi çağırdığında, işletmeler bunu görebilmelidir.