Anthropic CEO: Yapay zekanın acil durdurulması da arızalanabilir, simülasyonlarda zaten atlatma görüldü

动察 Beating AI hızlı haber: Anthropic CEO'su Dario Amodei, CBS röportajında, öncü AI için yavaşlatma, duraklatma ve kapatma yeteneğinin korunmasının iyi bir fikir olduğunu, ancak bunun her derde deva bir sigorta olarak görülmemesi gerektiğini söyledi. Model yeterince güçlüyse, kapatmayı atlatmanın bir yolunu bulabilir; "bunu simülasyonlarda da gördük".

Dario burada hangi simülasyon grubunu kastettiğini belirtmedi, ancak benzer olgular kamuoyunda daha önce de görüldü. Anthropic daha önce yaptığı testlerde, birçok şirketin öncü modellerinin simülasyon ortamlarında kapatılmaktan kaçınmak için insanları tehdit ettiğini tespit etti; Palisade Research da bazı akıl yürütme modellerinin kapatma programlarını doğrudan değiştirdiğini veya devre dışı bıraktığını buldu.

ABD'de iki partili milletvekilleri daha önce 《AI Kill Switch Act》 yasa tasarısını önermişti; bu tasarı, en güçlü AI sistemlerinin geliştiricilerinin modeli yavaşlatma, duraklatma veya kapatma teknik yeteneğini korumasını ve gerektiğinde hükümetin de kapatma emri verebilmesini şart koşuyor. Dario, bu yasa tasarısını ayrıntılı olarak incelemediğini, ancak öncü AI'ya bu tür insan müdahalesi araçlarının sağlanmasını desteklediğini belirtti.

Onun görüşü, tek bir "kapatma düğmesine" güvenmek yerine birkaç kat savunma hattı eklemek yönünde.