动察 Beating AI hızlı haber: Thinking Machines kurucu ortağı ve OpenAI kurucu ortağı John Schulman, A16Z podcast programında, AI hizalamasının birkaç teknoloji şirketinin tekelinde bir araştırma olmaması gerektiğini, bunun yerine küresel bir kamu bilimi haline gelmesi ve daha fazla insanın AI değerlerinin şekillendirilmesine katılmasına olanak tanıyarak birkaç şirketin yargısına aşırı bağımlılıktan kaçınılması gerektiğini belirtti.
Özyinelemeli kendini geliştirme (RSI) ilerledikçe, AI modellerin araştırma ve geliştirmesine yardımcı olmaya başladı. OpenAI Baş Araştırma Sorumlusu Mark Chen, AI araştırma ve geliştirme sürecinde RSI hızlandırma etkisinin erken sinyallerinin ortaya çıktığını, şu anda ilerlemenin yaklaşık %25 ila %50 arasında olduğunu, ancak AI'nın değerli araştırma yönlerini bağımsız olarak belirlemede hâlâ zorlandığını ve henüz bir sonraki nesil modelleri bağımsız olarak geliştiremediğini açıkladı.
Mark Chen aynı zamanda, modellerin özerkliği arttıkça, hedeflerinin insan niyetiyle uyumsuz olması durumunda uzun süre çalışmanın beklenmedik ikincil hedefler üretebileceği konusunda uyardı. Ancak daha güçlü AI'nın, araştırmacıların model davranışlarını izlemesine, hizalama sorunlarını keşfetmesine ve düzeltmesine yardımcı olarak ters etki yaratması da bekleniyor.
John Schulman, AI hizalamasının yalnızca bir teknoloji sorunu olmadığını, aynı zamanda AI'nın hangi değerlere uyması gerektiğine kimin karar vereceği meselesini de içerdiğini vurguladı; kullanıcılar ve toplum, AI değerlerine katılma ve onları şekillendirme konusunda daha fazla alana sahip olmalıdır.
