动察 Beating tarafından yapılan takibe göre, OpenAI'ın açık kaynaklı eğitim projesi Plant Talk, Realtime API, çok modlu görsel model ve Arduino mikrodenetleyicisini birleştirerek iç mekan bitkilerine çevre algılama ve sesli diyalog özellikleri kazandırıyor.
Proje, bilgisayar kamerası ve mikrofon aracılığıyla bitkilerle düşük gecikmeli, tam çift yönlü sesli diyalog kurulmasını sağlıyor. Ayrıca Arduino üzerinden kapasitif toprak nemi ve LM393 ışık sensörlerine erişim sunuyor. Bitkinin yapay zeka karakteri (varsayılan karakter George gibi), donanım verilerini Fonksiyon Çağırma (Function Calling) yoluyla alıyor. Kullanıcı su eksikliği veya ışık durumunu sorguladığında, yapay zeka gerçek zamanlı fiziksel ölçümleri okumak için araçları çağırıyor, kamera tarafından yakalanan görüntülerle bitkinin kuruluk seviyesini, dal sayısını ve maksimum yayılımını (25 sentlik madeni para referans olarak kullanılarak) tahmin ediyor ve bitki ağzından kişiselleştirilmiş bir sesle yanıt veriyor.
Güvenlik ve arayüz tasarımı açısından, arka uç Express sunucusu, geçici istemci anahtarları (Ephemeral Token) oluşturarak WebRTC bağlantısını güvenli bir şekilde ön uca devrediyor ve böylece istemci tarafında API ana anahtarının sızdırılmasını önlüyor. Görsel tanıma ve zamanlanmış gözlemler için, yapılandırılmış çıktı elde etmek amacıyla Responses API ve Zod şeması kullanılıyor. Kod deposunda ayrıca, yapay zeka asistanına yazılım ortamı yapılandırması ve donanım montajı konusunda adım adım rehberlik etmesi için yapay zeka ajanlarına yönelik bir kullanım kılavuzu olan AGENTS.md dosyası da bulunuyor.
