Columbia Üniversitesi’nden bir araştırma ekibi, Emo isminde insan mimiklerini algılayarak anında taklit edebilen bir robot yüz geliştirdi. Robot yüz, bir insanın gülümsemesini 839 milisaniye önceden tahmin edebiliyor ve aynı anda taklit edebiliyor. Ekip, geliştirdikleri robot ile insan ve robotların daha doğal etkileşim kurulabilmesini amaçlıyor. Büyük dil modelleri sayesinde robotik sözlü iletişim hızlı bir gelişme içerisinde olsa da sözsüz iletişim aynı hızla gelişmiyor. Daha önce geliştirilen robot yüzler, organik olmak yerine önceden programlanmış ifadeleri sergilemekten öteye gidemiyor. Ekip, Emo ile bunun çok daha ötesine giderek dinamik ifadelerin oluşsurulmasına odaklandı.
Araştırmacılar, yüz animatroniği için karmaşık donanım ve yazılım tasarımlarına ihtiyaç duyulduğunun altını çiziyor. Donanım olarak robotik bir yüzün geliştirilmesi mekanik zorluklar içeriyor. Yazılım tarafında ise bu motorları doğru bir şekilde ve zamanında çalıştırmak, duyguları iyi ifade edebilmek için büyük önem taşıyor.
26 adet aktüatöre sahip
Grubun önceki robot platformu Eva, yüz ifadelerini kendi kendine modelleyebilen ilk robotlardan biriydi. Ancak daha doğal iletişim için robotun karşıdaki kişinin yüz ifadesini de tahmin edebilmesi gerekiyor. Ekip bunu başarmak için Eva’yı geride bırakan Emo’yu tasarladı. 26 aktüatöre sahip olan robot, doğrudan bağlanan mıknatıslar aracılığıyla asimetrik ifadeler sunarak hassasiyeti artırıyor. Ayrıca robotun her bir gözüne yerleştirilen yüksek çözünürlüklü kameralar ile karşıdaki kişini yüz ifadeleri algılanıyor.
Yüz ifadelerini tahmin etmek için sinir ağları kullanıldı
Araştırmacılar, Emo’nun hem kendisinin hem de konuşan kişinin yüz ifadelerini tahmin etmek için ikili bir sinir ağı çerçevesi kullanıyor. Bu da gerçek zamanlı ifadeyi mümkün kılıyor. 23 yüz ifadesi motoru ve boyun hareketi için üç motorla donatılan Emo, bu sayede 5 kat daha hızlı motor komutu üretebiliyor.
Aynalanan yüz ifadeleri aracılığıyla, ilk sinir ağı, donanımından gelen motor komutlarını yorumlayarak robotun kendi duygusal yüz ifadelerini tahmin etmesine yardımcı oldu. Bu arada ikinci ağ, konuşma sırasında muhatabın yüz ifadelerini tahmin etmek için eğitildi.
Bütün bunların sonucunda robot yüz, insanların gülümsemesini yaklaşık 839 milisaniye önce tahmin etmeyi başardı. Dahası, robot kendi gülümsemesini gerçek zamanlı olarak insanlarla senkronize edebildi.
Araştırmanın baş yazarı Yuhang Hu, “İnsan yüz ifadelerini doğru bir şekilde tahmin etmenin insan-robot ektileşiminde bir devrim olduğunu düşünüyorum” diyerek çalışmanın önemini ortaya koydu.