İki Boyutlu Videodan Üç Boyutlu Kinetik Heykellere

0
101
kinetik hareketli heykeller

Kinetik Heykeller

MIT araştırmacıları özellikle sanatçıların ve sporcuların çok işine yarayacak, farklı alanlarda da  taktiksel uygulamaları  olabilecek hareketli heykeller geliştirdi.

İki Boyutlu Videolardan Üç Boyutlu Hareketli Heykeller Yaratma

Ünlü Amerikan futbolu oyun kurucularından Tom Brady, elde ettiği başarısını çoğu zaman rakiplerinin hamlelerini saatlerce izleyerek analiz etmesine bağlamaktadır. Hareketin doğasını anlamak yaşayan tüm türler için hayati bir öneme sahiptir. İster atılan bir top için en iyi açıyı düşünün, ister yırtıcı avcıların ya da avların hareketini düşünün, hareketi doğru algılamak tüm canlılar için kritik bir beceridir. Ancak ne izlediğimiz videolar ne de gözlerimiz esasen bize hareket anının tam bir resmini vermemektedir.

Bunun nedeni, geleneksel videoların ve fotoğrafların iki boyut üzerinde hareketi kaydetmeleridir. Dolayısı ile bize, odak nesnenin ya da kişinin üç boyutlu yapısal formunu göstermemektedirler.

Tam bir geometri olmadan, atletik formumuzu mükemmelleştirmek için gerekli olan kesinlik algısını bize sağlayacak olan küçük ve hassas hareketleri inceleyemeyiz.

MIT CSAIL’ den (Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı) araştırmacılar, bu karmaşık hareketlerin daha iyi anlaşılmasını sağlayacak yeni bir yol geliştirdiler. Yeni sistem iki boyutlu videoları, insan vücudunun boşlukta nasıl hareket ettiğini gösteren üç boyutlu Devinim Heykellerine çeviren bir algoritma kullanıyor.

MoSculp nedir?

Buna ek olarak MoSculp adı verilen sistem zaman ve şekil kavramlarının inanılmaz şaşırtıcı bir görsel sunumunu ortaya koyuyor. Bu sunum, profesyonel atletler, dansçılar ve fiziksel becerilerini geliştirmek isteyen herkes için hareketin çok daha detaylı bir sunumunu ortaya koyuyor.

(kinetik) hareketli heykeller
kinetik hareketli heykeller

Doktora öğrencisi Xiuming Zhang: “Bir tenis maçında Roger Federer’ in bir servis topunu ve bir de kendimize ait bizi tenis oynarken çeken bir video izlediğimizi varsayalım. Böyle bir durumda her iki senaryo için de hareketli heykeller yardımıyla iki durumu çok iyi bir şekilde karşılaştırıp, kendinizi nerede geliştirmeniz gerektiği üzerine daha kapsamlı bir çalışma yapabilirsiniz.

Kinetik Heykeller

Çünkü üç boyutlu hareketli heykelleri kullanan kullanıcılar, bir bilgisayar ara yüzü yardımı ile heykellerin etrafında dolanarak onları farklı bakış açılarından da görebilirler. Bu şekilde, orijinal görüş açısından erişilmesi imkansız olan bilgilere de ulaşma şansı bulabilirler.

kinetik hareketli heykeller
(kinetik) hareketli heykeller

Çalışmada Zhang’ a, MIT profesörlerinden William Freeman ve Stefanie Mueller, doktora öğrencisi Jiajun Wu, Google araştırmacılarından Qiurui He ve Tali Dekel ile CSAIL’ in eski doktora öğrencilerinden Andrew Owens ve Tianfan Xue eşlik etti.

Sanatçı ve bilim insanları hareketin doğasını daha iyi anlayabilmek için yapabilecekleri, sahip oldukları kamera lenslerinin yapabilecekleri ile sınırlıydı.

Önceki çalışmalarda çoğunlukla spiralli bir defterdeki bir araya tutturulmuş görsellere benzeyen stroboskopik fotoğraflama teknikleri kullanılıyordu. Ancak bu fotoğraflar hareketlerin sadece anlık resimlerini gösteriyordu. Bu nedenle izleyiciler örneğin bir golf sopasına vurulduğunda, vuran kişinin kol yörüngesinden daha fazlasını göremiyordu. Dahası bu fotoğraflar çekim öncesi kurgu, arka planın hazırlanması, özel derinlik kameraları ve ışıklandırma tertibatı gibi ciddi bir işçilik ve emek de gerektiriyordu.

Hareketli Heykeller Nasıl Yapılır?

MIT tarafından geliştirilen MoSculp’ ın ise hareketli heykeller yapmak için ihtiyaç duyduğu tek şey, bir parça video kesiti.

Bir video verildiğinde, sistem önce otomatik olarak hedef nesnenin üzerindeki, kalça, diz ve karmaşık dans hareketleri yapan bir balerinin ayak bileği gibi fiziksel yapısındaki anahtar noktaları tespit ediyor. Daha sonra bu noktalardan muhtemel en iyi duruşları üç boyutlu iskeletlere çeviriyor.

Bu iskeletleri bir araya getirdikten sonra sistem, üç boyutlu basılabilecek bir hareket heykeli yaratıyor. Elde edilen bu heykel, hedef nesne tarafından takip edilen hareket yolunu aralıksız bir şekilde gösteriyor. Kullanıcılar figürlerini vücudun değişik kısımları için özelleştirebiliyor, değişik özellikteki maddelerle değişik kısımları birbirinden ayırabilip, hatta ışıklandırmayı da özelleştirebilme şansına sahip olabiliyorlar. Yapılan kullanıcı çalışmalarında, araştırmacılar kullanıcılar için %75 in üzerinde bir oranla standart fotoğraf tekniklerine göre daha detaylı görsel hareket çalışmalarına olanak verdiğini acıkıyorlar.

Adobe Yaratıcı Zeka Laboratuvarından Aaron Hertzmann: “Dans ve yüksek beceri isteyen atletik hareketler sık sık hareket eden heykeller gibi görünür. Fakat ancak çok kısa ve geçici şekiller yaratabilirler. Bu çalışma, hareketleri nasıl yakalayıp onları hareketin nesnel ve görsel sunumu ile gerçek birer heykele dönüştüğünü göstermektedir.”

Sistem en iyi performansı, top atmak ya da bir dizi dans sonunda havaya sıçrama gibi uzun soluklu hareketlerde vermektedir. Sistem soyut ve karmaşık hareketlerde de çalışıyor. Şimdilik tek kişilik senaryolar için kullanılabilse de, araştırmayı yürüten takım gelecekte birden çok kişi içinde sistemin kullanılabileceğini umuyor.

Robotikpedia, gelecekte görüşmek üzere…

Kaynak: mit.edu “Creating 3-D-printed “motion sculptures” from 2-D videos” <http://news.mit.edu/2018/creating-3-d-printed-motion-sculptures-from-2-d-videos-mit-csail-0919>

(Not: İçerik ve stil olarak Mahir BARUT tarafından edit edilmiştir.)

CEVAP VER

Lütfen yorumunuzu girin
Please enter your name here

This site uses Akismet to reduce spam. Learn how your comment data is processed.