Meta, metin, ses, görsel datalar, sıcaklık ve hareketokumaları dahil olmak üzere birden fazla bilgi akışını birbirine bağlayan yeni açık kaynaklı AI modeli ImageBind’ı duyurdu. Model, bu noktada sırf bir araştırma projesi olsa da sunulan örnekler, yapay zekada gelinen noktayı gösteriyor ve ağızları açık bırakıyor. ImageBind, bir kuş fotoğrafından kuş sesi, bir tiren sesinden tren fotoğrafı, yahut bir araç motor sesi ve deniz fotoğrafından deniz kenarına park etmiş bir otomobil fotoğrafı oluşturabiliyor. Bu yapabildikleri ise Meta’nın hedeflediği şeyin yalnızca görünen kısmı. Çok modlu ImageBind, “çok” farklı
İnsan algısı taklit ediliyor
ImageBind‘ı makine tahsilini insan öğrenmesine yaklaştıran bir araç olarak görebilirsiniz. Örneğin, ağır bir kent caddesi üzere uyarıcı bir ortamda duruyorsanız, beyniniz (büyük ölçüde bilinçsizce) geçen otomobiller ve yayalar, yüksek binalar, hava durumu ve çok daha fazlası hakkında bilgi çıkarmak için görünümleri, sesleri ve başka duyusal tecrübeleri emer. Beşerler ve başka hayvanlar, genetik avantajımız olan hayatta kalmak ve DNA’mızı aktarmak için bu bilgileri işlemek üzere şekillenmiştir. Bilgisayarlar hayvanların çoklu duyusal ilişkilerini taklit etmeye yaklaştıkça, bu kontakları sırf hudutlu bilgi modüllerine dayalı olarak büsbütün gerçekmiş üzere üretilmiş sahneler oluşturmak için kullanabilirler. Fotoğrafı çekmiyor, doğruda o anı oluşturmayı hedefliyor
Yani Midjourney‘i kullanarak “bir plaj topunun üzerinde istikrarda dururken Gandalf kıyafeti giyen bir av köpeği” sorusunu sorabilir ve bu tuhaf sahnenin nispeten gerçekçi bir fotoğrafını elde edebilirsiniz, lakin ImageBind gibi çok modlu bir yapay zeka aracı sonunda köpeğin bir görüntüsünü, detaylı bir banliyö oturma odası, odanın sıcaklığı ve köpeğin ve sahnedeki öbür herkesin kesin pozisyonları da dahil olmak üzere ilgili seslerle birlikte oluşturabilir. Kısaca, ImageBind bir anın fotoğrafını çekmiyor, doğruda o anı oluşturmayı hedefliyor. Hedef VR ve meteverse mi?
Meta, bu yeni oyuncakla nelerin yapılacağına örnekler vermekten kaçınmıyor. Doğrusu Meta açıkça temel amacını muhakkak etmekten de çekinmiyor: VR, karma gerçeklik ve metaverse. Örneğin, gelecekte büsbütün gerçek 3D sahneleri (ses, hareket vb. ile) anında oluşturabilen bir başlık hayal edin. Ya da sanal oyun geliştiricileri, tasarım süreçlerindeki ayak işlerinin birçoklarını ortadan kaldırmak için bunu kullanabilirler.
Benzeri halde, içerik oluşturucular sadece metin, manzara yahut ses girdisine dayalı olarak gerçekçi ses görünümleri ve hareket içeren sürükleyici görüntüler hazırlayabilirler. ImageBind üzere bir aracın erişilebilirlik alanında yeni kapılar açacağını, görme yahut işitme engelli bireylerin yakın etraflarını daha yeterli algılamalarına yardımcı olmak için gerçek vakitli multimedya açıklamaları oluşturacağını hayal etmek de güç değil. Meta blog yazısında, “Tipik yapay zeka sistemlerinde, her bir modalite için belli bir gömme (yani, bilgileri ve makine tahsilindeki bağlarını temsil edebilen sayı vektörleri) vardır. ImageBind, her farklı modalite kombinasyonuna sahip datalar üzerinde eğitim yapmaya gerek kalmadan birden fazla modalite genelinde ortak bir gömme alanı oluşturmanın mümkün olduğunu gösteriyor.” diyor.
Meta, ImageBind’ı bu noktada durdurmak da istemiyor. Evet, model 6 farklı duyuyu yahut modu birleştiriyor fakat Meta ilerleyen devirlerde altı modalitenin yanında dokunma, konuşma, koku ve beyin fMRI sinyalleri üzere mümkün olduğunca çok sayıda duyuyu birbirine bağlayan yeni modaliteler sunmayı da hedefliyor.
