Carnegie Mellon Üniversitesi Robotik Enstitüsü’nden bir araştırma ekibi, robotik bir kolu sanatçılar için akıllı bir resim yardımcısına dönüştürdü. Adını Meksikalı ressam Frida Kahlo’dan alan AI boyama robot sistemi Frida (Frida – Framework and Robotics Initiative for Developing Arts), metin açıklamalarından, resimlerden ve seslerden bir tuval üzerine resim boyamak için bir fırça kullanabilir. Ancak robotun bunun için desteğe ihtiyacı var çünkü Frida temelde yaratıcı değil.
Araştırma ekibinin Arxiv’de yayınlanan “FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment” (PDF) adlı makalesinde açıkladığı Frida AI destekli boyama sistemi, geleneksel bir resim fırçası ve boyaları kullanan robotik bir koldan oluşuyor. , ona önceden karıştırılmış olarak sunulur. Bununla birlikte, bir resim çizebilmek için, Frida’nın metin açıklaması, fotoğraf veya sesli veya müzikli ses biçiminde girdiye ihtiyacı vardır. Ayrıca ilham için başka sanat eserleri de belirtilebilir.
Simülasyon ve gerçeklik arasında
Doktora öğrencisi ve Frida’nın ortak geliştiricisi Peter Schaldenbrand, “Frida robotik bir boya sistemidir, ancak Frida bir sanatçı değildir” diyor. Frida’nın kendisi fikir üretmiyor, aksine sanatçıların birlikte çalışabileceği bir araç. Sadece Frida’nın uygulaması gereken bir hedef belirlediler. Sistem, OpenAI’nin ChatGPT ve Dall-e 2 sohbet robotunu çalıştıranlar gibi yapay zeka modellerini kullanır. Bu şekilde oluşturulan görüntüler dijitaldir, ancak Frida’nın görüntülerini fiziksel olarak fırçasıyla uygulaması gerekir. Bu büyük bir zorluk çünkü simüle edilmiş görüntü ile fiziksel görüntü arasındaki fark mümkün olduğunca küçük olmalıdır. Frida bunun için Real2Sim2Real konseptini kullanıyor. Robotun tuval üzerine çizdiği fırça darbeleri, simülatörü robotun fiziksel yeteneklerine ve kullanılan renklere mümkün olduğunca yakın eşleştirmek üzere eğitmek için kullanılır.
Önerilen editoryal içerik
İzninizle, buraya harici bir YouTube videosu (Google Ireland Limited) yüklenecek.
Her zaman YouTube videoları yükleyin
YouTube videosunu şimdi yükleyin
Videoda Frida robotik boyama sisteminin nasıl çalıştığı gösterilmektedir.
Frida’ya resim yapma emri verilmişse robot bir simülasyon oluşturur ve fırça ile nasıl bir görüntü oluşturacağını planlar. Ayrıca sistem bir renk paleti oluşturur. Şu anda henüz bir kişi tarafından karıştırılmadı. Bilim adamlarına göre, otomatik bir renk karışımı zaten geliştiriliyor.
Boyama işlemi sırasında Frida, ilerlemeyi ve bugüne kadarki sonucu tek tek kamera çekimlerini kullanarak değerlendirebilmek ve gerekirse, kasıtsız bir renk sıçraması meydana gelse bile görüntüde ayarlamalar yapabilmek için makine öğrenimini kullanıyor. Frida, tuvale farklı hız, basınç ve eğrilerle uygulanan kısa ve uzun fırça darbeleri kullanır. Fırça darbeleri kesin değil. Ancak sistem yanlışlıklara tepki gösterip düzeltmeler yapabildikçe izlenimci görünümlü görüntüler kendi dinamiklerini kazanıyor.
Eserin ne zaman hazır olacağına Frida kendisi karar verir. Genel olarak, boyama işlemi birkaç saat sürebilir. Araştırmacılar, sanatçıların Frida’nın yerini almaması gerektiğini söylüyor. Bunun tersi doğrudur: sistem, insan yaratıcılığını teşvik etmeyi amaçlar. Frida projesinin baş profesörü Jean Oh, “Şahsen ben bir sanatçı olmak istiyordum. Şimdi Frida ile birlikte çalışarak fikirlerimi resimde ifade edebilirim,” diyor.
Ayrıca bakınız:
(eski)
Haberin Sonu
Araştırma ekibinin Arxiv’de yayınlanan “FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment” (PDF) adlı makalesinde açıkladığı Frida AI destekli boyama sistemi, geleneksel bir resim fırçası ve boyaları kullanan robotik bir koldan oluşuyor. , ona önceden karıştırılmış olarak sunulur. Bununla birlikte, bir resim çizebilmek için, Frida’nın metin açıklaması, fotoğraf veya sesli veya müzikli ses biçiminde girdiye ihtiyacı vardır. Ayrıca ilham için başka sanat eserleri de belirtilebilir.
Simülasyon ve gerçeklik arasında
Doktora öğrencisi ve Frida’nın ortak geliştiricisi Peter Schaldenbrand, “Frida robotik bir boya sistemidir, ancak Frida bir sanatçı değildir” diyor. Frida’nın kendisi fikir üretmiyor, aksine sanatçıların birlikte çalışabileceği bir araç. Sadece Frida’nın uygulaması gereken bir hedef belirlediler. Sistem, OpenAI’nin ChatGPT ve Dall-e 2 sohbet robotunu çalıştıranlar gibi yapay zeka modellerini kullanır. Bu şekilde oluşturulan görüntüler dijitaldir, ancak Frida’nın görüntülerini fiziksel olarak fırçasıyla uygulaması gerekir. Bu büyük bir zorluk çünkü simüle edilmiş görüntü ile fiziksel görüntü arasındaki fark mümkün olduğunca küçük olmalıdır. Frida bunun için Real2Sim2Real konseptini kullanıyor. Robotun tuval üzerine çizdiği fırça darbeleri, simülatörü robotun fiziksel yeteneklerine ve kullanılan renklere mümkün olduğunca yakın eşleştirmek üzere eğitmek için kullanılır.
Önerilen editoryal içerik
İzninizle, buraya harici bir YouTube videosu (Google Ireland Limited) yüklenecek.
Her zaman YouTube videoları yükleyin
YouTube videosunu şimdi yükleyin
Videoda Frida robotik boyama sisteminin nasıl çalıştığı gösterilmektedir.
Frida’ya resim yapma emri verilmişse robot bir simülasyon oluşturur ve fırça ile nasıl bir görüntü oluşturacağını planlar. Ayrıca sistem bir renk paleti oluşturur. Şu anda henüz bir kişi tarafından karıştırılmadı. Bilim adamlarına göre, otomatik bir renk karışımı zaten geliştiriliyor.
Boyama işlemi sırasında Frida, ilerlemeyi ve bugüne kadarki sonucu tek tek kamera çekimlerini kullanarak değerlendirebilmek ve gerekirse, kasıtsız bir renk sıçraması meydana gelse bile görüntüde ayarlamalar yapabilmek için makine öğrenimini kullanıyor. Frida, tuvale farklı hız, basınç ve eğrilerle uygulanan kısa ve uzun fırça darbeleri kullanır. Fırça darbeleri kesin değil. Ancak sistem yanlışlıklara tepki gösterip düzeltmeler yapabildikçe izlenimci görünümlü görüntüler kendi dinamiklerini kazanıyor.
Eserin ne zaman hazır olacağına Frida kendisi karar verir. Genel olarak, boyama işlemi birkaç saat sürebilir. Araştırmacılar, sanatçıların Frida’nın yerini almaması gerektiğini söylüyor. Bunun tersi doğrudur: sistem, insan yaratıcılığını teşvik etmeyi amaçlar. Frida projesinin baş profesörü Jean Oh, “Şahsen ben bir sanatçı olmak istiyordum. Şimdi Frida ile birlikte çalışarak fikirlerimi resimde ifade edebilirim,” diyor.
Ayrıca bakınız:
(eski)
Haberin Sonu