Będzie ciekawie - sztuczna inteligencja Transframer potrafi zrobić klip wideo na bazie jednego zdjęcia

Henryk Tur,
22.08.2022, godz. 09:44
- Transframer
- deepmind
- Google
- si
Udostępnij

Tweet

Transframer to najnowsze możliwości trenowania SI pokazane światu. Robią wrażenie, a to dopiero początek...

Będzie ciekawie - sztuczna inteligencja Transframer potrafi zrobić klip wideo na bazie jednego zdjęcia — Fot.: Transframer

Naukowcy coraz lepiej szkolą sztuczną inteligencję, co z pewnością pomoże w przyszłości w wielu dziedzinach życia, a póki co daje efekty, które robią świetne wrażenie. Warto wspomnieć choćby Midjourney, od paru tygodni budzące niesłabnące zainteresowanie użytkowników na całym świecie. Teraz inżynierowie Google pokazali Transframer - jest to framework potrafiący tworzyć krótkie materiały wideo na bazie zaledwie jednego zdjęcia! W nieodległej przyszłości może zastąpić to klasyczne technologie renderowania obrazu, pozwalając twórcom na kreowanie krajobrazów na podstawie podanych parametrów wyjściowych.

Transframer nie jest "noworodkiem" na rynku. Pojawił się w 2017 jako Transformer - architektura sieci neuronowej mająca możliwość modelowania tekstu i porównywania słów. Do trenowania SI wykorzystywane są zaawansowane frameworki TensorFlow i PyTorch. Transframer również z nich korzysta, ale rozpoznaje kontekst zdjęcia, aby stworzyć powiązane z nim, krótkie animacje. Dotyczy to zarówno pojedynczych obiektów, jak i całych krajobrazów. Przykład poniżej.

Zobacz również:

Bing z SI wkracza do Chrome i Safari

Transframer is a general-purpose generative framework that can handle many image and video tasks in a probabilistic setting. New work shows it excels in video prediction and view synthesis, and can generate 30s videos from a single image: https://t.co/wX3nrrYEEa 1/ pic.twitter.com/gQk6f9nZyg
— DeepMind (@DeepMind) August 15, 2022

Jak to działa? Dzięki użyciu platformy DeepMind analizowane jest pojedyncze zdjęcie, a SI przewiduje na podstawie elementów widocznych na obrazie, jak wygląda otoczenie i generuje dodatkowe widoki, które następnie łączy z bazowym. W ten sposób powstaje animacja terenu, jaki nie został ujęty na zdjęciu. W przypadku pojedynczych obiektów analiza może pomóc w stworzeniu ich modeli 3D, a co za tym idzie - obejrzenie ich pod różnymi kątami. Przykłady takich animacji znajdziesz tutaj - warto zajrzeć i zobaczyć Transframer w różnych działaniach.

Transframer może mieć kolosalny wpływ m.in. na rynek gier - możliwości tego rozwiązania pozwalają wyeliminować skomplikowane procedury związane z generowaniem obrazu, cieniowaniem, renderowaniem, mapowaniem itp. Ciekaw jestem, czy narzędzie zostanie udostępnione dla wszystkich, jak wspomniane Midjourney czy Dall-E. Z pewnością każdy chętnie pobawiłby się, sprawdzając, czy SI prawidłowo przewiduje otoczenie wykonanego przez nas zdjęcia.

Źródło: TechSpot

Aktualne ceny w sklepach