Microsoft pracuje nad sztuczną inteligencją do opisu zdjęć

Microsoft pracuje nad systemem, który będzie w stanie opisywać to co znajduje się na zdjęciach z uwzględnieniem emocji wyrażanych przez znajdujących się na nich ludzi.

Zajmujący się pracami badawczo-rozwojowymi w dziedzinie informatyki oddział Microsoft Research pracuje nad systemem sztucznej inteligencji, który będzie w stanie opisać to co widzi na zdjęciach w taki sposób, jak zrobiłby to człowiek. Nie chodzi więc tutaj o podanie suchych faktów ale również o opis emocji, które towarzyszą znajdującym się na nich postaciom i finalnie stworzenie jakiejś historii.

Obecnie dostępne systemy mogą opisać 4 zdjęcia w następujący sposób: "na zdjęciu jest rodzina; na zdjęciu jest tort; na zdjęciu jest pies; na zdjęciu widać plażę". Docelowo opracowywany przez Microsoft system poradzić ma sobie z tym zadaniem zupełnie inaczej: "rodzina zorganizowała grilla, było mnóstwo pysznego jedzenia, pies był szczęśliwy, że też został zaproszony, zaplanowano nawet kąpiel w morzu".

Zobacz również:

Budując bazę różnych opisów dla nowego systemu naukowcy skorzystali z usługi Amazon Mechanical Turk (crowdsourcing prostych zadań). Za jej pośrednictwem zlecili wykonanie zadania polegającego na opisie tego, co zleceniobiorca widzi na zestawie składającym się z minimum pięciu zdjęć. W sumie wykorzystali w tym celu 65 tysięcy zdjęć.

System jest w bardzo wczesnym stadium rozwoju. Generowane przez niego historie są jeszcze nieporównywalnie słabsze od historii, które są w stanie stworzyć ludzie. Zdarza mu się też widzieć na zdjęciach elementy, których nie ma oraz popadać w nieuzasadnioną euforię i opisywać wszystko jako coś niesamowitego. Gdy już jednak będzie gotowy powinien stanowić pomocne narzędzie np. dla osób słabo widzących. Ponadto Microsoft nie zamierza skupiać się tylko na zdjęciach ale również na filmach i innych treściach multimedialnych.


Zobacz również