Nu kan Google översätta bilder till text

Google har länge arbetat med att översätta text till text, från ett språk till ett annat. Nu har deras forskarteam även lyckats med att automatiskt översätta bildinnehåll till text via deras översättningsprogram, genom att använda matematik.

Med ett index kan man mäta hur bra en förståelse eller översättning är av en viss text eller bild. Bäst hittills för en maskinöversatt sådan har varit ett index på 25 – nu har Google lyckats komma upp i hela 59 – där människan själv är placerad på index 69.

På bilden ovan kan du ser hur programmet översatt bildinnehåll till engelska, samt hur en forskare som kollat igenom resultatet grupperat hur väl det stämmer överens med verkligheten.

Genom att bryta ner bilden i vektorer och översätta dessa till matematiska formler, kan Google analysera bildens olika element och få fram en slutsats. Själva processen är självlärande via ett neuralt nätverk som lärts upp med hjälp av 100000 bilder.

På Google Research Blog kan du läsa mer om projektet.