Dansk gennembrud: Kunstig intelligens skaber kode direkte fra design-skitser

pix2code neural
Ved at genkende elementer på en designskitse, kan en algoritme generere en brugerflade til apps.
Neural algoritme kan skabe brugerflade til apps ud fra et billede af designet.

Et dansk firma har udviklet et neuralt netværk, som kan omforme rå skitser af en grafisk brugerflade til programkode, der kan anvendes til at færdigbygge en brugerflade til apps.

»Traditionelt set, når en virksomhed bygger mobile programmer eller websites, så er designerne ansvarlige for at skabe en mockup, og dernæst kan udviklerne programmere grænsefladen,« fortæller franskmanden Tony Beltramelli fra den danske virksomhed UIzard Technologies i en mail til Version2.

Han kom til Danmark for at studere på IT-Universitetet. Efter han blev færdig med uddannelsen i 2015, besluttede han sig for at blive. Det er blandt andet den voksende startup-scene, som gør Danmark attraktivt for Tony Beltramelli.

Den kunstige intelligens, som Ulzard anvender, går et skridt videre ved at generere kode direkte fra de grafiske skitser, designerne har produceret.

Teknologien har potentialet til at ryste op i software-verdenen og stiller nye spørgsmål til branchen, mener Tony Beltramelli.

»Vil vi se en dramatisk ændring i de kommende år, hvor udviklere bliver udskiftet med kunstig intelligens? Vil yderligere forskning fuldstændig fjerne behovet for programmer skrevet af mennesker?«

Neuralt netværk programmerer grænsefladen

Tony Beltramelli har offentliggjort dele af teknologien i en videnskabelig artikel. Her beskriver han hvordan systemet er strikket sammen.

Problemet kan deles i tre stykker. Først er der opgaven med at få algoritmen til at forstå billedet og genkende objekterne som er til stede, deres identitet, positioner og rolle, såsom knapper og tekstfelter. Dernæst er der et sprogproblem, som går ud på at forstå programmeringskode og generere syntaktisk og meningsmæssig korrekt kode.

Den sidste udfordring er bruge de foregående løsninger ved at udnytte de variabler, som billedgenkendelsen har gættet på, til at generere de tilsvarende tekstbeskrivelser i form af kodning af de objekter, som variablerne repræsenterer. Algoritmen benytter en neural arkitektur kendt som Long Short-Term Memory, der passer godt til denne slags problemer.

Systemet har vakt en del opsigt i de internationale it-medier såsom Slashdot, og UIzard Technologies har produceret en video, som viser virkemåden.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (17)

Kommentarer (17)
Jan Gundtofte-Bruun

"omforme rå skitser af en grafisk brugerflade til programkode"

Men bliver det læsbar, brugbar kode der er til at vedligeholde? Eller bliver det det facto endnu et "lag", så man fremover "skal" "kode" i de rå skitser i stedet?

Jeg spørger fordi jeg desværre har set mange GUI-editors som virker i større eller mindre grad, men absolut ikke laver kode der kan bruges uden (den samme) editor. Det mener jeg introducerer en risiko set i perspektiv af fremtidigt vedligehold, for når man efterfølgende skal justere enkelte aspekter af et UI, så duer det ikke at have "optimeret" eller grim genereret kode som man ikke kan læse.

Simon Mikkelsen

Programmet kan tage et screenshot og lave det om til kode. Altså, man har allerede siddet i ét program og tegnet GUI. Kunne man ikke lige så godt bruge en GUI-editor, som de har eksisteret i år-tier?

Det som jeg kan se en demo af, er kun en meget lille del af processen med at lave en GUI og slet ikke noget af det som er svært eller tidskrævende.

Ditlev Petersen

Historien gentager sig faktisk. Det næste bliver et værktøj, så man ikke behøver programmører men kan skrive i almindeligt engelsk, hvad man vil have maskine til at gøre.

MOVE SUM-1 TO AKKUM.
COMPUTE SUM + TOTAL GIVING KAOS.

Eller hvordan det nu er.

Patrick Moog

Til jer der siger at det findes allerede og at det ikke vil spare tid, sidder vist meget langt væk fra web udvikling?
Hvis det rent faktisk virker så kan det spare hundredvis af timer i et stort website projekt.

Jeg er dog utroligt skeptisk, jeg gad godt at se den arbejde med et rigtig webdesign og ikke den "standard template" der bliver vist i videoen.
Derudover er jeg også bange for at man så vil have bundet sig til denne generator, og hvis den så ikke bliver vedligeholdt, er det bare forfra.
Koden bliver med al sandsynlighed også umulig at vedligeholde "manuelt".

App. udvikling tror jeg mere på, da man der ofte er pakket ind alle mulige design restriktioner i forvejen.

Jacob Gorm Hansen

Jeg maa ogsaa sige at jeg paa er lidt skuffet. Der er jo paa ingen maade tale om en skitse, men derimod om et bitmap, som til forveksling ligner den endelige brugerflade. Dvs. man kunne have opnaaet det samme resultat ved en brute-force sammenligning af pixels, hvilket intet har med machine learning at goere. En "skitse" opfatter jeg som noget man kunne lave paa et stykke papir, ikke i en bitmap-editor, og ikke med grafiske elementer som er sakset fra det endelige resultat.

Jeg synes ogsaa at overskriften er at stramme den. At sige at der er tale om et "gennembrud", uden at konsultere uvildige eksperter. Bare fordi arktiklen er indsendt til NIPS, er det jo ikke paa noget maade sikkert at den bliver optaget.

Anders Poulsen

At tro sådan et værktøj vil skabe arbejdsløshed blandt programmører svarer til at tro at mekanikere vil blive arbejdsløse, hvis nogen opfandt en 3D-printer så folk kunne printe deres egen tandrem derhjemme.
Jeg er i hvert fald ikke bekymret. Men HVIS det kan fungere, så er jeg da begejstret, for det kunne automatisere nogen af de kedelige dele af jobbet. Hvis!

Bjarne Pedersen

Ja, jeg er ret enig med dig.
Som jeg ser det, så laver den til dels det arbejde hvor vi bruger folk fra Vietnam. Vi får et færdigt layout i PhotoShop (eller noget ala) og sender det til Vietnam, får det tilbage lavet om til HTML 5 som responsivt design og så fylder vi selv det interaktive ind i web/app.
Der ville det jo være ret fedt hvis man kunne sætte en maskine til at lave den del :)

Andy Fischer

At tro sådan et værktøj vil skabe arbejdsløshed blandt programmører svarer til at tro at mekanikere vil blive arbejdsløse, hvis nogen opfandt en 3D-printer så folk kunne printe deres egen tandrem derhjemme.


Den første historie jeg læste om arbejdsløse programmører, som følge af kunstig intelligens, er helt tilbage til 1989, hvor det var Prologs evne til at register-optimere bedre end menneskelige programmører, der totalt ville udrydde programmør-faget i løbet af 10 år. Der var også nogenlunde samtidig hele hysteriet om selvmodificerende kode, hvor man bare beskrev problemet overordnet, og lod koden kode sig selv. Jeg venter stadig.

Log ind eller opret en konto for at skrive kommentarer

Pressemeddelelser

Affecto Denmark reaches highest Microsoft Partner level

Affecto Denmark, a leading provider of data-driven solutions, has reached the highest level in the Microsoft partner ecosystem: Managed Partner.
22. jun 2017

Innovate your business with Affecto's IoT Explorer Kit

Are you unsure if Internet of Things fits your business strategy?
31. maj 2017

Big Data Lake Summit: Fast and Trusted Insights

If you want to outpace, outsmart and outperform your competition in a digital world, you need trusted data that can be turned into actionable business insights at speed.
24. apr 2017