Dansk gennembrud: Kunstig intelligens skaber kode direkte fra design-skitser

2. juni 2017 kl. 05:1117
Neural algoritme kan skabe brugerflade til apps ud fra et billede af designet.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Et dansk firma har udviklet et neuralt netværk, som kan omforme rå skitser af en grafisk brugerflade til programkode, der kan anvendes til at færdigbygge en brugerflade til apps.

»Traditionelt set, når en virksomhed bygger mobile programmer eller websites, så er designerne ansvarlige for at skabe en mockup, og dernæst kan udviklerne programmere grænsefladen,« fortæller franskmanden Tony Beltramelli fra den danske virksomhed UIzard Technologies i en mail til Version2.

Han kom til Danmark for at studere på IT-Universitetet. Efter han blev færdig med uddannelsen i 2015, besluttede han sig for at blive. Det er blandt andet den voksende startup-scene, som gør Danmark attraktivt for Tony Beltramelli.

Den kunstige intelligens, som Ulzard anvender, går et skridt videre ved at generere kode direkte fra de grafiske skitser, designerne har produceret.

Artiklen fortsætter efter annoncen

Teknologien har potentialet til at ryste op i software-verdenen og stiller nye spørgsmål til branchen, mener Tony Beltramelli.

»Vil vi se en dramatisk ændring i de kommende år, hvor udviklere bliver udskiftet med kunstig intelligens? Vil yderligere forskning fuldstændig fjerne behovet for programmer skrevet af mennesker?«

Neuralt netværk programmerer grænsefladen

Tony Beltramelli har offentliggjort dele af teknologien i en videnskabelig artikel. Her beskriver han hvordan systemet er strikket sammen.

Problemet kan deles i tre stykker. Først er der opgaven med at få algoritmen til at forstå billedet og genkende objekterne som er til stede, deres identitet, positioner og rolle, såsom knapper og tekstfelter. Dernæst er der et sprogproblem, som går ud på at forstå programmeringskode og generere syntaktisk og meningsmæssig korrekt kode.

Artiklen fortsætter efter annoncen

Den sidste udfordring er bruge de foregående løsninger ved at udnytte de variabler, som billedgenkendelsen har gættet på, til at generere de tilsvarende tekstbeskrivelser i form af kodning af de objekter, som variablerne repræsenterer. Algoritmen benytter en neural arkitektur kendt som Long Short-Term Memory, der passer godt til denne slags problemer.

Systemet har vakt en del opsigt i de internationale it-medier såsom Slashdot, og UIzard Technologies har produceret en video, som viser virkemåden.

Remote video URL

17 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
16
6. juni 2017 kl. 07:02

At tro sådan et værktøj vil skabe arbejdsløshed blandt programmører svarer til at tro at mekanikere vil blive arbejdsløse, hvis nogen opfandt en 3D-printer så folk kunne printe deres egen tandrem derhjemme.

Den første historie jeg læste om arbejdsløse programmører, som følge af kunstig intelligens, er helt tilbage til 1989, hvor det var Prologs evne til at register-optimere bedre end menneskelige programmører, der totalt ville udrydde programmør-faget i løbet af 10 år. Der var også nogenlunde samtidig hele hysteriet om selvmodificerende kode, hvor man bare beskrev problemet overordnet, og lod koden kode sig selv. Jeg venter stadig.

15
4. juni 2017 kl. 23:19

Ja, jeg er ret enig med dig. Som jeg ser det, så laver den til dels det arbejde hvor vi bruger folk fra Vietnam. Vi får et færdigt layout i PhotoShop (eller noget ala) og sender det til Vietnam, får det tilbage lavet om til HTML 5 som responsivt design og så fylder vi selv det interaktive ind i web/app. Der ville det jo være ret fedt hvis man kunne sætte en maskine til at lave den del :)

14
3. juni 2017 kl. 16:58

At tro sådan et værktøj vil skabe arbejdsløshed blandt programmører svarer til at tro at mekanikere vil blive arbejdsløse, hvis nogen opfandt en 3D-printer så folk kunne printe deres egen tandrem derhjemme. Jeg er i hvert fald ikke bekymret. Men HVIS det kan fungere, så er jeg da begejstret, for det kunne automatisere nogen af de kedelige dele af jobbet. Hvis!

13
3. juni 2017 kl. 12:03

Jeg maa ogsaa sige at jeg paa er lidt skuffet. Der er jo paa ingen maade tale om en skitse, men derimod om et bitmap, som til forveksling ligner den endelige brugerflade. Dvs. man kunne have opnaaet det samme resultat ved en brute-force sammenligning af pixels, hvilket intet har med machine learning at goere. En "skitse" opfatter jeg som noget man kunne lave paa et stykke papir, ikke i en bitmap-editor, og ikke med grafiske elementer som er sakset fra det endelige resultat.

Jeg synes ogsaa at overskriften er at stramme den. At sige at der er tale om et "gennembrud", uden at konsultere uvildige eksperter. Bare fordi arktiklen er indsendt til NIPS, er det jo ikke paa noget maade sikkert at den bliver optaget.

8
2. juni 2017 kl. 16:22

Til jer der siger at det findes allerede og at det ikke vil spare tid, sidder vist meget langt væk fra web udvikling? Hvis det rent faktisk virker så kan det spare hundredvis af timer i et stort website projekt.

Jeg er dog utroligt skeptisk, jeg gad godt at se den arbejde med et rigtig webdesign og ikke den "standard template" der bliver vist i videoen. Derudover er jeg også bange for at man så vil have bundet sig til denne generator, og hvis den så ikke bliver vedligeholdt, er det bare forfra. Koden bliver med al sandsynlighed også umulig at vedligeholde "manuelt".

App. udvikling tror jeg mere på, da man der ofte er pakket ind alle mulige design restriktioner i forvejen.

6
2. juni 2017 kl. 12:09

Fremskridtet her at det er et neutralt netværk der gør det.

5
2. juni 2017 kl. 11:48

Endnu en abstraktion for abstraktionens skyld.

4
2. juni 2017 kl. 11:33

Historien gentager sig faktisk. Det næste bliver et værktøj, så man ikke behøver programmører men kan skrive i almindeligt engelsk, hvad man vil have maskine til at gøre.

MOVE SUM-1 TO AKKUM. COMPUTE SUM + TOTAL GIVING KAOS.

Eller hvordan det nu er.

3
2. juni 2017 kl. 11:31

Programmet kan tage et screenshot og lave det om til kode. Altså, man har allerede siddet i ét program og tegnet GUI. Kunne man ikke lige så godt bruge en GUI-editor, som de har eksisteret i år-tier?

Det som jeg kan se en demo af, er kun en meget lille del af processen med at lave en GUI og slet ikke noget af det som er svært eller tidskrævende.

1
2. juni 2017 kl. 10:31

"omforme rå skitser af en grafisk brugerflade til programkode"

Men bliver det læsbar, brugbar kode der er til at vedligeholde? Eller bliver det det facto endnu et "lag", så man fremover "skal" "kode" i de rå skitser i stedet?

Jeg spørger fordi jeg desværre har set mange GUI-editors som virker i større eller mindre grad, men absolut ikke laver kode der kan bruges uden (den samme) editor. Det mener jeg introducerer en risiko set i perspektiv af fremtidigt vedligehold, for når man efterfølgende skal justere enkelte aspekter af et UI, så duer det ikke at have "optimeret" eller grim genereret kode som man ikke kan læse.