Grammatikkverktøy gir ikke bedre lesbarhet

– Vi trenger dataverktøy som kan bidra til å gjøre tekster mer lesbare, men foreløpig har vi ikke noe som fungerer, sier masterstudent i universell utforming av IKT ved OsloMet – storbyuniversitet, Hitesh Kaushik.

At en tekst er god å lese er viktig for å gjøre den tilgjengelig for alle.

For eksempel kan bedre ordforråd, setningsstruktur og samsvar mellom subjekt og verb gjøre teksten lettere å forstå. Det kan også riktig bruk av tid.

Dermed blir teksten lettere å lese, og det blir mulig for skribenten å uttrykke ideene sine tydeligere og mer nøyaktig.

Større krav til lesbarhet

Kravene til lesbarhet øker. Retningslinjene for universell tilgjengelighet av nettsider anbefaler at tekster på nett skal kunne leses av folk med grunnleggende skolegang.

Dataprogrammet Grammarly er utviklet for å hjelpe skribenter til bedre rettskriving og lesbarhet på engelsk, men bidrar faktisk ikke til å øke lesbarheten, viser forskningen til masterstudent i universell utforming av IKT ved OsloMet – storbyuniversitet, Hitesh Kaushik.

Han fikk med seg 15 studenter som ville forbedre tekster de hadde skrevet, og gjorde et eksperiment i samarbeid med veileder, lingvist og førsteamanuensis Evelyn Eika.

Retter grammatiske feil, men bedrer ikke lesbarheten

Hitesh målte endringer i lesbarhet før og etter bruk av grammatikkverktøyet, og intervjuet studentene.

Han registrerte antall grammatiske feil gjennom skjermopptak, og beregnet forholdet mellom feil og hvor mye som var skrevet. Dermed kunne feilscorene sammenlignes på tvers av ulike tekster.

Tekstene ble også vurdert manuelt basert på fem kriterier: stil, ordforråd, grammatikk, bruk av skriveregler og klarhet i teksten.

Disse kriteriene ble valgt fordi Grammarly har framhevet at dette er noe disse verktøyene kan hjelpe til med å forbedre.

Det faglige innholdet i teksten ble ikke vurdert, da det innebærer å teste fagspesifikk kunnskap, som uansett ikke påvirkes av verktøyet.

– Resultatene viste en signifikant reduksjon i grammatiske feil, men ingen signifikant effekt på lesbarheten, sier Hitesh.

– Det bør derfor utvikles andre typer verktøy som kan bidra til å forbedre lesbarheten. Dette er en utfordring til programutviklere.

– At verktøyene bidro betydelig til å redusere skrivefeil er som man kan forvente, da formålet med grammatikk-kontroll er å identifisere feil, og hjelpe til med å rette dem.

Feilretting gjør det ikke nødvendigvis lettere å lese

Mangel på lesbarhet dreier seg derimot ikke om feil i teksten. Feil og lesbarhet er to forskjellige ting:

Det er mulig å se for seg en grammatisk korrekt og feilfri tekst som er veldig vanskelig å lese, og en tekst som er veldig lett å lese, men med mange trivielle grammatikk- og stavefeil.

– God lesbarhet gjør teksten forståelig, og oppfyller målet om å informere eller utdanne leseren, forklarer Hitesh.

– Korrigering av grammatikk hjelper til med å skrive for eksempel kortere setninger og dele inn i avsnitt, men bidrar ikke nødvendigvis til å gjøre teksten mer forståelig.

Unyttige endringsforslag

Det viste seg ellers at deltakerne i eksperimentet aksepterte bare om lag halvparten av feilene som Grammarly pekte på.

Mange av de foreslåtte endringene ble ignorert fordi de forandret meningen i teksten, og dermed ikke var så nyttige.

– Vi brukte teksteksempler på 600 til 1000 ord, og studentene brukte Grammarly for å gjøre korrigeringer i teksten, og prøvde å gjøre det riktig etter sin egen forståelse, sier Hitesh.

– Vi forsikret oss om at de ikke hadde lest noe av det før, eller hadde lest noe om igjen.

Hitesh la også merke til at kvaliteten på teksten ikke har noen innflytelse på lesbarheten. Med det mener han at hvis en tekst har bra vokabular og fin oppbygning, har ikke det i seg selv noe å si.

Gir falsk trygghet

Resultatene til Hitesh gir med andre ord ikke støtte til påstandene fra utviklerne av Grammarly om at dette verktøyet hjelper til med å forbedre lesbarheten.

Dette understrekes også av veilederen Evelyn Eika:

– Resultatene viser at dette produktet ikke lever opp til det som står på pakningen, sier hun.

– De som bruker slike verktøy, for eksempel studenter og ansatte, får falsk trygghet. Det finnes fortsatt ingen enkle snarveier til lesbare tekster.

– Å utforme lesbare tekster krever kunnskap, erfaring, tid og ikke minst mye manuell innsats.

Maskinlæring kan gi muligheter

Det skjer likevel mye spennende på maskinlæringsfronten.

– Det er ikke utenkelig at vi snart får bedre kvalitetsfremmende skrivestøtteverktøy som også gjør skriveprosessen mer inspirerende. Men, jeg har foreløpig ikke sett noe som innfrir mine forventinger, sier Eika.

Vil forske på hva som kan gi bedre lesbarhet

– Kunne studien si noe om hva som hadde innflytelse på lesbarheten?

– Det vi tror kan ha innflytelse på lesbarheten, trenger mer utforskning, slår Hitesh fast.

Det kan være forholdet mellom tekst og kontekst, for eksempel at det først kommer en setning, og så plutselig en annen setning, og de ikke har noen relasjon til hverandre.

Det andre er tekstbinding, om det er sammenheng i teksten.

– Vi har identifisert at dette kan påvirke lesbarheten, og det skal vi se på i neste fase.

Dårlige skriveferdigheter – høyere tillit til grammatikkprogram

Hitesh fant også ut at de som var lite fortrolige med skriving, hadde høyere tillit til programmet de brukte. De trodde at slike programmer ville hjelpe dem med å forbedre skrivingen.

– De som syntes vel om Grammarly, vurderte også sine skriveferdigheter som dårlige.

– Jeg tror de vil klare seg vel så bra med stavekontroll i Word. Grammarly var likevel god på for eksempel punktum, komma, semikolon og avsnitt.

Hitesh vil fortsette å forske på dette, og kanskje designe en språksjekker for norsk og andre språk som ikke har så mange brukere. Grammarly er bare på engelsk.

Selv har han bakgrunn fra teknisk programmering og programvareutvikling, og utdanning fra India. Han presenter forskningen sin på en digital konferanse sommeren 2020.