Hva sier egentlig universitetsrangeringer om utdanningskvaliteten?

Internasjonale rangeringer av universiteter og høyskoler har i økende grad fått oppmerksomhet og betydning når det gjelder å skape et bilde av kvaliteten på forskningen og utdanningen som utføres ved institusjoner i ulike land. Blant de globale universitetsrangeringene som publiserer såkalte «league tables», eller rangeringslister som viser de institusjonene som scorer best, er Times Higher Education World University Rankings, Academic Ranking of World Universities Shanghai og QS Top Universities de mest kjente. I mange land (men så langt ikke i Norge) er det også etablert ulike nasjonale rangeringer.

For NOKUTs arbeid med å vurdere og informere om kvalitet i norsk høyere utdanning har disse rangeringene begrenset verdi av to grunner. For det første er de rettet mot institusjonsnivået og i noen tilfeller fagfelt- og fagnivået, men gir i liten grad informasjon om utdanningskvalitet på programnivået. For det andre baserer de seg i hovedsak på data om forskningsproduksjon, tildelinger av forskningspriser og omdømmeundersøkelser og i mindre grad på data NOKUT mener er tilstrekkelig for å vurdere utdanningskvalitet.

Samtidig er det stor utvikling på dette feltet internasjonalt, der trenden synes å være å etablere nye og mer spesialiserte rangeringer som også tar opp i seg ulike dimensjoner. Et eksempel på dette er U- Multirank som lar brukeren sammenligne hvor godt institusjonene scorer på ulike indikatorer knyttet til flere dimensjoner, deriblant undervisning og læring. I U-Multirank er det også mulig å sammenligne tilsvarende fag på tvers av institusjoner. Det er også etablert en rekke fagspesifikke rangeringer, særlig innenfor økonomisk-administrative fag. En fellesnevner for disse rangeringene er at de legger stor vekt på ferdige utdannede kandidaters jobbmuligheter og lønnsnivå.

NOKUTs vurdering er at indikatorsettene som benyttes i de ulike rangeringene i dag gir et begrenset bilde av utdanningskvalitet, men at resultater fra spesialiserte og flerdimensjonale rangeringer i noen tilfeller kan være et supplement til det øvrige datatilfanget NOKUT baserer vurderingene sine på.

Uansett, rangeringer er og blir kontroversielle, og de er kommet for å bli til tross for sine mange metodiske svakheter. Det er derfor viktig at de brukes med vett – det vil si at man er klar over hvilke kriterier som ligger til grunn for rangeringene, og at man ikke tillegger dem mer vekt enn det de faktisk fortjener.

Hva menes med rangeringer i høyere utdanning?

Hvert år utgis det internasjonale rangeringslister av høyere utdanningsinstitusjoner der også norske læresteder og fagområder er med. Rangeringene er kontroversielle, men i internasjonal sammenheng blir de likevel stadig viktigere for å definere hva som kjennetegner et godt lærested og fagmiljø.

Mange norske institusjoner bruker også den informasjonen for hva det er verdt – hvis de scorer bra, vel og merke. Det er derfor nødvendig at vi drøfter hvordan vi skal forholde oss til disse rangeringene.

Vi må bli mer bevisste på hva rangeringene faktisk måler og hva de forteller oss om kvaliteten på forskning og utdanning ved lærestedene.

Hva legger vi egentlig i begrepet rangering? Ifølge International Ranking Expert Group (IREG) sine retningslinjer¹ er en akademisk rangering en tallmessig (numerisk) vurdering av kvaliteten på et program, fagområde, lærested eller høyere utdanningssystem, basert på en felles godkjent metodologi.

Et fellestrekk ved rangeringer er at de måler og sammenligner forsknings- og utdanningsresultater på bakgrunn av kvantitative indikatorer. Rangeringene skiller seg derfor fra andre kvalitetssikringsinstrumenter som akkrediteringer og evalueringer, som inneholder et innslag av fagfellevurdering. Rangeringene kan være en- eller flerdimensjonale. Endimensjonale rangeringer måler resultater og presenterer en rangeringsliste på bakgrunn av ett definert sett indikatorer der de enkelte indikatorene kan ha ulik vekting. Flerdimensjonale rangeringer presenterer flere lister for ulike områder (for eksempel forskning, utdanning, innovasjon), noe som gjør at brukerne kan velge hvilke faktorer de ønsker å sammenligne.

Akademiske rangeringer – slik vi kjenner dem i dag – ble først etablert i USA på 1980-tallet av U.S. News and World Report, som en guide til studenter som ønsket enkelt sammenlignbare data om kvaliteten ved amerikanske høyere læresteder og studieprogram.

Lignende rangeringer ble senere etablert i mange land. Økt globalisering av høyere utdanning har medført etablering av globale rangeringer (også kalt «world rankings» eller «international rankings») som et supplement til nasjonale rangeringer. Det er disse rangeringene som i dag får størst oppmerksomhet på det globale utdanningsmarkedet.

De tre som får størst oppmerksomhet er Academic Ranking of World Universities (ARWU) som ble etablert av Center for World-Class Universities of Shanghai Jiao Tong University (kalles ofte “Shanghai Ranking”) i 2003, World University Rankings som ble etablert av Times Higher Education (THE) og Top Universities som ble etablert av QS (Quacquarelli-Symonds) i 2004. I de påfølgende årene er det i tillegg etablert en rekke ulike globale rangeringer med ulike formål, metodologi og indikatorer.

På tross av at de globale rangeringenes metodologi har godt kjente begrensninger, brukes de i hele verden som grunnlag for å sammenligne kvalitet mellom høyere utdanningsinstitusjoner. Studenter og foreldre bruker informasjon fra rangeringer når de skal velge universitet eller høyskole. Institusjons- ledelse bruker rangeringer som grunnlag for å definere indikatorer som de ønsker å forbedre, til å utvikle strategier for å oppnå eksellense i utdanning og forskning og (hvis resultatene er positive) i markedsføringen overfor potensielle studenter og annen PR. Myndighetene i flere land bruker også rangeringene som et kvalitetssikringsinstrument.

Dette gjelder særlig land der de nasjonale kvalitetssikringsregimene er relativt nye eller svake. Aktører som finansierer høyere utdanning og forskning bruker rangeringsresultater for å vurdere institusjoners akademiske potensial. Globale rangeringer har betydning for etablering og utvikling av både nasjonale utvekslingsprogrammer og immigrasjonspolitikk. Og arbeidslivet bruker rangeringer for å identifisere potensielle samarbeidspartnere blant universiteter og høyskoler og for å selektere potensielle nye arbeidstakere.

Det å ha universiteter i verdensklasse har blitt en pådriver for global konkurranse og status – en internasjonal omdømmekonkurranse for universitetene. Her har de globale universitetsrangeringene en sentral rolle. Flere nasjoner, blant dem Russland og flere arabiske stater, har erklært at de ønsker å ha så mange som mulig av universitetene sine inne blant topp 100 eller 200 på de globale universitetsrangeringene, og har utviklet nasjonale strategier for å oppnå dette.

Noen generelle utfordringer med de globale rangeringene?

Det er omfattende utfordringer med nåværende rangeringsmetodologier som gjør at vi må tolke disse varsomt (se f.eks. Piro et al 2014; Hazelkorn 2011; Rauhvargers 2013). En gjennomgående kritikk går på at for mange av rangeringsmetodologiene kun benytter det som er enklest å måle istedenfor det som bør måles, samt at enkelte av indikatorene som benyttes legger til rette for datamanipulering og juks blant deltakende læresteder (Boggs 2016).

NIFU ga i 2014 ut en rapport om dette temaet der de forklarer ulik plassering i de forskjelligere rangeringene med utgangspunkt i posisjonen til norske og nordiske universiteter og hva som eventuelt forklarer ulik plassering (Piro et al 2014).

Hovedkonklusjonen er at universitetenes plassering på Times Higher Education (THE) og Academic Ranking of World Universities (ARWU) i stor grad er bestemt av en subjektiv vekting av faktorer som ofte har en svak relasjon til utdannings- og forskningskvalitet. Rangeringene er basert på et datagrunnlag som i varierende grad er tilgjengelig og metoder som ikke er transparente.

I tillegg er det kun de store forskningsuniversitetene som deltar, og resultatene sier nesten ingenting om utdanning. Den australsk-britiske forskeren Simon Marginson påpeker treffende at:

«Ranking provides a clear-cut mapping of who is who in the zoo and at best an objective guide to the main concentrations of research capacity and reputation, though it does not tell people where they will learn the most or the best” (Marginson 2016, IREG-8 Conference, 4–6 May, Lisbon 2016)

Hvordan definerer de globale rangeringene kvalitet? Det finnes ikke noen omforent definisjon eller forståelse av kvalitet, og de ulike rangeringene bruker og vektlegger ulike indikatorer. For eksempel legger ARWU svært stor vekt på antallet nåværende og tidligere tilsatte som har blitt tildelt Nobel- priser og institusjonens størrelse. Til sammenligning legger U-Multirank til rette for en mer nyansert og brukerstyrt forståelse av kvalitet, der ulike indikatorer brukes som grunnlag for å presentere resultater for ulike kvalitetsområder.

Fordi det ofte ikke eksisterer kvantitative og enkelt sammenlignbare data mellom institusjoner og land for utdanningskvalitet, må rangeringene benytte tilgjengelige indikatorer som de antar har sammenheng med kvaliteten på det de ønsker å måle (proxy-indikatorer). Rangeringene fra både QS og Times Higher Education bruker for eksempel det tallmessige forholdet mellom antall studenter og faglige tilsatte som et mål på undervisningskvalitet.

Tanken er at dette forholdet reflekterer studentenes kontakttid med lærere og forskere, og at mer kontakttid gir en høyere opplevelse av kvalitet hos studentene. Den etter hvert omfattende forskningslitteraturen som kritisk analyserer de internasjonale universitetsrangeringene, konkluderer gjennomgående med at de er forskningsorienterte og at de egentlig ikke baserer seg på gode data om institusjonenes utdannings- og undervisningsaktivitet.

I tillegg til forholdstall mellom lærere og studenter er en stor del av øvrige indikatorer som er ment å si noe utdanningskvalitet i stor grad påvirket av studentens input, slik som studentens opptaksnivå (inntakskvalitet). Dette kan være en nyttig indikator for studentens læringspotensial og studieprogrammets popularitet, men måler i hovedsak egenskaper ved studentene og er et lite presist mål på kvaliteten på undervisning og læring som gis.

Det er også en åpenbar risiko for at resultatene fra de eksisterende globale rangeringene er selvforsterkende ved at indikatorene som brukes favoriserer og selekterer fram en bestemt type høyere utdanningsinstitusjoner, nemlig store, internasjonalt orienterte angloamerikanske forskningsuniversiteter. Dette kan bidra til å gjøre det vanskelig å lykkes med andre modeller eller målsettinger for høyere utdanning og institusjonell utvikling, noe som igjen kan medføre svekket diversitet i utdanningstilbud, undervisningspraksis og læringsstrategier. 

De største globale rangeringene dekker kun en liten andel av verdens universiteter og høyskoler. En vesentlig utfordring er derfor hvordan rangeringene kan utvikles til å fange opp et større mangfold av institusjonelle strategier og målsettinger. I en studie fra 2014 der forskere fra University of Liverpool så nærmere på hva som skal til for å score høyt på internasjonale rangeringer, konkluderer de med at de to mest karakteristiske trekkene ved de universitetene som scorer best er institusjonens alder og økonomi (Majeed og Taylor, 2014). Forfatterne mener resultatene indikerer at nøkkelen til suksess for universitetene er at de ble grunnlagt for over 200 år siden, og at de har gjort det godt på aksjemarkedet.

Et skritt i riktig retning er utvikling av rangeringssystemer som bygger på et større datatilfang og som lar brukerne velge hvilke kvalitetsområder som skal sammenlignes. U-Multirank er et eksempel på en slik utvikling. Der kan brukerne bygge opp sine egne rangeringer med grunnlag i indikatorer for ulike områder de er spesielt interessert i. På denne måten får brukerne mer kontroll i sine analyser og får mulighet til å sammenligne institusjoner eller programmer på faktorer som er viktige for dem. 

Metodologien i de ulike rangeringene

Rangeringene har opplagt store metodologiske utfordringer, men det blir feil å skjære alle over en kam. Eksempelvis er Leidenrangeringen strengt tatt ikke en rangering, men en database/informasjons- kanal til bibliometriske data for verdens 500 mest publiserende universiteter. Metodene som ligger til grunn for Leidenrangeringens beregninger er godt beskrevet – det lar seg intuitivt gjøre å forstå resultatene, og å gjenskape dem med det samme datamaterialet.

Det samme kan sies om U-Multirank, som også i stor grad er en database der en kan finne informasjon på flere dimensjoner. I fortsettelsen vil vi gå nærmere inn på metodologien i de tre store globale universitetsrangeringene: THE, ARWU, QS samt U-Multirank. Alle disse rangeringene har både institusjons- og et utvalg fagrangeringer.

ARWU og THE

Ifølge Piro et al.² (2014) er det store svakheter med begge disse rangeringene. Hovedutfordringene er bl.a. at bakgrunnstallene i stor grad er skjult (spesielt i THE), og de blir underveis transformert matematisk på måter som ikke er utfyllende beskrevet slik at det ikke er mulig fullt ut å rekonstruere beregningene som er gjort.

Samtidig skiller ARWU og THE seg fra hverandre på flere måter. ARWU kan sies å være en svært elitistisk rangering, der mesteparten av rangeringen avgjøres av priser og enkeltpublikasjoner fra et svært lavt antall forskere ved universitetene. ARWU er strengt tatt en usedvanlig individorientert rangering, men den vektlegger også institusjonell størrelse. Antall publikasjoner ses som en verdi i seg selv, uavhengig av hvor mange forskere/ansatte som bidrar til å publisere et gitt omfang av publikasjoner. Nøkkelen til å lykkes i ARWU er å være et stort universitet med mange Nobelprisvinnere. Ifølge Piro og Sivertsen (2016) er årsaken til at for eksempel Universitetet i Oslo³ scorer relativt høyt på denne rangeringen, at universitetet har hatt tre Nobelpriser (den siste i 1989) og at det er et relativt stort universitet.

THE har et mer institusjonelt perspektiv der svært mange av indikatorene er designet for å måle sammensetningen av personale og studenter, universitetets relasjoner til næringslivet etc. De fleste indikatorer vektes i en eller annen forstand for å ta høyde for et universitets størrelse (eller kjøpekraft).

Til tross for et stort antall indikatorer som angivelig fanger opp alt det essensielle ved universitetenes arbeidsoppgaver, så har de fleste av disse indikatorene forholdsvis lav vekt inn i totalvurderingene i rangeringene, slik at det i hovedsak er kun to faktorer som forklarer det meste: hvor mye et universitets publikasjoner er sitert og hvor mange stemmer et universitet får i forhold til Harvard på THEs omdømmeundersøkelse⁴.

Det er et stort metodisk problem at THE ikke offentliggjør resultatene fra sistnevnte, slik at vi ikke vet hvor mange som har avgitt stemme til hvert enkelt universitet.

Det er god grunn til å tro at omdømmeundersøkelsen bidrar til stor variasjon i enkeltuniversiteters plassering fra ett år til et annet i den forstand at det kanskje bare skiller 10–20 stemmer mellom et universitet rangert som er rangert som nummer 140 og et universitet rangert som nummer 290 på omdømmeundersøkelsen. Hvis slike tall hadde blitt offentliggjort, ville trolig tiltroen til THE blitt undergravd siden omdømmeundersøkelsen er styrende for over en tredjedel av det endelige resultatet i THE.

Piro og Sivertsen (2016) har sett spesielt på hva som forklarer de høyest rangerte nordiske universiteters plassering på ARWU og THE. De konkluderer med at forskjellene i plassering i liten grad kan forklares ut fra vesentlige faktorer, men i hovedsak kan tilskrives størrelsesforskjeller, historiske Nobelpriser og omdømme.

Rangeringene sier lite om undervisning. Dette er den åpenbart største svakheten ved begge rangeringene. Både ARWU og THE er strengt tatt forskningsrangeringer, men ønsker å gi inntrykk av noe annet. I ARWU legges publikasjoner i Nature og Science og i Web of Science frem som mål på forskning, mens de to indikatorene «høyt siterte forskere» og «ansatte som har vunnet Nobelprisen» omtales som indikatorer for kvaliteten på det vitenskapelige personalet. Til slutt omtales indikatoren for «tidligere studenter som har vunnet Nobelprisen» som en indikator på utdanningskvalitet.

Det kan settes store spørsmålstegn ved disse kategoriseringene av indikatorene, og vi mener det er mer korrekt å betegne dem alle som forskningsindikatorer. Hvis ARWU også hadde gjort det, kunne de neppe ha omtalt seg selv som en universitetsrangering, men heller tydd til begrepet forskningsrangering. 

THE kan også sies å være en forskningsrangering. Der er 60 % av rangeringen relatert til forskningsindikatorer, mens 7,5 % sier noe om det internasjonale mangfoldet og 2,5 % sier noe om i hvor stor grad universitetene genererer inntekter fra næringslivet. Utdanningsdimensjonen («Teaching» som referer til læringsmiljø) vektes til 30 % av totalscoren, der halvparten er basert på resultater i omdømmeundersøkelsen. Fordelingen på enkeltindikatorer er som følger:

• Omdømmeundersøkelsen undervisning: 15 %
• Ansatt-student ratio: 4,5 %
• Doktorgradsstudenter-bachelorgradsstudenter ratio: 2,25 %
• Tildelte doktorgrader per akademisk ansatt: 6 %
• Inntekter per vitenskapelig ansatt (Institutional income): 2,25 %

De valgte indikatorene sier med andre ord i beste fall svært lite om utdanningskvalitet. Sentrale (og tilgjengelige) indikatorer som studiegjennomføring, studenttilfredshet og relevans) er ikke vurdert. Egentlig er det ingen av de nåværende universitetsrangeringene som vektlegger studentenes oppfatninger av kvalitet. THE planlegger fra og med 2016 å inkludere data fra egne studentundersøkelser i England og USA⁵.

QS

QS publiserer flere ulike rangeringer hvert år. De viktigste kan grovt sett deles i to: de som er på institusjonsnivå og de som kun forholder seg til ett eller en samling fagområder. Blant rangeringene på institusjonsnivå finnes det en verdensrangering og fem regionale rangeringer. Fagområderangeringene finnes på to nivåer, først på fagfeltnivå (faculty) og under dette på fagnivå (subject). 

Institusjonsrangeringer 

Verdensrangeringen og regionsrangeringene er forskjellige. De inneholder til dels ulike indikatorer og vektene er heller ikke lik. Det finnes ingen regionsrangering for institusjoner i Nord-Amerika, Vest- Europa og Oseania. I denne delen ser vi derfor kun på verdensrangeringen som består av følgende seks indikatorer:

• Omdømmeundersøkelse i akademia (40 %)
• Ansatt-student-ratio (20 %)
• Siteringer per fagansatt (20 %)
• Omdømmeundersøkelse i arbeidslivet (10 %)
• Andelen internasjonale studenter (5 %)
• Andelen internasjonale fagansatte (5 %)

Det som skiller QS fra THE i at akademisk omdømme spiller en større rolle (40 %). Det er imidlertid kun forskningsomdømme som vurderes, ikke både forsknings- og undervisningsomdømme som i THE.

I tillegg benyttes det også en omdømmeundersøkelse blant arbeidsgivere hvor disse blir bedt om å vurdere hvilke institusjoner de foretrekker å rekruttere ansatte fra. Utdanningsdimensjonen er begrenset til to variabler: ansatt-student-ratio og andelen internasjonale studenter. Ansatt-student-ratio benyttes også i THE, men teller vesentlig mer her (20 % mot 4,5 %). Andelen internasjonale studenter er ment å si noe om institusjonens tiltrekningsgrad internasjonalt. QS fanger imidlertid ikke opp undervisningsdimensjonen noe bedre enn THE, også her mangler helt sentrale indikatorer.

Fagområderangeringer 

Det er fem ulike fagfeltrangeringer (Arts & Humanities, Engineering & Technology, Life Sciences & Medicine, Natural Sciences, Social Sciences & Management) og under disse igjen finnes det 42 ulike fagrangeringer. Både fagfelt- og fagrangeringene baserer seg på fire indikatorer:

• Omdømmeundersøkelse i akademia
• Omdømmeundersøkelse i arbeidslivet
• Siteringer per publisering
• H-indeks

Vektingen av indikatorene varierer fra fagfelt til fagfelt og fra fag til fag. Dette er fordi omfanget av publiseringer og siteringer varierer fra fag til fag. Det er for eksempel vesentlig høyere omfang av publiseringer og siteringer i naturvitenskapelige enn i humanistiske fag. QS opplyser om hvor stor vekt de ulike indikatorene har i de ulike fagfelt- og fagrangeringene. I enkelte fag (eks. ikke-engelsk språk og utøvende kunst) benyttes kun de to omdømmeundersøkelsene som indikatorer. (http://www.iu.qs.com/university-rankings/subject-tables/)

Bakgrunnen for at kun disse fire indikatorene er valgt ut på fagfelt- og fagnivå er at det er vanskelig å få tak i tall med god datakvalitet på de andre indikatorene som benyttes på institusjonsnivå. Dette betyr imidlertid at undervisningsdimensjonen faller helt bort fra disse rangeringene.

I nesten alle fagfelt og fag vektes omdømmeundersøkelsene totalt sett mer enn forskningsindikatorene. Disse rangeringene kan derfor primært sies å være omdømmerangeringer. Dette gjør at fagmiljøer som har gode forskningsresultater kan havne ganske langt ned på rangeringen. Et eksempel på dette er statsvitenskap ved UiO. I dette faget teller omdømmeundersøkelsene 80 %. Selv om UiO er på 11. plass på siteringer per publikasjon og 12. plass på H-indeks, havner de totalt sett på mellom 51. og

100. plass på fagrangeringen.

QS er mer åpen om metoden som brukes i omdømmeundersøkelsene enn THE. Selv om resultatbearbeidingen av respondentenes svar blir beskrevet på nettsiden til QS, er ikke beskrivelsen fullstendig. Det kan derfor være vanskelig å reprodusere resultatene. QS tilbyr imidlertid institusjonene datasett som inneholder alle svar fra fagpersoner eller arbeidsgivere som anser institusjonen som en toppinstitusjon nasjonalt eller internasjonalt. Datasettene inneholder bakgrunnsinformasjon som gjør at institusjonene kan kartlegge ved hvilke andre institusjoner, hvilke land eller blant hvilke bransjer de har godt omdømme ved.⁶

U-Multirank

Multirank er i utgangspunktet ment å være et verktøy for transparens heller enn en rangering av institusjoner. U-Multirank ble startet opp nettopp på bakgrunn av dette og ønsker å skille seg fra de tradisjonelle rangeringene ved å:⁷ 

• tydeliggjøre mangfoldet innenfor høyere utdanning ved å inkludere institusjoner med andre samfunnsoppdrag og profiler
• sammenlikne likt med likt ved å tilby et interaktivt kartleggingsverktøy gi institusjonene informasjon som kan benyttes i «benchmarking»
• hjelpe studentene med å ta informerte valg
• forbedre de metodiske begrensningene som man finner i de globale endimensjonale rangeringene

I U-Multirank kan leseren se på og sammenlikne institusjonsprofiler. I tillegg kan man velge ut ett av 13 fag og sammenlikne institusjoner innenfor disse fagene. I løpet av de neste årene skal flere fag inkluderes i U-Multirank. Data hentes fra tre ulike hovedkilder. Den viktigste er to typer av skjemaer som alle deltakende institusjoner fyller ut. Det finnes et skjema for data på institusjonsnivå, i tillegg fyller institusjonene ut et skjema for hvert fag som de tilbyr på institusjonen og som er inkludert i U- Multirank.

Det hentes inn studentdata, programdata, ansattdata, økonomidata og FoU-data (inkludert kunstnerisk utviklingsarbeid). Den andre kilden er studentundersøkelser⁸ som institusjonene sender ut på vegne av U-Multirank. Denne brukes kun i sammenlikninger på fagnivå. Den siste kilden er bibliometri- og patentdata som hentes inn fra henholdsvis Web of Science (bibliometri) og PATSAT (patent). U-Multirank publiserer en egen indikatorbok som på en detaljert måte forklarer hvordan de ulike kildene og dataene benyttes i indikatorene. Her finnes også formlene som brukes for å regne ut verdiene på indikatorene.

Indikatorene som kan brukes i sammenlikninger i U-Multirank fordeles på fem dimensjoner: 

• Undervisning og læring (4 indikatorer)
• Forskning (8 indikatorer)
• Kunnskapsoverføring (8 indikatorer)
• Internasjonal orientering (6 indikatorer)
• Regional orientering (5 indikatorer)

U-Multirank skiller seg derfor også fra de tradisjonelle rangeringeneene ved å inkludere vesentlig flere indikatorer. Indikatorene veies ikke og brukerne kan selv velge hvilke indikatorer de ønsker å se.

Undervisnings- og læringsdimensjonen inneholder gjennomføringsindikatorer heller enn forholdstall mellom ansatte og studenter. Beskrivelsene av indikatorene gjør det også relativt enkelt å forstå tallene som presenteres. Det er også vesentlig flere norske institusjoner med i U-Multirank enn i de tre overnevnte rangeringer (13 i 2016 ⁹).

Det er likevel noen utfordringer ved U-Multirank. Informasjonen baserer seg i stor grad på selvrapportering fra institusjonene. Det følger med retningslinjer og forklaringer som skal hjelpe institusjonene med utfyllingen og sikre sammenliknbare data på tvers av institusjoner og land. Rapportene blir kvalitetssikret av U-Multirank.

Det er imidlertid enkelte indikatorer som kan framstå som lite treffende. For eksempel benyttes «antall publiseringer per student» som indikator i stedet for antall publiseringer per vitenskapelig ansatt eller årsverk, noe som favoriserer forskningstunge små institusjoner med få studenter. At all informasjon er tilgjengelig og godt dokumentert, gjør det imidlertid mulig å diskutere de valgene som er gjort og også mulig å finne feil i tallene. Dette åpner opp for at andre kan påvirke U-Multirank til å gjøre endringer som kan bedre både indikatorene og datakvaliteten.

Selv om institusjonsrangering i utgangspunktet ikke var et mål med U-Multirank, har man på nettsiden likevel begynt å lage forhåndsdefinerte rangeringer. Det er to typer av disse: forskningsrangeringer og undervisnings- og læringsrangeringer. Forskingsrangeringene finnes kun på institusjonsnivå, mens undervisnings- og læringsrangeringene finnes på fagnivå. Det er per nå 13 fag med i U-Multirank.

Forskningsrangeringen inneholder syv indikatorer som man kan rangere etter. Man kan også rangere etter en «medaljeoversikt» hvor institusjonen(e) med flest «A» rangeres først, deretter rangeres de med likt antall «A» etter antall «B» osv. Dette medfører imidlertid at veldig mange institusjoner (17) deler førsteplassen, institusjonene rangeres derfor alfabetisk uten at det markeres tydelig for brukeren på noen måte. Rangeringen er imidlertid forhåndsinnstilt til å rangere etter siteringsrate. 

Hvordan bruker norske UH-institusjoner disse rangeringene?

Piro et al (2014) så også nærmere på hvordan universitetene i Norden forholder seg til rangeringene. Her framgår det at nordiske læresteder i liten grad bruker rangeringene i sin strategiske planlegging eller i benchmarkingen med andre universiteter. (Universitetet i Helsinki har imidlertid en målsetting om å være blant de 50 beste universitetene i verden). Men det oppgis at det indirekte kan ha bidratt til en generelt høyere kvalitetsbevissthet og en sterkere bevissthet om institusjonenes plassering i det nasjonale hierarkiet og økt behovet for dokumentasjon.

Selv om norske institusjoner i liten grad benytter rangeringene, blir de stadig vekk minnet på sine plasseringer fra samfunnet rundt seg. Senest i sommer uttalte representanter for NHO og Oslo Business Region seg om UiOs plassering på de ulike rangeringene. For å kunne konkurrere om de beste studentene mente de at UiO burde ligge i verdenstoppen (topp 30–40). UiO er enig i at de må være blant de beste i verden, men peker på at de allerede ligger høyt på rangeringene. Det finnes over 10.000 universiteter i verden og på ARWU er UiO på en 58. plass ¹⁰.

En mulig forklaring på den relativt avslappede holdningen til internasjonale rangeringer blant norske universiteter kan henge sammen med rangeringenes kjennetegn og utforming. Dette skyldes trolig den relativt ugjennomtrengelige dekomponeringen i de fleste rangeringene (unntaket er U-Multirank og Leiden) med indikatorer som de i varierende grad har mulighet for å påvirke. Rangeringene kan derfor egne seg dårlig som et verktøy for kvalitetsforbedring, sett fra universitetenes ståsted.

Det kan imidlertid se ut som om utviklingen av U-Multirank fører til økt fokus på åpenhet rundt metodene som benyttes. Både THE og QS benytter surveyundersøkelser i rangeringene sine. Tilgang til disse kan være nyttig i institusjonens kvalitetsarbeid. At QS nå gir institusjonene tilgang til bakgrunnsinformasjon om respondentene som velger ut institusjonen blant sine topp 10 nasjonalt eller topp 30 internasjonalt, er et positivt steg i retning av mer åpenhet.