Översyn av Expertgruppen för biståndsanalys

Sammanfattning

Statskontoret har på regeringens uppdrag gjort en översyn av Expertgruppen för bistånds­analys (EBA).

EBA är en kommitté som Utrikesdepartementet (UD) inrättade 2013. Kommittén ska utvärdera och analysera Sveriges internationella bistånd. EBA förmedlar också er­farenheter från andra aktörers forskning och analyser. Därigenom ska EBA bidra till att ta fram kunskap som regeringen kan använda för att styra och utveckla bi­stån­det.

EBA ska löpande analysera och utvärdera biståndet

Kommittén består av en expertgrupp med tio ledamöter och ett kansli med sju an­ställ­da. EBA har en budget på närmare 18 miljoner kronor 2018. Expertgruppen väl­jer självständigt vad de ska analysera och utvärdera och hur de ska genom­föra sina stu­dier inom ramen för regeringens direktiv. EBA anlitar i huvudsak forskare och and­ra experter för att utföra studierna, men expertgruppen ansvarar för studiernas kva­litet och beslutar om när de ska publiceras. EBA publicerar rapporter i egna rap­port­serier och inte i betänkanden som kommittéer normalt gör. Sedan 2016 anger rege­ringen i tilläggsdirektiven till EBA att verk­sam­­heten ska vara långsiktig.

Regeringen vill att EBA ska använda sin ställning och sitt mandat som fristående ana­lys- och utvärde­ringsfunktion för att studera strategiskt viktiga frågor för det svens­ka biståndet. De ska också Ni skulle kunna skriva detta i två meningar och lyfta fram att detta är nackdelar som ofta följer å komplettera de utvärderingar som bland andra Sty­rel­sen för internationellt utvecklingssamarbete (Sida) gör. Genom tilläggsdirektiven har regeringen uttryckt förväntningar om att EBA ska göra mer utvärderingar.

EBA har börjat hitta formerna för sin verksamhet

Vår översyn visar att EBA har svarat mot regeringens direktiv och intentioner när det gäller att kontinuerligt producera olika typer av studier om det svenska biståndet. EBA gör också kunskap från både egna studier och forskning tillgänglig för rege­ring­en och för andra relevanta målgrupper, vilket ligger i linje med regeringens in­ten­tioner.

Det har tagit några år för EBA att hitta formerna för verksamheten. Efter en trög start har produktionen stadigt ökat. Vi bedömer att EBA:s produk­tion är relativt hög i för­hållande till kommitténs ekonomiska och personella resurser. Sedan 2016 har de pro­ducerat drygt tio rapporter per år i sin ordinarie rapportserie. EBA sprider rap­por­ternas resultat vid egna seminarier och bidrar även till att förmedla forsk­nings­re­sul­tat från nydisputerade forskare.

Många av EBA:s intressenter anser att rapporterna ofta är intressanta och att semi­na­rierna är välarrangerade. Vi kan inte se att det finns några påtagliga överlappningar mel­lan EBA och Sida eller mellan EBA och några andra analys- eller ut­vär­de­rings­myn­digheter.

Rapporterna behöver bli mer relevanta och användbara

Vår analys visar att EBA:s rapporter inte har påverkat regeringens politik direkt och inte heller påverkat Sidas sätt att arbeta på något avgörande sätt. Det beror oftast på att målgrupperna inte uppfattar att rapporten bidrar med ny kunskap eller på att den inte kommer i rätt tid för att kunna användas i någon aktuell besluts­process. Det kan också bero på att studien inte är relevant för det svenska biståndet, eller att författaren inte är tillräckligt insatt i hur det svenska biståndet styrs och genomförs. EBA har hit­tills i relativt liten utsträck­ning använt sitt mandat som extern utvär­derare och grans­kare av biståndet. Men antalet utvärderingar har ökat efter att regeringen ändra­de kommitténs direktiv 2016.

Vi bedömer att EBA:s största utmaning är att få rapporterna mer relevanta och an­vänd­bara. EBA riskerar att tappa sin legitimitet om de inte lyckas med detta. Vi upp­fat­tar också att EBA vill vara relevanta för regeringen och att de därför planerar för­änd­ringar eller redan har genomfört vissa förändringar i sitt sätt att arbeta. EBA för­sö­ker till exempel att få de tänkta mottagarna att delta tidigt i processen genom att de är med i referensgrupper kopplade till rapporterna. EBA har också fått bättre över­blick över regeringens styrdokument för biståndet och när de löper ut. Det ökar förut­sätt­ningarna för att kommande studier kan publiceras i rätt tid för att regeringen ska kun­na använda dem för att styra biståndet. EBA vill också genomföra fler ut­vär­de­ringar, stärka kansliets kompetens inom kommunikation och ha en mer systematisk upp­följning av verksamheten.

Vi har också uppmärksammat några ytterligare åtgärder som EBA kan vidta för att stär­ka förutsättningarna för att rapporterna ska bli relevanta och användbara. Exem­pel­vis kan EBA ta fram kriterier för hur expertgruppen och referensgrupperna ska be­döma rapporternas kvalitet och relevans för den tilltänkta målgruppen. Vi har också uppmärksammat att EBA saknar en tydlig strategi för hur de ska använda sitt man­dat och resurser för att nå regeringens mål på ett effektivt sätt. EBA bör även över­väga att följa upp resultatet av de utvecklingsinitiativ som redan har påbörjats. Men EBA är en liten organisation vilket sätter gränser för vad som är möjligt och rim­ligt att utveckla. Valet av utvecklingsinsatser bör därför grundas i väl avvägda prio­riteringar som EBA själva måste ta ansvar för.

EBA bör fortsätta sin verksamhet i samma organisationsform

Statskontoret föreslår att regeringen låter EBA fortsätta att bedriva sin verksamhet i sin nuvarande organisationsform, det vill säga som en kommitté med en kontinuerlig verksamhet. Organisationsformen har inte på något avgörande sätt hindrat EBA från att rekrytera och behålla kompetent personal. EBA har kunnat agera självständigt och med integritet samtidigt som de har producerat kun­skapsunderlag på ett kost­nads­effektivt sätt.

Myndighetsformen bör normalt vara förstahandsalternativet för statlig verksamhet och vi bedömer att både styrelsemyndighet och enrådighetsmyndighet skulle kunna passa för verksam­heten. Men vi bedömer också att en för­ändring av organisationen skulle medföra omställningskostnader och att verksamheten får starta om på nytt. Det skulle riskera att minska produktionen, att stoppa förändringsarbetet och att öka re­surserna för administration. Det är inte heller säkert att en förändrad orga­ni­sa­tions­form skulle ge EBA bättre förutsätt­ningar att uppfylla regeringens mål. Tidigare er­fa­ren­heter tyder på att det är svårt att hitta en idealisk form för verksamheten och att den också är svår att bedriva på ett sätt som tillfredsställer alla behov och förvänt­ningar. EBA:s största utmaning kommer oavsett organisationsform vara att väga själv­ständigheten i valet av studier mot att vara relevant för regeringens politik.

Statskontorets översyn av EBA

Regeringen vill ha en effektiv och ändamålsenlig fristående funktion som utvärderar och analy­serar Sveriges internationella bistånd. Sedan 2013 ska kommittén Expert­grup­pen för bistånds­analys fylla denna funktion. Statskontoret har fått i uppdrag av rege­ringen att se över kommitténs verksamhet och organisationsform.

Expertgruppen för biståndsanalys ersatte SADEV

Expertgruppen för biståndsanalys (EBA) inrättades av regeringen den 31 januari 2013 för att kontinuerligt utvärdera och analysera Sveriges internationella bistånd.^[1] Kom­mittén ersatte myndigheten Institutet för utvärdering av internationellt utveck­lings­samarbete (SADEV) som verkade 2006–2012.^[2] Regeringen har haft tillgång till liknande analys­funktioner innan dess, både i form av en kommitté och en expert­grupp i Utrikes­departe­mentet.^[3] Ingen av de tidigare funktionerna har varit lång­varig.

Expertgruppen inrättades på kort tid för att undvika glapp

Regeringen förberedde att inrätta EBA på kort tid. Målet var att så fort som möjligt in­rätta en ny utvärderings­funktion efter beslutet om att avveckla SADEV den 31 decem­ber 2012. När riksdagen behand­lade rege­ringens förslag om budget för av­veck­lingen betonade utrikesutskottet att det inte fick uppstå något glapp i utvär­de­rings­verksamheten.^[4]

Regeringen tog beslu­tet om att avveckla SADEV cirka ett halvår efter det att Stats­kontoret i en rapport hade rekommenderat regeringen att skapa förutsättningar för en omstart av verksamheten. Statskontoret konstaterade att rege­ringens förvänt­ningar på SADEV inte hade infriats och att myndigheten inte hade fått tillräckligt bra för­ut­sättningar för verksamheten. SADEV hade bland annat inte produ­cerat relevanta ut­värderingar av hög kvalitet. Myndigheten hade inte heller utvärderat biståndets ef­fek­ter, vilket var en av huvuduppgifterna.^[5]

En kommitté var ett sätt att snabbt komma igång

Regeringen tillsatte ingen organisationsutredning i samband med att SADEV skulle er­sättas med en ny analysfunktion. Utrikesdepartementet (UD) utredde i stället in­tern­t under hösten 2012 den nya funktionens uppdrag och organisa­tions­form.^[6]

UD bedömde att en kommitté skulle vara den lämpligaste orga­nisa­­tionsformen för att funktionen snabbt skulle komma igång och börja producera. UD bedömde också att kommitté­formen var flexibel. Funk­tionen skulle inledningsvis behöva hitta sin roll och sina arbetsformer, men regeringen skulle relativt snabbt kunna justera verk­sam­hetens inriktning och omfattning om det skulle behövas. Andra fördelar med att ha funktionen som en kommitté var att den skulle kunna använda Rege­rings­­kansliets kom­mitté­lokaler och kommitté­service och att rege­ringen senare skulle kunna följa upp om den valda organisationen var lämplig.^[7]

Den 31 januari 2013 beslutade regeringen om direktiven till kom­mittén. Leda­mö­ter­na var då utsedda. Tjänste­män på UD som var involverade i arbetet har beskrivit för oss att processen var mycket tidspressad.

Kommittéförordningens betydelse för EBA utreddes inte

En kommitté är en grupp som har tillkallats av regeringen och som har ett utred­nings­uppdrag. Den har bildats tillfälligt för att skaffa underlag för ett politiskt ställ­nings­tagande. Kommittén ingår i Regeringskansliet, men ansvarar för sin egen verk­sam­het på samma sätt som en myndighet. En del av departe­mentens anslag går till kom­mitté­verksamheten.^[8]

Kommittéer ska följa kommittéförordningen (1998:1474). Förordningen reglerar kom­mitténs organi­sation, planering och budgetering, redovisning av utrednings­ar­be­tet, för­ordnanden och arvoden med mera. Inför starten av EBA utredde inte UD hur kommitténs verksamhet skulle förhålla sig till bestäm­mel­serna i kommitté­för­ord­ningen.

EBA har fått andra förutsättningar än kommittéer normalt har, på flera sätt. Det gäller även vissa andra kommittéer som Expertgruppen för studier i offentlig ekonomi (ESO) och Delegationen för migrationsstudier (Delmi). Dessa tre kom­mit­téer be­dri­ver en löpande analysverksamhet och pub­licerar sina rapporter i egna rapportserier, inte som betänkanden i serien Statens offentliga utredningar (SOU). Kommittéerna be­­stämmer också i hög grad själva över sina arbets­former och vad de ska studera.

ESO stod som förebild för EBA

ESO stod som förebild för hur EBA skulle organiseras och arbeta. I de första direk­ti­ven angav regeringen att EBA:s arbetsformer borde bygga på bland annat er­fa­ren­he­ter från ESO.^[9] Därför utsåg regeringen Lars Heikensten till ordförande i kom­mit­tén. Han hade då varit ordförande i ESO sedan 2007. Likt ESO kom EBA att bestå av en expert­grupp med ledamöter som har tillgång till ett kansli för det löpande ar­be­tet. Kansliet motsvarar sekretariatet hos andra kommittéer.

EBA består av tio ledamöter och ett kansli med sju personer

EBA består av en expertgrupp med tio ledamöter och ett kansli med för närvarande sju förordnade tjänste­män, varav en är kanslichef. Det har varit en viss personalom­sätt­ning både i expertgruppen och i kansliet sedan starten. Under 2017 förordnade rege­ringen både en ny ord­föran­de och en ny kanslichef till EBA. Av expert­gruppens nuvarande ledamöter har fyra varit för­ordnade sedan starten i januari 2013. Den nu­va­rande kanslichefen var tidigare utrednings­sekreterare och är den av kansli­per­so­na­len som har arbetat längst på EBA, ända sedan december 2013. Förord­nan­dena för både ledamöter och kansli­personal löper ut den 31 december 2018.

En budget på närmare 18 miljoner kronor 2018

EBA:s budget har ökat successivt sedan starten. Det första verksamhetsåret fick EBA 13 miljoner kronor. För 2018 har EBA fått närmare 18 miljoner kronor. EBA:s verk­sam­het finansieras med medel från ett särskilt anslag inom utgifts­om­råde 7 Inter­na­tio­nellt bistånd.^[10] Medlen dispo­neras av Rege­rings­kansliet (UD) och får användas för expertgruppens verksamhet och förvaltningskostnader. EBA får ­spara högst 3 pro­cent av de tilldelade medlen till nästkommande år.^[11]

Utrikesdepartementet ansvarar för kommittén

Utrikesdepartementets enhet för internationellt utvecklingssamarbete (UD IU) an­sva­rar för att bereda kommitténs direktiv samt förordnanden av leda­möter och kans­li­personal. Chefen för enheten beslutar om delegering av medel till EBA utifrån EBA:s förslag på budgetposter. Enheten ansvarar också för att föra en löpande dialog med expert­gruppen och dess kansli. Den tjänsteman som är handläggare för EBA är även för­ordnad som expert i kommittén och deltar vid expert­gruppens samman­trä­den.

Utöver UD IU är UD:s personalenhet (UD P) involverad i administrationen av EBA och vissa beslut tas av det ansvariga statsrådet. Expertgruppen och kanslichefen re­kry­terar själva till kansliet i dialog med UD:s personalenhet. Stats­rådet be­slutar om alla anställ­ningar efter föredragning av UD IU.

Regeringen har tidigare aviserat en översyn

I de första direktiven till EBA uppgav regeringen att den löpande skulle följa expert­gruppens arbete och senast under våren 2016 ta ställning till om organisa­tions­formen var ändamålsenlig. Hösten 2015 genomförde UD på egen hand en mindre översyn av verksamheten. Den ledde till att rege­ringen i juli 2016 fattade beslut om tilläggs­di­rektiv till EBA som ersatte de tidigare direktiven.^[12]

De nya direktiven förtydligar kommitténs uppdrag. Bland annat har regeringen för­tyd­ligat att EBA:s utvärderingar och analyser ska bidra till kunskap som grund för hur rege­ringen styr och utvecklar biståndet. I direk­tiven anger regeringen också att verk­samheten bör vara lång­siktig, men att både verksamheten och organise­ringen ska ses över under 2018 som grund för rege­ringens beslut om hur kom­mittén ska fort­­sätta sitt arbete. Det är denna översyn som Stats­kontoret nu har fått i uppdrag att ge­nomföra.^[13]

Regeringens uppdrag till Statskontoret

Statskontoret ska enligt uppdraget analysera om Expertgruppen för biståndsanalys genom sin verksamhet har svarat mot rege­ringens behov och intentioner samt om verk­samheten är ända­måls­enligt organi­serad. Regeringen konkretiserar detta i föl­jan­de sex frågor:

1. Har EBA:s verksamhet bidragit till det övergripande målet för verksamheten en­ligt direktiven?
2. Har EBA genom sitt unika mandat kompletterat annan analys- och utvärde­rings­verk­samhet och på så sätt stärkt den sammantagna analys- och utvärde­rings­verk­samheten inom området?
3. Hur har de tilltänkta målgrupperna uppfattat kvaliteten (inklusive relevans, an­vänd­barhet och trovärdighet) i rapporter och seminarier?
4. Har kommittén och kansliet effektiva och ändamålsenliga arbetssätt för att sä­ker­ställa relevans och kvalitet i verksamheten?
5. Är formerna för dialog mellan EBA och UD samt andra aktörer ändamåls­enliga, med hänsyn till att EBA ska ha en hög grad av oberoende och samtidigt leverera relevanta studier?
6. Är kommittéformen ändamålsenlig för verksamheten och vilka är dess för- och nackdelar?

Översynen ska ligga till grund för regeringens beslut om hur verksamheten ska be­dri­­vas fortsätt­ningsvis. Om Stats­kontoret bedömer att verksam­heten bör fortsätta i kom­­mittéform kan vi lämna förslag till EBA om hur verksam­heten kan utvecklas. Upp­draget finns i bilaga 1.

Så har vi tolkat och avgränsat uppdraget

Regeringen har inte gett Statskontoret detta uppdrag på grund av några uttalade problem i verksamheten eller med organisationsformen. Vi tolkar att vi därför ska föl­ja upp och bedöma EBA:s verksamhet i förhållande till direktiven och rege­ringens in­ten­­tioner, men inte ompröva verk­samheten. Regeringens utgångs­punkt är att verk­sam­heten ska fortsätta. Däremot ska vi kunna ompröva EBA:s organi­sations­form. Vi tol­kar att vi i prövningen ändå ska utgå från rege­ringens och riksdagens tidigare be­s­lut om att det behövs en fristående utvärderings­funktion på biståndsområdet.

Enligt uppdraget ska vi i första hand utgå från direktiven till EBA som gäller sedan den 21 juli 2016. Men behöver vi även ta hänsyn till EBA:s första direktiv, eftersom de var styrande för verk­sam­heten under de första åren. Annars kan vi inte ge en rätt­vi­sande bild av verksamheten och av förändrin­garna i den.

Vi har utgått från hur EBA tolkar sitt uppdrag och säker­ställer att de inte över­lappar annan verksamhet för att kunna bedöma om EBA kompletterar annan analys- och ut­värderings­verksamhet. Vi har också utgått från hur kom­mitténs främsta målgrupper uppfattar att EBA uppfyller dessa förväntningar. Även när det gäller kvaliteten i EBA:s rapporter och seminarier har vi utgått från hur målgrupperna uppfattar kvaliteten. Vi har avgränsat oss till främst UD och Styrelsen för inter­nationellt utveck­lings­samarbete (Sida) som vi har bedömt är de främsta mål­grupperna. Det har alltså inte ingått i vårt uppdrag att kart­lägga produk­tionen hos andra tänk­bara analys- och utvärderings­funktioner för att identifiera eventuella överlapp­ningar, eller att själva bedöma kvaliteten i EBA:s rapporter och seminarier.

Enligt uppdraget ska vi använda ett jämställdhetsperspektiv i analysen. Vi har av­grän­­sat det till att redovisa hur EBA bedömer att de har anlagt ett jämställd­hets­pers­pek­tiv i sina studier och redovisa könsfördelningen bland de författare som EBA har anlitat.

Så har vi genomfört översynen

Vi har genomfört uppdraget under perioden januari–maj 2018 och samlade in under­la­get huvudsakligen under februari–april. Underlaget består av olika typer av of­fent­li­ga och interna dokument, bland annat propositioner, direktiv, rapporter, protokoll, av­tal, interna styrdokument, uppföljningar samt budget och ekonomiskt utfall. Inter­vju­er samt kompletterande muntliga och skriftliga upplysningar är andra viktiga un­der­lag. EBA, UD och Sida har varit de främsta uppgifts­läm­narna.

Vi har även hämta in upplysningar från rättschefens kansli och gransknings­kansliet i Statsrådsberedningen om kommittéförordningen (1998:1474) och vad som gäller för kommittéer med ett mer varaktigt uppdrag. Vi har också samrått med sekre­tariatet i Utredningen om rege­ringens analys- och utvär­deringsresurser (dir. 2017:79). Utredningen ska redovisa sitt betänkande senast den 31 augusti 2018.

Direktiven och EBA:s produktionsprocess som utgångspunkt

• I analysen av EBA:s uppdrag och förutsättningar för verksamheten har vi främst ut­gått från direktiven och kommitté­förord­ningen. EBA behöver bland annat väl fun­ge­rande arbetsformer och rutiner i hela produk­tionsprocessen för att de ska kunna full­göra uppdraget och producera relevanta studier av hög kvalitet. Vi har utifrån denna process studerat hur EBA har tolkat sitt uppdrag och inriktat sin verksamhet samt hur de går till väga när de väljer vad de ska studera och vem som ska utföra stu­dien. Vi har också studerat EBA:s rutiner för att säkra kvaliteten i rapporterna innan de publiceras, EBA:s dialog med framför allt UD och Sida för att kunna göra rele­vanta studier samt hur EBA följer upp sin verksamhet.

Kartläggning av verksamheten och rapportproduktionen

Vi har kartlagt EBA:s verksamhet och rapportproduktion för att analysera verk­sam­he­tens inriktning och utveckling. EBA:s kansli har därför tagit fram och sam­man­ställt informa­tion om de 37 rapporter som EBA till och med 2017 har publicerat i ­se­rien EBA-rapporter samt information om de 15 studier i serien som på­gick i mars 2018. Vissa uppgifter har vi själva sammanställt utifrån informa­tion på EBA:s webb­plats. För varje studie har vi efterfrågat information om bland annat typ av studie, hur studien ini­tie­rades, studiens syfte, tänkt målgrupp och mottagare, valet av för­fat­tare, studiens tids­åtgång, författarens ersättning för arbetet och om studien har haft ett jäm­ställdhets­perspektiv. Vi har också efterfrågat information om bland annat hur studien är kopplad till regeringens biståndspolitik och till EBA:s verksam­hets­stra­te­gi.

Utifrån kartläggningen har vi valt ut tio studier som vi har begärt att få mer infor­ma­tion om. Vi har främst studerat de promemorior som har utgjort underlag för expert­grup­pens beslut om studierna, eventuella anbudsunderlag eller motsvarande inför att EBA har valt studie och författare samt kontrakten med för­fattar­na. Syftet med ur­valet var att få mer underlag för att analysera EBA:s arbets­sätt och att ställa frågor till de tänkta mottagarna om studien och processen runt den.

Valet av rapporter är inte slumpmässigt och därmed inte heller representativt för EBA:s samlade produktion. Vår utgångs­punkt har varit att täcka in olika typer av stu­dier och ämnen sedan 2016 och med olika motta­gande enheter i UD. Vi har valt fyra rapporter publicerade 2016, tre rapporter publicerade 2017 och tre studier som på­gick i mars 2018. En av de studier som pågick i mars publicerades i en rapport i maj 2018. Bilaga 2 sammanställer EBA:s publicerade rapporter och pågående studier samt dem vi har valt ut för en närmare analys.

Intervjuer med UD och Sida med flera

Sammantaget har vi personligen träffat eller per telefon intervjuat drygt 50 personer. I EBA har vi i samtalsliknande form intervjuat samtliga ledamöter och den kansli­personal som var för­ordnad våren 2018. Under dessa samtal har vi orienterat oss om verksamheten och fått en djupare inblick i arbetsformerna samt verksamhetens ut­veck­ling och utmaningar. Vi har också intervjuat EBA:s förra ordförande och kansli­chef samt en tidigare anställd på kansliet för att informera oss om hur verksam­heten funge­rade i uppstarten och under de första åren. Under projekttiden har vi besökt två av EBA:s rapportseminarier.

På UD har vi samtalat med statssekreteraren som företrädare för den politiska led­ningen och tjänstemän på enheten för inter­nationellt utvecklingssamarbete. Vi har också haft samtal med några tjänste­män som var delaktiga i processen när EBA bildades. Därutöver har vi per telefon intervjuat tjänstemän på de enheter som har varit mottagare av eller är tänkta mottagare av de rapporter som vi har valt ut att när­mare analysera. Totalt har vi talat med 18 personer. På Sida har vi samtalat med 10 personer, varav drygt hälften har varit direkt berörda av en rapport från EBA. Vi har också inter­vjuat en person i Swedfund. Några av de som vi har intervjuat har ock­så deltagit i någon av EBA:s referensgrupper.

Vi har också intervjuat företrädare för Delmis och ESO:s kanslier och gjort vissa över­gripande jämförelser mellan de tre kommittéerna som ett underlag för vår analys av EBA:s organisationsform och kommittéformens för- och nackdelar. Både EBA och Delmi har inrättats med ESO som före­bild. De tre kommittéerna har i flera lik­heter, bland annat genom sina långsiktiga uppdrag. Men det är bara ESO som inte har tidsbegränsade direk­tiv.^[14]

Projektgrupp och kvalitetssäkring av rapporten

Utredarna Annika Gustafsson (projektledare) och Jesper Östling Palme samt prak­ti­kan­ten Linnea Sandell har genomfört uppdraget. Rapporten har kvalitets­säkrats en­ligt Statskontorets interna rutiner. Vi har gett EBA och UD möjlighet att kon­trollera fakta i ett utkast till rapporten. Sida och Swed­fund har kontrollerat fakta i de delar som rör deras verksamhet.

Så har vi disponerat rapporten

I kapitel 2 strukturerar och analyserar vi EBA:s uppdrag. Kapitlet beskriver också några av de förut­sättningar som EBA i övrigt har för verksamheten, bland annat ge­nom att vara organiserad som en kommitté.

I kapitel 3 beskriver och analyserar vi EBA:s verksamhetsinriktning och produk­tion i förhållande till uppdraget och regeringens intentioner. Vi behandlar bland annat hur EBA har tolkat och opera­tionaliserat sitt uppdrag, hur de använder sina resurser och hur verksamheten i grova drag har utvecklats sedan starten. EBA:s verk­sam­hets­stra­tegi, vår kart­lägg­ning av rapportproduktionen och våra intervjuer med EBA ligger till grund för analysen.

I kapitel 4 redovisar vi de synpunkter UD, Sida och Swedfund har framfört på EBA:s seminarier, rapporternas relevans och kvalitet samt syn­punkter på EBA:s sätt att ar­beta. Samtliga intervjuer med målgrupperna ligger till grund för de omdömen vi re­do­visar.

I kapitel 5 går vi närmare in på EBA:s arbetssätt och hur de arbetar för att säkerställa rap­porternas kvalitet och att de blir relevanta för främst regeringen. Vi behandlar också hur EBA:s dialog med UD och Sida fungerar och hur EBA följer upp sin verk­samhet.

I kapitel 6 analyserar vi vad den valda organisationsformen har för konsekvenser för EBA:s verksamhet och kommitténs möjligheter att fullgöra uppdraget.

I kapitel 7 redovisar vi våra slutsatser om verksamheten och organisationsformen samt lämnar rekommendationer till regeringen och EBA.

Expertgruppens uppdrag och förutsättningar

I detta kapitel beskriver och analyserar vi regeringens uppdrag till Expertgruppen för bi­ståndsanalys (EBA) samt andra förutsättningar för kommittén och dess verk­sam­het. Statskontoret gör sammanfattningsvis följande iakttagelser:

• Regeringen och riksdagen har beslutat att den svenska förvaltningen ska in­rym­ma en fristående funktion som ska utvärdera det svenska biståndet. EBA har där­för fått stor självständighet. Expertgruppen beslutar om vad de ska studera och om riktlinjer för verksam­heten inom direktivens ramar. Expertgruppen an­sva­rar för rapporternas kvalitet, men det är de anlitade författarna som svarar för inne­håll, slut­satser och rekom­mendationer.
• De första direk­tiven till EBA var otydliga på flera punkter. En förklaring kan vara att regeringen inte tillsatte någon organisationsutredning för att precisera den nya funktionens syfte, uppgifter och målgrupp. EBA fick där­med inga för­ar­beten som stöd för att tolka sitt uppdrag.
• Regeringens nya direktiv förtydligar verksamhetens syfte, inrik­t­ning och huvud­sakliga målgrupp. EBA ska genom egna utvärde­ringar och ana­lyser främst bidra med kunskap som grund för hur rege­ringen styr och utvecklar bi­stån­det. EBA ska ägna sig åt frågor som är strategiskt viktiga för bistån­det och svensk bi­stånds­politik och komplettera de utvärderingar och ana­lyser som Sida och andra aktörer utför.
• Uppdraget till SADEV var avgränsat till att utvärdera biståndet. Upp­draget till EBA är vidare. Utöver utvärderingar ska EBA utföra andra typer av analyser och studier samt förmedla kunskap från forskning och analyser som andra ak­tö­rer har genomfört. Regeringens önskemål om att EBA ska göra mer utvär­de­ring­ar uttrycks under­förstått i direktiven främst som att EBA ska bedöma bi­stån­det ur flera aspek­ter.
• Regeringen har relativt höga förväntningar på vad EBA ska utföra med sin per­so­nalstyrka och bud­get. De flesta uppgifter for­mu­leras som ska-krav sam­tidigt som EBA har mandat att själva välja vilka studier de ska göra. Kraven på expert­grup­pens och kansliets kompetens och förmåga är relativt detal­je­rade. UD har också stora möjligheter att genom förordnan­dena påverka kompe­tens­sam­man­sätt­ningen. Nuvarande ledamöter och kanslipersonal har hög kom­petens och täck­er tillsammans in många ämnes- och kompetensområden.

Sverige behöver en fristående utvärderingsfunktion

Regeringen behöver kunskap som grund för att utveckla och styra biståndet. Rege­ringens beslut ska bygga på kunskap om hur biståndet genom­förs, vilka effekter det får och vad som bidrar till att förbättra levnads­villkoren för människor som lever i fat­tigdom och förtryck.^[15] Även riksdagens utrikesutskott har framfört att det behövs ge­digen kunskap om biståndets resultat och effekter och att det därför behövs en väl fungerande utvärderingsverksamhet.^[16] Regeringen och riksdagen slog redan 2003 fast att Sverige behöver en fristående utvärderings­funktion.

EBA har sin bakgrund i ett politiskt beslut från 2003

EBA har sin bakgrund i regeringens propo­sition 2002/03:122 Gemensamt ansvar: Sveriges politik för global utveckling. Regeringen och riks­dagen beslutade då om att inrätta en utvärde­rings­funk­tion för biståndsområdet, tydligt skild från den verk­sam­het som den ska analysera och bedöma. Syftet var att stärka utvärde­rings­verksam­heten och att öka dess trovär­dig­het. Den självständiga utvärderings­funktionen skulle från ett externt perspektiv granska och strategiskt analysera utveck­lings­samarbetet och på så sätt komplettera den utvärdering som Sida och andra gör av sin egen verk­samhet.^[17] Beslutet blev utgångspunkt för en närmare utredning som resulterade i att myndig­heten SADEV bildades 2006. SADEV ersattes av EBA 2013.

Olika begrepp för funktionens ställning och mandat

Staten har ett antal analys- eller utvärderingsmyndigheter inom olika samhälls­sek­to­rer som är organisatoriskt fristående från den eller de organisationer som ska ge­nom­föra regeringens politik. Begrepp som självständighet och oberoende används ofta för att beskriva den fristående utvärderings­funktionens ställning, mandat eller hand­lings­utrymme.

Ingen statlig organi­sation är helt självständig eller oberoende i förhållande till sin hu­vudman. Regeringen och ibland även riksdagen sätter ramarna för verksamheten ge­nom de till­delade upp­gifterna och den årliga budgeten. Huvudmannen har ett in­fly­tande över verk­sam­heten även genom sin utnämningsmakt, det vill säga upp­giften att utse vem eller vilka som ska leda verksamheten.

En organisatorisk åtskillnad syftar till att bland annat minska risken för intresse­kon­flik­ter och för att utvärderings­funk­tionen utsätts för påtryck­ningar från de som svarar för verksam­heten. Detta stärker funktionens trovärdighet. En fri­stående organisation blir också mer transparent. Transparensen gör det tydligt hur stor budget rege­ringen av­sätter för analys och utvärdering samt ökar förutsätt­ningarna att följa upp hur re­sur­serna används. Inom det biståndspolitiska området har rege­ringen och riksdagen or­ganisatoriskt velat skilja utvär­derings­­funktionen från bistånds­organisationen och då särskilt från Sida och Regerings­kansliet. Det beror främst på att Sida och Rege­rings­kansliet hanterar och betalar ut merparten av Sveriges bistånds­medel och därför har en central funktion för att genomföra regeringens politik.

Utvärderingsfunktionens självständighet är främst ett uttryck för att de ansvariga i orga­nisationen har stor frihet att välja till exempel studieobjekt, frågor, perspektiv och metoder inom de ramar som regeringen har angett. Samtidigt måste funktionen kunna balansera denna valfrihet mot relationen till de som är tänkta att ta emot resul­taten. Funktionen behöver bli respekterad för att resultaten ska tas om hand och leda till för­änd­ring. Då behöver också utvärde­ringarna och analyserna uppfattas som till­för­litliga, men också relevanta och användbara för mottagarna. Det visar tidigare rap­porter från Statskontoret, bland annat Statskontorets rapport om SADEV.^[18]

Funktionen och de som even­tuellt anlitas som utförare behöver ha nödvändig kom­pe­tens för sin uppgift för att kunna uppfylla mottagarnas för­väntningar på relevans och kvalitet. Utföraren ska också uppfattas vara oberoende, det vill säga saklig och opar­tisk, genom att själv inte ha varit involverad i den verksamhet som ska bedömas.

Självständigt val av studier och riktlinjer för verksamheten

EBA ska kontinuerligt utvärdera och analysera verksamheten inom utgifts­område 7 Inter­nationellt bistånd. Regeringen har gett expert­gruppen möjlighet att själva välja vad de ska studera och hur de ska genomföra sina studier inom ramen för direktivens övriga villkor. Det uttrycks i direktiven som att expertgruppen ska

• självständigt prioritera studieområden och teman, svara för vilka utvär­deringar, analyser och studier som ska genomföras samt besluta om publicering
• självständigt ange riktlinjer och metoder för verksamheten och säkerställa kvali­te­ten i analys- och utvärderingsverksamheten.

Analys är ett bredare begrepp än utvärdering och därför överlappar dessa be­grep­p varandra. Begreppet studier används av både regeringen och EBA som ett sam­lings­namn för projekt som ska utmynna i en rapport av något slag. Enligt EBA kan det vara utvärderingar, analyser, synteser, kartläggningar och andra typer av kunskaps­under­lag.^[19]

Mandaten för ESO och Delmi är utformade på liknande sätt. De ska själva välja vad de ska studera och prioritera. De ansvarar också för att ange riktlinjer för verksam­he­ten. I likhet med EBA kan de göra olika typer av studier inom sina respektive sam­­hällsområden, men de har en mer uttalad inriktning mot forsk­ning och forsk­nings­­resultat.

EBA är oberoende endast i förhållande till det som granskas

EBA har stor självständighet när det gäller att välja studier, riktlinjer och metoder. Direktiven kompletterar denna självständighet med några skrivningar om oberoende och ansvar:

• Både expertgruppen och personer som anlitas för att genomföra studier ska ha en oberoende ställning i relation till det som granskas.
• Det bör normalt vara rapportförfattarna som svarar för rapporternas innehåll, slut­satser och rekommendationer.
• Expertgruppen kan även framföra egna slutsatser och rekommendationer.

Genom dessa villkor gör regeringen det möjligt för expertgruppen att inte behöva hålla med författaren om slutsatser och rekommendationer i den publicerade rap­por­ten, så länge studien är väl genomförd i övrigt. Expertgruppen får också själv avgöra om de vill uttala sig eller till exempel föreslå för rege­ringen hur inrikt­ningen på poli­tiken kan förändras.

EBA säger ofta att de omfattas av ett så kallat dubbelt oberoende, ett begrepp som kom­mer från ESO. Med det menar EBA att kommittén är oberoende i för­hållande till regeringen och att skribenterna är oberoende i förhållande till EBA. Men be­grep­pet överensstämmer inte med direktiven. Oberoendet för expertgruppen och för­fat­ta­ren gäller enbart i relation till det som granskas.

EBA har ett vidare uppdrag och lägre budget än SADEV

Förutom organisationsformen skiljer sig regeringens uppdrag till EBA något från uppdraget till SADEV. SADEV skulle i huvudsak utvärdera Sveriges inter­natio­nella utveck­lings­samarbete och sprida information om resultaten. Utvärde­ringarna skulle gälla resultat och effekter samt effektiviteten i hur biståndsmedlen an­vän­des.^[20] Myn­dig­heten förväntades ge­nom­föra utvärde­ringarna med främst sin egen personal.

EBA har ett något vidare uppdrag än SADEV. EBA ska

• beställa eller genomföra utvärderingar, analyser och studier som gäller bi­stån­dets resultat och effektivitet och hur det genomförs
• aktivt sprida lärdomar, slutsatser och rekommendationer från genomförda stu­dier.

EBA har möjlighet att göra fler typer av studier än utvärderingar och har ett mer ut­talat uppdrag än SADEV hade när det gäller att sprida kunskap och resultat (se vi­dare avsnitt 2.2.6 och 2.3.). En tydlig ambition från regeringen har också varit att EBA främst ska anlita extern kom­petens för att genomföra studierna. EBA:s budget för 2018 på närmare 18 miljoner kronor är mindre än den som SADEV hade under sitt sista verksamhetsår. Anslaget till SADEV var nära 23 miljoner kronor för 2012.^[21]

EBA ska producera kunskap som ger ett mervärde

EBA ska bidra med kunskapsunderlag, men det är inte tänkt att kommittén ensam ska fylla regeringens behov av kunskap. EBA ska använda sitt mandat för att kom­plet­tera den verksamhet som andra analys- och utvärderings­funk­tioner be­driver, bland andra Sida. Regeringen förväntar sig också sedan direktiv­förändringen 2016 att EBA ska producera fler utvärderingar än tidigare.

Politikområdet är komplext och omfattar mycket pengar

Regeringens och riksdagens behov av kunskap om biståndspolitikens resultat moti­ve­ras bland annat av att internationellt bistånd är en stor del av statens budget. För 2018 uppgår bistånds­­ramen till 1 procent av brutto­national­inkom­sten (BNI). Statens ut­gifter för utgifts­område 7 är budge­terade till nära 43 miljarder kronor för 2018. Det är nästan lika mycket som statens budget för rättsväsendet eller försvaret.

Kunskaps­behovet motiveras också av att politik­området är komplext. Det spänner över flera samhällssektorer och tematiska områden. Det omfattar också ett stort antal länder och organisationer.

Biståndet skiljer sig från annan statlig verksamhet

Biståndet har vissa särdrag jämfört med annan statligt finan­sierad verksamhet. Verk­samheten bedrivs huvudsakligen utomlands och där insatserna ska ge nytta för andra än svenska med­borgare och skattebetalare. Sverige är sällan den enda givaren till ett land, en region eller en organisation. En stor del av det svenska biståndet betalas ut som kärnstöd till multilaterala organisationer. Ofta är också många aktörer in­vol­ve­rade i att genomföra den verksamhet som Sverige bidrar till. Sammantaget finns det flera särskilda förutsättningar som innebär att det kan vara en ut­maning att härleda och utvärdera effekter av just de svenska bistånds­insat­serna eller bidragen.^[22]

Det demokratiska perspektivet motiverar också att riksdagen värnar en fristående utvärde­rings­funktion. De svenska skatte­betalarna har rätt till insyn i om biståndet ger den nytta som det är tänkt för människor som lever i fattigdom och för­tryck.

EBA ska komplettera andra kunskapsproducenter

Rege­ringen skriver i budget­­propo­sitionen för 2018 att EBA har en viktig roll för att ta fram kun­skap som kan ligga till grund för hur biståndet ska utformas. Men rege­ring­en menar inte att EBA ska fylla det samlade kunskapsbehovet. EBA förväntas en­ligt UD skapa ett mervärde genom använda sitt mandat på bästa sätt när de väljer frå­gor och områden att studera.

I 2016 års direktiv betonade regeringen att EBA ska använda sin ställning som fri­stå­ende utvärderings­funktion för att komplettera den verksamhet som andra analys- och utvärderings­funk­tioner bedriver. Det innebär att de ska komplettera bland annat ut­värderingar från Sida och andra svenska statliga bistånds­­orga­nisationer som un­der­lag för eget lärande och för att för­bättra verk­sam­heten. EBA ska därför ha dialog med Sida, Utrikes­departe­mentet, Riksrevisionen, Statskontoret och andra relevanta ak­törer för att säkerställa att statens utvärde­rings­resurser används på bästa sätt.

Sida utvärderar biståndet inom sitt ansvarsområde

Sida producerar varje år ett stort antal utvärderingar av den biståndsverksamhet som myndigheten finansierar. Det är främst så kallade decentraliserade utvärde­ringar, men även ett mindre antal så kallade strategiska utvärderingar. De decentra­liserade ut­­värderingarna gäller främst projekt och program i samarbetsländerna. Utvärde­ring­arna upphandlas av Sidas operativa enheter och utförs av konsulter. De ska ligga till grund för Sidas lärande och ut­veckling av insatserna, men ska även vara till nytta för myndighetens samarbetsparter.^[23]

Sidas strategiska utvärderingar be­hand­lar frågor som är av intresse för hela myn­dig­heten. Därför är det generaldirektören som beslutar om planen för de strategiska ut­vär­deringarna. Utvärderingarna kan handla om tvärgående frågor, exem­pelvis hur Sida använder garantier i utvecklingssam­arbetet eller hur samspelet ser ut mellan hu­manitärt arbete och långsiktigt utvecklings­sam­arbete. Resultaten ska framför allt ligga till grund för Sidas ledning att styra verksamheten och för internt lärande. Flera av de strate­giska utvärderingarna är därför inriktade på interna arbetssätt.

Sida återinrättar en utvärderingsenhet

Under flera år gjorde Sida relativt få strategiska utvärderingar, bland annat som en kon­sekvens av att SADEV fanns. Men produktionen var fortsatt låg efter att SADEV upp­hörde. Åren 2014–2017 publicerade Sida mellan en och två strategiska utvär­de­ring­ar per år. Antalet kommer att öka framöver. Under 2017 påbörjade Sida sju stra­te­giska utvärderingar varav sex kommer att avslutas under 2018.^[24] Antalet stra­te­gis­ka utvärderingar ökar eftersom regeringen i reglerings­brevet för 2015 framförde att Sida skulle prioritera att utveckla sitt arbete med ut­värde­ringar.

Den 1 juni 2018 inrättar Sida en ny utvärderingsenhet med liknande uppgifter som den tidigare enheten Sida-UTV. Enheten ska ingå i avdel­ningen för verksamhets­stöd och inledningsvis bemannas med fem personer som också får administrativt stöd. Ut­värderingsen­heten ska ta fram Sidas strategiska utvärderingsplan och genomföra den i samarbete med myndighetens operativa enheter och med ambassa­derna. Ut­vär­de­rings­enheten ska också ge råd till dessa enheter när det gäller deras ansvar för de­centraliserade utvärde­ringar av projekt och program. Andra uppgifter är att bland annat ansvara för och utveckla Sidas metodstöd för utvärderingar.

Önskemål om mer utvärderingar i EBA:s portfölj av studier

Inför förändringen av direktiven till EBA bedömde UD att de tidigare direktiven var för allmänt hållna på flera sätt och att detta gav kommittén ett för stort tolknings­ut­rym­me. UD konstaterade bland annat att EBA inte i någon större ut­sträckning hade utvärderat biståndet.^[25] Enligt våra intervjuer med representanter för UD ville rege­rin­gen därför se mer utvärderingar, men att EBA:s portfölj fortfarande ska innehålla en mix av studier.

Önskemålet om mer utvärdering uttrycks underförstått i direktiven som att EBA ska bedöma (värdera) biståndet ur flera aspekter:

• Expertgruppen ska bedöma det svenska biståndets relevans, måluppfyllelse, ef­fekter, hållbarhet, kostnadseffektivitet och andra kvaliteter.
• Bedömningarna kan bygga på såväl befintlig kunskap från forskning och ut­vär­dering som datainsamling och analys initierad av expertgruppen.

Direktiven gör det alltså möjligt för EBA att inte bara genomföra olika typer av studier, utan även olika typer av utvärderingar. EBA ska också utvärdera biståndets resultat, effektivitet och genomförande, utöver det som nämns i första punkten ovan (se även avsnitt 2.1.5). Det innebär att EBA har två lager av styrsignaler att förhålla sig till när det gäller vad de ska utvärdera eller bedöma. Vi tolkar att regeringen över­låter åt EBA att bestämma hur balansen mellan olika typer av utvärderingar och stu­dier ska se ut.

EBA ska studera strategiskt viktiga frågor för biståndet

EBA:s utvärderingar och analyser ska enligt regeringen gälla strategiskt viktiga frå­gor för biståndet och bistånds­politiken. I direktivens bakgrunds­text nämner rege­ring­en att den behöver utvärde­ringar eller analyser av bredare policy­karaktär. Det kan bland annat handla om underlag för att ompröva eller förändra politikens in­rikt­ning, eller att förändra styrningen av en myndighet för att säker­ställa att politiken ge­nom­förs på ett effektivt sätt. Företrädare för den politiska ledningen har i samtal med oss betonat att EBA:s studier därför måste vara tydligt kopplade till Sveriges bi­stånds­politik.

I våra samtal med både UD och Sida pekar flera på att Sida inte har mandat att ut­vär­dera regeringens biståndspolitik och inte heller det multilaterala bistånd som Rege­rings­kansliet hanterar. Om Sida ska granska sin egen styrning och sitt eget age­ran­de i något avseen­de kan det bli problem med trovärdigheten. EBA har däremot ett sådant mandat. UD anser därför att EBA:s utvärderingar och analyser bör ligga på en högre policy­nivå och ha en annan inriktning än de utvärderingar som Sida eller övriga biståndsmyndigheter genom­för. Enligt UD är det också i den bedömande rol­len som EBA har ett mervärde som fristående och oberoende gran­s­kare. Det krävs inget sådant mandat för att exempelvis sammanställa och sprida forsknings­resultat och annan kunskap. Företrädare för Sida säger också att EBA kan komplettera Sida med utvärderingar på land- eller sektor­nivå, men också med studier av biståndets effekter och hållbarhet.

Göra kunskap från studier tillgänglig

I de första direktiven till EBA såg regeringen ett värde i att kommittén skulle vara ett forum för möten mellan forskning och politik. Forumet skulle då kunna förena en hög grad av oberoende med närheten till beslutsfattandet. Regeringen hänvisade till er­faren­heter från andra politikområden. Samma formulering finns i direktiven till ESO och Delmi. Men till skillnad från Delmi har EBA inget uttryck­ligt uppdrag att bid­ra till samhälls­debatten.

Mer konkret handlar denna del av uppdraget om att EBA ska göra kunskap från både egna och andras studier mer tillgänglig, bland annat som stöd för regeringen att styra och utveckla bi­ståndet. Detta uttrycks i de nuvarande direktiven som att ex­pert­grup­pen ska

• aktivt sprida (kommunicera) lärdomar, slutsatser och rekommendationer från ge­nomförda utvärderingar, analyser och studier till relevanta målgrupper på lämp­ligt sätt
• göra resultat av andra aktörers forskning och analyser mer tillgängliga så att rege­ringen kan använda dem för att styra och utveckla biståndet.

Regeringen hänvisar till att det både i Sverige och utomlands bedrivs mycket forsk­ning, utvärdering och annan analys­verk­samhet inom biståndsområdet som kan bli mer tillgänglig. Producen­terna är bland andra universitet och högskolor, forsk­nings­ins­titut, tankes­medjor, bilaterala och multi­laterala bi­stånds­organisationer och orga­ni­sationer i samarbets­länderna.

Med de nya direktiven har EBA fått större möjlighet att själva avgöra hur de ska spri­da resultat och lärdomar. Tidigare angav regeringen att EBA skulle arrangera öpp­na seminarier och konferenser.

Tydligare målgrupper sedan 2016 men öppna former för rapportering

I de nya direktiven från 2016 har regeringen tydligare uttryckt syftet med EBA:s verk­samhet och den främsta målgruppen för den. Regeringen ser sig själv som den pri­mära användaren, men direktiven säger inte om EBA formellt ska rapportera re­sul­taten från sina studier till någon mottagare.

Inledningsvis var syftet att bygga upp en kunskapsbas för en bred målgrupp

I de första direktiven till EBA angav regeringen att syftet med EBA:s verksamhet var att bygga upp en långsiktig kunskapsbas av hög kvalitet. Genom sitt arbete skulle EBA bidra till att bredda och fördjupa underlaget för att kontinuerligt utveckla bi­stånds­politiken. Samtidigt var den utpekade målgruppen både vid och vag. Rege­ring­en ansåg att de som behöver information om biståndet var beslutsfattare, svensk all­mänhet samt aktörer och enskilda individer i Sveriges samarbetsländer.

Nu är syftet att bidra till kunskap som underlag för främst regeringens behov

Direktivändringen 2016 innebar att EBA ska behandla frågor som är strategiskt vik­tiga för biståndet och bistånds­politiken och bidra till kunskap som regeringen kan använda för att styra och utveckla biståndet. Regeringen ser sig själv som primär mål­­grupp för EBA:s verksamhet, men ser positivt på att EBA även når en bredare publik. Enligt direktiven kan verk­sam­heten vara intressant för andra biståndsaktörer i Sverige eller för riks­dagen, medierna och allmänheten. Den kan vara intressant även för internationella bistånds­aktörer och för samarbetsländerna. I Sverige finns det bistånds­aktörer inom allt från de statliga biståndsorganisa­tionerna till civil­sam­hällets organisa­tioner. Enligt våra intervjuer med UD är Sida en viktig målgrupp i sta­ten, men även andra statliga organisationer som kan omfattas eller beröras av EBA:s studier är målgrupper.

Ingen är angiven som formell mottagare av resultaten

Regeringen har i EBA:s direktiv inte angett vem som formellt ska ta emot EBA:s resul­tat, om det ens är tänkt att någon ska göra det. Enligt kommitté­förordningen (1998:1474) ska en kommitté redovisa sitt uppdrag i ett eller flera betänkanden. Då är det normalt det ansvariga statsrådet i det departement som har tillsatt kom­mittén som tar emot betänkandet och svarar för att det remiss­behandlas och bereds politiskt. Men EBA redovisar inte sina studier i betän­kan­den, utan i rapporter som de själva an­svarar för att publicera och sprida. Om EBA vore en vanlig kommitté skulle bi­stånds­­ministern ta emot resultaten och svara för den fortsatta beredningen.

EBA publicerar rapporterna på sin webbplats. De sänder också tryckta rapporter till ett riktat urval av personer i målgruppen, bland andra berörda tjänste­män på UD IU som är den enhet inom UD som ansvarar för kommittén. Enheten svarar för att de en­heter inom UD som är berörda av sakfrågan får rapporten. Men eftersom rapporten inte är beställd av rege­rin­gen har den inget följebrev (missiv) och registreras därför inte som en inkommen handling i ett ärende. EBA svarar för diarieföring, regi­stre­ring och arkivering. UD har däremot interna riktlinjer som säger att den enhet som är mest berörd av rapporten ska skriva en så kallad åtgärdspromemoria.^[26]

ESO och Delmi har också breda målgrupper och har inte heller någon angiven for­mell mottagare av de studier de publicerar. Delmi ska ge underlag för migrations­po­li­tiska av­göranden, vilket borde innebära att regeringen är en viktig målgrupp. Delmi ska också sprida information till allmänheten, icke-statliga organisationer och jour­na­­lister som en del i uppdraget att bidra till samhälls­debatten. ESO ska mer allmänt sprida information om finanspolitiska och samhälls­eko­nomiska frågor för bland an­nat framtida politiska avgöranden. ESO är tvär­sek­toriellt inriktade och verkar inte inom ett enskilt politik­område som EBA och Delmi.

En årsrapport och en planeringsrapport till UD

Senast den 31 mars varje år ska EBA lämna en rapport som sam­man­­fattar innehåll och slutsatser av de utvärderingar, analyser och studier som de har publicerat under föregående år. EBA kallar denna årsrapport för Biståndsanalys. Stats­sekre­teraren tar emot rapporten och den diarieförs av UD.

EBA ska också löpande informera Regeringskansliet om hur arbetet fort­löper. Det gör de genom muntliga kontakter på olika nivåer och genom en åter­kom­mande skrift­lig rapportering. EBA ska två gånger per år redovisa pågående och planerad verk­samhet för att få återkoppling från regeringen. På våren ingår denna rap­por­tering i årsrapporten och på hösten lämnar EBA en separat rapport. UD uppger att EBA vid sina möten med statssekreteraren har fått viss muntlig återkoppling på de redovisade planerna.

EBA har mer omfattande redovisningskrav än ESO och Delmi. Delmi samman­ställer en gång per år den genomförda verksamheten och rapporterar till Regerings­kansliet (Justitie­departe­mentet). Men enligt direktiven får de också lämna fler redovisningar. ESO har i sina direktiv inga motsvarande redo­vis­ningskrav.

EBA ska vara öppna och göra rapporterna tillgängliga

EBA:s arbete ska enligt direktiven präglas av största möjliga öppenhet. De rapporter som expertgruppen publicerar ska vara tillgängliga på EBA:s webb­plats och på www.openaid.se. EBA ska också sprida lärdomar, slutsatser och rekommen­dationer till relevanta målgrupper på andra lämpliga sätt (se avsnitt 2.3).

Direktiven anger att expertgruppen, utöver på svenska, bör publicera rapporter på engelska för att skapa förutsättningar för dialog och samarbeten med aktörer i andra länder. Med hjälp av Språkrådet har vi tolkat detta som att EBA ska publi­cera sina rapporter på svenska, men att det är en fördel om de publicerar rappor­terna även på engelska. Denna tolkning ligger i linje med språklagen (2009:600) och Språkrådets tolkning av lagen.^[27] Regeringen har varken i någon annan lag eller i någon för­ordning angett att kommittéerna inte behöver följa språklagen. I kommitté­förord­ningen har regeringen snarare tryckt på vikten av klarspråk.^[28] Alla betänkan­den skrivs på svens­ka, men sammanfattningen skrivs även på engelska.

Av språklagen framgår bland annat att myndig­heter och andra offentliga organi­sa­tio­ner har ett särskilt ansvar för att svenskan används och utvecklas. Språket ska vara vårdat, enkelt och begripligt (klarspråk).^[29] Texter som är över­satta till ett annat språk ska följa samma regler. Grundtanken med språklagens krav är att värna medbor­gar­nas insyn i det offentliga.

Höga krav på kvalitet och kompetens

• Regeringen ställer relativt höga och detaljerade krav på kompetensen hos expert­grup­pen och dess kansli för att de ska kunna leverera studier av hög kvalitet. Det inne­bär att regeringen förväntar sig att studierna är relevanta och användbara.

Expertgruppen ska garantera studiernas kvalitet

Expertgruppen ansvarar för verksamhetens och studiernas kvalitet. De ska avgöra när en rapport håller tillräcklig kvalitet för att publiceras. Expertgruppen ska normalt knyta referens­grupper till studierna för att kvalitetssäkra dem. Per­sonerna i refe­rens­­gruppen ska ha relevant sak- eller metod­kun­skap.

Sedan 2016 hänvisar rege­ringen i direktiven till de principer och kvalitets­stan­dar­der för biståndsutvär­dering som OECD:s biståndskommitté DAC (Deve­lop­ment Assistance Committee) har utfärdat.^[30] Dessa principer och standarder om­fattar både processen och produk­ten. Enligt direktiven bör EBA följa dem när det är lämpligt. Det innebär att EBA behöver ta ställning till när de ska användas.

Höga kompetenskrav på expertgruppen och kansliet

Kvalitetskraven förenas med höga krav på expert­gruppens och kansliets kom­petens, förmåga och kapacitet. Direktiven anger flera krav som är gemensamma för expert­grup­pen och kansliet. Vi tolkar detta som att kraven gäller EBA som samlad orga­ni­sa­tion. Kraven uttrycktes på ett likartat sätt i de första direktiven och gäller alltså sedan 2013.

• EBA ska ha en utvecklad förmåga att göra omvärlds­analyser och egna analyser.
• EBA ska ha hög kapacitet att analysera och föra samman kunskap som produ­ce­ras av olika aktörer, göra synteser, dra slutsatser och presentera rekommen­da­tioner.
• EBA ska ha en utpräglad beställarkompetens och snabbt kunna ta till vara ex­ternt producerad kunskap, bedöma kvaliteten i denna och omsätta den i underlag som är relevanta för beslutsfattare i deras ställningstaganden.
• Be­ställar­kompetensen bör omfatta att EBA förstår vad regeringen behöver, att de har förmåga att formulera relevanta frågor, samt att de har kunskap om var rätt kompetens finns tillgänglig och kapacitet att kontraktera och upphandla den­na kompetens.
• EBA ska etablera kontakter med forskningsutförare och biståndsintressenter så­väl i Sverige som i andra länder, inklusive OECD-DAC.

Regeringen ställer mer detaljerade kvalitets- och kompetens­krav på EBA än vad de gör på både ESO och Delmi. Direktiven till Delmi ställer inga liknande krav, mer än att delegationen ska svara för att studierna är väl under­byggda och policy­rele­vanta. Delmi får använda referensgrupper om de behöver. För ESO är kraven på referens­grupper tydligt uttalade. Till referensgrupperna för studierna ska ESO knyta bland an­nat tjänstemän med relevant sakkunskap från Regerings­kansliet.

Kompetens och arbetsformer i kommittén

UD tillsätter både leda­möter och kansli­chef och kan på så sätt påverka att kommittén sammantaget får en kompe­tens som svarar mot kraven i direktiven. De nuvarande leda­­möterna har därför olika bakgrund och kompetens, men alla arbetar eller har tidi­gare arbetat med bistånds- eller utvecklings­frågor. EBA ansvarar för att utforma rikt­l­injer för sin verksamhet och har som ett led i detta tagit fram ett antal interna styr- och stöddoku­ment.

Ledamöterna täcker tillsammans in olika kompetenser

UD ansvarar för att ta fram lämpliga kandidater till expertgruppen inför statsrådets beslut. Processen för valet är omsorgsfull. Ambitionen är att få en grupp av per­soner som till­sam­mans täcker in olika kompetenser inom och perspektiv på utvecklings­sam­­arbetet, exempelvis forskning, utvärde­ring, politik och praktik.

Men detta skiljer sig från hur det var från början. Då hade både ordföranden och vice ord­föranden erfarenhet från främst andra politikområden. UD försöker i viss mån ock­så täcka olika relevanta kun­skapsområden som exempelvis mänskliga rättig­heter, kon­flikt, miljö och klimat. Därutöver eftersträvar departementet både köns- och ål­ders­balans i expert­gruppen. För när­varan­de är könsfördelningen 50/50. Samtliga leda­möterna har lång yrkes­erfarenhet och några har dispu­terat eller är verk­samma som forskare. Många har erfarenhet av att arbeta inter­nationellt.

Intresset för verksamheten är ledamöternas drivkraft

Leda­möterna uppger för oss att det arvode de får för sin insats i kom­mittén inte är ett skäl till varför de har tackat ja till att ingå i expertgruppen. Det är snarast intresset och engage­manget för EBA:s verksam­het som är deras drivkraft. De flesta har ett hel­tidsarbete vid sidan av uppdraget i kommittén och är inte beroende av för­ord­nan­det för sin försörjning eller karriär.

Ledamöterna har ofta mycket att läsa inför varje sammanträde. Ett åtagande som ord­­förande i referensgruppen för en studie innebär extra arbete. Ordföranden och vice ordföranden får för sin insats ett arvode på 8 000 kronor per månad. Övriga leda­möter har ett arvode på 350 kronor per samman­träde. Den som är ordförande i en referensgrupp får normalt ett arvode på 12 000 kronor. Ledamöterna kan också få en ersättning på cirka 2 000 kronor för att förbereda inlägg vid ett semina­rium.

Expertgruppen sammanträder regelbundet

Expert­gruppen sammanträder tio gånger per år. Vid mötena beslutar de bland annat om vilka studier EBA ska genomföra och godkänner de rapporter som håller till­räck­lig kvalitet för att kunna publiceras. Förutom beslutsärenden innehåller dag­ord­ning­en informationspunkter, exempelvis om administrativa frågor och personal­frågor samt genomförda eller kommande möten och seminarier.

UD har förordnat en tjänsteman som expert i kom­mittén som deltar vid expert­grup­pens samman­träden (se avsnitt 1.1.7). Upp­giften som expert hänger ihop med upp­gif­ten som ansvarig hand­läggare för EBA och denna person får inget mötes­arvode för insatsen. Vi återkommer i avsnitt 5.5 till expertens funktion som länk mellan de­par­tementet och expert­gruppen.

Expertgruppen eftersträvar samsyn i sina beslut

Av kommittéförordningen framgår att ledamöter får foga reservationer och sär­skilda yt­tranden till kommitténs betänkanden. Men förordningen reglerar däremot inte hur många ledamöter som måste vara när­varande för att en kommitté ska vara behörig att fatta beslut.^[31]

Expert­gruppen har inte formellt tagit ställning till sina beslutsformer och de har inte doku­menterat dem i interna riktlinjer. Enligt våra intervjuer eftersträvar expert­grup­pen samsyn. Ordföranden låter alla ledamöter och UD:s expert komma till tals och sam­manfattar därefter diskus­sionen i ett förslag till beslut. Expert­gruppen röstar inte och ledamöterna har hittills aldrig fogat en reservation eller ett särskilt yttrande till ett beslut. Vissa ledamöter beskriver beslutsprocessen som ett givande och ett tagan­de.

Ledamöternas närvaro vid sammanträdena är generellt sett hög. Av protokollen fram­går att närvaron sedan 2016 har varit något högre än tidigare. Vid varje mötes­till­fälle är oftast en eller två ledamöter frånvarande, i enstaka fall tre. Om det behövs fattar expertgruppen beslut mellan samman­trädena (per capsulam). Det kan tilläm­pas när närvaron har varit låg, en rapport behöver en mindre justering innan den kan pub­liceras eller en ledamot ska utses som ordförande för en referensgrupp. Ex­pert­gruppens ordförande har löpande kontakt med kansliet. Enligt kansliet är även övriga leda­möter lätt tillgängliga för avstämningar.

Kansliet svarar för det löpande arbetet

Expertgruppens kansli svarar för det löpande arbetet i kommittén. Enligt direktiven handlar det om att bistå expertgruppen med att ta fram och konkretisera förslag till stu­dier, anlita rapportförfattare, samordna arbetet när studierna genomförs, med­ver­ka till att kommunicera genomförda studier och även utföra andra uppgifter som krävs för att fullgöra uppdraget. Kanslichefen har ingen arbetsbeskrivning, men för­vän­­tas ansvara för både kansliets verksamhet och personal.

Samtliga på kansliet har akademisk utbildning och flera har disputerat. Några har sedan tidigare erfarenhet inom biståndsområdet. EBA:s kanslichef uppger att per­so­na­len ända sedan starten har kompetenser som komplette­rar varandra. Ut­rednings­sek­re­terarna deltar normalt i samtliga arbetsmoment genom att de har fördelat pro­jekt­ansvaret för pågående studier mellan sig. Det finns visst ut­rymme för utred­nings­sekreterarna att själva skriva rapporter, men i huvudsak anlitar EBA forskare och ex­perter utifrån. En biträdande utrednings­sekre­terare ansvarar för admini­strativa upp­gifter och stöd till kansli­chefen och utredningssekreterarna.

Expert­gruppens ledamöter uppger i samtalen med oss att de är mycket nöjda med kan­sli­perso­nalen och framhåller att de tar ett stort ansvar för verksam­heten och utför sina uppgifter väl. Flera lyfter särskilt fram kansliets goda förmåga att tolka och väga samman ledamöternas olika synpunkter.

Det finns krav på att ta fram egna riktlinjer för verksamheten

Led­ningen för en myndighet ska enligt myndighetsförordningen (2007:515) sä­ker­ställa att verk­samheten bedrivs effektivt och att den interna styrningen och kontrollen fungerar på ett betryggande sätt.^[32] De ska också bland annat ha en arbets­ordning, de­le­gations­ordning och verk­samhetsplan. Myndighetsförordningen gäller inte för kom­mittéer, utan EBA ska enligt direktiven självständigt ansvara för att ta fram rikt­linjer för verk­samheten. Det tolkar vi som att EBA avgör vilka riktlinjer som behövs och hur de ska dokumenteras.

EBA har tagit fram flera interna styr- och stöd­dokument för verksamheten som vi till en del återkommer till i kapitel 3 och 5 (tabell 1). Dokumenten som kallas för EBA:s arbetsformer och Beslutsordning ekono­miska beslut har vissa likheter med ar­bets­ord­ningen och delegationsordningen i en myndighet, men säger till exempel ingen­ting om expertgruppens beslutsformer eller hur EBA hanterar jäv och intresse­kon­flikter.

Tabell 1 EBA:s interna styr- och stöddokument

Styr- eller stöddokument	Beslutsdatum
EBA:s verksamhetsstrategi	2013-11-06, 2014-12-09, 2016-11-01, 2017-11-23
EBA:s arbetsformer	2017-11-24
Beslutsordning ekonomiska beslut	2014-12-16
Riktlinjer för referensgrupper	2017-08-28
Precisering av EBA-kansliets roll gentemot referensgrupper	2017-08-14
Policy samt riktlinjer för upphandling	2017-11-28
Guidelines for project proposals	2016-11-10
Instructions for authors of EBA reports	2017-11-16
Checklista för projekt från ax till limpa	2017-08-30
Lathund för EBA-ledamöter – Hur vi presenterar EBA i olika sammanhang	2017-06-02
Kommunikationsstrategi	2014-09-29 (uppdateras 2018)

Källa: EBA

Verksamhetens inriktning och utveckling

I detta kapitel beskriver och analyserar vi hur EBA har tolkat sitt uppdrag och inriktat verksam­heten samt hur verksamheten och produktionen har utvecklats sedan starten. Stats­kontoret gör sammanfattningsvis följande iakttagelser:

• Det har tagit några år för EBA att hitta formerna för verksamheten. Efter en trög start har produk­tionen stadigt ökat i volym. Sedan 2016 har EBA produ­cerat drygt tio rapporter per år i sin ordinarie rapportserie. EBA sprider rapporternas resul­­tat vid egna seminarier och bidrar även till att för­medla forskningsresultat från nydisputerade forskare.
• Expertgruppen ser fördelar med de möjligheter som direktiven ger att produ­cera olika typer av studier. Portföljen av studier har därför blivit variationsrik. Men besluten om vilka studier som EBA ska genomföra har i liten grad utgått från en tydlig strategi för hur kom­mittén ska utnyttja sitt mandat och sina resurser.
• Drygt hälften av de publicerade rappor­terna i serien EBA-rapporter har varit kun­­skaps­­översikter och syntesstudier där författarna har sammanställt och ana­lyserat tidigare kunskap och forskningsresultat. Den typen av rapporter komp­let­terar det som Sida gör och bidrar också till att göra bland annat forsk­nings­resultat mer tillgäng­liga för rege­ringen. Däremot finns en risk för att de inte bi­drar med ny kunskap för regeringen eller Sida.
• Hittills har EBA gjort relativt få utvärderingar, men antalet ökar. EBA utvär­de­rar inte enskilda bistånds­projekt utan kompletterar därmed Sida. Regeringens uttalande om att verk­sam­heten bör vara långsiktig har också bidragit till att EBA har börjat göra några större utvärderingar och analyser än tidigare och som även gäller biståndets effekter. Inledningsvis utsåg EBA författare enbart genom di­rekt­val, men har börjat upp­handla i konkurrens.
• EBA vill vara relevanta för regeringen och den svenska biståndspolitiken, men även för andra aktörer inom biståndet. De studier som pågick i mars 2018 är i de flesta fall tydligt knutna till en central aktör inom det svenska biståndet, till ett mål i regeringens policyramverk eller till en biståndsstrategi.
• Samtliga rapporter i de tre rapportserierna publiceras på EBA:s webb­plats med EBA:s logotyp. Men expertgruppen kvalitetssäkrar och beslutar endast om de stu­dier som ingår i serien EBA-rapporter. Därför kan det vara oklart vilken sta­tus rapporten har för den som läser even­tuella rekommendationer från för­fat­ta­ren till en så kallad underlagsrapport.

Verksamheten hade en trög start

Regeringen förväntade sig att Expertgruppen för biståndsanalys (EBA) snabbt skulle börja produ­cera för att minimera glappet i verksamheten efter att SADEV av­veck­lades. Men det tog över ett år innan EBA publicerade den första rapporten och det har tagit ännu längre tid för kommittén att hitta sina former.

Första rapporten publicerades efter cirka 15 månader

Det tar ofta tid att starta och bygga upp en ny verksamhet. Kommitténs förra ord­fö­rande och kanslichef samt de ledamöter och den kansli­personal som har varit med sedan starten uppger för oss att det också tog längre tid än väntat att komma igång med verk­sam­heten och rapportproduktionen. Samtliga ledamöter i expert­gruppen var förordnade från den 31 januari 2013, samma datum som direktiven började gälla. Men kansliet var inte fullt bemannat förrän i slutet av året.

I oktober 2013 beslutade expertgruppen om att inleda den första studien. Rappor­ten presenterades vid ett seminarium i maj 2014, det vill säga cirka 15 månader efter att kommittén började arbeta. Som jämförelse kan vi nämna att det tog Delmi knappt ett år innan de publicerade sin första rapport.

Uppbyggnadsfasen har övergått i en konsolideringsfas

De flesta som vi har talat med på EBA bedömer att kommittén har övergått från en upp­­byggnadsfas till en konsolideringsfas. Det första verk­samhetsåret ägnade ex­pert­gruppen sina möten åt att tolka och strukturera sitt uppdrag samt att diskutera och fastställa sina arbets­former.^[33] Flera uppger för oss att expertgruppen in­led­nings­vis hade svårt att enas om vilka studier EBA skulle göra. Samtidigt fanns det ett ex­ternt tryck på EBA att börja pro­ducera. Detta bidrog till att EBA till en början i hög grad arbetade utifrån att hitta lämpliga forskare som kunde skriva om ett ämne. EBA var på så sätt inspirerade av ESO:s sätt att arbeta.

Diskussionerna om uppdraget och arbets­formerna har fortsatt. EBA har övergett den ini­tiala tanken om att bli ett bistånds-ESO och börjar hitta sina egna former för verk­sam­heten. När regeringen ändrade EBA:s direktiv 2016 tog de också bort hän­vis­ning­en till ESO som det tidigare direktivet innehöll.

Den strategiska inriktningen på verksamheten

Expertgruppen ska enligt direktiven självständigt prioritera studieområden och teman och svara för vilka utvärderingar, analyser och studier som de ska genom­­föra. Med denna frihet följer att de också ansvarar för att tolka uppdraget, ange inriktning på verksam­heten och använda de tilldelade resurserna på bästa sätt. Statssekreteraren har också vid möten med expertgruppen framfört att EBA bör använda sitt man­dat effek­tivt och har pekat på vikten av att de kompletterar andra kunskaps­produ­center.^[34]

EBA ser fördelar med ett brett uppdrag med många verktyg

De flesta av EBA:s leda­möter och kansli­personal anser att kom­mitténs uppdrag är brett och att direktiven kan tolkas på olika sätt. Ett par av ledamöterna pekar på att ex­pertgruppen måste utgå från de direktiv rege­ringen har beslutat om när de tolkar upp­draget. De anser att detta är särskilt viktigt eftersom det finns många upp­fatt­ning­ar bland målgrupperna om vad kommittén borde vara och göra. Däremot anser de att EBA måste vara lyhörda för UD:s synpunkter på verksamheten.

De flesta inom EBA ser inga problem med det breda uppdraget, utan anser snarare att det är bra att de har en stor ”verk­tygslåda” för att analysera och för­medla kunskap om det kom­plexa bistånds­området. Bredden gör det möjligt att göra olika typer av stu­dier för att svara på frågor av olika karaktär och tillgodose olika behov av kun­skap. Enligt vissa innebär den valda organisationsformen också att regeringen bör lita på att de ledamöter som de har tillsatt har kom­petens att be­döma vilka frågor som är rele­vanta att studera och hur verksam­heten ska in­riktas.

Långsiktig verksamhetsstrategi men ingen årsplanering

Verksamhetsstrategin är EBA:s huvudsakliga styrdokument för hur verk­samheten ska inriktas. Det är där som expertgruppen samlat uttrycker hur de tolkar sina direk­tiv och anger riktlinjer för verksamheten och hur de ska välja ut studier. Doku­mentet togs fram första gången hösten 2013. EBA räknar strategin som långsiktig men de ser också över den varje år på hösten. I verksam­hetsstrategin beskriver EBA sitt upp­drag och hur de tolkar uppdraget, men bara i grova drag. Vi kan inte utläsa hur EBA mer konkret vill utforma och styra verksam­heten för att nå regeringens mål.

EBA anser inte att de behöver fastställa en verksamhetsplan för det kom­mande året. I stället arbetar EBA utifrån en plan som uppdateras och diskuteras allt eftersom ex­pertgruppen fattar beslut om vilka studier som de ska inleda. I två rappor­ter varje år ska EBA redovisa sin pågående och planerade verksamhet till rege­ringen. Båda rap­porterna redogör för den pågående verksamheten, men blickar i övrigt främst bakåt på det senaste årets verksamhet och produktion. Höstrapporten behandlar näs­tan inget om EBA:s verksamhet fram­över. Vårrapporten (Bistånds­analys) avslutar med ett kort avsnitt om ambitionerna framöver där EBA redogör för några tankar om inom vilka områden de kommer att vilja starta studier.

EBA vill skapa mervärde men har inte uttalat vad det består i

EBA vill att deras arbete ska ha ett tydligt mervärde för bi­stån­dets aktörer. Ut­gångs­­punkten är att inte dubblera existe­rande kunskap, men att de kan bidra till att sprida den. EBA:s seminarier ska ha ett kompletterande och kon­kur­rerande per­spektiv.^[35] Dessa ambitioner ligger i linje med direktiven och regeringens förvänt­ningar om att EBA ska skapa mervärde och komplettera andra aktörer. Däremot svarar inte EBA i verksam­hetsstrategin på vad de mer konkret vill att mervärdet ska bestå i. De svarar heller inte tydligt på hur de ska inrikta och avgränsa verksamheten för att uppnå sin am­bition.

Prioriteringskriterier och övergripande frågor ska vägleda vid valet av studier

Flera beskriver för oss att beslutet om vilka studier EBA ska genomföra växer fram i en process (se avsnitt 5.2). Avsikten är att EBA ska för­hålla sig till den beslutade verk­­sam­hetsstrategin när de väljer ut sina studier. I strategin tar EBA ställning till vilka kriterier de ska använda för att kunna prio­ritera mellan olika förslag till studier. De har också angett några över­gripande kategorier av områden eller frågor som är vik­tiga för biståndet som stu­dierna kan omfatta.

EBA har inte ändrat priorite­rings­kriterierna nämnvärt sedan 2014. För 2018 är de

• kunskapsuppbyggnad
• policyrelevans
• aktualitet
• betydande andel av biståndsbudgeten eller betydande effekter för biståndet
• frågor av principiell betydelse för biståndet (exempelvis etiska frågor).

Av de tio promemorior som vi har studerat och som har legat till grund för valet av en studie framgår att varje kriterium värderas på en skala 0–5 (se avsnitt 5.3.4).

Sedan 2014 ska tre övergripande frågor eller kategorier kunna vara utgångspunkt för EBA:s val av studier. Kategorierna har formulerats på lite olika sätt sedan starten. I strategin för 2018 är kategorierna

• biståndets motiv och långsiktiga inriktning
• biståndets genomförande
• biståndets prioriteringar och styrning.

Biståndets resultat ska enligt EBA integreras i de tre ovanstående kategorierna.

I strategin har EBA varje år gett exempel på några frågor som var och en av kate­go­ri­erna kan inrymma och som kan vägleda när kommittén väljer ut studier. EBA upp­ger att frågorna är ett sätt att lyfta fram kunskapsluckor och problem i biståndet. Vi be­dömer att frågorna ofta är breda och öppna, men att EBA uppfattar dem som till­räck­ligt preciserade. Några exempel på frågor är: Nås upp­ställda mål? Bidrar bi­stån­dets inriktning, prio­ri­teringar, styr­ning och genom­förande till önskade och avsedda resul­tat? Tillåter strategierna nödvändig flexibilitet för ett väl funge­rande bistånd? Går det att begränsa svängningarna i det långsiktiga utveck­lingsbiståndet som skapas av så kallade avräkningar från biståndsramen?

EBA har inte velat låsa sig till fasta teman

EBA har hittills inte velat låsa sina resurser till fasta teman för stu­dierna, men har prioriterat vissa bevakningsområden och genomfört seminarier på olika teman. I sina två senaste årsrapporter redovisar EBA resultat från en del av årets studier utifrån några teman. Flera uppger i samtalen med oss att tematiken har kommit till i efter­hand och att den inte har varit en medveten inriktning när de har valt studier. Kan­sliet ser att möjligheterna till en tematisk redovisning ökar med antalet producerade rap­por­ter. Nya studier kan på så sätt komplettera resultat från tidigare studier.

2016 års direktiv påverkar verksamhetsstrategin först 2018

EBA:s ledamöter och kansli­personal är i stort överens om att kommitténs tilläggs­­direk­tiv innebär att rege­ringen vill att verksamheten ska ha en något snävare in­rikt­ning än vad den hade inledningsvis. Men när EBA fick sina nya direktiv i juli 2016 ansåg delar av expert­gruppen att de inte innebar någon större förändring för verk­sam­­heten. Det uppger flera i våra intervjuer.

Vi bedömer att de nya direktiven inte påverkade verksamhets­strate­gin på något syn­bart sätt förrän hösten 2017. Då beslutade expertgruppen under ledning av den nya ord­föranden om inrikt­nin­gen för verksam­heten för 2018 och framåt. EBA ändrade skriv­­nin­gar­na om det övergripande målet och den primära målgruppen för verk­sam­heten så att de bättre svarar mot direktiven.

EBA vill vara relevanta för regeringen men även för andra

Både ledamöter och kanslipersonal framhåller att de vill vara relevanta för rege­ring­en och biståndspolitiken genom att bidra med innehållsrika analyser som förbättrar och utvecklar biståndet. De vill också vara relevanta för biståndets aktörer i bred be­märkelse. På så sätt har EBA en högre ambitionsnivå än vad direktiven kräver. Rege­ringen säger att EBA:s studier kan vara intressanta och rele­vanta för andra bi­stånds­aktörer, men EBA säger i sin verksamhetsstrategi att de bör vara det. Expert­gruppen har därför en utmaning i att ha hög vetenskaplig kvalitet i rappor­terna, sam­tidigt som de ska vara relevanta för både regeringen och bistånds­fältet i stort.

En annan förändring i verksamhetstrategin inför 2018 jämfört med tidigare är att EBA formulerar hur deras studier ska förhålla sig till regeringens styrdokument för bi­ståndspolitiken och på vilken sikt. I verksamhetsstrategin framgår följande:

• EBA:s analyser av biståndets långsiktiga inriktning ska utgå från regeringens po­licy­ramverk för svenskt utveck­lingssamarbete och humanitärt bistånd (skri­vel­se 2016/17:60). EBA ska samtidigt kunna ifråga­sätta denna inriktning genom kri­tiska studier och kompletterande perspektiv.
• EBA:s analyser av biståndet på medellång och kort sikt ska utgå från rege­ring­ens strategier för biståndet och regeringens prioriteringar i budget­propositionen.

Bland ledamöterna och kanslipersonalen framhåller flera att EBA inte är organi­se­ra­de för att produ­cera bered­nings­underlag till UD:s tjänstemän. De anser att det sna­rare behövs en intern funktion inom Regeringskansliet för detta. Det har heller inte varit regeringens och riksdagens avsikt att EBA ska ha denna roll.

Ambition om fler utvärderingar i främst lärande syfte

Både ledamöter och kansli­personal uppger att de vill ge utvärde­ringar en något större plats i portföljen, men har inte bestämt hur stor plats och vilken typ av utvärde­ringar EBA är bäst lämpade att utföra. Några framhåller att regeringen genom samman­sätt­ning­en av expert­gruppen ger signaler om att EBA fortsätt­ningsvis ska ha en bred port­följ av studier. I expertgruppen har nämligen ledamöterna olika kom­petenser. I verk­­samhetsstrategin för 2018 berör EBA inte alls hur de ska förhålla sig till önske­må­len om mer utvärderingar och rege­ringens anvisningar i direktiven om ur vilka as­pekter de ska bedöma biståndet (avsnitt 2.2.6).

I våra samtal med EBA framför flera att de genom sina utvärderingar och övriga stu­dier hellre vill verka för lärande än att kräva ut ansvar. De utgår då bland annat från direktiven som säger att EBA ska bidra till utveckling. EBA anser att en läran­de an­sats under­lättar detta. Denna ansats har även underlättat EBA:s relationer med Sida.

Kunskapsförsörjning och kunskapsförmedling

I sin senaste verksamhetsstrategi delar EBA in verksamheten i kunskaps­försörjning och kunskapsförmedling. Båda knyter an till de två huvuduppgifterna i direktiven som säger att EBA ska

• producera kunskap om biståndet genom egna studier
• göra kunskap från egna och andras studier samt forskning mer tillgänglig.

Inom ramen för de två verksamhetsgrenarna publicerar EBA rapporter i tre rapport­serier samt förmedlar kunskap på olika sätt, bland annat genom seminarier. Figur 1 visar hur verksamheten förhåller sig till de två huvuduppgifterna i direktiven.

Figur 1 Huvudsakligt innehåll i EBA:s två verksamhetsgrenar och deras koppling till direktivenTabell 2 Antal EBA-rapporter, underlagsrapporter och DDB-rapporter per år 2013–2018

År	EBA-rapporter	Underlagsrapporter	DDB-rapporter
2013	0	0	–
2014	5	3	–
2015	9	0	7
2016	11	3	10
2017	12	4	10
2018 (jan–april)	2	3	2
Totalt	39	13	29

Källa: EBA

EBA-rapporterna utgör stommen i kunskapsförsörjningen

Kunskaps­för­sörjning är den största verksamhets­grenen. Stommen i kunskaps­för­sörj­ning­en är de studier som EBA låter forskare eller andra experter utföra mot ersättning och som publiceras i rap­port­serien EBA-rapporter. Kansliets personal har också skri­vit en mindre del av rapporterna. Till och med april 2018 har EBA publi­ce­rat 39 rap­porter i serien (tabell 2). EBA har där­med publicerat fler rapporter på drygt 5 år med ett lägre anslag än vad SADEV gjorde under sin verksamma tid på drygt 6 år. SADEV publicerade cirka 30 rapporter.

EBA har som mål att kunskapen genom dessa rapporter ska bidra till att utveckla Sve­riges internationella bistånd när det gäller dess inriktning, styrning och genom­fö­rande. I detta ingår frågor om hur relevant biståndet är på kort, medellång och lång sikt.^[36] Kansliet uppger att studierna kan leda till förändring bland annat genom att resul­taten kan användas för debatt och samtal. Vi återkommer till EBA-rapporterna och inriktningen på dem i avsnitt 3.6–3.8.

Underlagsrapporter med olika syften i en egen serie

I verksam­hetsgrenen kunskapsförsörjning ingår också underlagsrapporter som EBA pub­­licerar i en separat rapportserie. EBA har till och med april 2018 publicerat 13 un­derlagsrapporter (tabell 2). Kansliets ­personal har skrivit sådana rapporter vid några till­fällen, men främst har EBA anlitat externa författare mot ersättning. Un­der­lags­­rapporterna har formen av en promemoria eller ett arbetspapper och har olika syf­ten.

I vissa fall är syftet att inom ramen för kansliets om­världs­­bevak­ning kartlägga ämnen och frågor för framtida studier. Rap­por­­­­terna kan också vara master­uppsatser, skrivna av studenter vid Stockholms universitet som har haft personal vid EBA:s kansli som bi­hand­ledare. Syftet kan också vara att sätta en EBA-rapport i ett svenskt sam­man­hang eller att samman­ställa erfarenheter från ett område som underlag för en på­gå­en­de diskussion. En av de senaste handlar om svenska erfarenheter av bistånd inom skat­te­området och fokuserar på Skatteverkets så kallade kapa­citets­stärkande in­sat­ser. Enligt EBA var rapporten tänkt att vara ett underlag för regeringen, Sida och Skatte­verket inför en skattekon­fe­rens i maj 2018. Den kan enligt EBA också vara ett underlag för Sida i myndighetens uppdrag att för­dubbla stödet till kapacitets­ut­veck­ling inom skatteområdet fram till 2020.

I två fall har underlagsrapporterna varit del­rappor­teringar av en studie om Sidas ar­be­te med jämställdhetsintegrering. Studien ska slut­redo­visas med en rapport i den or­di­­narie rapport­serien.

EBA förmedlar sammanfattningar av nya avhandlingar

EBA vill fånga upp intressant ny forskning och göra den tillgänglig för besluts­fattare och därigenom skapa en brygga mellan akademin och politiken. I verksam­hetsgre­nen kunskapsförmedling ingår därför sedan 2015 en publikations­serie för nya av­han­d­lingar om biståndsrelevanta frågor (Develop­ment Dissertation Brief, DDB). EBA har mellan 2015 och april 2018 publi­cerat 29 avhand­lingar i serien (tabell 2).

I DDB-serien får nyligen disputerade forskare sammanfatta sina av­handlingar. Av­hand­lingarna behandlar ämnen som rör utvecklings­sam­arbete i vid mening, exem­pel­vis korruption, medlarstilar i fredsmäkling samt hur kvinnor och barn drabbas i väp­nade konflikter. EBA bedömer att så gott som samtliga av dessa avhandlingar har haft en tydlig anknytning till Sveriges utvecklingssamarbete.

För­fattarna är svenska eller är verksamma vid ett svenskt universitet. Kansliet iden­ti­fierar rele­vanta avhandlingar främst genom att söka upp forskarna. DDB-serien har blivit mer känd på universiteten, vilket gör att forskare själva anmäler sitt intresse för att bli publicerade. EBA bekostar tryck, seminarier och eventuella resor, men för­­fattarna får ingen ersättning för sin insats.

Förmedling av kunskap på seminarier och på webbplatsen

EBA lägger stor vikt vid att sprida och kommu­nicera resul­taten från studierna i serien EBA-rapporter både brett och till rätt mål­grupper. Varje rapport lanseras och dis­ku­te­ras på ett öppet seminarium som EBA arrangerar. Oftast presenterar de varje rap­por­t för sig, men ibland för de samman två eller flera rapporter under ett tema. EBA har till och med april 2018 arrangerat 32 rapport­seminarier.

Kansliets ambition är att EBA inte ska vara en passiv förläggare, utan aktivt bidra till att rapporten ”hålls levande” efter publicering och att sätta in resultaten i ett större sammanhang. EBA arrangerar öppna seminarier även för avhandlingarna i DDB-serien för att diskutera akademiska resultat i en icke-akademisk miljö. Oftast presen­te­rar de avhand­lingar med liknande tema tillsammans. EBA har arran­gerat 9 sådana semi­narier till och med april 2018.

EBA:s webbplats är en annan kanal för att sprida information. EBA vill använda webbplatsen för att synas och för att nå relevanta målgrupper, både de som vill ta del av rapporterna samt forskare och experter som skulle kunna anlitas för att skriva rap­porter. En del seminarier filmas och läggs upp som podcaster eller ”rAIDio”. EBA ger också ut ett nyhets­brev, twittrar och bloggar. Rapport­för­fattarna skriver ibland debattartiklar utifrån sin EBA-rapport. Expertgruppen skriver inga debatt­ar­tik­lar, men det förekommer att enskilda ledamöter och kansliets personal gör det. I maj 2018 skrev en ledamot och kanslichefen en debattartikel tillsammans med en för­fattare till en rapport.^[37]

Rapporternas status och språk

Expertgruppen ska säkerställa kvaliteten i analys- och utvärderingsverksamheten och besluta om att godkänna rapporterna för publicering (avsnitt 2.5.1). Vi kon­sta­te­rar att expertgruppen inte beslutar om rapporter i två rapportserier som EBA pub­li­cerar i kommitténs namn. De rapporter som EBA publicerar är oftast skrivna på engel­ska, ibland utan sammanfattning på svenska. Detta ligger varken i linje med di­rek­tiven eller språklagens intentioner.

Expertgruppen beslutar endast om EBA-rapporterna

Alla rapporter i de tre serierna ges ut i kommitténs namn och med EBA:s logotyp på om­slaget. Men expert­gruppen kvalitetssäkrar endast studierna i serien EBA-rappor­ter och det är bara dem som expertgruppen beslutar om de ska publiceras eller inte. Det är kanslichefen som beslutar om publi­cering av underlags­rappor­terna och DDB-rap­porterna.

Denna besluts­ordning är inte reglerad i EBA:s interna styrdokument, men förklaras av att ord­föranden har dele­gerat beslutsrätt till kanslichefen om kostnader upp till 50 000 kronor.^[38] De externa kostnaderna för rapporterna i båda serierna understiger oftast detta belopp. Det innebär också att kanslichefen ansvarar för kvaliteten i un­der­­lags­rapporterna innan de publiceras på webbplatsen.

Oklarheter kan uppstå om vad expertgruppen beslutat om

Våra samtal med ledamöterna visar att de inte närmare har diskuterat vad dele­ga­tio­nen av beslutsrätten kan innebära för hur mottagaren uppfattar underlags­rappor­ter­nas status. Ett par ledamöter anser att läsarna kan uppfatta att alla rapporter som har EBA som avsändare har kvalitetssäkrats och beslutats av expert­gruppen, vilket inte är fallet.

I två rapporter från april 2018 lämnar för­fattaren rekommendationer till Skatte­ver­ket och Sida respektive till UD, Sida och Folke Bernadotteakademin.^[39] För mot­tagaren kan det vara viktigt att veta om underlaget som rekom­menda­tionerna grundar sig på har prövats av expertgruppen. EBA har under försommaren 2018 börjat lägga in en text i under­lags­rapporterna om att rapporten inte har beslutats av expertgruppen och att författaren själv står för innehåll, slutsatser och rekom­mendationer.

De två delrapporterna vi nämnde i avsnitt 3.3.2 om Sidas arbete med jämställd­hets­integrering har getts ut i serien underlagsrapporter, men följer den kvalitets­säkrings­pro­cess som alla rapporter i den ordinarie rapportserien omfattas av (se avsnitt 5.4). Ex­pert­gruppen har enligt mötesprotokollen blivit in­for­merad om resultaten, men har for­mellt inte beslutat om publi­ceringen. Tjänstemän på Sida uppger i våra intervjuer att de är osäkra på vilken status som delrapporterna har.

De flesta av EBA:s rapporter är skrivna på engelska

Drygt 90 procent av de publicerade rapporterna i de tre serierna är skrivna på engel­ska. Det förekommer också att beskrivningen av rapporterna på EBA:s webb­plats enbart är på engelska. Som jämförelse är de allra flesta rapporter från ESO och Delmi skrivna på svenska, med en sammanfattning på både svenska och engelska.

Kansliet uppger att kommittén har tolkat direktiven som att de ska skriva det mesta på engelska, med undan­tag för den årliga rapporteringen till regeringen och UD. EBA gör därmed en annan tolkning än den vi och Språkrådet gör av direktiven (av­snitt 2.4.5). Kansliet uppger att EBA använder svenska endast om det finns särskilda skäl som talar för att be­gränsa samtalet om resultaten till en svensk publik eller säker­ställa att alla svenska intres­sen­ter ska kunna ta del av hela innehållet.

Av de hittills 39 studierna i serien EBA-rapporter är 5 skrivna på svenska. 38 har en sam­manfattning av innehållet på både svenska och engel­ska. Rapport­en utan svensk sam­manfattning är en studie som EBA har låtit genomföra till­sammans med den tyska utvärderingsmyndigheten DEval.^[40] Det kan förklara att den inte har en svensk sam­manfattning.

Av de 13 underlags­rappor­terna är 11 skrivna på engelska. De på engelska inne­håller ingen sam­man­fattning på svenska, trots att rapporterna i flera fall är skrivna av svens­ka för­fattare och även riktar sig till svenska myndigheter. Av 29 DDB-rap­por­ter är 27 skrivna på engel­ska och de saknar en samman­fattning på svenska. Även i det­ta fall är de flesta svenska författare. I de här fallen når EBA inte upp till de mini­mi­­krav om utförliga samman­fattningar på svenska som Språk­rådet hänvisar till när det gäller hur akade­miska avhand­lingar ska följa språklagen.^[41]

EBA hänvisar till att de för kvaliteten i sin verksamhet behöver kunna anlita för­fat­tare, deltagare till referensgrupper och paneldiskussioner vid semi­narierna från andra län­der. De behöver också ha ett utbyte med bland annat andra givarländer och deras ut­värde­rings­organisationer. EBA:s verksamhet skulle därför blir svårare att ge­nom­fö­ra om kommittén inte kunde ge ut sina rapporter på engelska och använda engelska i sin övriga kommunikation.

De som är verksamma inom bistånd har ofta engel­ska som arbets­språk. För dem är språk­valet oftast inget problem om innehållet i övrigt är begrip­ligt. Däremot kan språk­valet vara ett hinder för utomstående att få insyn i verksamheten.

Hur EBA använder sina resurser

EBA ska utvärdera och analysera ett stort och komplext politikområde. Statssekre­te­raren framför i samtal med oss att det därför är viktigt att EBA an­vän­der sina re­sur­ser effektivt. Men vi konstaterar att formen för EBA:s ekonomiska redovisning och att de inte redovisar sina resultat begränsar möjlig­heterna att analysera hur kom­mit­tén använder sina resurser.

Bättre förutsättningar framöver att använda hela budgeten

Anslaget till EBA för 2018 är 17,7 miljoner kronor. Med sparade medel från före­gå­en­de år har de en budget på 18,2 miljoner kronor. Varje år sedan starten har EBA an­vänt mindre pengar än vad regeringen har till­delat kommittén. Detta förklarar EBA med att de bland annat har varit försiktiga med att binda upp sig vid längre och större projekt eftersom det har varit oklart hur lång­siktig verk­samheten kommer att vara.

Tabell 3 Expertgruppens tilldelade och använda medel 2013–2018, tusen kronor

	2013	2014	2015	2016	2017	2018
Tilldelade medel	13 021	15 000	15 080	16 265	16 437	17 679
Anslagssparande			450	452	488	493
Total budget	13 021	15 000	15 530	16 717	16 925	18 172
Budgetutfall	2 514	10 228	14 445	13 198	13 734
Inte utnyttjat	10 507	4 772	1 085	3 519	3 190

Källa: EBA och regleringsbrev för budgetåren 2013–2018 avseende anslag 1:6 (anslag 99:1 år 2013).

Men sedan hösten 2016 har EBA bättre förut­sättningar att planera lång­siktigt och ut­nyttja hela budgeten, efter regeringens uttalande om att verk­samheten bör ses som lång­siktig. I budget­­propo­sitionen för 2018 motiverar regeringen att anslaget höjs med 1 miljon kronor för 2018 med att EBA ska kunna öka sin kapacitet att göra ana­lyser och utvärderingar.

Verksamhetsstrategin har ingen koppling till budgeten

EBA har inte kopplat verksamhetens inriktning till de tilldelade resurserna i sin verk­sam­hets­strategi. Det innebär att EBA inte har konkre­tiserat hur resurserna ska för­de­las exem­pelvis per verksam­hetsgren och olika typer av studier eller rapportserier. De har inte heller konkretiserat hur mycket kansliresurser som ska avsättas för att exem­­pelvis skriva egna rapporter i förhållande till andra insatser. Strategin beskriver inte heller hur de vill använda sina sam­lade ekono­miska och personella resurser för att uppnå bästa möjliga resultat.

Studierna tar stor del av resurserna men oklart hur mycket

Enligt EBA:s kansli tar studierna i serien EBA-rapporter en stor del av kommitténs ekonomiska och personella resurser i anspråk. Dessa studier kräver mest tid av både kansliet och expert­gruppen och har även de största externa kostnaderna i form av bland annat ersättning till författarna. Men den ekonomiska redovisningen visar inte hur stor del av resurserna som EBA använder för dessa studier, varken totalt eller var för sig.

Regeringen ställer inte samma krav på den ekonomiska redovisningen för kom­mit­téer som den gör för förvaltningsmyndigheter. EBA:s budget sätts i dialog med UD och utfallet redovisas per budget- eller kostnadspost. EBA:s årsrapport Bistånds­­­ana­lys behöver inte ha en resultatredovisning som kan jämföras med årsredo­visningen för en myndighet, där kostnader fördelas och redovisas för prestationer.

Löner och ersättningar till författare är de största kostnadsposterna

När EBA gör sin budget för verksamheten utgår de från ett antal kostnadsposter. De redovisar också det ekonomiska utfallet för dessa poster. De största kostnads­pos­terna 2017 var löne­r och sociala avgifter för kansliperso­nalen (5,7 miljoner kro­nor), ersätt­ningar till externa för­fattare och upp­drags­tagare (3,7 miljo­ner kronor) och kost­nader för arbets­platserna i kommittélokalerna (2,1 miljoner kronor). Andra större ­poster var seminarier (592 000 kronor) och arvoden till leda­möter och referens­personer (534 000 kronor).

Kostnads­redovisningen behöver vara mer utförlig för att det ska vara möjligt att be­räk­na hur kom­mitténs totala kostnader fördelar sig på olika verksamheter, rap­port­serier eller projekt. Detta skulle i sin tur kräva att kansli­personalen redovisar hur de använder sin tid, efter­som löner är den största kostnaden.

Olika karaktär på studierna i serien EBA-rapporter

EBA:s portfölj av studier är variationsrik. Många studier är kartlägg­ningar, kun­skaps­­översikter och syntesstudier gjorda av externa forskare som främst har sam­man­ställt och analyserat tidigare forskning och utvärderingar. EBA har hittills gjort få utvärderingar, men antalet ökar. Detta framgår av vår översiktliga kartläggning av de 37 rapporter som EBA till och med 2017 har publicerat i ­serien EBA-rapporter samt de 15 studier i serien som pågick i mars 2018.

En variation av studier i EBA:s portfölj

EBA har sedan starten producerat olika typer av studier och som behandlar många ämnen inom biståndet. Kommitténs portfölj innehåller exempelvis en kart­läggning av Sveriges finansiering av FN:s fonder och pro­gram, en analys av hur djurhälsan på­­verkar fattigdoms­redu­cering, en systemanalys av politiken för global utveck­ling, en utvärdering av bistånds­processer i Uganda och en syntes­studie av effekter av stat­liga antidis­kri­minerings­åtgärder. I port­följen finns också några metodstudier och en kri­tisk essä om biståndets en­procentsmål. Det finns med andra ord inte något ty­piskt kän­netecken för en EBA-studie.

Produktionen speglar att biståndsområdet är omfattande och kan analyseras på många sätt. Den speglar också att forskningsfälten är breda med olika teoretiska ut­gångs­­punkter och metodologiska angreppssätt. Den variationsrika produ­ktionen är också ett resultat av att EBA:s uppdrag ger utrymme för olika typer av studier och att expert­gruppen har velat utnyttja hela verktygslådan. I sin verk­samhets­strategi för 2018 förhåller sig EBA också öppna till vilken typ av studier de ska göra. EBA vill att frågornas innehåll ska avgöra om det blir en utvärde­ring, ana­lys, syntes­studie, kart­lägg­ning, kunskapsöversikt eller någon annan typ av studie.

Främst kunskapsöversikter och syntesstudier

Baserat på kansliets underlag är mer än hälften (20) av de 37 publi­cerade rappor­terna kunskaps­översikter, kunskaps­samman­ställningar, kartläggningar eller syntes­studier. Det innebär att författaren har sam­man­ställt tidigare kunskap och ofta kom­pletterat med en analys som i vissa fall utmynnar i rekom­mendationer. Av de pågående stu­di­erna i mars 2018 är ungefär en tredjedel av liknande slag, alltså en något mindre an­del. Men många studier har flera etiketter. En studie kan exempelvis vara en kom­bi­nation av en kart­läggning och kunskapsöversikt eller en forskningsstudie med ut­vär­derande och granskande drag.

Några ledamöter bedömer att EBA genom kunskapsöversikter och syntesstudier lyf­ter blicken och belyser biståndet på systemnivå. De menar att EBA har haft en kom­p­­let­terande funktion eftersom Sida inte genomför den här typen av studier.

Ett fåtal studier är av typen metod­guider som riktar sig till utvärderare eller beställare av utvärderingar. Andra typer av studier kan vara teoretiska tillämp­ningar av model­ler, analyser ur ett längre historiskt perspektiv och följeforskning.

Relativt få utvärderingar har genomförts hittills

Kansliet räknar 7 av de 37 publicerade rapporterna som utvärde­ringar. Av de 7 be­skri­ver kansliet ett par rapporter som land­utvärderingar. Övriga har drag av utvärde­ring eller är samman­ställningar av tidigare utvärderingar.

Enligt kansliet väckte expertgruppen tidigt tanken om att göra landstudier eller land­ut­värderingar, eftersom svenskt bistånd i hög grad karaktäriseras av lång­varigt stöd till enskilda länder. År 2016 publicerade EBA två land­utvärderingar som ett resultat av en utlysning. Utlysningen speci­ficerade att studien skulle vara en utvärdering av Sve­riges långsiktiga utveck­lings­samarbete med ett land. EBA lät författarna föreslå land samt modell och metod för utvärderingen. De båda stu­dierna är därför ut­for­made och angriper problemet på olika sätt.^[42] Exempelvis beskrivs land­utvärderingen av Uganda som en övning i modell­byggande kombi­nerad med en studie av hur in­ter­na faktorer har påverkat bistånds­effektiviteten.^[43] Landutvärde­ringen av Tanzania tar ett femtio­årigt perspektiv på det svenska utvecklings­sam­arbetet med landet för att svara på frågan om de svenska bistånds­medlen har bi­dragit till att minska fat­tig­domen.^[44]

Antalet utvärderingar kommer att öka något

Ledamöter som har suttit i expertgruppen en längre tid uppger att det fanns små för­ut­sättningar att göra utvärderingar så länge ESO stod som förebild för hur expert­­grup­­pen skulle arbeta. Sedan direktiv­et förändrades arbetar EBA för att få in mer ut­­värdering i verksam­heten, även om det inte är en uttalad ambition i kommitténs verk­­sam­hets­strategi.

Av de femton studier som pågick i mars 2018 har kansliet be­teck­nat fem som ut­vär­de­­ringar. Av dessa har kansliet betecknat tre som effekt­utvärderingar och en som lä­randeutvärdering. Två av dessa stu­dier betecknas också som land­utvärde­ringar och omfattar Sveriges långsiktiga utvecklings­sam­arbete med Kambodja och Bosnien-Hercegovina. Kansliet kallar den om Kambodja för lärande­utvär­dering medan den om Bosnien-Hercegovina kallas för effekt­utvär­dering. Studien om Swedfunds inves­te­­ringar i hållbart företagande kallas också för effektutvärdering, liksom en studie om de långsiktiga ekonomiska utvecklings­effekterna i Kambodja av ett program in­om infrastruktur och lokal demokrati.

De tre utvärderingar som har inletts efter att regeringen förändrade EBA:s direktiv fokuserar enligt kansliet på det svenska biståndets effekter och kostnads­effek­tivitet.

Författarna är oftast externa och har forskarbakgrund

EBA anlitar i huvudsak externa författare till rapporterna i serien EBA-rapporter, of­tast forskare vid ett uni­versitet. EBA anlitar i viss mån också andra experter från bland annat tankesmedjor, konsultbolag, forskningsinstitut och civil­sam­hällets orga­ni­sationer.^[45] Några rapporter har skrivits av kansliets personal. För närvarande ge­nom­för även en av expertgruppens ledamöter en studie.

Vår kartläggning visar att ungefär hälften av rapporterna har skrivits av en ensam för­­fattare och att övriga rapporter har skrivits av team med mellan två och sju för­fat­tare. Nästan alla av författarna (96 procent) är från Västeuropa, USA eller Australien. En tredjedel av författarna är från Sverige. Vissa expert­grupps­leda­möter ser gärna att EBA framöver ska försöka anlita författare även från samarbets­länderna.

En allt jämnare könsfördelning bland författarna

EBA strävar efter att få en jämn könsfördelning bland både för­fattare och deltagare i referensgrupper och paneldiskussioner. Deras kart­lägg­ning från hösten 2017 visar att det var en större andel män än kvinnor bland både författare till EBA-rapporter och deltagare i referensgrupper. I referensgrupperna var köns­fördel­ningen jämnare än bland författarna. Bland författarna dominerade männen stort både 2014 och 2015 (89 procent respektive 70 procent). Skillnaderna har därefter utjämnats och låg 2016 och 2017 inom det så kallade jämställdhetsintervallet (60/40).^[46]

Köns­fördel­ningen bland författarna har därefter utjämnats ytterligare. Könsför­del­ning­en är 50/50 för de studier som pågick i mars 2018.

Hälften av rapporterna har ett jämställdhetsperspektiv

Kansliets sammanställning visar att det finns ett jämställd­hetsperspektiv i ungefär hälften av de publicerade och de rapporter som pågick i mars 2018. I en dryg fjärde­del av rapporterna är jämställdhetsperspektivet tydligt eller till och med i fokus för stu­dien. I exempelvis det pågående följeforskningsprojektet analyserar EBA jäm­ställ­dhetsperspektivet i det svenska bilaterala biståndet genom Sida.

En femtedel av rapporterna har ett begränsat jämställdhetsperspektiv, till exempel i form av könsuppdelad statistik eller att rekommendationerna lyfter fram ett köns- eller jämställdhetsperspektiv. Bland de pågående studierna verkar en något större andel ha ett jämställdhetsperspektiv än de tidigare publicerade rapporterna. I avtalen med författarna finns det däremot inget angivet om att de ska använda ett jämställd­hetsperspektiv.

Jäm­ställdhetsfrämjande insatser står för en betydande del av bistånds­budgeten. Där­för har kansliet under flera år bevakat jämställdhetsfrågor. Kansliet hoppas att be­vak­ningen kan generera idéer till nya studier.

Studiernas omfattning i pengar och tid

EBA har länge velat hålla sig under gränsen för direktupphandling. Det har styrt nivån på ersätt­ningen till författarna, men också valet av författare. De pågående stu­dierna är till en del både dyrare och har längre genomförandetid än tidigare.

Direktupphandlingsgränsen har styrt ersättningsnivån

De författare som skriver för EBA får betalt för den arbetsinsats som EBA beräknar att de behöver för att svara på undersökningsfrågan och därför varierar ersättningen (tabell 4). Gränsen för direktupp­handling enligt lagen (2016:1145) om offentlig upp­hand­ling (LOU) har länge också styrt hur stor ersättning som EBA maximalt vill betala till de anlitade författarna. De första åren ville EBA hålla sig under denna gräns, bland annat för att snabbt komma igång och producera. Gränsen för direkt­upp­­hand­ling var exempelvis 505 800 kronor mellan juli 2014 och december 2015 och det påverkade de studier som inleddes under denna period.^[47]

I fyra av de tio studier som vi har studerat närmare har kansliet i sin förslags­pro­me­mo­ria till expert­gruppen angett en budget på högst 500 000 kr. Det gäller studierna om Swedfunds investeringar, Sidas arbete med jäm­ställdhetsintegrering, FN:s fonder och program samt biståndet till Tanzania. När det gäller studien om FN:s program och fonder angav de som lade fram förslaget till studien en budget på 550 000 kro­nor. Men kansliet föreslog att ersättningen skulle förhandlas ned till 500 000 kronor.

Valet av studier och författare påverkas av ersättningsnivån

EBA:s val att hålla sig under gränsen för direktupphandling har i vissa fall på­verkat hur omfattande eller djupa studier EBA har kunnat göra och vilken typ av författare de har kunnat anlita. EBA har kunnat hålla nere ersättningen genom att anlita fors­kare eller experter som redan har god kunskap i en fråga eller på ett område, eller kans­ke själva håller på att forska inom området. Ersättningsnivåerna skulle sanno­likt ha blivit högre om EBA hade anlitat exempelvis utvärderings­konsulter eller velat ta fram ny kunskap inom ett outforskat område. EBA uppger att om kommittén hade an­litat utvärderingskonsulter hade de sannolikt fått annor­lunda studier till en högre kostnad eller med lägre kvalitet.

Fler något dyrare och större studier pågår

EBA har börjat tillämpa utlysningar eller upphandlingsliknande förfaranden för vissa studier och genomför även några dyrare studier under något längre tid än tidi­gare. Förutsättningarna för detta har ökat genom regeringens utta­lande om att verk­sam­heten bör vara långsiktig, men också för att volymen på produktionen inte är i lika stort fokus för EBA som när kommittén startade.

Tabell 4 Utbetald ersättning i kronor per studie till externa författare för publicerade rapporter 2014–2017 och avtalad ersättning för pågående studier i mars 2018

	2014	2015	2016	2017	Pågående
Lägsta ersättning	90 000	180 000	160 000	100 000	270 000
Högsta ersättning	332 000	455 000	500 000	700 000	1 143 000
Median	185 000	250 000	297 000	256 000	525 000
Antal studier	4	8	11	11	14

Källa: EBA, Statskontorets bearbetning

Rapporter skrivna av kansliets personal ingår inte. För rapporter med arvoden i annan valuta än svenska kronor har vi räknat om beloppet enligt den valutakurs som gällde när rapporten publicerades (den tredje utbetalningen). Be­lop­pen är avrundade till jämna tusental kronor. Bland de i mars pågående studierna är den rapport som EBA har gjort tillsammans med den tyska utvärderingsorganisationen DEval inte medräknad.

Ersättningen till författarna under hela perioden 2014–2017 har varierat mellan 90 000 och 700 000 kronor, exklusive moms (tabell 4). Under samma period låg den ge­nom­snittliga ersättningen (median) mellan 185 000 och 297 000 kronor. För de stu­dier som pågick i mars 2018 är den avtalade ersätt­ningen i genomsnitt 525 000 kro­nor. För tre av dessa studier kommer ersättningen att bli runt 1 miljon kronor. Ett ex­empel är den pågående utvärderingen av Sveriges utvecklings­samarbete med Bosnien-Hercegovina där den avtalade ersättningen till författarna är 965 000 kro­nor, nära dubbelt så stor som ersätt­ningen för utvärderingen av ut­vecklings­samar­be­tet med Tanzania från 2016. För den pågående utvärderingen av utvecklings­sam­ar­be­tet med Kambodja uppger EBA:s kansli att ersättningen blir cirka 1,2 miljoner kro­nor. Detta innebär att författarna får bättre förutsättningar för att göra gedigna land­utvärde­ringar. Flera av de som vi har talat med bedömer att de något större stu­dierna gör att EBA kan bli mer komplementära och relevanta.

Studierna har tagit i genomsnitt 10 månader att genomföra

Det har tagit i genomsnitt 10 månader (median) att genomföra de studier som EBA har publicerat 2015–2017 jämfört med 7 månader under 2014. Tidsåt­gången har vi be­­räknat från det datum EBA tecknade kontrakt med författaren till det datum då expert­­grup­pen beslutade att godkänna rapporten för publicering. Tiden för urval och pla­nering samt förberedelser inför publi­cering och seminarium ingår alltså inte i måt­tet.

Tidsåtgången varierar mellan 5 och 17 månader, bland annat på grund av hur stor stu­dien är (tabell 5). Tiden har ökat något över tid och speglar att EBA gjorde mindre om­fattande studier i början för att få igång produktionen. För de studier som pågick i mars 2018 beräknar EBA tidsåtgången till i genomsnitt omkring 15 månader.

Tabell 5 Tidsåtgång i månader för studier publicerade 2014–2017 och andel rapporter som var fördröjda i förhållande till ursprunglig plan

	2014	2015	2016	2017
Kortast tid	5	5	9	7
Längst tid	8	11	17	20
Median	7	10	10	11
Andel fördröjda i förhållande till plan	20 %	67 %	91 %	75 %
Antal studier	5	9	11	12

Källa: EBA, Statskontorets bearbetning

Tidsåtgången har beräknats som antal månader från det datum EBA skrev kontrakt med författaren till det datum då expertgruppen fattade beslut om att godkänna rapporten för publicering.

Många studier tar längre tid än planerat

Ett stort antal av EBA:s rapporter har tagit längre tid att producera än vad som var planerat (tabell 5). Under 2016–2017 tog 19 av 23 rapporter längre tid att genom­föra än planerat. Fördröjningen var i genomsnitt tre månader. Enligt EBA:s kansli beror det på att kvaliteten är viktigast. Författaren kan få längre tid på sig än avtalat om för­fattaren och den ledamot som är ansvarig för referens­gruppen har kommit överens om det. Detta framgår av avtalen med författarna. Konsekvenserna av en fördröjning skul­le i värsta fall kunna innebära att rapporten inte blir klar i tid för att kunna ligga till grund för en berednings- och beslutsprocess i UD, eller förlora aktualitet på annat sätt.

Det finns olika förklaringar till fördröjningen. Exempelvis tog utvärderingen av Swed­fund lite drygt 2 år att genomföra i stället för 9 måna­der som beräknat. För­se­ning­en berodde på att det tog betydligt längre tid än beräknat för författarna att få till­gång till data. Det kan också uppstå fördröjningar om det finns problem med rap­por­tens kvalitet.

Studiernas anknytning till biståndspolitiken

På ett mer allmänt plan anknyter alla EBA:s studier till bistånds­politiken, men de är också tänkta att vara relevanta för fler målgrupper än regeringen. Kopplingen till rege­­ringens politik eller en svensk biståndsaktör har blivit tydligare i den pågående pro­duktionen.

Studierna kopplas oftast till biståndets inriktning eller motiv

I EBA:s verksamhetsstrategi ska studierna kunna utgå från tre övergripande kate­go­rier eller frågor av vikt för biståndet (avsnitt 3.2.4). Kansliet anger i sitt underlag till oss om alla publicerade och pågående studier hur studien knyter an till någon av de tre kategorierna. I många fall har studierna kopplats till fler än en kategori. Det väck­er frågor om hur styrande kategorierna har varit för valet.

De allra flesta av EBA:s publicerade studier faller in under kategorin biståndets in­rikt­ning eller motiv. Av de 37 publicerade rapporterna till och med 2017 räknar EBA 27 till denna kategori, antingen som enda kategori eller tillsammans med någon an­nan.

EBA:s studier är relevanta för biståndspolitiken på något sätt

EBA redovisar i underlaget till oss på vilket sätt deras rapporter och pågående studier knyter an till Sveriges utvecklingssamarbete. Alla EBA:s studier har i någon mån en kopp­ling till biståndspolitiken, men de behöver inte alltid ha som syfte att vara rele­van­ta för regeringens politik på ett mer direkt sätt.

Ledamöter och kanslipersonal framhåller i samtalen med oss att rappor­terna kan vara rele­vanta på olika sätt och på olika lång sikt. En del rapporter kan utgöra ett underlag i en aktuell be­sluts­process. Andra rapporter väcker nya frågor om eller bidrar med nya perspektiv på poli­tiken och kan kanske på sikt påverka politikens utformning och inriktning. Vissa kan också användas som underlag för debatt som däri­genom kan påverka politiken eller verksamheten. Studierna ska enligt EBA också bidra till att successivt bygga upp en bas av kunskap. Kunskapsbygget hör ihop med det mål för verksamheten som regeringen angav i de första direktiven till EBA, det vill säga att bygga upp en långsiktig kunskapsbas (avsnitt 2.4.1).

Anknytningen till den svenska biståndspolitiken kan vara mer uttalad, som exem­pelvis i studien om Sveriges bistånd till Tanzania.^[48] Ämnet för studien kan också ha en mer indirekt koppling och belysa ett område som för närvarande inte är prio­riterat eller tillräckligt uppmärksammat i svenskt bistånd, exem­pelvis utbild­nings­bistånd eller djurhälsans betydelse för att minska fattigdom.^[49] Rapporten om lokalt freds­byg­gande valdes utifrån motivet att freds- och statsbyggande är högt priori­terat av rege­ringen.^[50] Däremot bedömde EBA att rapporten om metoden Qualitative Comparative Analysis (QCA) inte var relevant för regeringens politik.^[51] Här var mål­gruppen sna­ra­re utvärderare eller beställare av utvärderingar.

Ofta finns en anknytning till styrdokument eller någon svensk aktör

Ibland har studierna en allmän eller ospecificerad anknytning till regeringens styr­do­kument för biståndet, vilket vi kan utläsa av EBA:s underlag. Det gäller exem­pel­vis rege­ringens bistånds­politiska plattform eller policy­ramverk, politiken för global utveckling och biståndsbudgeten. Ibland har de en tydligare ankny­tning till specifika styr­dokument som strategier och hand­lingsplaner eller till frågor som regeringen prio­riterar eller kommer att prioritera. Vi har svårt att utifrån EBA:s underlag utläsa i vilken ut­sträckning varje studie fokuserar på det svenska biståndet.

Underlagen från EBA om de studier som pågick i mars 2018 visar att studien i de flesta fall har en tydlig anknytning till Sveriges utvecklingssamarbete, vilket tyder på att EBA nu lägger större vikt vid detta. Unge­fär två tredjedelar anknyter an­tingen till ett mål i regeringens policy­ramverk, till en angiven strategi eller till en central aktör inom det svenska biståndet, exempelvis Sida eller Swedfund.

I en del av underlags­prome­moriorna till de tio studier vi har studerat närmare ser vi också att EBA har identi­fierat en på­gående process hos någon av mål­grupperna där den kommande rapporten kan komma att fylla en funktion.

EBA:s studier är ofta tänkta att rikta sig till flera målgrupper

När EBA har startat sina studier har de ofta tänkt sig att de ska vara relevanta för flera målgrupper. Den tänkta mål­gruppen är relativt bred för de flesta av både de publi­cerade rapporterna och de på­gående studierna. Men vanligtvis har UD och Sida pekats ut som de två främsta målgrupperna. I vissa fall preciserar EBA vilken eller vilka enheter eller funktioner inom UD och Sida som de ser som mottagare av resul­ta­ten.

Utöver UD och Sida anger EBA ofta en eller flera andra mer eller mindre preci­serade tänkta mål­grupper eller intresse­nter. Beroende på studie kan det vara civil­samhällets orga­­nisa­tioner, andra namngivna myndigheter eller depar­tement, andra givar­länder, sam­hälls­debattörer, forskare, politiska partier eller unga personer.

EBA arbetar mer aktivt med att identifiera rätt mål­grupp och rätt personer till refe­rens­grupper efter att studien har påbörjats. Inför lanseringen väljer kansliet noga ut de personer som ska delta vid seminarierna. Ungefär 25 tryckta exemplar av rap­por­ten skickas också ut till identifierade tilltänkta användare.

Rapporterna innehåller sällan konkreta rekommendationer

De författare som EBA anlitar står självständigt för rapportens innehåll, analys, slut­satser och eventuella rekommen­dationer. Det gäller även om en ledamot skriver en rap­port. Men när kansliets personal skriver en rapport står EBA för analysen och slut­satserna.^[52] För en läsare behöver inte detta vara självklart.

Rapporterna utmynnar ibland i rekommendationer, men de är sällan konkreta. Enligt EBA är det i regel svårt att få forskare att skriva rekom­men­dationer till beslutsfattare. EBA har också uppfattat att regeringen och UD som regel inte heller efterfrågar re­kom­men­dationer. Enligt våra samtal med UD är det viktigast att stu­dierna är väl ge­nom­förda och tydligt knyter an till svensk bistånds­politik, eller helst handlar om det svenska biståndet. Sen är det upp till UD och regeringen att utifrån analysen och slut­satserna bedöma om de behöver förändra politiken eller styrningen av verk­sam­he­ten.

EBA drar sällan egna slutsatser eller ger rekommendationer

Det finns inget som hindrar ledamöterna i expertgruppen från att gemen­samt eller en­skilt uttala sig i de biståndspolitiska frågor som de tycker är angelägna. Det skulle exem­pelvis kunna handla om att på ett tydligt sätt ställa sig bakom slutsatser i de rap­porter som EBA har publicerat, eller lämna egna rekommen­dationer till rege­ring­en utifrån dem. Expert­gruppen har här valt en lågmäld linje och är generellt för­sik­ti­ga med att ta ställning och att uttala sig. Ledamöterna ser egentligen inga hinder mot att rikta kritik mot exempelvis rege­ringens politik eller lämna re­kom­men­da­tio­ner till regeringen, men ser det inte som en viktig uppgift.

Expertgruppen använder inte heller sin årliga rapport Biståndsanalys i någon större ut­sträckning för att förmedla sin samlade uppfattning. Expertgruppens sam­man­sätt­ning kan också göra det svårt att enas om en gemensam ståndpunkt. Leda­möterna ser i stället att de genom valet av studier, resultat eller teman som ska ingå i års­rap­por­ten ger uttryck för vad de gemensamt tycker är viktigt att lyfta fram. I övrigt ut­talar sig expertgruppen i årsrapporten främst när det gäller vilka frågor och om­rå­den de ser som relevanta eller intressanta för kommande studier.

Vid ett fåtal tillfällen har expertgruppen i Biståndsanalys uttalat sig om vad de tycker är viktigt framöver. Sådana uttalanden hör alltid ihop med någon rapport som EBA har publicerat. Uttalandet kan då rikta sig direkt till regeringen, men det kan också vara underförstått eller ibland oklart vem uttalandet eller rekommen­dationen riktar sig till. Ett exempel på detta är rekommendationen att det ”utifrån ett PGU-per­s­pek­tiv bör inledas en översyn av det svenska forskningsbiståndet för framtiden”. Ibland är det också svårt att avgöra om det är författaren eller EBA som uttalar sig. Det gäl­ler exempelvis uttalandet att ”den globala djurhälsan förtjänar större upp­märk­sam­het både inom biståndet och inom samverkande områden”.

EBA har själva noterat att journalister och andra som tar del av EBA:s rapporter inte alltid är införstådda med att det är författarna och inte expertgruppen som drar vissa slutsatser. I Biståndsanalys 2017 skriver den tidigare ordföranden i sitt förord att EBA kan bli bättre på att förklara vad de menar med det dubbla oberoendet.

Synpunkter på kvaliteten i EBA:s rapporter och seminarier

I detta kapitel redovisar vi de synpunkter på EBA:s rapporter och semi­narier som vi har tagit emot i intervjuer med företrädare för UD, Sida och Swedfund. UD och Sida är EBA:s främsta målgrupper. Synpunkterna gäller rapporternas och semi­na­riernas kvalitet och relevans samt EBA:s arbetssätt. Statskontoret gör samman­fatt­ningsvis följande iakttagelser:

• Målgrupperna uppfattar att EBA fortfarande famlar i sin roll som utvärderings- och analysfunktion och att kommittén behöver ta ett fastare grepp om sin strate­giska inriktning.
• UD bedömer att EBA:s verksamhet utvecklas åt rätt håll i förhållande till de nya direk­tiven och regeringens förväntningar. EBA börjar göra fler utvärde­ringar och har blivit mer uppmärksamma på rege­rin­gens behov. UD ser inga direkta över­­lappningar i förhållande till Sida och bedömer även att det svenska pers­pek­tivet i rapporterna har stärkts.
• Många anser att EBA:s rapporter ofta är intressanta och att ämnesvalen är rele­vanta. De anser att seminarierna är välarrangerade och ibland intressantare än rapporterna. Men hittills har EBA:s rapporter inte påverkat rege­ringens politik direkt eller fått någon avgörande betydelse för Sidas sätt att arbeta. Det visar att rapporterna inte heller har varit tillräckligt relevanta och prak­tiskt användbara för de viktigaste målgrupperna.
• En del av EBA:s rapporter kan ha varit nyttiga på andra sätt, exempelvis som kun­skaps­underlag, för debatt, eller för att bekräfta inriktningen på politiken och redan tagna initiativ. Vissa rapporter har också satt fokus på ett ämne som tidi­gare inte har varit så uppmärk­sammat i det svenska biståndet.
• Målgrupperna anser att rapporternas vetenskapliga kvalitet och läsbarhet vari­e­rar och att faktakontrollen ibland borde ha varit bättre. Brister i kvalitet och rele­vans kan bland annat bero på att författaren har fått dåliga förut­sättningar att ana­lysera en komplex fråga, eller inte varit tillräckligt insatt i hur det svenska bi­ståndet styrs och genomförs eller hur Sida arbetar.
• Det är viktigt för framför allt UD att rapporten bidrar med ny kunskap eller taj­mar en beslutsprocess för att den ska uppfattas som relevant och komma till an­vändning. Det är också viktigt att författaren är insatt i det svenska biståndet.
• Målgrupperna anser att det är viktigt att EBA tolkar, paketerar och kommu­ni­cerar resultaten på ett lämpligt sätt till rätt mottagare. EBA kan behöva pröva andra sätt än seminarier för att nå UD:s tjänste­män. Men många anser att det är vik­tigare att EBA får in de tänkta användarna och mottagarna av resultaten tidigt i processen eller i referensgruppen. De bedömer att en tidig dialog ökar förut­sätt­ningarna för att rapporten ska bli relevant och tas emot väl i mål­gruppen.

Statskontorets och EBA:s målgruppsundersökning

Statskontoret har under våren 2018 undersökt hur ett urval av EBA:s centrala mål­grup­per upp­fattar kvaliteten i kommitténs rapporter och seminarier, med fokus på pro­duktionen sedan 2016. Redo­vis­ningen bygger på samtliga intervjuer vi har gjort med före­trädare för UD och Sida samt en intervju med Swedfund. En del av inter­vju­erna utgår från de tio studier som vi har studerat närmare (se avsnitt 1.4.3 och bila­ga 2). Vårt uppdrag omfattar inte att själva granska och bedöma kvaliteten i EBA:s rapporter (se avsnitt 1.3). Vår under­sökning komp­letterar EBA:s under­sök­ning från 2016. I den undersökningen ställde kansliet frågor om hur tjänste­män i UD och Sida uppfattar och har använt sig av de rapporter som kommittén hade publi­cerat till och med januari 2016.^[53]

Få har överblick över EBA:s verksamhet och rapporter

Relativt få av de representanter för UD och Sida som vi har intervjuat har följt kom­mittén sedan starten, vilket innebär att de flesta inte har någon överblick över EBA:s rapporter. De framförda syn­punkterna på rappor­ternas kvalitet, relevans och an­vänd­barhet samt på semina­rierna baseras därför i många fall på några lästa rapporter och be­sökta semi­narier. Synpunkterna på kommitténs arbetssätt baseras på den eller de pro­­cesser den intervjuade har ingått i eller varit berörd av.

Många av EBA:s rapporter nämns aldrig i de samtal som vi har haft, medan andra åter­kommer i flera intervjuer. Det första kan vara ett tecken på att rapporten har gått obe­märkt förbi, kanske för att mottagarna inte har uppfattat den som relevant. Det andra är ofta ett tecken på att rapportens kvalitet, relevans eller processen runt den har varit bra eller mindre bra i olika avseenden.

Upplevd kvalitet ur betraktarens öga

Hur en person bedömer en rapport från EBA kan bland annat bero på hur djup metod- eller ämneskunskap personen har eller vilka förväntningar hen har haft på rapporten. Kvalitet kan också innebära olika saker för olika personer och kan gälla både rap­por­tens innehåll och processen runt den. Det kan bland annat handla om hur relevant och användbar rapporten har varit för verksamheten eller politiken, rapportens aktua­litet, läs­barhet och tajming i förhållande till en beslutsprocess eller trovärdig­heten i de resultat som presenteras. Det går inte att bortse från att den upplevda kvaliteten ock­så kan spegla viljan att ta emot och hantera kritik eller resultat som inte öve­rens­stämmer med mottagarens egen uppfattning.

Intressanta med inte så användbara rapporter 2014–2015

EBA:s uppföljning 2016 visade att de flesta av de 14 tillfrågade personerna inom UD och Sida ansåg att de 13 publicerade rapporterna 2014–2015 generellt var väl­skriv­na och belyste intressanta ämnen, men att de oftast inte var policy­relevanta. Det inne­bär att de i regel inte var användbara för regeringen och Sida. Två av rapporterna hade använts som underlag av Sida för nya studier.

Enligt de intervjuade finns det flera förklaringar till varför rapporterna inte var rele­van­ta. De flesta upp­fattade att författarna inte hade tillräcklig kunskap om det sven­ska biståndet och hur arbetet går till i praktiken, trots att de hade stor kunskap inom sitt forsk­ningsområde. Studierna var därför i många fall inte tillräckligt djupa eller så missade författarna viktiga frågor. Ibland var den kunskap som presenterades re­dan känd.

Drygt hälften av de tillfrågade hade inte uppfattat syftet med rapporten eller till vilken målgrupp den riktar sig. Många ansåg därför att EBA borde fundera över sin pri­mära målgrupp och vad de vill tillföra. Ungefär hälften ansåg också att det är vik­tigt att EBA inför starten av en ny studie stämmer av idén med de som är insatta i det området som studien ska behandla. Rapporten kan då bidra med ny och relevant in­formation. Dialogen kan tillföra nya perspektiv och fånga upp vilken ny kunskap som behövs. En tredjedel av de till­frågade hoppades också på att EBA skulle göra fler utvärderingar eller gransk­ningar.

Synpunkter på rapporternas kvalitet och relevans

Vi beskriver i detta avsnitt några övergripande syn­punkter på EBA:s verksamhet och ut­veckling som vi har tagit emot. Vi beskriver också både övergripande och mer spe­cifika syn­punkter på främst rappor­terna i serien EBA-rapporter. Syn­punkterna hand­lar både om sådant som de intervjuade anser att EBA har lyckats bra med och så­dant som de direkt eller indirekt säger att EBA behöver utveckla eller lära av. De syn­­punkter som vi har mottagit liknar i många fall de synpunkter som EBA fick reda på i sin uppföljning för två år sedan.

EBA famlar fortfarande i sin roll men utvecklas åt rätt håll

Flera av de som vi har talat med på UD och Sida förstår att EBA har behövt tid för att hitta sin roll och sina arbetsformer utifrån sitt breda och svåra uppdrag. Två fram­trä­dande synpunkter är att EBA fortfarande famlar i sin roll, men att de är på rätt väg när det gäller verksamhetens inriktning. Vissa anser att EBA ännu inte har blivit den ut­värderande eller granskande funktion som de hade förväntat sig.

UD bedömer att de nya direktiven till EBA än så länge inte har inneburit något större skifte i verksamheten. Men de anser att EBA börjar hitta en bättre balans genom nå­got fler utvärderingar och att de också har blivit mer uppmärksamma på vad rege­ring­en behöver. Det sven­ska perspektivet i rapporterna har stärkts och de ser inga direk­ta över­lapp­ningar i förhållande till Sidas verksamhet. EBA:s rapporter ligger i regel på en högre policynivå.

Både UD och Sida framför tydligt att EBA behöver ta ett fastare grepp om verk­sam­he­tens strategiska inriktning och att de behöver klargöra vilka de vill påverka med sina rapporter och hur. Det innebär att EBA behöver en förändrings­teori. En aspekt på detta är att EBA:s pro­cess för att ta fram studier behöver bli mer fråge- eller prob­lem­­driven och att de därför behöver hålla sig mer uppdaterade om vad som är på gång inom bistån­det. Samtidigt förstår de intervjuade att det kan vara svårt för EBA att ha inblick i dagspolitiken när de befinner sig en bit ifrån den operativa verksam­he­ten.

Det finns också synpunkter från både Sida och UD om att EBA behöver bli bättre på att sätta rätt etikett på sina rapporter. Det innebär att de behöver vara tydligare med vad det är för typ av studie eller utvärdering de har gjort för att undvika missförstånd.

Intressanta studier men de har i liten grad påverkat politiken och verksamheten

De flesta som vi har talat med tycker att rapporterna i serien EBA-rapporter ofta är in­tressanta och att ämnesvalen är relevanta för biståndspolitiken i bred bemärkelse.

Men flera inom UD anser att rapporterna hittills inte direkt har påverkat rege­ringens politik. En rapport kan ha utgjort ett av flera underlag i UD:s beredning av en fråga, men inte haft någon av­görande betydelse för utfallet. Ibland har rapporten gett stöd för regeringens inrikt­ning på politiken och UD:s redan pågående eller genomförda ar­bete.

Enligt företrädare för Sida har EBA:s rapporter inte haft någon avgörande bety­delse för myndig­hetens sätt att arbeta. Sida uppfattar dessutom att endast få studier har varit riktade till myndigheten. Men den första delrapporten från EBA om ge­nom­sla­get av Sidas plan för jämställd­hets­integrering har satt igång en process i myndigheten för att ta hand om den fram­förda kritiken.^[54] Enligt Sida har den också ökat för­fat­tar­nas kunskap om bredden i myndig­hetens arbete. Den andra del­rapporten har enligt Sida däremot inte gett några använd­bara resultat.^[55] Det förklarar Sida bland annat med att författarna inte har haft tillräcklig kunskap om hur Sida styr och leder eller hur Sida arbetar integrerat med jäm­ställdhets­frågor.

EBA har sedan starten publicerat några metodrapporter som inte har varit använd­bara för UD och inte heller direkt användbara för Sida. Ett exempel är rapporten om Qualitative Comparative Analysis (2016:05) som framhålls som intressant för me­tod­­kunniga utvärde­rare. Den behandlar en avancerad utvärderings­metod riktad till en smal publik, främst forskare. Metoden är svår att tillämpa för Sida, men som me­tod­­­handbok är den pedagogiskt upplagd. Företrädare för Sida frågar sig om EBA ska ägna sig åt att göra metodrapporter.

Rapporterna kan vara nyttiga på andra sätt

Även om många rapporter inte har kommit till konkret användning för UD och Sida kan de ha varit nyttiga på andra sätt, till exempel genom att ge underlag för debatt. Ett par företrädare för Sida anser att det är bra om EBA kan ta på sig rollen som kri­tisk granskare av biståndet och även vara ett forum för en debatt som grundar sig på empiri. De anser att det behövs som motvikt till den vanligen ideologiskt färgade de­batten.

Rapporterna kan också användas som kunskapsunderlag i ett allmänbildande syfte. Exempelvis har tjänstemän i UD använt rapporter för att lära sig mer om ett nytt om­råde som de ska ansvara för.

EBA:s rapporter kan ibland också fokusera på ett ämne som inte har varit så upp­märk­sammat tidigare. Ett exempel på detta är rapporten om lokalt fredsbyggande (2017:05) som enligt företrädare för Sida behandlar ett ämne som inte har diskuterats så mycket bland praktiker. Därför ger den ett mervärde. Men den är inte så användbar eftersom den saknar en diskussion om praktiska möjligheter. Rapporten har heller inte fått något genomslag på UD. Ett annat exempel är EBA:s två studier om forsk­nings­­bistånd (2017:07 och 2017:08). Studierna har bidragit till att forsknings­bi­stån­det har uppmärksammats både inom och utanför Sida. Därför uppfattas dessa rap­por­ter som relevanta.

Den vetenskapliga kvaliteten uppfattas variera

Det kan vara svårt för tjänstemän på UD och Sida att bedöma den vetenskapliga kva­liteten i EBA:s rapporter utan att detaljgranska dem. Företrädare för Sida uppger att en sådan granskning kräver både tid och relevant kompetens. Läsare och tänkta an­vändare måste därför i hög grad förlita sig på att EBA anlitar kom­petenta utförare och har en bra process för sin kvalitets­säkring.

Utifrån de synpunkter som vi har fått uppfattar vi att den vetenskapliga kvaliteten i EBA:s rapporter överlag är god. Men synpunkterna på kvaliteten varierar från myck­et bra till undermålig. En bra kvalitet kännetecknas bland annat av att för­fattarnas slut­­satser är väl underbyggda och trovärdiga. Det behöver däremot inte betyda att mot­tagaren håller med om dem eller att de är relevanta och användbara. Vissa önskar till exempel att författarna skulle vara mer insatta i hur det svenska biståndet styrs eller vilka ämnen som är politiskt mest aktuella.

Korrekt fakta, läsbarhet och paketering är viktigt

En rapport kan uppfattas vara intressant och väl genomförd, samtidigt som faktafel, ton och läsbarhet kan sänka helhetsintrycket när det gäller kvaliteten. Enligt våra inter­vjuer med UD och Sida har EBA endast erbjudit vissa av de som är berörda av en rapport att kontrollera fakta. Ibland kanske underlaget inte kan kontrolleras av UD, Sida eller andra berörda, men flera anser att EBA regelmässigt bör erbjuda möj­lig­heten att kontrollera fakta när det är relevant. I en av de studier som vi har studerat när­mare har Sida fått faktagranska hela rapporten före publicering. Det gäller en rap­port om biståndets styrning som är författad av kansliet.

Kvaliteten i den språkliga och skriftliga framställningen i EBA:s rapporter varierar enligt flera som vi har intervjuat. Vissa rapporter uppfattas vara välskrivna, medan andra är röriga och svårtillgängliga. Ibland beror det på att språkbruket är för tekniskt eller för akademiskt. En framförd synpunkt är att rapporterna bör vara tillgängliga för normal­begåvade läsare.

Många av de tjänstemän i UD och Sida som vi har talat med har i regel inte tid att läsa en hel rapport, utan läser oftast bara sammanfattningen. De säger att det är vik­tigt att EBA paketerar och kommu­nicerar resul­taten på ett lämpligt sätt till rätt mot­ta­gare för att resultaten ska vara både tillgängliga och användbara. Semina­rier­na är ett sätt, men vissa efterfrågar kortare sammanfattningar av studiens huvud­budskap där EBA uttolkar vad budskapet betyder för politiken och hur biståndet kan utvecklas av regeringen och andra involverade aktörer.

Tajming och ny kunskap är viktigt för relevansen

EBA ska bidra med underlag och kunskap som regeringen kan använda för att ut­veck­la och styra biståndet. Det kräver att rapporten är relevant för det svenska bi­stån­det när den publiceras, även om analyserna eller utvär­de­ringarna hanterar lång­sik­tiga frågor. Flera betonar att rapporten måste bidra med ny kunskap för att vara rele­vant och användbar. Exempelvis gav rapporten om antidiskriminering (2017:02) inte någon ny kunskap för UD och den var heller inte så relevant för det svenska bi­ståndet. För­fattaren hade gjort en ingående analys, men den var inte tydligt kopplad till regeringens ramverk för mänskliga rättigheter. Tonvikten låg också på två länder som Sverige inte längre samarbetar med i dessa frågor.

Flera inom UD betonar att tajmingen är viktig för att studierna ska kunna användas som beslutsunderlag för regeringen. Rapporten behöver komma i god tid för att kun­na komma till nytta i berednings- och besluts­processen, till exempel när det gäller en proposition eller en biståndsstrategi. En rapport kan komma att användas senare även om den inte går direkt in en beslutsprocess om ämnet är relevant, men risken ökar för att den blir inaktuell eller bortglömd.

Studien om politiken för global utveckling (2016:11) är ett exempel på en rapport med ett relevant ämnesval, men som kom för sent i förhållande till UD:s bered­nings­pro­cesser. Rapporten lanserades i december, men den process som rapporten hade po­tential att påverka pågick tidigare på hösten. Resultaten i studien var enligt UD re­dan kända och därför var rapporten heller inte användbar.

Stu­dien om regional utveck­ling och integration i Afrika (2016:01) är enligt UD ett annat exempel på en intressant rapport, men som kom för sent i förhållande till en pro­cess. Ett färskare exempel är utvärderingen av Swedfund (2018:01). Rapporten kom för sent för att bidra till det projekt som pågick på Regerings­kansliet och som inne­­bar att regeringen fastställde en ny ägaranvisning till Swedfund. Rapporten var för­­senad med över ett år vilket också medförde att de data som rapporten i delar bygg­de på var inaktuella.

Bristande kvaliteten kan ha många förklaringar och få oönskade effekter

Kvalitetsbetyget för en rapport kan bli lågt av olika anledningar även om ämnet är både relevant och intressant. En av de studier som många lyfter fram som ett sådant ex­em­pel är den så kallade landutvärderingen av Tanzania (2016:10). På flera sätt speg­lar den hur EBA arbetade vid denna tidpunkt och effekterna av detta arbetssätt.

Den kritik som vi har tagit emot handlar om att Tanzaniastudien hade ett vällovligt syfte som den inte lyckades uppfylla. Författarna skulle bedöma om det svenska bi­ståndet hade bidragit till att minska fattigdomen i landet över tid. Studien skulle också bedöma på vilket sätt biståndet i så fall har minskat fattigdomen och vilka lärdomar som detta kan ge till det nuvarande utveck­lings­samarbetet.^[56] Det valda tids­perspek­tivet var 50 år. Flera anser att det huvudsakliga problemet var att författarna hade fått dåliga förutsättningar för att genomföra uppdraget. Studien var inte till­räck­ligt finansierad (500 000 kronor) för att kunna svara på de omfattande frå­gorna. Sida uppger att de gör projektutvärderingar för motsvarande belopp. Sammantaget ledde de dåliga förutsättningarna enligt Sida och UD till att för­fattarna drog slutsatser på svag grund och att det även saknades viktiga perspektiv i rap­por­ten. Detta ledde i sin tur till att rapporten inte kunde ge en tro­värdig bild av utfallet.

Företrädare för Sida är även kritiska till att EBA kallar studien för en effektutvär­de­ring. De menar att den snarare var en sammanställning av i huvudsak redan känd kun­skap. Ett annat problem var att studien var dåligt förankrad på ambassaden i Tan­zania. Sidas företrädare bedömer att studien hade kunnat bli bättre om Sida hade varit med i referens­gruppen eller att personalen på ambassaden hade deltagit tidigt i processen. Sida anser också att det var oklart om myndigheten ens var tänkt som mot­ta­gare av resultaten, eller om syftet var att skapa debatt. Tanzaniastudien fick stort genom­slag i media. Enligt företrädare för Sida var en del artiklar missvisande och EBA var inte beredda på att hantera och kommentera detta.

Seminariet om rapporten blev enligt Sida förhållandevis bra, tack vare de personer som deltog i panelen. Seminariet gav tillfälle till en bra diskussion som inte var låst till rapporten. Andra som vi har intervjuat anser att rappor­ten är intressant och att den bidrog till ny kunskap. Detta visar att en rapport kan uppfattas mycket olika bero­ende på bland annat läsarens förkunskaper och förväntningar.

Involvering i processen kan vara viktigt för mottagandet

Flera av de som vi har intervjuat anser att det är viktigt att EBA:s kansli tidigt för en dialog med den som är tänkt att använda rapporten. En tidig kontakt ökar förutsätt­ningarna för att rapporten ska vara relevant och för att den ska bli väl mottagen i mål­gruppen. Ett annat sätt att åstadkomma detta är att någon från den mottagande orga­nisationen deltar i referensgruppen. Flera som vi har talat med har också upp­skat­tat att ha en dialog med författaren. Några anser att en dålig process känne­teck­nas av att en publicerad rapport hamnar på en tjänstemans bord utan förvarning.

Inför rapporten om Sveriges finansiering av FN:s fonder och program (2017:11) förde EBA:s kansli en dialog med den ansvariga enheten på UD om intresset för en studie och inriktningen på den. En tjänsteman från den mottagande enheten ingick också i EBA:s referensgrupp för studien och hade på så sätt möjlighet att lämna syn­punk­ter till författaren. Rapporten var inte tillräckligt förankrad i politiken, men var ändå an­vänd­bar genom att analysen och empirin kunde bekräfta UD:s upp­fattningar. En del rekommen­da­tioner låg i linje med ett arbete som då pågick på UD. I samband med att rappor­ten lanserades kom författarna till UD för att samtala med de berörda hand­läggarna, vilket var uppskattat.

Ett annat exempel på en bra process med UD gäller en underlagsrapport från EBA 2018 om rätts­statens prin­ciper.^[57] UD var involverade när idén till studien initierades, hade en bra dialog med huvudförfattaren och fick möjlighet att bidra med synpunkter för att göra rapporten så användar­vänlig som möjligt. Rapporten blev på så sätt rele­vant för enhetens arbete.

Ett exempel på en i huvudsak bra process för den utvärderade organisationen är rap­por­ten om Swedfunds bidrag till utveckling (2018:01). EBA involverade Swedfund i processen när studien inleddes och Swedfund har också haft en repre­sentant med i re­ferens­gruppen som också har varit huvud­för­fattarens kon­takt­­person under pro­jekt­tiden. Före­trädaren för bolaget deltog inte i arbetet med att ta fram frågorna som skul­le besvaras, men hade en bra dialog med EBA om vilken typ av kom­petens som krävs för att utföra uppdraget. UD var däremot inte involverade och fick reda på att stu­dien pågick sent i processen.

Swedfund bildade en projektgrupp som hjälpte författarna med de data som be­höv­des för studien, vilket var svårt och resurskrävande. EBA:s studie sammanföll med det projekt som Swedfund själva hade initierat med att se över bolagets uppdrag och ekonomiska mål. Därför drog rapporten ut på tiden med över ett år. Swedfund uppger att bolagets strategiarbete redan hade tagit hand om en del av författarnas slutsatser när rapporten lanserades. Swedfund kommer däremot inte att kunna använda alla slut­satser och enligt bolaget är vissa av slutsatserna fel.

Sammantaget har insatsen och stödet till författarna krävt mycket tid från Swed­fund som är en liten organisation. Enligt bolaget behöver därför syftet med studien och hur resultaten är tänkta att användas vara tydligt från början. De anser att EBA som an­svariga för studien också behöver väga nyttan mot resursinsatsen hos den grans­ka­de organisationen.

Synpunkter på seminarier och övriga rapporter

I våra intervjuer har vi också fått synpunkter på EBA:s seminarier och de övriga rap­porter som de publicerar. Det gäller årsrapporten Biståndsanalys och rapporterna i de två andra serierna, underlags­rapporter och DDB-rapporter. Synpunkterna är över­lag positiva, men det finns synpunkter på att både målgrupp och an­vänd­nings­om­råde är oklara för de två rapportserierna.

Seminarierna är intressanta och ger tillfälle till fördjupning

Många av de som vi har talat med på UD och Sida anser att EBA:s seminarier är väl­­arrangerade och i allmänhet intressanta. De säger att EBA lyckas bra med att kny­ta de presen­terade rapporterna till det svenska biståndet och vissa tycker till och med att semi­na­rierna är bättre än rapporterna. Seminarierna ger utrymme för att ge fler per­­spek­tiv på slutsatserna i den rapport som presenteras. Några anser att semina­rier­na ger tillfälle att fördjupa den biståndspolitiska debatten och att diskutera möjlig­he­ter till utveckling.

EBA bör pröva fler sätt att nå UD

Några av de som vi har intervjuat undrar vad EBA förväntar sig att seminarierna ska leda till. De frågar sig också om EBA alltid når rätt målgrupper med sina semi­narier, särskilt om regeringen och UD är deras främsta målgrupp. Flera har noterat att det är en stor andel studenter, forskare och icke yrkes­verksamma bland deltagarna. EBA:s uppföljning över besökare 2016 och 2017 visar att 10–12 procent av del­ta­gar­na var från UD och 10 procent från Sida.

Vissa anser att EBA behöver fundera över om det finns andra sätt att nå de viktigaste målgrupperna. Seminarieformen passar inte för alla typer av frågor och inte heller all­tid för UD-tjänstemän som har ont om tid. De som vi har talat med föreslår work­shops eller runda­bords­samtal som tänkbara alternativ, men det kan finnas andra sätt. Vi har noterat att EBA har testat workshops och rundabords­samtal vid några till­fäl­len.^[58] Flera av de som vi har talat med pekar trots allt på att det viktigaste är att få in de tänkta användarna mycket tidi­gare i processen än när rapporten ska lanseras.

Årsrapporten ger en bra sammanfattning av resultaten

Statssekreteraren och tjänstemän på UD IU uppskattar EBA:s årliga rapport Bi­stånds­analys. De anser att rapporten har blivit allt bättre och att den samman­fattar verk­samheten och resultaten i årets studier på ett bra sätt. Innehållet presen­teras på ett lättillgängligt sätt och rapporten är en bra grund för att föra samtal om verk­sam­heten. Men några önskar också att expertgruppen är något mer offensiv genom att våga ge uttryck för sina egna stånd­punkter.

Företrädare för Sida instämmer i att innehållet i Biståndsanalys är bra paketerat. Rapporten presenteras för Sidas ledningsgrupp och det leder till bra samtal. Men de an­ser också att rapporten skulle bli mer intressant om EBA blickade mer framåt.

DDB-rapporterna är intressanta för vissa

I våra intervjuer är det ett fåtal som själva har tagit upp och kommenterat rappor­terna i DDB-serien. Dessa rapporter sammanfattar nya bistånds­relevanta avhandlingar och EBA ger ut dem inom ramen för sitt kunskapsförmedlande upp­drag. När vi har frågat om serien är det vissa som har haft svårt att uttala sig om den. Men generellt uppfattar de som vi har talat med att den är mindre relevant för UD och den politiska led­ningen än vad den ordinarie rapportserien är.

Vissa tjänstemän inom både UD och Sida anser att både DDB-rapporterna och DDB-semi­narierna överlag är bra och intressanta, men att seminarier ibland kan vara aka­de­miskt smala. De ser också ett värde i att de finns ett forum där företrädare för forsk­ning, politik och praktik kan mötas och där kan serien fungera väl som ett sätt att lyfta fram forskningen. Men en av de som vi har talat med frågar sig om det är EBA eller Vetenskaps­rådet som ska svara för detta. Uppgiften bör kanske ligga på EBA om EBA ska eller vill fungera som en tankesmedja inom biståndet, enligt denna intervjuperson. Andra synpunkter vi har fått är att det är oklart både vem som ska an­vända DDB-rapporterna och hur de ska an­vändas.

Oklart hur underlagsrapporterna är tänkta att användas

Flera som vi har samtalat med anser att rapporterna i serien underlagsrapporter har ett oklart syfte, oklar status och avsändare (se även avsnitt 3.4.2). Flera känner inte till eller har reflekterat över rapporterna i serien. Det kan bero på att EBA inte har publicerat så många underlagsrapporter. Fram till i april 2018 hade de publicerat tret­ton stycken. Vissa tjänstemän i UD anser att EBA kan kommunicera syftet med rapporterna bättre så att departementet förstår om och i så fall hur de kan användas.

Arbetssätt för att säkra relevans och kvalitet i verksamheten

I det här kapitlet beskriver och analyserar vi EBA:s arbetssätt och deras dialog med UD och Sida för att säkerställa relevans och kvalitet i verksamheten. Vi kon­cen­trerar oss på rapporterna i serien EBA-rapporter. Stats­kontoret gör sammanfatt­ningsvis föl­jande iakttagelser:

• Dialogen med UD är viktig för att EBA bättre ska kunna leverera de relevanta studier som rege­rin­gen behöver. UD:s expert i kommittén har en nyckel­roll för att förmedla idéer och synpunkter. Men personalomsättningen på UD är en ut­ma­ning för EBA när det gäller att skapa relationer mellan organisationerna.
• EBA:s kansli står för den löpande omvärldsbevakningen och har fått bättre över­blick över regeringens biståndsstrategier och när de löper ut. Det ökar förut­sätt­ning­ar­na för att lägga kommande studier rätt i tiden.
• Kansliets kon­takter med Sida är regel­bundna och ska bland annat säkerställa att EBA och Sida kompletterar varandra. Kontaktpersonen på Sida är en viktig in­gång för EBA i olika typer av ärenden.
• Policy­relevans är ett av EBA:s prioriteringskriterier, men kriteriet har inte alltid styrt valet av studier. EBA har gett och vill fortsätta att ge författarna relativt stort utrymme att påverka studiens inriktning utifrån öppna frågor. Genom att ta in anbud får EBA nu bättre förutsättningar att välja förslag med en inriktning som är relevant för svenskt bistånd. Upphandling av större studier ger också bätt­re förut­sättningar för att ta fram ny kunskap – ett viktigt relevans­kriterium för regeringen.
• EBA har en tydlig process för att kvalitetssäkra rapporterna. EBA har som am­bi­tion att få någon från de mest berörda organisationerna att ingå i referens­grup­pen. Referens­gruppen är viktig för att stödja författaren under studiens gång och ex­pert­gruppen gör den slutliga kvalitetsgranskningen. För­fattaren har stor själv­stän­dighet och kan välja att inte ta hänsyn till alla syn­punkter.
• EBA har inte tagit fram några kvalitets­kriterier för bedömningen. Både refe­rens­grup­pens och expertgruppens kvalitets­bedömning utgår från några öppna frågor om rapportens styrkor och svagheter. Brister eller luckor i en rapport kan kom­pen­se­ras när EBA lanserar rapporten vid ett seminarium.
• EBA har anställt en kommu­nikatör och börjat se över sin kommunikations­stra­te­gi, vilket innebär att de har höjt sina ambitioner med sin kommunikation. De vill hitta fler vägar för att nå rätt målgrupper och ge rapporterna ett längre liv. Seminarier räcker oftast inte för att nå UD:s tjänstemän.
• EBA:s uppföljning av verksamheten har hittills främst varit kvantitativt inrik­tad och haft som mål att visa verksamhetens breda genomslag. Men EBA vill skapa en mer systematisk kvalitativ uppföljning.

Ändamålsenliga arbetssätt i produktionsprocessen

EBA ska bidra till kunskap framför allt för att regeringen ska kunna utveckla bi­stån­det. EBA gör detta genom att beställa eller själva genomföra utvärderingar och ana­ly­ser samt genom att kommunicera resultaten. De rapporter som EBA publicerar be­hö­ver vara relevanta för den svenska biståndspolitiken och hålla tillräckligt hög kva­li­tet i övrigt för att kunna användas och ligga till grund för beslut och verksam­hets­utveckling. EBA behöver därför arbeta på ett sätt som gör att de uppnår regeringens mål med verksamheten, det vill säga att arbets­sätten är ändamåls­enliga för sitt syfte. Regeringen har uttalat att EBA:s verksamhet ska vara långsiktig. Därför bör EBA upp­fylla högre krav på arbetsformerna än om kom­mitténs uppdrag var tillfälligt.

Vi utgår i analysen av EBA:s arbets­sätt och dialogen med bland andra UD och Sida från kommitténs pro­cess för att producera och kommunicera rapporter i serien EBA-rapporter, det vill säga de rapporter som expertgruppen beslutar om.

Figur 2 EBA:s produktionsprocess för rapporter i serien EBA-rapporter

Grovt sett innehåller processen fyra steg. De första tre är att initiera och välja studie, genomföra och kvalitets­säkra studien samt därefter lansera och kom­municera rap­por­­tens resultat. Det är i de två första stegen som EBA skapar förut­sättningar för att rap­porten ska vara relevant och hålla hög kvalitet. För att lära och förbättra verk­sam­heten behöver EBA i ett sista steg följa upp hur rapporterna tas emot och används av de tilltänkta mottagarna.

Relevans och kvalitet grundläggs tidigt i processen

Expertgruppen beslutar självständigt om vilka studier de ska genomföra, ämnet för studien och vem som ska genomföra den. EBA:s arbetssätt i denna inledande fas har därför stor betydelse för om rapporten senare blir relevant och användbar för mot­ta­garen. Det framgår också av målgruppernas synpunkter (se kapitel 4).

Författarna har i hög grad påverkat studiernas inriktning

EBA anlitar främst externa författare som har tidigare kunskap inom det område som ska studeras. Rapporterna författas vanligen av de personer som har utarbetat förs­la­get till studien.^[59] Det innebär att de också i hög grad har fått påverka den närmare in­­rikt­­ningen på studien. Vid ett fåtal tillfällen har författaren även påverkat ämnet för studien. Författarna är oftast forskare och EBA ser det också som naturligt att forsk­ningen får genomslag i EBA:s studie- och ämnesval (se avsnitt 3.6.5).

För­slaget till studierna kan komma från olika idégivare, men i regel har idén växt fram i ett samspel mellan kansliet, expertgruppen och en författare. Ibland har UD eller Sida också deltagit i idé­fasen. Av de 37 publicerade rapporterna under 2014–2017 har ungefär hälften initierats av kansliet, ofta i dialog med en författare. En fjär­dedel har initierats av exper­tgruppen. En lika stor andel av studierna har sin grund i ett förslag som en författare spontant har lämnat till EBA. För de studier som pågick i mars 2018 har idén till studien i något högre grad än tidigare kommit från expert­grup­pen och i något lägre grad från författare. Både när kansliet och en författare kom­mer med en idé tar expert­gruppen ställning till om studien är intressant och rele­vant att gå vidare med.

Besluts- och beredningsprocessen kan variera

Berednings- och beslutsprocessen kan variera, bland annat beroende på vem som har kommit med idén till studien. Ett exempel på detta är att expertgruppen identifierar ett ämne på en övergripande nivå som kansliet sedan arbetar vidare med. Utifrån äm­net identifierar och kontaktar kansliet en eller flera tänkbara författare, framför allt forskare som är kunniga på området. I dialog med kansliet tar författaren fram ett förslag till upplägg för studien.

Kansliet skriver alltid en promemoria som underlag inför expertgruppens beslut. I de promemorior som vi har studerat beskriver kan­sliet i regel vilken typ av studie det gäller, syftet med studien, målgruppen och den beräknade kostnaden. Kansliet be­dömer också hur förslaget förhåller sig till verksamhetsstrategin och de prio­ri­te­rings­­kriterier som anges där. Om det inte är bestämt vem som ska utföra studien kan vissa delar i promemorian vara mer öppet formulerade.

Expertgruppen kan av olika skäl avfärda förslag på studier från både kansliet och för­fattare. Ett avslag kan bero på att expertgruppen bedömer att studien har en för svag koppling till det svenska biståndet eller till EBA:s inriktning, att kostnaden är för hög, att de frågor som studien ska ge svar på är för otydliga eller att det finns bris­ter i den föreslagna metoden eller i genomförandet. Ett förslag kan också av­fär­das för att studien inte skulle ge ett mervärde i förhållande till den befintliga forsk­ning­en.^[60] I författarens förslag till de tio studier som vi har studerat motiveras studien oftast med att det finns en lucka i forskningen. Det innebär att EBA själva då behöver ta ställning till vad regeringen kan tänkas behöva för ny kunskap.

Kostnadseffektiv modell men relevans kan bli underordnad

Ledamöterna och kanslipersonalen anser generellt att det är viktigt att få bra och helst de bästa skribenterna att vilja skriva för EBA. Om EBA ger dem möjlighet att på­verka studiens innehåll och inrikt­ning anser de att förutsättningarna ökar för att dra nytta av deras expert­kunskap. Ibland kan författaren basera EBA-rapporten på sin egen fors­kning. En fördel är då att EBA kan hålla nere kostnaden för studien.

Kansliet pekar också på att det är svårt för expert­­gruppen och kansliet att själva täcka in hela det komplexa biståndsområdet genom sin omvärlds­bevakning, sina nätverk och sin samlade kompetens. Spontana ansökningar ger EBA idéer och perspektiv på frå­gor inom biståndet som varken regeringen eller de själva har tänkt på. Det är sam­tidigt ett kostnadseffektivt sätt att ta fram idéer till studier.

En nackdel med att ge författaren ett stort inflytande över ämnesval och inriktning på studien är att EBA låter bli att styra. Det finns också en risk för att den kunskap som rapporten förmedlar redan är känd för delar av målgruppen. För­fattar­nas akade­mis­ka intresse för frågan kan också riskera att ta överhanden och underordna EBA:s am­bition att få rapporten relevant för målgruppen. I våra intervjuer med repre­sen­tan­ter för UD och Sida är det flera som pekar på att författarna ibland inte har till­räcklig kunskap om den svenska biståndspolitiken och hur verk­samheten genomförs i praktiken.

Vägen mot ett mer transparent sätt att välja författare

EBA:s tidigare ambition att hålla sig under direktupphandlingsgränsen har till viss del gjort det svårare för kommittén att ta fram ny kunskap och göra tillräckligt djupa studier (se avsnitt 3.7). Det är inte lika transparent att direkt välja ut författare som ett mer öppet för­farande. Ledamöterna och kansliet framför i samtalen med oss att de har velat bli mer transparenta och i lite högre grad styra innehållet i studierna. EBA har därför börjat att göra riktade utlysningar med ett upphandlings­liknande förfarande. De har också börjat upp­handla i konkurrens.

Startade med utlysningar under direktupphandlingsgränsen

EBA har vid några tillfällen använt sig av riktade utlysningar, men fort­farande under direktupphandlingsgränsen. Formen för dessa utlysningar har motsvarat ett så kallat se­lektivt förfarande. Det innebär att kansliet har kontaktat ett antal tänk­bara för­fat­tare och frågat om de är intresserade av att genomföra en studie. De som har varit in­tresserade har sedan fått lämna förslag på en studie utifrån ett över­gripande ämne.

Ett exempel är utlysningen om en landutvärdering som ledde till att EBA ge­nom­för­de två studier, en om Uganda (2016:9) och en om Tanzania (2016:10). I utlysningen fick de tillfrågade författarna ett öppet mandat att forma studien, under villkor att den ska leda till viktiga lärdomar om Sveriges bistånd till landet. De förslag som kom in bedömdes och viktades utifrån tre kriterier: genomförande och metod (60 procent), författarteamets erfarenhet och kompetens (30 procent) och pris (10 procent).

Utlysningarna har enligt kansliet varit ett sätt att bygga upp den egna kompetensen inför att genomföra upp­hand­lin­gar över direkt­upphandlingsgränsen. I novem­ber 2017 beslutade expert­gruppen också om riktlinjer för EBA:s upphandling. Rikt­lin­jer­na utgår från de regler och principer som gäller för offentlig upphandling.^[61]

Upphandling i konkurrens ger möjlighet till större studier

EBA kan genomföra större utvärderingar och studier genom att frigöra sig från di­rekt­upp­hand­lings­gränsen och därigenom kan de också ta fram ny kunskap. EBA har hit­tills startat fyra studier efter upp­handling genom ett så kallat öppet förfarande, bland annat de två pågående utvärde­ringarna som rör Kambodja och Bosnien-Herce­govina. Under våren 2018 har EBA också påbörjat sin första upp­handling över trös­kel­värdet, som innebär att upphandlingen ska annon­seras i hela EU. Upphandlingen gäller en utvärdering av regeringens klimatsatsning 2009–2012 och beräknas kosta runt 2 miljoner kronor. Kansliet har vid upphand­lingarna tagit stöd av Upphandlings­myndig­heten.

EBA vill fortfarande kunna välja författare direkt. Men enligt riktlinjerna ska EBA till­fråga minst två leverantörer om värdet om direktupp­hand­lingen beräknas över­sti­ga 100 000 kronor. Som vi ser det ökar detta transparen­sen och minskar risken för att EBA väljer författare godtyckligt.

Anbudsförfaranden har många fördelar men vissa risker

EBA:s främsta skäl för att använda anbudsförfaranden är kanske att de får mer kont­roll över inriktningen på studien. Genom att själva formulera de övergripande frå­gor­na och jämföra anbuden ökar deras förutsättningar för att studien ska uppfylla ex­pertgruppens syfte och att den blir relevant för regeringen eller andra mål­grupper. Men egentligen krävs inget anbudsförfarande för att EBA ska få mer kontroll över in­riktningen. EBA skulle även vid en direkt­upphandlad studie kunna ge en tydlig upp­dragsbeskrivning till författaren.

EBA kom­mer troligen att producera något färre studier jämfört med de två senaste åren om de riktar in sig på att genomföra någon eller ett par större studier per år. Några ledamöter tror att det kan bidra till att expertgruppen kan koncentrera verk­sam­heten bättre.

Andra fördelar som har lyfts fram i våra intervjuer är att anbudsförfarandet gör EBA min­dre beroende av sitt nätverk. Tillsammans med en ökad transparens kan det bidra till att ytter­ligare stärka kommitténs legitimitet och tro­vär­dighet. Förfarandet öppnar också för att EBA får in författare från fler vetenskapliga discipliner som kan bidra med nya perspektiv, exempelvis inom huma­niora och natur­veten­skap. Enligt kansliet har EBA hittills anlitat statsvetare och national­ekonomer, men även sociologer, his­to­riker, företagsekonomer, matematiker, genusforskare, jurister, retoriker, freds- och kon­fliktforskare med flera.

Utlysningar och upphandlingar medför något mer administration för kansliet, men detta behöver inte påverka den totala mängden administration om studierna blir något färre. Vid upphandling finns det också alltid en risk för att någon överklagar upp­handlingen. Ett överklagande kan öka kostnaderna och förskjuta tidplanerna och i värsta fall påverka rapportens tajming i förhållande till en tänkt politisk process. Kan­sliet uppger att ingen av de hittills genomförda upphandlingarna har överklagats och att de som inte har fått ett kontrakt i en utlysning eller upphandling har uppskattat den trans­parenta processen.

EBA vill låta anbudsgivare specificera inriktning och metod

EBA:s sätt att upphandla och göra utlysningar skiljer sig något från hur Sida och andra utvär­derings­organ inom biståndet gör. Sida och flera andra utgår från relativt de­tal­jerade krav­ om bland annat vad som ska utvärderas och hur utvärde­ringen ska ge­nom­föras. EBA formulerar i sina anbudsförfrågningar några öppna frågor som de vill att studien belyser. Det är sedan upp till anbudsgivarna att speci­ficera hur de vill in­rikta studien och vilka meto­der de tänker använda. Vid exem­pel­vis EBA:s upp­hand­ling av utvärde­ringen av regeringens klimatsatsning ska anbudsgivarna utgå från två över­gripande frågor.^[62]

Ledamöterna har olika uppfattning om hur hårt EBA ska styra anbudsgivarna. Vissa före­språkar den modell som Sida tillämpar. Men den dominerande uppfattningen i både expert­gruppen och kansliet är däremot att en utlysning eller upphandling med rela­tivt öppna frågor bättre tar till vara forskarnas och utvärderarnas expert- och me­todkunskap än om EBA skulle styra över metoderna och infallsvinkeln. De bedömer också att det är viktigt med frihetsgrader för att kunna attrahera duktiga forskare.

Omvärldsbevakning och dialog för ökad relevans

EBA ska göra relevanta och komplementära studier, vilket kräver att de håller sig upp­daterade om vad som är på gång inom biståndet och vad andra aktörer gör för studier av det svenska biståndet. Därför är den egna omvärldsbevakningen och dia­lo­gen med bland andra Sida viktig. Dialogen med UD är kanske särskilt viktig för att få tips på ämnen för studier som UD och regeringen tycker är relevanta och där EBA kan bidra med kunskap eller underlag.

Omvärldsbevakningen är central för verksamheten

Alla statliga organisationer behöver orientera sig om sin omvärld för att kunna utföra sitt uppdrag effektivt och med legitimitet. Det är särskilt viktigt för de organisationer som själva ansvarar för att välja utvärderingar eller granskningar, som exempelvis Riksrevi­sionen och EBA. De måste kunna visa att de gör sina val utifrån en analys av var de tror sig kunna göra störst nytta.

EBA har sedan starten be­vakat sin omvärld löpande och har med tiden även fått till stånd mer eller mindre regelbundna dialoger med viktiga aktörer i sin närhet, bland andra UD och Sida. EBA har däremot inte gjort någon djupare omvärldsanalys som grund för den strategiska inriktningen av verk­samheten.

Kansliet svarar för den löpande bevakningen

EBA:s löpande omvärldsbevakning bygger i hög grad på kansliets insatser, men le­da­­möterna bidrar också med kunskap och bevakning utifrån sina expert­områden och kontaktnät. Några av de som vi har intervjuat på UD och Sida bedömer att EBA har bra kunskap om forskningen och akademin, men har svårare att hålla sig ajour med hu­vud­linjerna i den internationella diskussionen om biståndet och hur diskussionen påverkar det svenska biståndet.

Kansliet uppger att de bevakar ny forsk­ning, nya utredningar och utvärderingar samt försöker fånga upp förändringar i biståndet och politiken genom både sina nationella och internationella kontakter. Kansliet uppger att de har fått bättre över­blick över re­ge­ringens strategier för biståndet och när de löper ut. Det innebär att de fram­över kom­mer att kunna vara mer förutseende, vilket ökar förutsättningarna för att en stu­die ska inledas i rätt tid.

Utredningssekreterarna beskriver för oss att omvärldsbevakningen tar ganska stort utrymme i det dagliga arbetet. Den hör även nära samman med arbetet att bygga upp nätverk, ett arbete som är viktigt för att EBA ska kunna nå potentiella författare, re­ferens­gruppsdeltagare och deltagare till seminarier och paneler. Kansliet har or­ga­ni­serat arbetet utifrån bevakningsområden där varje utredningssekreterare har unge­fär tre bevak­ningsområden som de följer noggrant. Det gäller till exempel områden som utbildning, utvärderingsfrågor eller humanitärt bistånd. Kansliet planerar att se över dessa områden.

UD:s expert har en nyckelroll att pröva relevansen för UD

Både EBA och flera tjänstemän i UD anser att UD:s expert i kommittén har en nyckel­­roll för att bidra till att EBA:s studier blir relevanta för framför allt rege­ringen och UD. Vid sammanträdena förmedlar experten synpunkter på de förslag till studier som expert­gruppen ska behandla utifrån både sin egen erfarenhet och utifrån det som ex­perten har hämtat in från andra enheter på UD. Experten har också kontakt med kan­sliet mellan mötena. Rollen har i hög grad formats av tjänstemannen i samspel med kommittén och baseras på expertens personliga kompetens inom både me­tod­frå­gor och biståndsfrågor. Det medför även att funktionen är sårbar. Som jämförelse har ESO tre förordnade experter från Finans­departementet i ESO:s styrelse.

Hand­lingarna till ett expertgruppsmöte skickas i regel ut två veckor i förväg. Exper­ten läser inför mötet igenom eventuella förslag till nya studier, tar kontakt med de en­heter och hand­läggare i UD som är mest berörda för att stämma av för­slaget och in­­riktningen på den tänkta studien. Experten förmedlar synpunkterna till ex­pert­grup­pen vid nästa samman­träde som ett underlag för deras beslut.

Policyrelevans är ett kriterium i expertgruppens prövning

Expertgruppen prövar relevansen när de tar ställning till om EBA ska gå vidare med ett förslag eller inte. Kansliet anger i sin promemoria hur de bedömer förslaget uti­från de fem prioriteringskriterierna i verksamhets­strategin där policyrelevans och aktu­a­litet är två av dem (avsnitt 3.2.4). Kansliet ger vart och ett av de fem kriterierna poäng på skalan 0–5. Poängsättningen ska ge expertgruppen en bild av vilken be­ty­del­se förslaget har ur de fem aspekterna. EBA har inte tagit ställning till om något kri­terium ska väga tyngre än något annat vid prövningen. De utgår heller inte från för­slagets totalpoäng. Det väcker frågan om hur styrande kriterierna är för valet av stu­dier, särskilt relevanskriteriet.

Av det urval av studier som vi har studerat närmare hade kansliet gett ett förslag 19 poäng totalt, varav 4 på policy­relevans (2018:01). Ett annat förslag fick totalt 7 poäng, varav 0 poäng på policy­relevans (2016:5). Poängen på relevanskriteriet för de två stu­dierna överensstämmer relativt väl med hur målgrupperna har bedömt hur rele­vant och användbar rapporten blev (se kapitel 4).

Vi har svårt att utifrån vårt begränsade urval av studier bedöma vilka kriterier som gene­rellt värderas högst och hur expertgruppen har utvecklat sin prövning. Men för de studier som vi har tittat närmare på har krite­rierna kunskapsuppbyggnad, aktu­ali­tet och effekt för biståndet fått i genomsnitt något högre poäng än policy­relevans. Studiens policyrelevans beskrivs däremot något utförligare i underlagen för de se­na­re stu­dierna.

Expertgruppen tar inte alltid hänsyn till UD:s synpunkter

Expertgruppen lyssnar på expertens synpunkter, men i sina beslut väljer de ibland att inte ta hänsyn till dem. Enligt uppgifter från både UD och EBA har expert­gruppen vid flera tillfällen beslutat om att inleda en studie som UD har varit tveksamma till. UD:s tveksamhet beror då ofta på att förslaget inte är relevant för regeringen eller det svenska biståndet. Ledamöterna har också i uppgift att själv­ständigt pröva för­sla­gen. Flera ledamöter argumenterar för att det finns studier som UD kanske inte har tänkt på att de behöver och studier som de kanske inte vill ha, men som tjänar andra syften. EBA måste genom sina studier även kunna ifråga­sätta regeringens in­rikt­ning för biståndet eller bidra med komp­letterande perspektiv.

Den viktiga dialogen mellan EBA och UD har förbättrats

UD IU och EBA har återkommande en dialog om verksamheten vid sidan av de syn­punkter på enskilda förslag till studier som UD förmedlar vid expert­gruppens mö­ten. Båda parter anser att dialogen mellan dem är öppen och att den har blivit bätt­re och mer regelbunden än tidigare. Dialogen är viktig för båda parter för att EBA bättre ska kunna svara mot regeringens behov av relevanta studier.

EBA vill vara en resurs för regeringen och ser därför gärna att UD kommer med förslag på studier som de tycker är relevanta. EBA har tidigare prövat olika former för att ge UD möjlighet att komma in med idéer till studier. Exempelvis har EBA anordnat ett idéseminarium där de har träffat olika enheter från UD för att diskutera idéer. UD IU svarar också för att någon gång per år samla in idéer från UD:s enheter och överlämna en lista med förslag till EBA. Enligt kansliets personal beror engage­mang­et från enheternas sida på de personer som är involverade i arbetet.

Förslagen har ibland varit svåra att hantera för EBA, antingen för att de har varit för abstrakta eller för detal­jerade. Några framför att det kanske krävs en bättre ömsesidig förståelse för varandras roller och behov för att det ska fungera bättre.

Den relativt höga omsättningen på personal i UD är en utmaning för EBA när de ska bygga upp relationer. Kansli­personalen uppger att det ingår i deras arbetsförut­sätt­ningar att ta nya tag med nya handläggare. Personalomsättningen försvårar också för UD att ta om hand om rapporterna när de är klara.

En bra dialog kan ge förutsättningar för att ta emot rapporterna väl

En tidig dialog med den som ska använda rapporten kan ge förutsättningar för att rapporten tas emot väl. I de kansli­promemorior som vi har studerat framgår det oftast inte hur EBA har invol­verat målgruppen under förslagsfasen. Ett undantag är för­s­la­get om studien om FN:s fonder och program (2017:11) där det framgår vad UD efter­frågar och att UD:s syn­punkter har tagits till vara (se även avsnitt 4.2.8).

Det finns fler studier som har kommit till efter en dialog mellan EBA och UD. Den på­gående studien om samspelet mellan humanitärt bistånd och långsiktigt utveck­lings­­bistånd i flyktingkriser tillkom delvis till följd av en diskussion mellan EBA och UD. Både EBA och UD framhåller att dialogen om den pågående utvärderingen av svenskt bistånd till Kambodja har varit bra och kan leda till att målgruppen tar emot rapporten väl.

Regelbunden dialog med Sida för olika avstämningar

Utöver Regeringskansliet ska EBA enligt direktiven föra en dialog med bland andra Sida, Statskontoret och Riksrevisionen för att säkerställa att rapporterna är relevanta och att förvaltningens samlade utvärderingsresurser används på ett strategiskt sätt. EBA:s ordförande och kansli­chef hade åtminstone inledningsvis kontakter med led­ningen för de tre myndigheterna. EBA:s nya ord­förande har sedan tillträdet hösten 2017 ännu inte haft några avstäm­ningar av detta slag. De löpande kontak­terna han­te­ras främst av kansliet och kontakterna med Sida är både tätare och mer regelbundna än med de övriga aktörerna. Det är naturligt med tanke på Sidas cen­trala roll inom bi­ståndet. Men kansliet följer i sin omvärldsbevakning vilka gransk­ningar och ut­red­ningar inom bistånds­området som pågår i staten.

EBA:s kanslichef har ungefär varannan månad samtal med Sidas utvärderingschef. De utbyter information om pågående och planerad verk­samhet i respektive or­ga­ni­sa­tion samt diskuterar framtida studier och möjligheter till samarbete. Mer spo­ra­diskt träffar kansli­­chefen också Sidas chefekonom­team. Om det behövs har EBA ock­så möten med olika företrädare för Sida för att informera sig i olika frågor.

Kanslichefen bedömer att dialogen är tillräcklig för att undvika att Sida och EBA gör utvärderingar inom samma områden och för att diskutera rele­vansen i möjliga studier. I och med att Sida just nu organiserar om sin utvärderings­verk­samhet anser både Sida och EBA att formerna för dialogen kan behöva ses över.

Sida har en kontaktperson som ingång för EBA

En person på Sidas utvärderingsenhet har rollen som kontaktperson gentemot EBA, en så kallad fokalpunkt. Uppgiften handlar till stor del om att vara en ingång för EBA in i Sida och för att förmedla kontakter och slussa förfråg­nin­gar vidare i organi­sationen. EBA ska i första hand vända sig till kontaktpersonen för att få synpunkter på förslag till studier som rör Sidas verksamhet, för att få deltagare till pane­ler på EBA:s semi­narier och till referensgrupper, samordna arbetet med att fakta­granska utkast och sprida information och rapporter från EBA i organisa­tionen.

Sida framhåller att det är viktigt att någon i organisationen har överblick över kon­tak­terna med EBA för att undvika att saker faller mellan stolarna.

En kvalitetssäkringsprocess i flera steg

Expertgruppen avgör när en EBA-rapport håller tillräcklig kvalitet för att kunna pub­li­­ceras. Inför detta beslut har rapporten genomgått en kvalitetssäkringsprocess där både expertgruppen och den referensgrupp som är knuten till studien deltar.

Tydlig process för att kvalitetssäkra rapporterna

När expertgruppen har beslutat om att inleda en studie tecknar EBA kontrakt med för­fattaren eller för­fattarna som därefter inleder arbetet. EBA följer sedan en tydlig pro­cess för hur kvalitetssäkringen av rapporten ska gå till. Till varje studie knyter EBA en referensgrupp och har också utfärdat riktlinjer för arbetet.^[63]

Figur 3 Kvalitetssäkringsprocessen från expertgruppens beslut om att inleda studien till beslut om publicering av rapporten

Källa: Statskontorets beskrivning av processen utifrån intervjuer med EBA och EBA:s interna riktlinjer.

Expert­gruppen utser en ledamot till ordförande för referensgruppen och som ska leda arbetet i gruppen med stöd av den projekt­ansvariga utrednings­sekre­teraren som skö­ter allt praktiskt arbete. Om studien utförs av en person på kansliet är kanslichefen ord­­förande i referensgruppen. Ordföranden utser referensgruppen i samråd med för­fattaren. Referensgruppen ska ge råd och stöd till författaren för att öka rapportens kva­litet och relevans. Även den projektansvariga utred­nings­sekre­teraren på kansliet ska bistå för­fattaren för att få fram en läsvänlig rapport.

När referensgruppen är färdig med en studie går den till expertgruppen som vid ett möte avgör om studien håller tillräcklig kvalitet för att publi­ceras. Den ledamot som är ordförande för referensgruppen föredrar rapporten vid mötet. EBA:s ord­förande sam­manfattar expertgruppens diskussion i ett förslag till beslut. Därefter förbereds rapporten för tryck och lansering – ett arbete som främst ligger på kansliet.

Personer med särskild sak­kunskap ska stödja författaren

Referensgruppen är ingen styrgrupp. Den ska bara ge författaren stöd i arbetet. I regel består referensgruppen av 3–5 externa personer utöver ordföranden. Perso­ner­na ska ha rele­vant kunskap och kompetens inom det område som studien behandlar. EBA försöker att få någon från de mest berörda organisationerna att ingå i gruppen. Tjänstemän från UD och Sida har deltagit i flera referensgrupper och vid några till­fäl­len har per­soner från båda organisa­tionerna deltagit. Enligt EBA företräder per­so­nerna i referensgruppen inte sin orga­nisation, utan ska bistå författaren enbart utifrån sin personliga kompetens. Samtidigt förväntar sig EBA också att referensgruppen ska bidra till att rapporten kommer till användning.

En av­görande faktor för framgång i arbetet är att EBA hittar rätt per­soner till refe­rens­­gruppen. Kansliet lägger också mycket tid på detta. De flesta som tillfrågas vill delta. Den som inte har möjlig­het att delta inom ramen för sin ordinarie anställning kan ansöka hos EBA om ett arvode på 5 000 kronor. Det finns också möjlighet att få ersättning för resekostnader.

Arbetet i referensgrupperna fyller en viktig funk­tion och fungerar för det mesta bra. Det uppger de flesta vi har intervjuat, även de som själva har deltagit i en referens­grupp. Under studiens gång har ­gruppen i regel två eller tre möten där de diskuterar studiens upplägg och rapport­utkast.

Den utredningssekreterare på kansliet som ansvarar för projektet ansvarar också för att driva pro­ces­sen framåt. Detta kräver mycket samordning. Det är särskilt tids­krä­van­de att hitta tid för referensgruppens möten eftersom deltagarna ofta är upptagna per­soner. En annan viktig uppgift är att hålla kontakt med författaren och ibland även ligga på för att driva arbetet framåt.

Inga fasta kvalitetskriterier men några vägledande frågor

EBA har inte fastställt några kriterier för hur referensgruppsdeltagarna eller ex­pert­gruppen ska bedöma rapporternas kvalitet. I våra intervjuer med EBA:s leda­möter och kanslipersonal har ingen berört hur kommittén ska förhålla sig till OECD-DAC:s kri­terier som regeringen anger i direktiven till EBA (avsnitt 2.5.1). Personerna i både re­ferens­gruppen och expertgruppen utgår i stället från sin egen kompetens och mått­stock när de bedömer kvaliteten och ger sina synpunkter till författaren. Syn­punk­ter­na kan handla om bland annat metodval, den skriftliga framställningen och om slut­sat­serna har täckning i det empiriska underlaget.

Referensgruppsdeltagarna ska lämna skrift­liga kommentarer till både författaren och EBA på den slut­liga versionen av rapporten. Deltagarna ska utgå från några frågor som EBA har hämtat från ESO. Frågorna är vägledande även för expertgruppen inför be­slutet om publicering. Frågorna lyder:

• Vilka är rapportens styrkor, allmänt och i termer av policyrelevans? Kan rap­por­ten förstärkas ytterligare i dessa avseenden? I så fall, hur?
• Finns det några svagheter i rapporten som går att åtgärda? Hur ska dessa åt­gär­das?
• Finns det några svagheter i rapporten som – utifrån vad som kan betraktas som en rimlig arbetsinsats – inte går att åtgärda? Hur bör rapportens författare för­hål­la sig till dessa?

EBA:s ledamöter och kanslipersonal tycker generellt att det fungerar bra att utgå från dessa öppna frågor. De anser att formella kriterier eller checklistor kan riskera att kv­alitetssäkringen missar de viktiga, substantiella frågorna. Men det finns de som är kri­tiska mot att kvalitets­bedömningen utgår från så fria ramar, både i och utanför EBA. En framförd synpunkt är att styrkor och svagheter inte kan vara kva­li­tets­kri­te­rier och att det finns en risk för att bedöm­ningen blir för person­bunden. Tyd­ligare kri­terier skulle kunna bidra till en mer enhetlig kvalitetssäkring.

Författaren väljer vilka synpunkter hen tar hänsyn till

De få utlåtanden från referensgruppsledamöter som vi har sett tyder på att för­fattaren i regel får en gedigen återkoppling på rappor­ten utifrån de öppna frågorna. Men för­fat­taren väljer själv vilka synpunkter som hen sedan tar hänsyn till. Det ligger i linje med hur EBA ser på för­fatta­rens självständighet i förhållande till expertgruppen. Av avtalet fram­går att författaren ska genomföra studien självständigt och med god ve­ten­­skaplig kvalitet samt ansvara för studiens innehåll och slutsatser.

Både EBA och personer som har ingått i referensgrupper uppger för oss att det vari­erar hur lyhörda författarna är för referensgruppens synpunkter. Vissa har inte tagit till sig av synpunkterna. Någon uttrycker det som att författarens själv­stän­dighet i för­hållande till expertgruppen leder till att expertgruppen har en ”hands off-attityd” i kvalitets­säkringen.

Expertgruppen gör den slutliga kvalitetsgranskningen

Referensgruppens ordförande avgör när rapporten ska gå till expert­gruppen för be­s­lut. Inför mötet har expertgruppen läst det slutliga rapportutkastet och tagit del av ut­­lå­tandena från referensgruppens deltagare. Ledamöterna bedömer rapporten uti­från sina respektive erfarenheter och perspektiv och utgår från samma frågor som re­fe­rens­gruppen.

Relativt nyligen inträffade det att en ledamot vid slut­bered­ningen upptäckte allvar­liga metodbrister i rapporten som varken referensgruppen eller övriga ledamöter hade noterat. Den sista kontrollstationen i kvalitetssäkringen fungerade i detta fall. Men det går också att hävda att referensgruppen hade misslyckats i sitt uppdrag. Detta visar att det är viktigt att referensgruppen består av personer med kompetens som är anpassad till studien och för­fattarens upplägg samt att även expertgruppen be­står av ledamöter med olika och relevant kompetens som har möjlighet att nog­grant läsa slututkastet.

Expertgruppen återremitterar ibland rapporten till författaren

Enligt kansliet är det vanligt att expertgruppen vid sin prövning beslutar om att åter­re­mittera rappor­ten till för­fattaren som då måste åtgärda vissa saker innan den kan bli godkänd. Om det handlar om en mindre revidering medför det att rapporten blir 1–2 månader försenad. Därför har EBA nyligen infört en rutin där de tidigt infor­me­rar författaren om att det kan bli nödvändigt att revidera rapporten efter att ex­pert­gruppen har granskat utkastet.^[64]

Tillräcklig kvalitet kan räcka för publicering

Vid ett tillfälle har expertgruppen beslutat att inte publicera en rapport på grund av bristande kvalitet. Om EBA inte publicerar har författaren rätt att använda inne­hållet. I våra samtal med både ledamöterna och kansliet uppger några att de själva inte är nöjda med kvaliteten i alla rapporter och att det finns ytter­ligare någon eller ett par som inte borde ha publicerats. Men om expertgruppen har fått gehör för sina vik­ti­gas­te synpunkter kan det vara tillräckliga skäl för att publi­cera.

EBA kan också själva åtgärda eventuella brister eller luckor i studien genom att lägga till ett kompletterande perspektiv till rapporten när den lanseras vid ett seminarium. Men rapporten är ändå dokumen­ta­tionen över studien och resultaten, så det kom­plet­terande perspektivet förutsätter att en läsare har deltagit vid seminariet eller tittat på den inspelade versionen.

Vissa skärpningar av avtalen med författarna

EBA har efter hand blivit något tydligare i sin styrning av författarna, främst genom att skärpa avtalen. Tidigare betalade de ut ersättningen i en klump­summa, men nu delas den nu upp i tre delar där slutbetalningen betalas ut när författaren har genom­fört seminariet i samband med lanseringen. I ett av de senare avtalen anger EBA att de har rätt att återkräva utbetalda medel om författaren inte åtgärdar eventuella bris­ter som iden­ti­fieras i rapporten.

I de senaste kontrakten reglerar EBA också att författaren ska skriva sin rapport i en mall från EBA. Syftet är att underlätta kansliets redigering. Här står också att för­fat­tarens samman­fattning är viktig eftersom det är den som besluts­fattare främst läser.

Förankring och kommunikation

Både EBA och UD behöver genomföra särskilda insatser för att EBA:s rapporter ska komma till nytta för regeringen. UD:s expert i kommittén har en viktig funktion för att informera berörda enheter på departementet som sedan ansvarar för att ta emot rap­porten. EBA planerar att satsa mer på sin kommunikation framöver.

UD:s expert informerar berörda enheten om nya studier

När en ny studie ska påbörjas ansvarar UD:s expert i kommittén för att informera hand­­läggare vid den enhet som kommer att vara mest berörd av rapporten. Infor­ma­tio­nen om vilken enhet och handläggare som ska ta emot rapporten är viktig även för kan­sliets kontakter. EBA involverar personer från exempelvis UD eller Sida i re­fe­rens­­gruppen bland annat för att de ska kunna hjälpa till att förankra studien i sin or­ga­nisa­tion.

UD:s riktlinjer säger att den enhet som är mest berörd av rapporten ska skriva en så kallad åtgärdspromemoria (se avsnitt 2.4.3). Det ingår inte i vårt uppdrag att studera UD:s rutin. Men vi i våra intervjuer med både UD och EBA framförs olika syn­punk­ter på hur rutinen fungerar, men också värdet av en sådan rutin. Vissa är positiva och an­ser att rutinen tvingar mottagaren att fundera över hur resul­taten kan användas. Doku­mentationen kan också bidra till UD:s institu­tionella minne. Andra är mer kri­tis­ka och anser att det finns en övertro på den här typen av formella rutiner. De tror att det är viktigare att få med de berörda tidigt i processen.

Seminarier räcker inte för att nå UD:s tjänstemän

EBA arrangerar normalt ett seminarium när en ny rapport ska lanseras (avsnitt 3.3.4). Författaren får då presentera rapporten och därefter kommenteras den i regel av en panel med sakkunniga. Vid några tillfällen har stats­sekreteraren deltagit i panelen och ibland har andra representanter för UD deltagit. EBA:s ambition är att seminariet ska sätta in rapporten i ett större sammanhang och få igång ett samtal om studiens inne­håll.

EBA anser att det är viktigt att personal från Sida och UD kan delta vid seminarierna. Tidi­gare kunde EBA arrangera sina seminarier i Utrikesdepar­temen­tets lokaler, men efter ett principbeslut av Regeringskansliets förvaltnings­avdelning 2017 får kom­mit­téer inte längre boka lokaler på Regeringskansliet. Det var lättare för tjänstemännen på UD att närvara när seminarierna hölls i direkt anslutning till departementet. EBA för­söker numera i stället att lägga sina seminarier geografiskt nära departe­mentet, exempelvis på Medelhavsmuseet. Men trots detta har UD:s deltagande minskat nå­got efter principbeslutet. För EBA medför beslutet också extra kostnader för lokal­hyra. Det finns däremot inga hinder mot att UD kan arrangera ett EBA-seminarium och därmed få tillgång till Regeringskansliets lokaler. Exempelvis presenterades rap­por­ten om Swedfund i UD:s presscenter. Men sådana arrangemang kräver i stället extra resurser från UD.

Även om målgrupperna anser att seminarierna håller god kvalitet är EBA och UD överens om att det krävs mer än seminarier för att få genomslag. Kansliet anser att det viktigaste för att utveckla biståndet är att kunskapen når fram till rätt personer, inte att nå ut till så många som möjligt. EBA funderar för närvarande mycket på hur rapporterna kan få en ökad livslängd och även på om det finns andra sätt att paketera infor­mationen för att få större effekt.

EBA kommer att satsa mer på sin kommunikation framöver

EBA vill höja sina ambitioner och påbörjade redan under hösten 2017 ett arbete med att se över sin kommunikationsstrategi och ta fram en kommunika­tions­plan. Sedan 2015 har en av utrednings­sekre­terarna på kansliet ansvarat för kommu­nika­tions­frågor vid sidan av upp­giften att projektleda studier. Under våren 2018 rekry­terade EBA en utredningssekreterare med särskilt ansvar för kommitténs kom­muni­kation och för att utveckla den. I maj 2018 var strategin och planen därför ännu inte be­slu­tade.

I det utkast till ny kommunikationsstrategi som vi har fått se planerar EBA att bland annat formulera mål för sin kommunikation och hur de ska nå sina primära och se­kun­­dära mål­grupper. EBA planerar också att klargöra hur ansvaret för kom­mu­ni­ka­tionen ska fördelas mellan expertgruppen och kansliet.

EBA vill också öka sin beredskap för att hantera efterföljande debatter. De planerar bland annat att göra det tydligt vem som ska vara talesperson för EBA om det uppstår någon form av krissituation som skulle kunna skada kommitténs anseende.

Uppföljningen av verksamheten och dess resultat

Som kommitté har EBA inte några formella krav på sig att lämna en resultatredo­vis­ning till regeringen. Men det hindrar inte att EBA följer upp sin verksamhet för att säkerställa att den utvecklas åt rätt håll och att kommittén uppnår de resultat som både regeringen och EBA själva förväntar sig. Dessa uppföljningar ska också syfta till att dra lär­domar för att utveckla verksamheten. EBA har de senaste två åren ge­nom­fört flera uppföljningar av verksamheten.

Uppföljningen har hittills främst varit kvantitativt inriktad

EBA:s uppföljning har hittills främst varit kvantitativt inriktad och fångat upp vilket genomslag som verksamheten har fått. Uppföljningen är inriktad på både enskilda rap­porter och på verksam­heten i stort. EBA mäter bland annat antalet besökare på webb­platsen och antalet prenumeranter av nyhetsbrevet.

Upp­följningen av enskilda rapporter handlar bland annat om antalet nedladdningar, antalet besökare på seminariet och hur många gånger webbsändningen av semi­nariet har visats. Efter varje seminarium skickar EBA också ut en kort enkät till deltagarna för att ställa frågor om vad de tyckte. EBA följer också upp i vilken utsträckning rap­porterna har citerats i media, i riksdags­trycket och i vetenskapliga artiklar.

Som komplement till dessa uppföljningar har EBA vid ett par tillfällen gjort större insatser med hjälp av den student som har praktiserat på kansliet under terminen. En sådan insats är att kartlägga hur EBA:s rapporter har spridits och använts, hur semi­narie­­deltagarna har uppfattat EBA:s seminarier samt för­fattarnas och referens­grupps­deltagarnas fördelning på kön och hemvist (se även kapitel 3).^[65]

Efter varje rapport och seminarium diskuterar kansliet också vad som har gått bra och mindre bra under processen och vilka lärdomar kansliet kan göra inför kom­mande projekt. Det är en intern uppföljning och kansliet tar därför ingen kontakt med de primära mål­grupperna eller deltagarna i referensgruppen för att hämta in deras syn­punkter på processen.

Behov av att få en mer systematisk uppföljning av nyttan

Kanslichefen anser att den kvantitativa uppföljningen har begränsad nytta. Indika­to­rerna kan användas för att se trender över tid. Men de säger inte så mycket om vilken effekt en rapport eller ett seminarium får, det vill säga hur resultaten används. EBA har hittills inte prioriterat den kvalitativa uppföljningen, men deras ambition är att den ska bli mer systematisk. (Se även kapitel 4 om EBA:s upp­följning av de centrala mål­grup­pernas synpunkter på rapporterna från de två första verksamhetsåren).

Enstaka ledamöter pekar i samtalen med oss också på att EBA behöver följa upp verk­samheten på ett mer strategiskt sätt. För att kunna utveckla verksamheten be­höver EBA bättre kunskap om bland annat varför vissa rapporter får mer genomslag än andra och vad som fungerar bra och dåligt i processen.

Konsekvenser av organisationsformen

I det här kapitlet redovisar vi ett antal konsekvenser av att EBA är en kommitté. Statskontoret gör sammanfattningsvis följande iakttagelser:

• En kommitté är till sin form anpassad för att ta fram kunskap. Men EBA:s direk­tiv och organisation gör att verksamheten skiljer sig från de flesta andra kom­mit­téer. Skillnaderna förbättrar bland annat möjligheterna för EBA att lö­pande ta fram fler kunskapsunderlag.
• Kommittéformens tillfälliga karaktär har inte förhindrat EBA att kunna knyta till sig kanslipersonal med hög kompetens. Kompetensförsörjningen till expert­grup­­pen kan däremot påverkas negativt av de regler för arvoden som finns i kom­­mitté­förord­nin­gen.
• EBA är delvis organisatoriskt åtskild från de verksamheter som ska granskas, fram­för allt från Sida men också från UD. Kommittéformen avgör i sig inte ex­pert­­gruppens självständighet och oberoende i det löpande arbetet. Den säker­ställs snarare genom att EBA:s direktiv är förhållandevis allmänt hållna samt att ex­pert­gruppens ledamöter inte är beroende av sitt uppdrag i kommittén för att för­­sörja sig.
• Kommittéformen minskar inte nämnvärt regeringens möjligheter att få tillgång till relevant kunskap som den kan använda för att styra och utveckla det svenska biståndet. Regeringen kan bestämma vad EBA ska producera oavsett om verk­sam­heten bedrivs i en kommitté eller i en myndighet.
• Kommittéformen har en liten administrativ överbyggnad. EBA använder sig av UD och Regeringskansliets kommittéservice för administrativt stöd. Regeringen ställer också få krav på återrapportering, vilket ger goda förutsättningar för att verksamheten kan bedrivas kostnadseffektivt. En baksida är att det ger något säm­re insyn i verksamheten.
• EBA skiljer sig från mer traditionella kommittéer genom att verksamheten är långsiktig och att sekretariatet är större och har formen av ett kansli. Organisa­tionsformen medför att ansvaret är otydligt fördelat mellan kanslichefen och departementet, främst när det gäller vem som har ansvar för kanslipersonalen och deras arbetsmiljö. Ingen av kanslicheferna i EBA, ESO och Delmi har en tydlig arbetsbeskrivning.

Utgångspunkterna för vår analys

Denna rapport ska fungera som ett beslutsunderlag för regeringen om hur den fri­stå­ende funktionen för att analysera och utvärdera det internationella biståndet ska vara orga­niserad. Vi ska bedöma om kommitté­formen är ändamålsenlig för verk­sam­he­ten. I vår analys utgår vi från intentionerna med EBA:s verksamhet, de övergripande målen för statlig förvaltning och iakttagelser i Statskontorets tidigare rapporter om analys- och utvärderingsfunktioner.

EBA ska enligt direktiven bidra med kunskap som regeringen kan använda för att ut­veckla biståndet. Regeringen behöver då relevanta underlag av hög kvalitet. Ex­pert­gruppen ska ha en oberoende ställning i relation till det som den granskar och själv­­ständigt svara för valet av studier.

Förvaltningspolitiken ska bland annat ska ge en rättssäker och effektiv stats­för­valt­ning med väl utvecklad service och tillgänglighet. Men eftersom EBA inte utför för­valt­nings­uppgifter mot enskilda medborgare bedömer vi att rättssäkerhet och service är förhållandevis underordnade värden för denna verksamhet. Effektiviteten i den stat­liga förvaltningen främjas även genom öppenhet och insyn eftersom det ökar möj­ligheterna till ansvars­utkrävande.^[66]

Statskontoret har i tidigare rapporter om analys- och utvär­derings­funktioner iden­ti­fierat vad som är viktiga förutsättningar för verksamheten och därmed viktigt att ta hänsyn till för att välja organisa­tionsform. Vi har bland annat konstaterat att en god kom­petens­försörjning är en viktig förutsättning för verksamhetens kvalitet.^[67]

När vi i detta kapitel belyser vilka konsekvenser som följer av att EBA:s verksamhet bedrivs som en kommitté gör vi det därför utifrån följande utgångspunkter:

• Regeringen behöver relevant kunskapsunderlag av hög kvalitet.
• Kommittén behöver kunna knyta till sig rätt kompetens.
• Expertgruppen ska ha en oberoende ställning i relation till det som granskas samt självständigt kunna välja ämnen för sina studier.
• Verksamheten ska bedrivas på ett effektivt och transparent sätt.

Redovisningen i detta kapitel ligger till grund för vår analys i nästa kapitel av vilken organisa­tionsform som lämpar sig bäst för EBA:s verksamhet framöver.

Regeringens behov av relevant kunskapsunderlag

I det här avsnittet belyser vi hur organisationsformen påverkar möjligheterna för EBA att producera relevant kunskapsunderlag av hög kvalitet.

Kommittéformen är konstruerad för att ta fram kunskapsunderlag

En kommitté används vanligtvis för statliga utredningar och är till stor del ut­formad för att ta fram kunskaps- och beslutsunderlag till regeringen. En kommitté kan rela­tivt enkelt och fritt få tillgång till specifik sakkunskap för den fråga som ska utredas. Det är en förutsättning för att kunna producera kunskaps­underlag av hög kvalitet. Rege­ringen kan utse ledamöter med olika bakgrund och kompetens och kan avgöra hur länge de ska vara förordnade. Regeringen kan också förändra kommitténs upp­drag genom tilläggs­direktiv.

EBA och de andra expertgrupperna, som exempelvis ESO och Delmi, är inga tra­di­tio­nella kommittéer. En av de tydligaste skillnaderna är att kommittéer normalt är till­fälliga medan EBA bedriver en löpande verksamhet. Jämfört med de tradi­tionella kom­mittéerna har EBA även ett relativt stort sekretariat i form av ett kansli. Det gör det möjligt att producera mer än andra kommittéer.

EBA har fått bättre förutsättningar att göra större studier med mer tid till för­fogande genom regeringens uttalande i tilläggsdirektiven om att verksamheten bör ses som lång­siktig (se avsnitt 3.7.3). Förändringen innebär att EBA kan planera på längre sikt vil­ket ger möjlighet till att ta fram flera typer av kunskapsunderlag. Kommittéformen går således att anpassa för att producera kunskapsunderlag av olika typ och om­fatt­ning.

Kontinuerlig kunskapsproduktion i egna rapportserier i stället för i SOU-serien

Kommittéförordningen reglerar kommittéernas arbete och gäller i sin helhet även för EBA, liksom för ESO och Delmi. Enligt förordningen ska alla kommittéer redovisa sitt uppdrag i ett eller flera betänkanden som ska publiceras i SOU-serien. Men enligt direk­tiven ska EBA publicera sina rapporter i en egen rapportserie, något som också gäller för ESO och Delmi. För EBA:s del ger det möjlighet att på ett friare och mer kon­tinuerligt sätt försörja regeringen med kunskap, vilket är en fördel sett till rege­ring­ens mål med verksamheten.

Ibland publicerar kommittéer som inte har haft ett traditionellt utredningsuppdrag ett betänkande i samband med att kommittén avvecklas, men det gäller inte alla. Ett exem­pel är Expertgruppen för miljöstudier (2003–2012) som inte publicerade något betänkande i samband med att den avvecklades. Detta är i sig kanske inget problem, men är ett exempel på att det är otydligt hur expertgrupperna ska förhålla sig till kom­mitté­förordningens krav på betänkanden.

Direktiven till varaktiga kommittéer är ofta allmänt hållna

Regeringen specificerar genom direktiven vad kommittén ska undersöka och vilka frågor som den ska besvara. Ibland kompletterar regeringen direktiven med tilläggs­direktiv som oftast innehåller ytterligare frågor som kommittén ska behandla. Det ger goda förutsättningar för att kunskapsunderlagen blir relevanta för mottagaren.

Direktiven är mer allmänt formulerade för EBA, och även för de två andra expert­grup­perna. Direktiven anger övergripande vilket eller vilka områden som ska stu­de­ras. Det är sedan upp till expertgruppen att avgöra vilka frågor som ska undersökas. Detta bidrar till att värna EBA:s själv­ständighet, men det kan också minska förut­sätt­ningarna för regeringen att kunna använda den kunskap som kommittén tar fram för att styra och utveckla det svenska biståndet. Men det är också viktigt att notera att detta i huvudsak inte beror på kommitté­formen, utan snarare på hur regeringen har valt att tillämpa den.

Kompetensförsörjning till expertgrupp och kansli

En nyckelfaktor för att EBA ska kunna ta fram kunskapsunderlag av hög kvalitet är att kunna knyta till sig rätt kompetens. Direktiven till EBA ställer höga krav på både expertgruppens och kansliets kompetens (avsnitt 2.5.2).

Kompetensförsörjningen till kansliet fungerar men har risker

Kommittéformen har hittills inte medfört några påtagliga problem för EBA:s möj­lig­heter att kunna rekrytera kompetent personal till kansliet. Företrädare för både ex­pertgruppen och UD anser att kanslipersonalen har hög kompetens. Flera av de som vi har intervjuat pekar på att det finns risker för kompetensförsörjningen genom att kanslipersonalen inte kan få en tillsvidareanställning utan enbart ett tidsbegränsat för­ordnande. Anställningsformen innebär en osäkerhet och skulle kunna innebära en hög personalomsättning eller att det blir svårt att rekrytera kvalificerad personal. Före­trädare för ESO och Delmi uttrycker liknande farhågor.

EBA:s kanslipersonal ser inte de tidsbegränsade förordnandena som något stort hin­der. Några i personalen är till exempel tjänstlediga från en annan statlig grundtjänst. När EBA annonserar efter ny kanslipersonal har söktrycket varit högt med många kvalificerade sökande. I våra intervjuer påpekar kanslipersonalen däremot att de ser vissa risker med att de nuvarande förordnandena upphör i slutet av 2018. Flera i per­sonalen skulle tvingas att söka nytt arbete om det dröjer för länge med att få för­ord­nandet förlängt.

Verksamheten kan också gynnas av en viss personal­omsättning i både kansliet och expertgruppen. En viss omsättning bidrar till att EBA får tillskott av nya pers­pektiv, idéer och nätverk. Men korta anställningsperioder och en för hög personal­omsättning kan däremot påverka verksamheten negativt. Det tar tid att lära känna verksamheten, förstå arbetsprocesserna och bygga upp externa relationer.

Varken EBA, Delmi eller ESO har haft någon särskilt hög personalomsättning de senaste åren. Det talar för att de har kunnat hantera organisationsformens eventuella nackdelar för kompetensförsörjningen. Men vi vill ändå påpeka att det förstås finns en rad andra faktorer än organisationsformen som påverkar om det är lätt eller svårt att rekrytera och behålla personal. Några av de problem som vi har lyft fram i detta av­snitt kan också förekomma i verksamheter som bedrivs i andra orga­ni­sa­tions­for­mer.

Expertgruppens sammansättning kan påverkas av ersättningen

Kommittéförordningen är relativt detaljerad när det gäller ersättningen till leda­möterna i kommittén.^[68] Ledamöter ersätts med ett dagarvode på 350 kronor per sam­man­trädesdag. Ordförande och vice ordförande kan ersättas månadsvis eller med en­gångsbelopp. Därutöver kan skälig ersättning betalas till den som utför extra arbete. Se även avsnitt 2.6.2 som beskriver vilka ersättningar som EBA:s ledamöter får.

UD uppger att expertgruppens kompetens och sammansättning är viktig för EBA:s verksamhet. De personer som har tillfrågats har överlag varit positiva till att ställa upp som ledamöter. Ledamöterna själva uppger att arbetet i kommittén är givande och stimulerande. Däremot anser flera av dem att ersättningen per sammanträde är låg i förhållande till den arbetsinsats som ofta krävs. Det handlar bland annat om att läsa rapportutkast till rapporter och förslag till nya studier, vilket ofta är ganska om­fat­tande texter. De expertgruppsledamöter som har någon annan heltidssyssel­sätt­ning kan då behöva använda kvällar och helger. Det innebär att ersättningen per sam­manträde kan begränsa möjligheten att rekrytera och behålla ledamöter till ex­pert­­gruppen.

Expertgruppen har en viktig funktion både när de ska besluta om vilka studier som EBA ska genomföra och för att bedöma kvaliteten på en rapport. Nivån på arvodet ris­kerar att skicka fel signaler om vilken arbetsinsats som ledamöterna förväntas bid­ra med.

Ledamöterna i ESO:s styrelse (expertgrupp) har fasta månatliga arvoden, vilket tyder på att departementen använder kommitté­förord­ningen på olika sätt.

Fristående, självständig och oberoende

Regeringen och riksdagen har tidigare har tagit ställning till att det behövs en fri­stå­en­de utvärderings- och analysfunktion (se kapitel 2). Tre viktiga faktorer för EBA:s tro­värdighet är kravet på att hålla organisationen skild från bistånds­organisationen och de som genomför politiken, självständighet i valet av studier samt obe­roende i för­hållande till det som granskas.

EBA är delvis skild från biståndsorganisationen

EBA ingår formellt i Regeringskansliet och där UD ansvarar för att bereda EBA:s bud­get och direktiv samt att utse ledamöter till expert­gruppen. Denna administra­tiva han­tering av EBA hade gällt även om verk­samheten hade bedrivits i en egen myn­dig­­het. Men UD har också det yttersta ansvaret för kansliets personal, till exempel när det gäller lönesättning.

Förutom att vara ansvarig för kommittén hanterar UD en stor del av bistånds­bud­ge­ten. Den organisatoriska åtskillnaden mellan EBA och Sida är alltså tydligare än vad den är mellan EBA och UD. Men EBA sitter rent fysiskt avskild från UD och svarar för de allra flesta av sina egna ange­lägen­heter. Vi kan inte se att kontak­terna mellan UD och EBA i administrativa frågor skulle påverka EBA:s själv­stän­dighet när det gäl­ler att utföra sin verksamhet.

Expertgruppen kan och har agerat självständigt i studievalet

Företrädare för UD anser att EBA:s konstruktion ger goda förutsättningar för expert­gruppen att agera självständigt i valet av studier. De anser också att expert­gruppen har tagit tillvara den möjligheten. Utifrån de relativt fria ramar som regeringen har gett kommittén upplever de som vi har talat med att EBA har valt studieobjekt, frå­gor, perspektiv och metoder med integritet.

En viktig del är att ledamöterna inte är beroende av sitt uppdrag i expert­gruppen för att försörja sig. UD bedömer att det ökar förutsättningarna för EBA att vara ”obek­vä­ma” när de väljer ut sina studier. Flera av de som vi har intervjuat pekar också på att det behövs någon som kritiskt granskar den förda politiken med ett om­prövande pers­pektiv.

Utförarens självständighet och oberoende ska garantera opartiskhet

Den tredje aspekten på EBA:s trovärdighet handlar om att både expertgruppen och den som utför studien ska vara oberoende i relation till det som granskas, det vill säga inte ha varit involverade i den verksamhet som ska granskas och bedömas.

Expertgruppens ledamöter är i sitt yrkesliv i regel involverade i biståndsfrågor på ett eller annat sätt. De kan exempelvis arbeta för civilsamhällets organisationer som ofta har en viktig roll i biståndet, ha ett förflutet på Sida eller någon multilateral bi­stånds­or­ga­nisation. Men genom att författarna till studierna självständigt står för innehåll och slutsatser, minskar risken för att enskilda ledamöters personliga enga­gemang på­verkar själva utförandet. Det är samtidigt svårt att säkerställa att en utförare är helt opartisk, inte har kon­takter inom eller är påverkad av det område som granskas.

Avvägning mellan att vara självständig och att underlagen blir relevanta för målgruppen

Flera av de aspekter som avgör om organisationen ger själv­stän­dighet och oberoende fungerar som kommunicerande kärl med förutsättningarna för att studierna ska bli re­le­vanta för mottagaren. Genom att vara nära den verksamhet som studeras är san­no­likheten större att eventuella slutsatser och rekommen­da­tioner kan bidra till att ut­veckla verksamheten. Samtidigt kan närheten medföra att verksamheten uppfattas som mindre opartisk.

Kommittéformen tillåter ett förhållandevis brett spelrum när det gäller att balansera mellan oberoende och relevans. Det är ofta hur regeringen tillämpar kommitté­for­men som avgör hur självständig och oberoende EBA kan vara, och hur relevant deras underlag kan bli för regeringen.

Effektivitet och transparens

I det här avsnittet redogör vi för hur kommittéformen påverkar EBA:s möjligheter att bedriva verksamheten på ett effektivt och transparent sätt. Effektivitet handlar både om kostnadseffektivitet och om effektiva beslutsvägar. Transparens handlar bland annat om medborgarnas och huvudmannens insyn i verksamheten.

Kostnadseffektivt med flexibilitet och en liten administration

Ett av huvudmotiven till att regeringen använde kommittéformen för EBA var att or­ganisationsformen är flexibel. Det är ofta enkelt både att inrätta och att avveckla en kommitté i och med att kanslistrukturen inte är lika stabil som till exempel för en myndighet.

Reglerna runt kommittéformen ger möjligheter att anpassa de administrativa kraven utifrån verksamhetens behov. Kommittéförordningen ställer endast krav på att kom­mit­téerna för protokoll över sina möten och att de lämnar ett budgetförslag samt en årlig redogörelse av arbetsläget till Regeringskansliet. I övrigt saknar kom­mit­té­for­men i stort sett krav på administrativ och finansiell redovisning.

Kommittéformen kräver ingen större administrativ överbyggnad i och med att kom­mit­tén kan använda både Regeringskansliets kommittéservice och det ansvariga de­par­tementet som stöd när det gäller exempelvis lokaler, it och personalfrågor. Verk­samheten kan arbeta mer kostnadseffektivt om vissa uppgifter hanteras av Rege­rings­kansliet eftersom de har större möjligheter att utnyttja stordriftsfördelar. Det inne­bär att kommittéformen gör att funktionens anslag i huvudsak kan användas för kärn­verk­sam­heten. Fördelen blir extra påtaglig med tanke på EBA:s storlek och bud­get. Små myndigheters höga administrativa kostnader är dessutom en aktuell fråga som diskuteras i staten.^[69]

UD sköter avgränsade delar av EBA:s administration och personalärenden, vilket inte bara är effektivt för EBA. Vissa processer kan också bli mer om­ständ­liga när frå­gor behöver hanteras av olika personer inom Regeringskansliet. Ett exempel är att statsrådet måste skriva under alla beslut om förordnanden.

Få krav på redovisning ger sämre förutsättningar för insyn

En baksida av att kommittéer har relativt låga krav på administrativ och finansiell redo­visning är att det minskar möjligheterna till insyn i verksamheten. Regeringen kon­staterar i den senaste förvaltningspolitiska propositionen att effektiviteten i den stat­liga förvaltningen blir bättre genom öppenhet och insyn.^[70]

Både medborgarnas och huvudmannens möjlighet till insyn i verksamheten för­säm­ras med få redovisnings- eller åter­rapporteringskrav. Kommitté­formen medger sam­tidigt att regeringen själv kan bestämma vilken redovisning den behöver. Då reglerar regeringen detta i direktiven. EBA har exempelvis fler krav på sig att rapportera om sin planerade och pågående produktion än vad både ESO och Delmi har.

Både en del av Regeringskansliet och en fristående funktion

EBA är en fristående funktion, men samtidigt beroende av Regeringskansliet för att få stöd i eller att hantera vissa admini­strativa frågor. UD har relativt nyligen tagit fram rutiner för kontakterna mellan EBA och UD och för att hantera vissa frågor, men detta dokument har ingen formell status. Det är heller inte tydligt uttalat om det är UD, EBA:s ordförande eller EBA:s kanslichef som ansvarar för vissa frågor, ex­em­pelvis personalfrågor och arbetsmiljöfrågor i kommittén. Kanslichefen har ingen tjänstebeskrivning som reglerar ansvar och befogenheter. Problem som detta glapp kan medföra klaras i regel ut i dialog mellan EBA och UD. Däre­mot kräver dessa oklar­­heter ibland onödigt mycket tid.

EBA:s verksamhet är långsiktig vilket ställer andra krav på att till exempel kansliets personal får kompetensutveckling. I en kommitté med ett kortare utredningsuppdrag blir en sådan fråga inte aktuell på samma sätt.

Sam­mantaget finns det alltså flera exempel på att ramarna för kommittéer med var­ak­tiga eller långsiktiga uppdrag är otydliga.

Statskontorets slutsatser om EBA:s verksamhet och organisationsform

I detta kapitel redovisar vi våra slutsatser utifrån de frågor som regeringen har ställt i uppdraget till Statskontoret. En av de två övergripande frågorna är om Expert­gruppen för bistånds­analys (EBA) genom sin verksamhet har svarat mot regeringens intentioner och behov av kunskap som grund för att styra och utveckla biståndet. Den andra övergripande frågan är om EBA:s verksamhet är organiserad på ett ända­målsenligt sätt. Våra slutsatser bygger på de iakttagelser som vi beskriver i de tidi­ga­re kapitlen i denna rapport. I detta kapitel redovisar vi också våra rekommen­da­tio­ner till regeringen och EBA.

Verksamheten har i delar svarat mot regeringens intentioner och behov

Statskontoret anser att EBA har svarat mot regeringens direktiv och intentioner att kon­tinuerligt producera olika typer av studier om det svenska biståndet. EBA väljer själv­­stän­digt vad de ska utvärdera, analysera eller studera. Vår analys visar också att EBA har svarat mot intentionerna att göra kunskap från både egna studier och forsk­ning tillgänglig för regeringen och andra rele­vanta mål­grupper.

Däremot har EBA bara i begränsad utsträckning stärkt ut­värderings­verk­samheten inom bistånds­området och svarat upp mot regeringens behov av att få relevanta och an­vändbara studier för att utveckla biståndet. Men vi bedömer att EBA utvecklar verk­­sam­heten i den riktning som rege­rin­gen förväntar sig. Det finns därför förut­sätt­ning­ar för att EBA kommer att bli bättre på att tillhandahålla kunskap som regeringen kan använda för att styra och utveckla det svenska biståndet.

En kontinuerlig och allt högre produktion

Vi bedömer att EBA tar sig an sina uppgifter seriöst och ambitiöst. Verksamheten börjar också hitta sina former efter en trög start. EBA producerar relativt mycket i för­hållande till sina ekonomiska och personella resurser. Under de tre senaste åren har EBA publicerat runt tio rapporter per år i serien EBA-rapporter samt ett antal under­lags­rapporter och samman­fattningar av nya avhand­lingar. Under 2017 upp­nåd­de EBA sin hittills högsta produktion.

EBA lägger också stor vikt vid sin uppgift att för­medla och kommunicera kunskap, framför allt resultat från egna studier. Genom egna seminarier försöker EBA också sätta stu­diernas resultat i ett större biståndspolitiskt sammanhang. Seminarierna upp­skat­tas av företrädare för både UD och Sida. EBA kommer framöver att satsa mer på sin kommunikation för att nå ut med resultaten från studierna till rätt målgrupper på ett bättre sätt.

EBA har kunnat producera relativt många rapporter eftersom de till största delen be­ställer studier och anlitar forskare och andra experter som själva har forskat eller har kunskap inom det område som studien ska behandla. Det har också varit möjligt ge­nom att för­fattarna oftast har anlitats genom direktval och mot en ersättning som ligger under gränsen för direktupphandling. Därmed har EBA fått fler studier för peng­arna, men ibland på bekostnad av att de inte tillför så mycket ny information eller blir tillräckligt djupa. En stor del av produk­­tionen har hittills varit av typen kun­skaps­översikter och syntesstudier.

EBA kompletterar med seminarier och variationsrik portfölj

Vi bedömer att det inte finns några påtagliga överlappningar mellan EBA och Sida eller mellan EBA och några andra analys- eller utvärderingsmyndigheter. Kansliet bevakar omvärlden kontinuerligt och har löpande kontakter med framför allt Sida. EBA kompletterar Sida genom att skapa en brygga mellan forsk­ning, politik och prak­tik. De bygger bryggan genom exempelvis sina seminarier, men också genom sam­man­fattningar av nya avhand­lingar. EBA:s studier omfattar också bistånds­frågor på en högre strategisk och organisations­över­gripande nivå än vad Sidas studier kan nå inom ramen för sitt uppdrag.

Expertgruppen har använt de möjligheter som direktiven ger för att genomföra mång­a olika typer av studier som kan rikta sig till fler mål­grup­per än regeringen. EBA:s portfölj av studier har där­för blivit varia­tions­rik och ibland har studiens syfte och målgrupp varit oklar. Resultaten i EBA:s målgruppsundersökning från 2016 har uppmärksammat expertgruppen på vikten av att tänka igenom och klar­göra både syftet och den primära mål­gruppen för studien. Vi kan se att EBA:s nu på­gående studier tydligare knyter an till det svenska biståndet, antingen till rege­ringens styrdokument eller till en svensk biståndsaktör.

Ingen tydlig strategi för hur mandatet ska användas

En variationsrik portfölj av studier behöver inte vara någon nackdel för att ana­lysera och bedöma det komplexa biståndet och dess resultat. Men vi bedömer att EBA inte har haft någon tydlig strategi för hur de ska använda sina resurser och sitt mandat på ett effektivt sätt för att nå rege­ringens mål. Flera av de som vi har intervjuat på UD och Sida uppfattar också att EBA fortfarande famlar efter sin roll och att de behöver ha en tydligare inriktning på verk­samheten. Det kan bland annat innebära att EBA behöver prioritera tyd­ligare vad de ska ägna sig åt för studier och vilken inriktning som studierna ska ha.

Vi har haft svårt att bedöma hur EBA:s angivna prioriterings­kriterier används och vilka konsekvenser de får för valet av studier. De övergripande frågor som studierna ska utgå ifrån är också relativt breda och öppna till sin karaktär.

Mandatet som extern utvärderare har hittills använts lite men antalet utvärderingar ökar

EBA har hittills i relativt liten utsträck­ning använt sitt mandat som extern utvär­derare och granskare av biståndet. EBA har gjort relativt få utvärde­ringar. Det innebär att EBA hittills knappt har stärkt ut­värderings­verk­sam­heten för bistånds­området. Men EBA har börjat göra fler utvärde­ringar efter att regeringen ändrade kommitténs di­rek­tiv 2016 och efter att UD uttryckligen har önskat fler utvärderingar.

Vi kan däremot inte bedöma vilken typ av utvärderingar EBA gör och har gjort, och i vilken utsträckning de motsvarar direktiven och regeringens förväntningar. De se­nast påbörjade gäller enligt kansliet det svenska biståndets effekter och kostnads­ef­fek­tivitet. EBA har ibland också andra benämningar på sina utvärderingar än vad som anges i direktiven, som exempelvis lärande­utvärdering.

Vi bedömer att regeringen i viss mån har bidragit till att EBA:s verksam­hets­in­rikt­ning har blivit otydlig och utvärderingarna få. Det finns till exempel inga ut­förliga för­arbeten för EBA att utgå från för att tolka sitt uppdrag. EBA har också fått en del­vis annan funktion än den funktion som SADEV hade eftersom EBA ska för­med­la kunskap och genomföra fler typer av studier än utvärderingar. De första direktiven styr­de därför i viss mån bort EBA från de ur­­­sprung­­liga intentionerna med den själv­stän­diga utvärderings­funk­tionen. EBA har i praktiken fått större själv­ständig­het än SADEV, men den utvärde­rande eller gran­skande upp­giften har i direktiven fått en mindre framträdande roll. De nya direk­tiven uttrycker att EBA ska bedöma biståndet ur flera per­spektiv, men anger inte vilken typ av utvärde­ringar som regeringen främst efterfrågar. Före­trädare för Sida framför att EBA kan komplettera Sida med ut­vär­de­ringar av bland annat biståndets effekter och hållbarhet, det vill säga utvärderingar om biståndets resultat på längre sikt.

Studierna har haft begränsad påverkan på regeringens politik

Enligt företrädare för UD har EBA:s rapporter hittills påverkat rege­ringens politik i begränsad utsträckning. Det innebär att EBA inte heller i tillräcklig grad har kunnat svara mot regeringens övergripande mål med verksam­heten, det vill säga att bidra till kunskap som kan ligga till grund för regeringen att utveckla biståndet och styr­ning­en av biståndet. Enligt företrädare för Sida har studierna inte heller påverkat Sidas sätt att arbeta på något betydande sätt.

EBA:s rapporter har ibland fyllt andra viktiga funktioner, till exempel att ge kun­skaps­­underlag eller underlag för debatt, bidra till offentlig insyn, bekräfta att rege­ring­ens politik är rätt inriktad eller uppmärksamma nya frågor och perspektiv på bi­stån­det som regeringen kan ha nytta av på sikt. Stats­kontoret pekar i en tidigare rap­port på att regeringen borde kunna använda utvärderingar och analyser av det svens­ka utvecklings­samarbetet mer systematiskt för att analysera resultat på längre sikt och för att utveckla den lång­siktiga styrningen av biståndet.^[71]

Intressanta rapporter men svåra att använda praktiskt

Företrädare för både UD och Sida anser att rapporterna ofta är intressanta och att EBA har valt relevanta ämnen, men att resultaten ändå inte blir praktiskt användbara. Det beror oftast på att målgruppen inte uppfattar att rapporten bidrar med ny kunskap eller att den inte kommer i rätt tid för att kunna användas i en aktuell besluts­process. Det kan också handla om att studien inte är relevant för det svenska biståndet, eller att författaren inte är tillräckligt insatt i hur det svenska biståndet styrs och ge­nom­förs. Allt för akademiska eller i övrigt svårtillgängliga rapporter kan också vara svåra att omsätta till konkret styrning eller verksamhets­utveckling.

Det mesta som EBA publicerar är skrivet på engelska, i vissa fall utan samman­fatt­ningar på svenska. Detta överensstämmer inte med språklagens intentioner och vår tolkning av direktiven. Sam­tidigt är engelskan en förutsättning för att EBA ska kunna anlita utländska för­fattare och för kommitténs inter­nationella utbyte. Språkvalet är inget hinder för tjänstemän i UD och Sida, men EBA ska som statlig organi­sation ock­så vara öppen och bidra till insyn i det svenska biståndet. Då går det inte att bortse från att språk­valet kan hindra bland annat den svensk­talande allmän­heten, riksdags­leda­möter och journalister att ta del av resultaten. EBA kan ta stöd av Språkrådet vid Institutet för språk och fornminnen för att utreda hur verksamheten på bästa sätt kan uppnå språklagens intentioner utifrån sina speciella förutsättningar.

Kvalitetssäkringen fungerar i huvudsak bra

Vi bedömer att EBA i huvudsak arbetar på ett ändamålsenligt sätt för att säkerställa att rapporterna ska uppnå en tillräcklig bra kvali­tet för att kunna publiceras. Men både EBA och företrädare för målgrupperna anser att enskilda studier har brustit i kva­liteten.

EBA har en tydlig process för kvalitetssäkringen där expert­grup­pen och referens­grup­per med personer med relevant sakkunskap är involverade. Den som är projekt­ansvarig på kansliet har också en viktig funktion genom sina löpande kon­takter med för­fattaren och referensgruppens ordförande samt i den slutliga redi­geringen.

EBA har flera kontroll­stationer under studiens gång, men de syftar i huvudsak till att stödja författaren. EBA håller hårt på författarens själv­stän­dighet. Självständigheten ska stärka trovärdigheten för resultaten och minska risken för att obekväma resultat inte kommer fram. Men expertgruppen gör ändå vad den kan för att det ska bli en bra rapport, även om författaren enligt avtalet ansvarar för innehåll och slut­satser. Det är vanligt att expertgruppen återremitterar rapporten till författaren för juste­ringar innan den blir godkänd för publicering. Återremitte­ringen kan vara ett tecken på att referens­gruppen inte har varit sammansatt av personer med rätt kompetens, att den har inte har bestått av tillräckligt många personer eller att författaren inte har tagit till sig av syn­punkterna. Expertgruppen ska inför sitt beslut alltså balan­sera sitt ansvar för att säkerställa kvaliteten mot författarens själv­ständighet och det avtalade ansvaret för studien.

EBA:s val att inte vilja styra författarna för hårt kombineras med att kommittén inte har tagit fram några kriterier för hur referensgruppen och expert­gruppen ska bedöma rapporternas kvalitet och relevansen för den tänkta mot­tagaren. EBA har valt att inte tillämpa OECD-DAC:s kriterier som anges i direk­tiven. Men expertgruppen ska säkerställa kvaliteten och också ange riktlinjer för verksamheten. Därför bedömer vi att EBA bör ta fram egna kriterier som är anpassade för verksamheten. Det skulle san­no­likt ge förutsättningar för en mer enhetlig bedömning som grund för expert­grup­pens beslut, men även göra det tydligt för författarna vad som förväntas av dem.

Relevansen är fortsatt en stor utmaning för EBA

Genom kvalitetssäkringen kan EBA försöka åtgärda eventuella problem med kvalitet och relevans. Men förutsättningarna för att studierna blir relevanta och an­vändbara för rege­ringen eller andra som berörs av den grund­läggs redan när expert­grup­pen beslutar om syfte, inriktning och målgrupp.

Vi bedömer att EBA:s största utmaning är att få rapporterna mer relevanta och an­vänd­bara eftersom de primära mål­grup­pernas synpunkter visar att rappor­terna sällan kommer till använd­ning. Om EBA inte lyckas med detta finns det en risk för att kom­mittén tappar legitimitet. Men EBA ska även ha en gran­skande funktion och alla studier behöver därför inte vara avsedda att användas i en beslutsprocess.

Vi uppfattar att EBA vill vara relevanta för regeringen och att de därför planerar förändringar eller redan har gjort vissa förändringar i sitt sätt att arbeta för att leverera mer relevanta resultat. Bland annat försöker EBA få in de tänkta mottagarna tidigt i processen och i referens­grup­pen. EBA har också fått bättre överblick över rege­ring­ens styrdokument för biståndet och löp­tiden för dem. Det gör att de kan få bättre taj­ming för kommande studier. Genom anbuds­för­faran­den får EBA in fler förslag att jämföra. Det ger förutsättningar för att välja förslag med en inriktning som är rele­vant för det svenska biståndet och för regeringens politik. Inriktningen mot att emel­lanåt göra något större studier ger också möjlighet att ta fram ny kunskap.

Samtidigt uppfattar vi att EBA även i fortsättningen planerar att ge för­fattarna rela­tivt stort utrymme att påverka studiernas inriktning utifrån över­gri­pande frågor. Vi bedömer att tydligare anvisningar från EBA om studiens in­riktning eller krav på ge­nomförandet inte nämnvärt minskar författarens självständighet i genom­förandet eller möjligheten för författaren att dra egna slutsatser.

Dialog mellan UD och EBA ger relativt bra förutsättningar för relevans

Vi bedömer att dialogen mellan EBA och UD fungerar till­räckligt bra för att ge EBA förutsättningar att producera studier som är relevanta för regeringen, sam­tidigt som EBA kan behålla sin självständighet när de väljer ut studierna. Expertgruppen har upp­visat integritet genom att ibland välja att genomföra studier som UD inte anser vara relevanta.

EBA och UD är överens om att dialogen dem emellan har blivit allt bättre. Det gäller både dialogen om verksamheten i stort och möjligheten för UD att ge och för EBA att ta emot synpunkter på förslag till enskilda studier. UD:s expert i kom­mittén har en mycket viktig uppgift både i sin roll och med sitt kontaktnät inom UD. Experten fungerar både som länk mellan UD och EBA och som förmedlare av UD:s syn­punk­ter på de förslag till studier som expertgruppen ska ta ställning till. Experten är upp­skat­tad av EBA för både sin personliga kompetens och sitt arbete med att förmedla kontakter och syn­punkter. Men innehållet i rollen är inte formaliserat utan bygger i hög grad på expertens egna ambitioner och överens­kommelser med expertgruppen. Det innebär att funktionen är personberoende och därmed sårbar. En arbets­besk­riv­ning skulle sannolikt göra det lättare för en annan tjänsteman att överta rollen om det skulle bli aktuellt.

EBA behöver få uppslag till studier från UD:s enheter för att kunna bidra med studier som är relevanta för UD och regeringen. Men vi har förstått att det ibland är en utmaning att få enheterna engagerade i att identifiera behov av kunskaps­underlag i ett mer långsiktigt per­spektiv. Tjänstemännen kan ha svårt att få tid att lyfta blicken från de dagsaktuella politiska frågorna. Detta förhållande råder inte EBA över, utan är en fråga för UD. Vi bedömer att EBA även fort­sätt­ningsvis måste ta ansvar för att generera idéer till nya studier, och att de bör stämma av dem med berörda enheter för att rapporterna ska bli så relevanta som möjligt. Våra intervjuer tyder på att en tidig kontakt även kan underlätta för målgruppen att ta emot resultaten. Det kan även vara viktigt att för­fattaren har kontakt med den berörda enheten. Sådana kontakter är särskilt vik­tiga om EBA:s studier även i fortsättningen främst ska verka för lärande och utveckling.

EBA bör fortsätta att bedrivas som kommitté

Statskontoret bedömer att EBA:s verksamhet även i fortsättningen bör bedrivas som en kom­mitté i samma form som EBA har haft sedan starten. Myndighets­formen bör normalt vara förstahandsalternativet, men en förändring av organisa­tionen skulle innebära en ny omstart för verksamheten. Det skulle kunna medföra både om­ställ­ningskost­nader och en risk för att kommitténs produktion skulle minska. Det är inte heller säkert att en förändrad organisations­form skulle ge EBA bättre förut­sätt­­ningar att uppfylla regeringens mål – och vi bedömer att EBA:s verksamhet på flera sätt ut­vecklas i den riktning som regeringen vill.

Myndighet ska vara huvudalternativ för statlig verksamhet

Valet av organisationsform för en verksamhet bör utgå från verksamhetens syfte, inriktning och om­fattning.^[72] Regeringen har tidigare slagit fast att myndig­hets­formen ska vara huvud­alternativet för att organisera och bedriva statlig verk­samhet. ^[73] Myn­dig­hetsformen uppfyller kraven på insyn och tydliga ansvars­kedjor och ger goda möj­ligheter för regeringen att anpassa sin styrning och myndighetens organisa­tion till olika förut­sättningar.

Myndigheter har också en fristående ställning och långtgående befo­genheter att be­sluta om hur de ska lösa sina uppgifter. Därför bör myndig­hetsformen vara huvud­alter­nativet när uppgifterna är styrande eller policy­inriktade, det vill säga när upp­gif­terna ska bidra till att nå politiska mål.

Organisa­tionsformer av privat­rättslig karaktär ska enligt regeringen bara användas om det finns särskilda skäl. Men en myndighet kan låta privaträttsliga organ utföra olika operativa uppgifter om myndigheten själv inte kan vara tillräckligt flexibel och effektiv.

Inga stora skillnader mellan myndighet och kommitté

Statskontoret har i en tidigare rapport bedömt att skillnaderna mellan kommitté­formen och myndighetsformen främst är av teknisk och admi­nistrativ art. Det finns alltså inte finns någon praktisk skillnad mellan dem som är avgörande för rege­ring­ens möjligheter att styra verksamheten och dess förutsättningar. Genom tilläggs­di­rek­tiv kan regeringen låta en kommitté fortsätta att bedriva verksamheten hur länge som helst, eller avsluta den i förtid. Myndighetsformen behöver inte vara tryggare. Regeringen kan lägga ned en myndighet när som helst.^[74]

Den verksamhet som EBA bedriver är ett statligt åtagande och verksamheten kan be­traktas som policyinriktad. Därför borde den enligt huvudregeln bedrivas i myn­dig­hets­form. Men den nuvarande organisationsformen ger EBA befogen­het att själv­stän­digt besluta om verksamhetens inriktning och om vilka studier som ska genom­föras. Rege­ringens tanke med det nuvarande sättet att organisera verk­samheten med en expert­grupp och ett kansli är också att EBA endast i begränsad utsträckning själva ska utföra den operativa verksamheten. De förväntas i första hand beställa studier av andra utförare för att kunna vara flexibla och kunna få tillgång till rätt kom­petens för de olika studierna.

Finns inga lämpliga myndigheter att inordna EBA i

Om regeringen väljer myndighetsformen finns det ingen uppenbart lämplig kan­didat att inordna EBA i som kan tillgodose de övriga krav som finns på funktionen. EBA:s verksamhet ska enligt regeringens och riksdagens beslut bedrivas organisa­toriskt åt­skild från de myndigheter som hanterar bistånds­medel eller bedriver bi­stånds­verk­sam­het. Därför är det inte lämpligt att inordna EBA:s verksamhet i exempelvis Sida, Rege­ringskansliet eller Folke Bernadotte­akademin. Vi ser heller inga andra lämpliga statl­iga organisationer som med fördel skulle kunna inrymma denna sektors­speci­fika verk­samhet.

En möjlighet skulle vara att knyta verksamheten till ett universitet eller en hög­skola. Stats­kontoret har tidigare lyft fram att den miljön kan vara positiv för kom­pe­tens­försörjningen och oberoendet för en analys- och utvärderingsfunktion. Men det skul­le samtidigt göra det svårare för funktionen att bli relevant för mottagaren.^[75] EBA:s nu­varande organisations­form har inte medfört några stora problem för kompetens­för­sörjningen, självständigheten i förhållande till regeringen eller oberoendet i för­hål­lande till det som EBA analyserar. Däremot är utmaningarna större när gäller rele­vansen. Vi bedömer därför att det är angeläget att inte ytter­ligare försvåra förut­sätt­ningarna för EBA att bli relevanta för regeringen och andra viktiga målgrupper.

Två alternativa ledningsformer för en permanent myndighet

Vi bedömer att huvudalternativet till EBA:s nuvarande organisationsform är att bilda en ny förvaltningsmyndighet. Myndighetsförordningen anger tre möjliga lednings­for­mer: enrådighetsmyndighet, styrelsemyndighet eller nämnd­myndighet.^[76] Vilken led­ningsform som ska användas beror på verksamhetens art, politiska prioriteringar och regeringens behov av att styra myndigheten.^[77]

Regeringen har angett att formen nämndmyndighet bör användas sparsamt. En förut­sätt­ning för att välja denna form är att det är nödvändigt att verksamheten fattar be­slut kollektivt. En nämndmyndighets uppgifter är oftast reglerade i lag och är väl av­­gränsade. EBA har ett kollektivt beslutsfattande, men uppgifterna är varken re­g­le­rade i lag eller tydligt avgränsade.

Expertgruppens kollektiva beslutsfattande har gynnat verksam­heten. Men vi be­dö­mer att det går att upprätta ett liknande beslutsorgan även i en styrelse­myndighet och i en enrådighets­myndighet. Det finns argument som talar för båda ledningsformerna, så valet beror på vad regeringen vill prioritera. I den förvalt­nings­politiska pro­po­si­tio­nen anger regeringen att enrådighet är en lämplig form för verk­samheter med främ­­jande karaktär och för myndigheter med en liten budget. En styrelse­myndig­het är lämplig för bland annat en forskningsintensiv eller kunskaps­produ­ce­rande verk­sam­­het.

Statskontorets kartläggning 2014 av sektorsspecifika utvärderings­myndig­heter i sta­ten visar att de flesta är enrådighetsmyndigheter, men att det även finns de som leds av en styrelse.^[78] Ett motiv till att Myndigheten för vård- och omsorgsanalys leds av en styrelse är att rege­ringen ansåg att det är särskilt viktigt att myndigheten själv­stän­­digt avgör vad de ska studera och att ledamöterna kan bidra med strategiskt stöd i dessa val. Det stämmer väl överens med motiven för hur EBA är organiserad. Sam­ti­digt är det möjligt att få till liknande konstruk­tioner även för enrådighets­myn­dig­heter. Ett exempel är Finanspolitiska rådet som är en enrådighetsmyndighet som har ett särskilt beslutsorgan i form av ett råd som beslutar om myndighetens årliga rap­port.

Vi bedömer alltså att det går att organisera en förvaltnings­myndig­het på ett sätt som skulle kunna bedriva en verksamhet som liknar den som EBA bedriver i dag. Myn­dig­hetsformen skulle ge verksamheten något fastare administrativa former och ett tyd­ligare ansvar till myndighetschefen, det vill säga det som i EBA motsvarar kans­li­chefen.

Vilken ledningsform som skulle vara mest lämplig avgörs av vilka avvägningar regeringen vill göra mellan exempelvis myndighetens självständighet och rege­ringens möjligheter att styra den. Men avvägningarna skulle snarare handla om grad­skill­nader än om artskillnader. Statskontoret har tidigare konstaterat att för­håll­nings­sättet hos regeringen och övriga inblandade aktö­rer oftast är mer avgörande än led­nings­­formen.^[79] Det visar också erfarenheterna från SADEV, där regeringen med sär­skilda regeringsuppdrag minskade myndighetens möjligheter att själv välja vad den skulle studera.

En omorganisation kan innebära både risker och kostnader

En omorganisering av EBA från kommitté till förvaltningsmyndighet skulle inne­bära både omställningskostnader och risker för verksamheten. Riskerna är framför allt att produk­tiviteten kan minska under en övergångsperiod. Det visar inte minst er­faren­heterna från starten av EBA, trots att ambitionen var att det inte skulle uppstå något glapp i verksamheten när SADEV avvecklades. Jämfört med kom­mitté­­formen med­för myndighetsformen även fler admini­strativa krav som skulle kräva något mer resur­ser för administration. Detta skulle minska kärnverksamhetens resurser om inte regeringen skulle tillföra nya resurser för den ökade administrationen.

Vi bedömer att EBA:s verksamhet utvecklas i den riktning som regeringen efter­strä­var. En risk med en omorga­nisation är att EBA:s för­ändrings­arbete tappar kraft eller av­stannar. Därför bör regeringen ställa eventuella positiva effekter av en orga­ni­sa­tions­förändring i relation till de negativa effekter den kan ge.

EBA bör fortsätta sin verksamhet i samma organisationsform

Statskontoret föreslår att regeringen låter EBA fortsätta att bedriva sin verksamhet i nu­varande organisations­form. EBA:s organisationsform har inte hindrat kommittén att producera kun­skaps­­underlag för regeringen och andra målgrupper på ett kost­nads­effektivt sätt. Kom­petensförsörjningen har i huvudsak fun­gerat väl och EBA har kunnat agera självständigt och med integritet. En förändring från kommitté till myn­dighet skulle sannolikt inte ge EBA påtagligt bättre möjligheter att utföra sitt upp­drag. Regeringen har tidigare provat olika former för analys- och utvär­derings­funk­tio­nen, men ingen av dem har varit lång­varig. Det talar för att det är svårt att hitta en idea­lisk form för verksamheten och att den också är svår att bedriva på ett sätt som till­fredsställer alla behov och förväntningar. EBA:s utmaning är att väga själv­stän­dig­­­heten i valet av studier mot att vara relevant för regeringens politik. Vi förväntar oss att denna utmaning finns kvar oavsett organisa­tionsform.

Om regeringen väljer att låta EBA fortsätta sin verksamhet i sin nuvarande orga­ni­sa­­tionsform behöver regeringen också ta ställning till om kommittén ska ha ett tids­be­gränsat eller ett löpande uppdrag. Som jämförelse är uppdraget till ESO inte tids­begränsat. Oavsett vad regeringen väljer har regeringen också möjlighet att när som helst ompröva organisations­formen, se över verksamheten och justera uppdraget.

Den nuvarande organisationsformen medför vissa otydligheter för kommittéer med ett löpande uppdrag (se kapitel 6). Regeringen kan åtgärda en del av otydligheterna för att ge EBA bättre förutsättningar att bedriva en stabil verk­samhet. Det gäller till exempel att klargöra kanslichefens ansvar och att se över nivån på sam­man­trädes­ar­vodet. Det finns heller inget som hindrar att regeringen i direktiven anpassar kraven på EBA:s återrapportering så att regeringen får den information den behöver för att kunna följa verksamhetens utveckling.

EBA:s fortsatta verksamhetsutveckling

I uppdraget till Statskontoret anger regeringen att Statskontoret har möjlighet att lämna rekom­mendationer till EBA som stöd för verksamhetens fortsatta utveckling om vi bedömer att organisationsformen ska bestå.

Vi har i rapporten uppmärksammat flera saker i verksamheten och styrningen av den som kan bli bättre och även ansvars­förhållanden som kan bli tydligare. Men EBA har en liten kanslifunktion och en strategisk ledning som sammanträder tio gånger per år. Det sätter gränser för vad som är möjligt och rimligt att utveckla. Valet av ut­vecklingsinsatser måste också grundas i väl avvägda prioriteringar som EBA själva måste ta ansvar för. Då behöver EBA också följa upp resultatet av de utveck­lings­ini­tiativ som redan har påbörjats och de som framöver kommer att genomföras. Vi be­dömer att EBA i första hand behöver förbättra sina förutsätt­ningar för att kunna producera rapporter som i så hög grad som möjligt är relevanta och användbara för re­geringen. Det är EBA:s största utmaningar.

Vi rekommenderar också att EBA och UD använder denna rapport som grund för att gemensamt diskutera dels om direktiven ytterligare behöver förtydligas, dels vilka delar av EBA:s verksamhet som det är mest angeläget att utveckla. Detta kan ske på ett sätt som liknar den dialog som ansvariga departement har med myndigheter uti­från Statskontorets myndighetsanalyser. Även om EBA också i fortsättningen ska ha en hög grad av självständighet bedömer vi att regeringen har ett ansvar för att se till att kommittén får så bra förutsättningar som möjligt för verksamheten.

Referenser

Expertgruppen för biståndsanalys 2013-10-30. Rapport över Expertgruppens arbete till och med oktober 2013.

Expertgruppen för biståndsanalys. (2013–2018). Protokoll från expertgruppens möten 2013-10-08–2018-03-14.

Expertgruppen för biståndsanalys 2014-12-16. Beslutsordning ekonomiska beslut. Promemoria.

Expertgruppen för biståndsanalys 2015-04-14. Terms of Reference for Proposal – Evaluation study of Swedish Long-Term Development Cooperation at country level.

Expertgruppen för biståndsanalys 2015-10-05. The Local Turn of Peacebuilding – Revising a Dogma? Promemoria.

Expertgruppen för biståndsanalys. (2016). Vem lär av EBA? Användning och till­vara­­tagande av EBA:s rapporter – en intervjustudie. Promemoria.

Expertgruppen för biståndsanalys. (2017). Uppföljning och kartläggning av Expert­gruppen för biståndsanalys arbete. Promemoria.

Expertgruppen för biståndsanalys 2017-08-28. Riktlinjer för referensgrupper. Pro­me­­moria.

Expertgruppen för biståndsanalys 2017-11-23. Verksamhetsstrategi.

Expertgruppen för biståndsanalys 2017-11-28. Policy samt riktlinjer för upp­hand­ling. Promemoria.

Kommittédirektiv 2007:46. Expertgrupp för studier i offentlig ekonomi.

Kommittédirektiv 2013:102. Delegation för migrationsstudier.

Kommittédirektiv 2013:11. Expertgrupp för utvärdering och analys av Sveriges in­ter­nationella bistånd.

Kommittédirektiv 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys.

Kommittédirektiv 2017:5. Tilläggsdirektiv till delegation för migrationsstudier.

OECD-DAC. (1991). Principles for Evaluation of Development Assistance.

OECD-DAC. (2010). Quality Standards for Development Evaluation.

Proposition 2002/03:122. Gemensamt ansvar: Sveriges politik för global utveckling.

Proposition 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och till­växt.

Proposition 2012/13:1. Budgetpropositionen för 2013. Utgiftsområde 7. Inter­na­tio­nellt bistånd.

Regeringsbeslut 2017-11-30. Uppdrag att göra en översyn av Expertgruppen för bi­stånds­analys (UD2013:01). (Dnr UD2017/19685/IU).

Regeringskansliet, Utrikesdepartementet. (2014). Vägledning för att omhänderta bi­stånds­relevanta utvärderingar, analyser och studier inom UD. (Dnr UF2014-81989-UD-USTYR).

Regeringskansliet, Utrikesdepartementet 2012-12-11. Förslag om en ny funktion för utvärdering av Sveriges internationella bistånd – sammanfattning. Promemoria.

Regeringskansliet, Utrikesdepartementet 2016-02-17. Förtydligande av EBA:s kom­mit­tédirektiv.

Regleringsbrev för budgetåret 2012 avseende Institutet för utvärdering av inter­na­tio­nellt utvecklingssamarbete.

Regleringsbrev för budgetåret 2018 avseende anslag 1:6 Utvärdering av inter­na­tio­nellt bistånd.

Sida. (2015–2017). Sidas årsredovisningar för 2015–2017.

Statens offentliga utredningar. (2018). Frågor och svar om kommittéer. (Hämtad 2018-03-26). http://www.sou.gov.se/

Statens servicecenter. (2016). Effektivare administration och minskade ad­mi­nist­ra­ti­va kostnader för små myndigheter. (Dnr 10240-2016/1211).

Statskontoret. (2011). Friststående utvärderingsmyndigheter – en förvaltnings­po­li­tisk trend? (Om offentlig sektor).

Statskontoret. (2011). Styrning av svensk biståndspolitik. En utvärdering. (2011:25).

Statskontoret. (2012). Utvärdering av svenskt bistånd. En översyn av utvärderings­verksamheten. (2012:17).

Statskontoret. (2012). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. (2012:27).

Statskontoret. (2013). Nordiska Afrikainstitutets organisation och funktion. (2013:3).

Statskontoret. (2014). Myndigheternas ledningsformer – en kartläggning och analys. (2014:4).

Statskontoret. (2014). Utvärdering på olika områden. En analys av sektorsspecifika utvärderingsmyndigheter. (2014:7).

Statskontoret. (2017). Kostnaden för små myndigheter. (Dnr 2017/229-5)

Svenska Dagbladet. 2018-05-28. Biståndet kan enkelt effektiviseras.

Regeringsuppdraget

Publicerade rapporter i serien EBA-rapporter 2014–2017 och pågående studier i mars 2018

Rapport nr	Publicerade rapporter 2014–2017
2014:01	Randomized Controlled Trials: Strengths, Weaknesses and Policy Relevance
2014 02	Sweden's Development Assistance for Health - Policy options to Support the Global Health 2035 Goals
2014:03	International Party Assistance – What do we know about the effects?
2014:04	The African Development Bank – Ready to Face the Challenges of the Future?
2014:05	Svenskt statligt internationellt bistånd i Sverige – en översikt
2015:01	Rethinking Civil Society and Support for Democracy
2015:02	Utvärdering av svenskt bistånd – en kartläggning
2015:03	Concentration difficulties? An analysis of Swedish aid proliferation
2015:04	Youth, entrepreneurship and development
2015:05	Has Sweden injected realism into public financial management reforms in partner countries?
2015:06	Now open for business: Joint development initiatives between the private and public sectors in development cooperation
2015:07	Making development work: The quality of government approach
2015:08	Business and human rights in development cooperation – has Sweden incorporated the UN guiding principles?
2015:09	In search of double dividends from climate change interventions evidence from forest conservation and household energy transitions
2016:01	Support to regional cooperation and integration in Africa – what works and why?
2016:02	Education in developing countries what policies and programmes affect learning and time in school?
2016:03	Capturing complexity and context: evaluating aid to education
2016:04	Swedish Responsibility and the United Nations Sustainable Development Goals
2016:05	Pathways to change: Evaluating development interventions with Qualitative Comparative Analysis (QCA)
2016:06	Vem beslutar om svenska biståndsmedel?
2016:07	Towards an alternative development management paradigm?
2016:08	Sustaining a development policy: results and responsibility for the Swedish policy for global development
2016:09	Exploring donorship – Internal factors in Swedish aid to Uganda
2016:10	Swedish Development Cooperation with Tanzania – has it helped the poor?
2016:11	Revitalising the policy for global development
2017:01	Making waves: implications of the irregular migration and refugee situation on official development assistance spending and practices in Europe
2017:02	Do Anti-Discrimination Measures Reduce Poverty Among Marginalised Social Groups
2017:03	Animal health in development – its role for poverty reduction and human welfare
2017:04	Enprocentsmålet - en kritisk essä
2017:05	Local Peacebuilding – challenges and opportunities
2017:06	Confronting the contradiction – an exploration into the dual purpose of accountability and learning in aid evaluation
2017:07	Research aid revisited – a historically grounded analysis of future prospects and policy options
2017:08	Research Capacity in the New Global Development Agenda
2017:09	Geospatial analysis of aid: a new approach to aid evaluation
2017:10	Seven Steps to Evidence-based Anti-corruption: A roadmap
2017:11	Sweden's financing of UN Funds and Programmes: analyzing the past, looking to the future
2017:12	Livslängd och livskraft: vad säger utvärderingar om svenska biståndsinsatsers hållbarhet?
	Pågående studier i mars 2018
2018:01	DFIs and development impact: an evaluation of Swedfund
	Följeforskning av Sidas insatser för stärkt jämställdhets- integrering
	Aid volatility due to exchange rate fluctuations.
	Litteraturöversikt om samspelet mellan humanitärt bistånd och långsiktigt utvecklingsbistånd i flyktingkriser
	Evaluation of anti-discrimination measures phase 2
	A review of the evidence on general budget support
	Promoting multi-stakeholder ownership in a changing world: Is Swedish development cooperation fit for purpose?
	Det svenska biståndet och synen på risktagande i ett medialiserat samhälle
	Fit for fragility? An Examination of the politics of risk management inside Swedish aid
	Men and masculinities in social protection strategies for women's economic empowerment.
	Swedish aid in the era of shrinking space – the case of Turkey
	Evaluation of Swedish long-term development cooperation with Cambodia
	Utvärdering av Sveriges utvecklingssamarbete med Bosnien- Hercegovina inom området inkluderande ekonomisk utveckling
	Consequences of underfunded UN coordinated appeals
	Impact evaluation of a Sida-sponsored Public Infrastructure and Local governance program in Cambodia

Kommentar: Rapporter i fetstil markerar vilka studier vi har valt för en närmare analys.

Fotnoter

1. Dir. 2013:11. Expertgrupp för utvärdering och analys av Sveriges internationella bistånd. ↑

2. Förordning (2005:1214) med instruktion för Institutet för utvärdering av internationellt ut­veck­lingssamarbete. ↑

3. Kommittén för analys av utvecklingssamarbete (Secretariat for Analysis of Swedish Development, SASDA) med sekretariatet SAU 1993–1995 och Expertgruppen för studier av utvecklingsfrågor (Expert Group of Development Issues, EGDI) 1998–2003. ↑

4. Prop. 2012/13:1, bet. 2012/13:UU2, rskr. 2012/13:91. ↑

5. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderings­verk­sam­heten. ↑

6. Regeringskansliet, Utrikesdepartementet 2012-12-11. Förslag om en ny funktion för ut­vär­de­ring av Sveriges internationella bistånd – sammanfattning. ↑

7. Ibid. ↑

8. http://www.sou.gov.se/fragor-och-svar-om-kommitteer/ (Hämtad 2018-03-26). ↑

9. Dir. 2013:11 Expertgrupp för utvärdering och analys av Sveriges internationella bistånd. ↑

10. Anslag 1:6 Utvärdering av internationellt bistånd. ↑

11. Regleringsbrev för budgetåret 2018 avseende anslag 1:6 Utvärdering av internationellt bi­stånd. Anslagspost 4 Expertgrupp för utvärdering och analys av Sveriges internationella bi­stånd (ram). ↑

12. Dir. 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys. ↑

13. Regeringsbeslut 2017-11-30. Uppdrag att göra en översyn av Expertgruppen för bistånds­analys (UD2013:01). (Dnr UD2017/19685/IU). ↑

14. Dir. 2007:46 Expertgrupp för studier i offentlig ekonomi. Dir. 2013:102 Delegation för migrationsstudier och Dir. 2017:5 Tilläggsdirektiv till delegation för migrationsstudier. ESO är den äldsta av kommittéerna. ESO inrättades 1981, lades ned 2003 och återinrättades 2007. EBA är störst av EBA, ESO och Delmi, sett till antalet ledamöter och kommitténs budget. ↑

15. Dir. 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys (UD 2013:01). ↑

16. Bet. 2012/13:UU2, sid. 42. ↑

17. Prop. 2002/03:122, bet. 2003/04:UU3, rskr. 2003/04:112. ↑

18. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvär­derings­verk­sam­heten. Statskontoret (2014:7). Utvärdering på olika områden. En analys av sektors­spe­ci­fika utvärderingsmyndigheter. ↑

19. Expertgruppen för biståndsanalys 2017-11-23. Verksamhetsstrategi. ↑

20. Förordning (2007:1300) med instruktion för Institutet för utvärdering av internationellt ut­vecklingssamarbete. ↑

21. Regleringsbrev för budgetåret 2012 avseende Institutet för utvärdering av internationellt utvecklingssamarbete. Anslag 1:6, anslagspost 1. ↑

22. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderings­verk­sam­heten. ↑

23. Sidas årsredovisningar för 2015, 2016 och 2017. ↑

24. Ibid. ↑

25. Regeringskansliet, Utrikesdepartementet 2016-02-17. Förtydligande av EBA:s kommitté­di­rek­tiv. ↑

26. Regeringskansliet, Utrikesdepartementet (2014). Vägledning för att omhänderta bistånds­re­levanta utvärderingar, analyser och studier inom UD. (Dnr UF2014-81989-UD-USTYR). ↑

27. Språkrådets uttolkning av språklagen (2009:600). http://www.sprakochfolkminnen.se/sprak/sprakpolitik/spraklagen.html. Mejlsvar från Språkrådet vid Institutet för språk och folkminnen, 2018-04-17. ↑

28. 17–18 §§ kommittéförordningen (1998:1474). ↑

29. 6 § och 10–11 §§ språklagen (2009:600). ↑

30. OECD-DAC (1991). Principles for Evaluation of Development Assistance. OECD-DAC (2010). Quality Standards for Development Evaluation. ↑

31. 19 § kommittéförordningen (1998:1474). ↑

32. 3–4 §§ myndighetsförordningen (2007:515). ↑

33. EBA 2013-10-30. Rapport över Expertgruppens arbete till och med oktober 2013. ↑

34. Protokoll från expertgruppens möte 2016-12-15. ↑

35. EBA 2017-11-23. Verksamhetsstrategi. ↑

36. EBA 2017-11-23. Verksamhetsstrategi. ↑

37. Svenska Dagbladet. 2018-05-28. Biståndet kan enkelt effektiviseras. ↑

38. EBA 2014-12-16. Beslutsordning ekonomiska beslut. ↑

39. EBA 2018-04-27. Sweden´s Development Support to Tax Systems. EBA 2018-04-23. Rättsstatens principer och svenskt utvecklingssamarbete. ↑

40. EBA 2018:02. Building bridges between international humanitarian and development responses to forced migration. ↑

41. Språkrådets uttolkning av språklagen (2009:600). http://www.sprakochfolkminnen.se/sprak/sprakpolitik/spraklagen.html ↑

42. EBA 2015-04-14. Terms of Reference for Proposal – Evaluation Study of Swedish Long-Term Development Cooperation at Country Level. ↑

43. EBA-rapport 2016:09. Exploring Donorship – internal factors in Swedish aid to Uganda. ↑

44. EBA-rapport 2016:10. Swedish Development Cooperation with Tanzania – has it helped the poor? ↑

45. EBA (2017). Uppföljning och kartläggning av Expertgruppen för biståndsanalys arbete. ↑

46. Ibid. ↑

47. Direktupphandlingsgränsen var 284 631 kronor 2012–2013, 270 964 kronor 1 januari–30 juni 2014, 505 800 kronor 1 juli 2014–31 december 2015, 534 890 kronor 2016–2017 och är 586 907 kronor 2018. ↑

48. EBA 2016:10. Swedish Development Cooperation with Tanzania – has it helped the poor? ↑

49. EBA 2016:02. Education in developing countries: What policies and programmes affect learning and time in school? EBA 2017:03. Animal health in development – its role for poverty reduction and human welfare. ↑

50. Kanslipromemoria till EBA 2017:05. Local Peacebuilding – Challenges and Oppor­tunities. ↑

51. EBA 2016:05. Pathways to Change: Evaluating Development Interventions with Quali­ta­tive Comparative Analysis (QCA). ↑

52. EBA 2017-11-24. EBA:s arbetsformer. ↑

53. EBA (2016). Vem lär av EBA? Användning och tillvaratagande av EBA:s rapporter – en intervjustudie. Uppföljningen gäller EBA-rapporter med nummer 2014:01–2015:08. ↑

54. EBA (2017). On-going evaluation of gender mainstreaming at Sida – First report. Working paper 2017-04-19. ↑

55. EBA (2018). On-going evaluation of gender mainstreaming at Sida – Second report. Working paper 2018-04-10. ↑

56. ”(i) Has Swedish aid contribute to poverty reduction in the chosen country over time, and if so, in what way? (ii) What are the important lessons for Swedish development cooperation today?” (Källa: Utlysningens ”Terms of Reference”) ↑

57. EBA (2018). Rättsstatens principer och svenskt utvecklingssamarbete. Working paper 2018-04-23. ↑

58. Protokoll från expertgruppens möte 2014-04-01, 2016-09-05 och 2016-10-10. ↑

59. EBA 2017-11-24. EBA:s arbetsformer. ↑

60. Protokoll från expertgruppens möten 2014–2017. ↑

61. EBA 2017-11-28. Policy samt riktlinjer för upphandling. ↑

62. Dessa frågor är: Har klimatsatsningen bidragit till hållbar klimatanpassning (adaptation) och utsläpps­minskning av växthusgaser (mitigation) i fattigare länder? I så fall varför, på vil­ket sätt och i vilken utsträckning? Vad kan man lära av klimatsatsningen för dagens svens­ka klimat­bistånd? ↑

63. EBA 2017-08-28. Riktlinjer för referensgrupper. ↑

64. Protokoll från expertgruppens möte 2018-03-14. ↑

65. EBA (2016). Vem lär av EBA? Användning och tillvaratagande av EBA:s rapporter – en in­tervjustudie. Intern promemoria. EBA (2017). Uppföljning och kartläggning av Ex­pert­grup­pen för biståndsanalys arbete. Intern promemoria. ↑

66. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

67. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderings­verk­sam­heten. Statskontoret (2014:7). Utvärdering på olika områden. En analys av sektors­spe­ci­fika utvärderingsmyndigheter. ↑

68. 25–31 §§ kommittéförordningen (1998:1474). ↑

69. Statskontoret (2017). Kostnader för små myndigheter. (Dnr 2017/229-5.) Statens Service­center (2016). Effektivare administration och minskade administrativa kostna­der för små myn­digheter. (Dnr 10240-2016/1211.) ↑

70. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

71. Statskontoret 2011:25. Styrning av svensk biståndspolitik. ↑

72. Statskontoret (2012:27). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. ↑

73. Prop. 2009/2010:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

74. Statskontoret (2012:27). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. Vid tidpunkten för analysen var Regelrådet en kommitté, men är sedan 2015 ett särskilt beslutsorgan i Tillväxtverket. ↑

75. Statskontoret (2011). Friststående utvärderingsmyndigheter – en förvaltningspolitisk trend? Statskontoret (2013:3). Nordiska Afrikainstitutets organisation och funktion. ↑

76. 2 § myndighetsförordningen (2007:515). ↑

77. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

78. Statskontoret (2014:7). Utvärdering på olika området. En analys av sektorsspecifika utvärderingsmyndigheter. ↑

79. Statskontoret (2014:4). Myndigheternas ledningsformer – en kartläggning och analys. ↑