Fråga GPT Utvärdering av stöd till Fråga ESV med generativa språkmodeller

Rapporten presenterar resultatet av en egeninitierad studie där vi har tagit fram en prototyp av en applikation som utifrån inkomna frågor till Ekonomistyrningsverkets webbtjänst Fråga ESV genererar tre svar från tre olika generativa språkmodeller baserade på GPT-4 och GPT-3 från OpenAI. 
 
Resultatet av försöket visar att en GPT-4-modell i kombination med en vektorsök-modell presterade bäst överlag och att en finjusterad modell generellt presterade sämst. Trots att de genererade svaren ofta inte ansågs var hjälpsamma anser flera av ESV:s utredare som testat applikationen att det skulle vara värdefullt att fortsätta utveckla den.
 
Möjliga vägar framåt är att fokusera på att utveckla applikationen med den arkitektur som genererade bäst svar, eller att dela upp applikationens funktionalitet i två.