Forskningsprojekt Integritetsskyddande tekniker för stora språkmodeller
De senaste årens genombrott inom AI har drivits av så kallade språkmodeller. De kan vara mycket användbara men utgör också en säkerhetsrisk: De läcker information om sina träningsdata. Detta projekt handlar om att identifiera sådana sårbarheter och föreslå integritetsskyddande tekniker.
Stora språkmodeller (på engelska: large language models, LLMs) har lett till flera genombrott inom artificiell intelligens (AI) och språkteknologi. Dessa språkmodeller är uppbyggda av ofantligt många parametrar och tränas att behandla språk genom att bearbeta enorma mängder text.
Flera studier har visat att språkmodeller memorerar information som sedan kan läcka. Dessa säkerhetsrisker förvärras i takt med att modeller växer i storlek och träningsdata. Särskilt riskabla är modeller som tränas att behandla text från känsliga domäner, som den kliniska. Samtidigt är det i sådana situationer som AI kan göra mest samhällsnytta. Detta projekt syftar till att identifiera de integritetsrisker som orsakas av moderna språkmodeller samt till att undersöka tekniker som kan mildra dessa risker. Detta är en förutsättning för att modern AI-teknik ska kunna användas på ett etiskt och lagenligt sätt.
Projektet är Thomas Vakilis avhandlingsprojekt. Han handleds av Hercules Dalianis (huvudhandledare) och Aron Henriksson.
Projektmedlemmar
Projektansvariga
Thomas Vakili
Doktorand
Hercules Dalianis
Professor
Aron Henriksson
Universitetslektor, Docent
Publikationer
Mer om projektet
Thomas Vakili la fram sin licentiatuppsats 12 maj 2023:
Språkmodeller som minns – hur kan vi skydda patienters integritet?
Läs en intervju med Vakili:
Svensk teknik för säkra språkmodeller testas i Chile