Et skjult avsnitt i dokumentet får KI-assistenten til å sende dataene ut

To uavhengige rapporter beskriver hvordan Atlassians KI-assistent Rovo kan lures til å sende ut data assistenten har tilgang til. PromptArmor offentliggjorde 5. august et funn der skjulte instrukser i et opplastet dokument får Rovo til å hente innhold fra Jira og Confluence og levere det til en adresse angriperen styrer. Varonis beskriver et annet funn, kalt RovoBlast, der et enkelt klikk på en lenke setter instrukser inn i assistentens samtale. Ingen av rapportene oppgir at teknikkene er brukt i angrep, og ingen av funnene har fått et CVE-nummer.

Hva som skjer teknisk

Rovo er en assistent som leser og handler på vegne av brukeren, og som når både Atlassians egne produkter og et større antall tilkoblede tjenester. PromptArmor beskriver at instrukser kan gjemmes i et dokument brukeren selv laster opp, og at assistenten behandler dem som om de kom fra brukeren. Uttaket skjer gjennom assistentens verktøy for å åpne adresser, som ifølge PromptArmor ikke har noe vern mot å åpne en adresse assistenten selv har satt sammen. Dataene legges inn i adressen, og havner i loggen på angriperens tjener når adressen åpnes. PromptArmor beskriver også at innstillingen som slår av nettsøk for hele organisasjonen ikke hjelper, fordi den ikke fjerner verktøyet som åpner treffene.

Varonis går en annen vei inn. Adressen til Rovos samtalevindu tar imot et parameter kalt rovoChatPrompt, og innholdet i parameteret legges inn i samtalen når en pålogget bruker klikker på lenken. Ifølge Varonis skjer dette uten varsel og uten bekreftelse, og resten utføres av assistentens eget verktøy for flerstegs surfing, som kan hente internt innhold og legge det ut igjen et annet sted. Rekkevidden følger brukerens egne rettigheter, og ingen av rapportene beskriver et brudd på tilgangsstyringen i seg selv. De to sakene står ulikt i dag. The Hacker News opplyser at Atlassian rettet parametersaken på tjenersiden 8. juli, og at rettelsen ble bekreftet av finneren. PromptArmor skriver på sin side at deres funn fortsatt stod åpent 5. august, etter tre henvendelser uten svar.

Hva det betyr for deg som har Rovo i Atlassian

Berigos vurdering er at de to funnene peker på det samme konstruksjonsproblemet, og ikke på to enkeltfeil. Har du en assistent som både leser innhold utenfra og kan nå ut på nettet, har du alt som skal til for at data kan bæres ut. Skillet mellom data og instruks finnes ikke i en språkmodell slik det finnes i et program. Derfor må du håndheve skillet rundt modellen. Et verktøy som åpner en adresse er i praksis en utgående kanal, uansett hva det heter i grensesnittet.

Det andre du bør merke deg, er hvor lite brukeren din ser. I den ene teknikken holder det å laste opp et dokument. I den andre holder det å klikke på en lenke. I begge tilfeller ser skjermbildet helt normalt ut. Tilgangsstyringen din avgjør dermed skadeomfanget, siden assistenten når nøyaktig det brukeren når. Spørsmålet om hvilke koblinger assistenten skal ha, er derfor en styringsbeslutning hos deg, og ikke et verktøyvalg den enkelte tar.

Berigo anbefaler

• Gå gjennom hvilke tjenester assistenten er koblet til, og fjern koblinger virksomheten ikke har et tydelig behov for.
• Begrens hvem som har assistenten, gjennom Atlassians egen styring av tilgang per app og brukergruppe.
• Legg til grunn at assistenten når alt brukeren når, og rydd derfor i brukerens egne rettigheter først.
• Behandle dokumenter utenfra som innhold assistenten ikke skal handle på før et menneske har lest det.
• Ta KI-assistenter inn i risikovurderingen på linje med andre integrasjoner, og krev skriftlig svar fra leverandøren på hvordan uttak av data hindres.