En ny hotanalys från Unit 42, forskningsenheten vid Palo Alto Networks, visar att kodassistenter som är baserade på stora språkmodeller (LLM) kan utnyttjas för att skapa bakdörrar, läcka känslig information och generera skadligt innehåll.

Analysen The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception dokumenterar hur funktioner som chatt, auto-complete och bifogad kontext kan missbrukas. Indirekt prompt-injektion utgör en särskild risk eftersom hotaktörer kan kontaminera externa datakällor och på så sätt manipulera en AI-assistent att infoga skadlig kod.

Några av analysens viktigaste resultat:

· Indirekt prompt-injektion: När en AI-assistent matas med data från externa källor kan skadliga instruktioner vara dolda i materialet. Assistenten kan på så sätt manipuleras att infoga dold bakdörrskod eller läcka känslig information.

· Missbruk av auto-complete: Om en användare utformar sina indata på ett visst sätt kan AI-assistenten luras att fullborda skadligt innehåll, även om den normalt skulle ha avvisat begäran.

· Direkt åtkomst till modellen: Om AI-modellen nås utan de normala säkerhetslagren kan hotaktörer manipulera den. De kan också utnyttja stulna session-tokens – en sorts tillfällig digital åtkomstnyckel som används för att bevisa att en användare är inloggad – i attacker som kallas LLMJacking.

Analysen pekar alltså inte bara på tekniska sårbarheter, utan också på en bristande säkerhetskultur kring användningen av AI. När utvecklare blint kopierar kodförslag eller lägger till kontext från externa källor öppnar de dörren för att skadliga instruktioner kan smyga sig in. Samtidigt visar analysen att användare själva kan manipulera assistenterna för att producera skadliga resultat. Detta understryker behovet av att organisationer inför tydliga ramverk och utbildning om hur AI används säkert i utvecklingsprocesser.

Unit 42 rekommenderar att utvecklare alltid granskar föreslagen kod noggrant innan de kör den, är särskilt uppmärksamma på bifogad kontext och använder manuella kontrollfunktioner där det är möjligt. Som analysen sammanfattar: ”You are the ultimate safeguard.”

Palo Alto Networks betonar att kunderna är bättre skyddade mot de hot som beskrivs genom lösningar som Cortex XDR och XSIAM, Cortex Cloud Identity Security, Prisma AIRS och Unit 42:s AI Security Assessment.

Analysen kan läsas här: The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception.