TEXT: Chris Wright, Chief Technology Officer och Senior Vice President, Global Engineering, Red Hat

En stor del av diskussionen om AI och cybersäkerhet kretsar i dag kring de  modeller som ligger till grund för AI-tjänster och AI-agenter. Det finns argument för att de mest avancerade modellerna bör hanteras av ett fåtal aktörer bakom stängda dörrar. Det har även diskuterats om AI-modeller med öppna vikter, det vill säga modeller som är öppet tillgängliga och därför kan laddas ner, köras och anpassas av andra, bör regleras hårdare eller till och med förbjudas av säkerhetsskäl.

Men när lagstiftare och tillsynsmyndigheter diskuterar framtiden för öppna AI-modeller riskerar en central fråga att hamna i skymundan: Hur säkrar vi egentligen AI-system som helhet?

AI-säkerhet är en mjukvarufråga – inte bara en modellfråga

En AI-agent är inte bara en modell, utan ett helt mjukvarusystem. För att säkra det behöver vi granska grundmodellen, ramverket runt agenten, sandboxmiljöer, skyddsmekanismer i exekveringsmiljön, datakontroller och andra delar av den underliggande infrastrukturen. Flera av dessa komponenter handlar i grunden om mjukvaruutveckling, snarare än om själva AI-modellen. Att försöka skapa säkrare AI genom att placera mjukvara i slutna, proprietära miljöer riskerar därför att flytta problemen snarare än att lösa dem.

Den diskussionen känner vi igen. När Linux och open source började få genomslag fanns en utbredd skepsis kring om öppen källkod verkligen kunde vara tillräckligt stabil och säker för företag. Kritiker menade att endast sluten utveckling kunde erbjuda den tillförlitlighet som krävdes i verksamhetskritiska IT-miljöer. Utvecklingen visade något annat. Open source är i dag en grund för stora delar av världens företags-IT, även i miljöer där skalbarhet och säkerhet är absoluta krav.

Nu ser vi delar av samma diskussion kring AI. Erfarenheterna från Linux visar att transparens, öppen granskning och samarbete kan bidra till robusta system. Samma principer är relevanta även för AI, för modeller med öppna vikter, öppna ramverk för AI-agenter och transparenta sandboxmiljöer.

Transparens är en del av säkerheten

Inom cybersäkerhet är transparens en viktig del av att bygga säkra system. Den klassiska principen security through obscurity – att förlita sig på att ett systems uppbyggnad hålls hemlig – har tydliga begränsningar. Att begränsa säkerhetsforskning och hotbekämpning till ett fåtal proprietära AI-modeller innebär risker. Säkerhetsteam kan inte styra vilka verktyg angripare väljer att använda. Om forskare och säkerhetsteam samtidigt begränsas i möjligheten att komma åt och analysera öppna modeller riskerar de att få sämre insyn i de verktyg och attackvektorer som hotaktörer använder.

Att samla tillgången hos ett fåtal slutna leverantörer skapar dessutom risker och beroenden. Tillgång till modeller med öppna vikter ger säkerhetsteam möjlighet att utveckla och testa motåtgärder. Öppna modeller gör det också möjligt för fler säkerhetsexperter att granska dem, vilket kan bidra till att identifiera sårbarheter som annars kan förbli dolda i proprietära system.

Ett exempel är en säkerhetsincident som nyligen drabbade AI-plattformen Hugging Face. Även om sårbarheten involverade proprietära modeller byggde viktiga delar av skyddet och motåtgärderna på modeller med öppna vikter. Det visar varför även säkerhetsteam behöver tillgång till öppna verktyg. Det är också en anledning till att Red Hat har undertecknat Microsofts initiativ Open Weights and American AI Leadership. Bred tillgång till säkerhetsverktyg gör det möjligt att bygga in skydd genom hela mjukvarans livscykel.

Gemensamma erfarenheter kan stärka AI-säkerheten

Samma tanke ligger bakom Red Hats arbete inom Open Secure AI Alliance. Tillsammans med bland andra NVIDIA och Linux Foundation har vi tagit fram ett förslag till Shared AI Findings Exchange (SAFE). I dag hanterar många organisationer AI-relaterade säkerhetsincidenter internt. Det innebär att viktiga erfarenheter från faktiska incidenter och driftproblem ofta stannar inom den egna organisationen.

SAFE syftar till att förändra detta genom att skapa ett neutralt ramverk där erfarenheter från AI-incidenter kan samlas in, analyseras och delas konfidentiellt – utan fokus på att peka ut enskilda aktörer. Genom att dela erfarenheter från incidenter och information om nya hot kan hela branschen lära sig snabbare. Verktyg kan förbättras, försvarsförmågan stärkas och kritisk infrastruktur får ett bättre skydd mot verkliga attacker.

Vi behöver säkra hela AI-systemet

AI utvecklas nu snabbt inom allt från IT-drift och mjukvaruutveckling till verksamhetskritiska applikationer. Därför behöver också synen på AI-säkerhet utvecklas. Ett systems säkerhet beror inte enbart på modellen. Den bygger på samspelet mellan modellen, data, mjukvarulagren och de ramverk som omger den och styr vad systemet får och kan göra.

Erfarenheterna från open source visar värdet av transparens, gemensam granskning och ett öppet ekosystem. När AI blir en allt större del av vår IT-infrastruktur bör samma principer vara en del av säkerhetsarbetet. AI-säkerhet handlar därför inte bara om vilken modell vi väljer. Vi behöver kunna granska och säkra hela systemet runt modellen.