Red Hat, ledande leverantör av lösningar baserade på öppen källkod, lanserar idag Red Hat AI 3.5 med flera nyheter inom säkerhet, styrning och övervakning av AI. När företag går från pilotprojekt till bredare användning av AI ökar kraven på säkerhet, kontroll och driftsäkerhet, på samma sätt som för annan verksamhetskritisk IT.

Red Hat AI 3.5 ger företag en gemensam plattform för att styra, säkra och övervaka AI-arbetslaster i hybridmolnmiljöer. Bland nyheterna finns verktyg för att utvärdera AI-modeller före driftsättning, få bättre insyn i hur GPU-resurser används samt ett utökat stöd för att utveckla och hantera AI-agenter.

Utvärderar AI-modeller före driftsättning

Med EvalHub kan företag utvärdera AI-modeller innan de tas i produktion, bland annat genom riskbaserade säkerhetstester och rapportering för regelefterlevnad. Nya dashboards ger insyn i status för inferens, GPU-användning och modellprestanda samt möjliggör att följa tokenanvändningen per användare.

Red Hat AI 3.5 stärker också stödet för multitenancy i delade GPU-miljöer. Resurser kan fördelas mellan olika användarmiljöer samtidigt som verksamhetskritiska arbetslaster kan prioriteras. Stöd för Red Hat OpenShift Hosted Control Planes och OpenShift Virtualization ger dessutom bättre möjligheter att isolera olika miljöer som delar samma fysiska infrastruktur.

Utökat stöd för AI-agenter

Red Hat AI 3.5 utökar även stödet för att utveckla och hantera AI-agenter. AutoRAG kopplar företagens egna datakällor till agentbaserade applikationer och får stöd för flerspråkiga dokument, testning av konversationer och kontextbaserad informationshämtning.

AI Hub får dessutom färdiga agentmallar för kodgranskning, dokumenthantering och analys. Inference-Time Scaling anpassar beräkningskapaciteten efter frågans komplexitet och kan därmed bidra till ett mer effektivt utnyttjande av GPU-resurser.

 – Fokus har flyttats från att få AI i produktion till att kunna använda AI i stor skala som en tillförlitlig del av företagens IT-infrastruktur. Det ställer nya krav på säkerhet, styrning av AI-agenter, kostnadsuppföljning och multitenancy. Med Red Hat AI 3.5 ger vi IT-ansvariga den kontroll och de verktyg som behövs för att hantera AI säkert och ansvarsfullt i hybridmolnet, säger Joe Fernandes, vice president och general manager för AI Business Unit på Red Hat.

Några av nyheterna i Red Hat AI 3.5:

Säkerhetsutvärdering före driftsättning: EvalHub automatiserar utvärdering och rapportering av AI-modeller, RAG-lösningar och AI-agenter. Validerade modeller kompletteras även med säkerhetsresultat från Garak.

Bättre kontroll över GPU-resurser: Nya funktioner för resursfördelning och prioritering gör det möjligt att dela GPU-infrastruktur mellan flera användarmiljöer och samtidigt prioritera verksamhetskritiska arbetslaster.

Ökad säkerhet för AI-agenter: Responses API, inbyggt RAG-stöd och NeMo Guardrails ger stöd för agentbaserade applikationer och skydd mot skadliga anrop till externa verktyg.

Inbyggd observerbarhet: Nya dashboards ger insyn i bland annat tokenanvändning, modellprestanda, AI-agenter och GPU-utnyttjande.

Fler validerade AI-modeller: Över 20 nya modeller från bland andra Google, NVIDIA och Alibaba Cloud läggs till i katalogen, med bedömningar av både prestanda och säkerhet.

Färdiga agentmallar: AI Hub får förkonfigurerade mallar och startpaket för bland annat kodgranskning, dokumenthantering och analys.

Red Hat AI 3.5 finns nu tillgängligt och erbjuds även som en del av Red Hat AI Factory with NVIDIA.