Nyheter

Cache-teknik förbättrar användarupplevelsen för AI-lösningar med nio gånger snabbare svarstider

Fastly som är en ledande global leverantör av edgelösningar i molnet lanserar nu sin tjänst Fastly AI Accelerator globalt. Tjänsten förbättrar prestanda och minskar kostnaderna för applikationer som använder stora språkmodeller (LLM), med i genomsnitt nio gånger snabbare svarstider.

Efter en testversion med OpenAI finns nu även stöd för Microsoft Azure AI Foundry.

– AI skapar många nya möjligheter för utvecklare, men alltför ofta blir det på bekostnad av användarupplevelsen – det tar för lång tid, säger Kip Compton, produktchef på Fastly. Nu har vi skapat en lösning som ger nio gånger snabbare svar, och det här är bara början. Vi vill att alla ska vara med i arbetet med att göra AI snabbare och mer effektiv.

Genom att enkelt uppdatera sin applikation med en ny API-endpoint, vilket ofta bara kräver ändring av en enda kodrad, kan utvecklare dra nytta av Fastlys semantiska cache-teknik. När en användare begär något som frågats tidigare hämtar Fastly AI Accelerator svaret från sitt eget cacheminne istället för att fråga AI-leverantören på nytt. Detta förbättrar prestandan, sänker kostnaderna och ger en bättre upplevelse för både utvecklare och användare.

Dave McCarthy är Research Vice President för Cloud and Edge Services på IDC. Han menar att Fastly AI Accelerator är ett viktigt steg för att lösa de prestandaproblem som uppstått i samband med att AI utvecklas:

– Med cache-tekniken kan Fastly minska både antalet API-förfrågningar och sänka kostnaderna, utan att tumma på hastigheten. Det gör Fastly till en viktig aktör inom edgelösningar i molnet.

Befintliga Fastly-kunder kan aktivera AI Accelerator direkt via sina konton. För mer information och för att komma igång, besök fastly.com/ai.

Om Fastly

Fastly är en ledande global leverantör av edge cloud-plattformar som möjliggör snabba, säkra och pålitliga digitala upplevelser. Med avancerade lösningar för innehållsleverans, cybersäkerhet och realtidsdatahantering hjälper Fastly företag att växa och möta framtidens tekniska utmaningar.

BILD:Gerd Altmann