Prompter räcker inte – ”context engineering” ger bättre AI-resultat

Organisationer som inför AI har fokuserat starkt på prompt engineering som en metod för att generera bästa resultat, men en ny teknik som kallas context engineering, eller kontextutveckling, kommer att göra AI-verktyg mer exakta och användbara, säger experter. Att lägga till kontext till AI-modeller har varit en viktig pusselbit sedan den moderna AI-revolutionen startade för ungefär tre år sedan. Men AI-utvecklaren Anthropic startade en debatt om context engineering med ett blogginlägg den 29 september som handlade om varför metodiken är avgörande när man rullar ut AI-agenter, och vissa AI-experter ser det som nästa stora konkurrensfördel när organisationer använder avancerad AI. Kontext kan ses som den uppsättning tokens som används med stora språkmodeller (LLM), skriver Anthropics teknikteam. ”Det aktuella tekniska problemet är att optimera nyttan av dessa tokens mot de inneboende begränsningarna i LLM för att konsekvent uppnå ett önskat resultat”, står det i blogginlägget. ”För att effektivt hantera LLM krävs ofta kontextuellt tänkande – med andra ord: att beakta det holistiska tillstånd som är tillgängligt för LLM vid en given tidpunkt och vilka potentiella beteenden det tillståndet kan ge upphov till.” Gå vidare från prompt engineering Praxisen med prompt engineering, eller att skriva effektiva prompter, behövs fortfarande. Men att lägga till kontext till LLM, agenter och andra AI-verktyg kommer att bli lika viktigt när organisationer söker mer exakta eller specialiserade resultat från sina implementationer, enligt AI-experter. ”I början av utvecklingen med LLM var prompting den största komponenten i AI-utvecklingsarbetet, eftersom de flesta användningsfall utanför vardagliga chattinteraktioner krävde prompter som var optimerade för engångsklassificering eller textgenerering”, står det i Anthropics blogginlägg. ”Men när vi går mot att utveckla mer kapabla agenter som arbetar med flera inferensomgångar och längre tidshorisonter behöver vi strategier för att hantera hela kontextstatusen.” Kontext kan komma i form av dokument, minnesfiler, omfattande instruktioner, domänkunskap, meddelandehistorik och andra former av data. Det är inte någon ny praxis för utvecklare av AI-modeller att ta in olika informationskällor för att träna sina verktyg att ge bästa möjliga resultat, konstaterar Neeraj Abhyankar, vice vd för data och AI på R Systems, ett företag som utvecklar digitala produkter. Han definierar det nyligen myntade begreppet context engineering som en strategisk förmåga som formar hur AI-system interagerar med företaget i stort. – Det handlar mindre om infrastruktur och mer om hur data, styrning och affärslogik samverkar för att möjliggöra intelligent, tillförlitligt och skalbart AI-beteende, säger han. Context engineering kommer att vara avgörande för autonoma agenter som anförtros att utföra komplexa uppgifter på organisationens vägnar utan fel, tillägger han. Context engineering kommer också att hjälpa små språkmodeller att bli experter inom branscher som hälso- och sjukvård och finans, där toleransen för misstag är låg, och det kommer att hjälpa till att träna AI-modeller som har till uppgift att eliminera teknisk skuld i en organisations specifika it-infrastrukturutmaningar, säger Abhyankar. – Vad vi bevittnar är en grundläggande evolution i hur företag utformar och implementerar AI-system, säger han. I de tidiga experimentfaserna räckte prompt engineering för att styra modellens beteende och ton. När organisationer går från pilotprojekt till implementering i produktionsskala upptäcker de att prompt engineering inte på egen hand kan leverera den noggrannhet, minneskapacitet eller styrning som krävs i komplexa miljöer. Kontext en grundläggande komponent för AI Abhyankar förutspår att context engineering under de kommande 12 till 18 månaderna kommer att gå från att vara en innovationsdifferentierare till en grundläggande komponent i företagens AI-infrastruktur. Context engineering är en ”arkitektonisk förändring” i hur AI-system byggs, säger Louis Landry, cto på dataanalysföretaget Teradata. – Tidiga generativa AI-system var tillståndslösa och hanterade isolerade interaktioner där prompt engineering var tillräckligt. Autonoma agenter är dock fundamentalt annorlunda. De fortsätter över flera interaktioner, fattar sekventiella beslut och fungerar med varierande nivåer av mänsklig övervakning, säger Landry. Han menar att AI-användare går från att fråga ”Hur ställer jag en fråga till denna AI?” till ”Hur bygger jag system som kontinuerligt förser agenter med rätt operativt sammanhang?” – Förändringen går mot kontextmedvetna agentarkitekturer, särskilt när vi går från enkla uppgiftsbaserade agenter till autonoma agentsystem som fattar beslut, kopplar samman komplexa arbetsflöden och fungerar självständigt, säger Landry. Uppkomsten av context engineering kommer dock inte att innebära slutet för prompt engineering, säger Adnan Masood, chefsarkitekt för AI på det digitala transformationsföretaget UST. – Prompter anger avsikten; kontexten ger situationsmedvetenhet, säger han. ”I riktiga företagsappar kommer avkastningen från att konstruera information, minne och verktyg som ingår i modellens minimala uppmärksamhetsbudget – varje enskilt steg. Bra prompt engineering fastställer avsikten med tydliga instruktioner och tonfall, och har blivit en självklarhet för framgångsrika AI-implementeringar, säger Masood. Utöver den avsikten skapar context engineering situationsmedvetenhet. En övergång till context engineering är på väg när AI-leverantörer och användare går från att skapa smarta prompter till repeterbara kontextpipelines, säger han. Exakta och förutsägbara AI-resultat gör det möjligt för tekniken att skala bortom beroendet av väl utformade prompter. – Flaskhalsen är inte bara modellstorleken, utan hur väl man sammanställer, styr och uppdaterar kontexten under verkliga begränsningar, säger Masood. I praktiken visar sig den övergången i form av bättre svarstilldelning, mindre avvikelser under långa sessioner och säkrare beteende genom proveniensstyrda indata. It-chefer bör agera nu för att behandla kontexten som infrastruktur, inte som en promptfil. De bör standardisera en kontextpipeline – med kuratering, bearbetning och datahantering – och fokusera på att skapa integritetskontroller och revisionsloggar för att visa vilka tokens som format varje AI-svar. – Tänk bortom promptar och be dina team att faktiskt fundera på att kuratera dessa hämtningar och minnen som kommer att förbättra dina modeller och finjustera dem, säger han. Investera i byggnadsställningar. Operationalisera kontext för AI It-chefer bör behandla context engineering som ett kunskapsinfrastrukturproblem, inte bara ett AI-problem, tillägger Teradatas Landry. – Context engineering kräver integration mellan din dataarkitektur, dina kunskapshanteringssystem och dina operativa plattformar, säger han. – Det här är inte något som ditt AI-team kan lösa på egen hand. Det kräver samarbete mellan data engineering, företagsarkitektur, säkerhet och de som förstår dina processer och din strategi. It-chefer bör identifiera processer där de har rena data, tydliga affärsregler och mätbara resultat, och sedan bygga sina metoder för context engineering på det, råder han. – Teknikchefer som behandlar context engineering som ett engångsprojekt inom AI kommer att få det svårt. De som ser det som en grundläggande infrastrukturdisciplin, precis som API-hantering eller datastyrning, kommer att bygga AI-system som kan skalas upp och vinna organisationens förtroende.