Google har presenterat en ny komprimeringsalgoritm, Turboquant, som enligt företaget kan minska minnesanvändningen i stora språkmodeller med upp till sex gånger. Detta samtidigt som beräkningarna går upp till åtta gånger snabbare och utan att kvaliteten på svaren försämras, rapporterar Ars Technica. Dagens generativa AI-modeller kräver stora mängder arbetsminne så algortimen kan i förlängningen bana väg för både billigare AI och mer avancerade modeller på samma hårdvara. Extra potential finns för mobil AI, där begränsat minne länge varit ett hinder. Tekniken kan dessutom appliceras på befintliga modeller utan att de behöver tränas om. Den har redan testats framgångsrikt på öppna modeller som Gemma och Mistral.
Googles nya algoritm kapar AI-modellers minnesbehov rejält
AI Analys
Nyheten är positiv eftersom den handlar om en banbrytande teknologisk innovation, Google's nya algoritm Turboquant, som effektivt minskar minnesbehovet för stora språkmodeller samtidigt som beräkningarna blir snabbare och kvaliteten bibehålls. Detta öppnar upp möjligheter för billigare och mer avancerade AI-modeller, särskilt inom mobil AI, och kan bidra till att övervinna tidigare tekniska hinder.
Detaljerad Analys
Ämnen:
teknik
vetenskap
Känsla:
hoppfull
inspirerande
Nyckelord:
forskning
genombrott
behandling
Varför är detta positivt?
- visar framsteg inom teknologisk innovation
- möjliggör förbättringar inom AI-sektorn
Omfattning:
nationell
Gillade du denna nyhet?