Teknologi
Slik fungerer vår private, lokale språkmodell (og hvorfor vi valgte det)
· 4 min lesetid
«Privat, lokal språkmodell» høres teknisk ut, men idéen er enkel: KI-en som skriver svarene dine kjører på maskiner vi selv eier og drifter – ikke på et API hos en ekstern leverandør. I denne artikkelen forklarer vi hva det faktisk innebærer, og hvorfor vi valgte å bygge det slik selv om den enkleste veien hadde vært å bare koble oss på en stor sky-leverandør.
Sky-KI vs. lokal KI – forskjellen på ett bilde
De aller fleste KI-produkter fungerer slik: appen tar teksten din, sender den over internett til en stor leverandør (for eksempel OpenAI), får et svar tilbake, og viser det til deg. Det er raskt å bygge, men det betyr at dataene dine er innom noen andre for hvert eneste svar.
En lokal modell snur på dette. I stedet for å sende teksten ut, kjører selve modellen på våre egne servere. Forespørselen din går til en maskin vi kontrollerer, svaret genereres der, og teksten blir værende innenfor vår infrastruktur.
| Sky-KI (vanlig) | Lokal modell (Svaragent) | |
|---|---|---|
| Hvor kjører modellen | Hos ekstern leverandør | På egne servere i Norge |
| Hvor havner teksten din | Sendes til tredjepart | Blir hos oss |
| Hvem kan trene på den | Avhenger av avtale | Ingen |
| Hvem du er avhengig av | Leverandørens API og priser | Vår egen drift |
Hva «modellen» faktisk er
Svaragent bruker en moderne, åpen språkmodell fra Qwen-familien. «Åpen» betyr at modellvektene er tilgjengelige, slik at vi kan kjøre den selv i stedet for å være avhengige av et lukket API. Vi kjører den på maskinvare med kraftige GPU-er, bak et grensesnitt som ligner det utviklere er vant til – men der trafikken aldri går ut av huset.
Modellen er satt opp for å gjøre én ting godt: lese en kunde-e-post sammen med din kunnskapsbase, tone og kundehistorikk, og skrive et presist, ryddig svar – på norsk. Den trenger ikke å være en altvitende universalmodell. Den trenger å være god på din kundeservice.
Hvorfor vi valgte den vanskeligere veien
Å drifte en egen språkmodell er mer arbeid enn å bare ringe et API. Så hvorfor gjøre det?
- Personvern som faktisk holder. Løftet om at kundedata ikke utleveres til en tredjepart, er bare ekte hvis modellen kjører hos oss. Det er hele poenget, og vi har skrevet mer om det i Trygg KI: hvorfor en privat, lokal språkmodell betyr noe.
- Kontroll. Vi bestemmer hvordan modellen oppfører seg, hvordan den svarer, og hvordan data håndteres – uten å vente på at en ekstern leverandør endrer vilkårene sine.
- Forutsigbarhet. Vi er ikke prisgitt en tredjeparts prising eller tilgjengelighet for hvert eneste kundesvar.
Den enkleste arkitekturen hadde vært å sende alt til skyen. Vi valgte den som lar oss se kundene i øynene og si nøyaktig hvor dataene deres er.
Ærlig om kompromisset
Vi liker ikke markedsføring som later som det ikke finnes avveininger. Å kjøre egen modell krever fagkunnskap og drift, og en gigantisk lukket modell kan ha et forsprang på de aller mest kompliserte, åpne oppgavene. Men for kundeservice – der jobben er å forstå en konkret e-post og svare med konkret kunnskap – er moderne åpne modeller mer enn gode nok. Og gevinsten, at dataene blir i Norge hos oss, er reell.
Oppsummert
En privat, lokal språkmodell er ikke en gimmick – det er en arkitektur. Den lar Svaragent gi deg moderne KI på kundeservice samtidig som dataene dine behandles og lagres hos oss i Norge. Det krever mer av oss, men det er nettopp derfor personvernløftet betyr noe.
Ofte stilte spørsmål
- Hva er en lokal eller privat språkmodell?
- Det er en KI-språkmodell som kjører på maskinvare som leverandøren selv eier og drifter, i stedet for å sende forespørsler til et eksternt API. For deg betyr det at teksten din behandles på våre servere, ikke hos en tredjepart.
- Hvilken modell bruker Svaragent?
- Svaragent kjører en moderne, åpen språkmodell fra Qwen-familien på Skjld Labs’ egne servere i Norge. Den er tilpasset for å gi presise, strukturerte svar på kundeservice-e-post.
- Er en lokal modell dårligere enn ChatGPT?
- Nei. Moderne åpne modeller er svært gode på praktiske oppgaver som å lese en e-post og skrive et godt svar. For kundeservice, der konteksten er din egen kunnskap, er forskjellen i praksis liten – og personverngevinsten stor.
