Lokal inferens på maskinvare folk faktisk eier
SpørsmåletHvor mye nytte får du ut av en modell som er liten nok til å stå i lokalene dine?
Det som kjører
- · Hugin og Munin, to offentlige endepunkter som kjører på en Mac mini M4 i Norge, gratis og uten innlogging.
- · En hentemekanisme rundt modellen som gjør mer for svarkvaliteten enn parametertallet gjør: emnestyring med lokale embeddings, og eksempler valgt ut fra hva brukere faktisk har gitt tommel opp.
Det som står åpent
En 4-bits kvantisert modell på fire milliarder parametere taper mot sky-modellene på det meste. Det åpne spørsmålet er hvor den likevel er god nok, og hvor mye av gapet som kan hentes inn med henting og kontekst framfor større vekter.