Hallucination
En hallucination är utdata från en språkmodell som är flytande, självsäker och felaktig: en påhittad källa, en funktion som inte finns i biblioteket, ett rimligt datum för en händelse som aldrig inträffat. Det är ett normalt driftläge, inte ett feltillstånd.
Varför det uppstår över huvud taget
En språkmodell tränas att producera text som är sannolik, och sannolik text är oftast sann text — men inte alltid, och modellen har ingen separat mekanism för att skilja de två åt. Det finns ingen faktatabell att slå i och ingen intern flagga som utlöses när kunskapen tar slut. Ombedd att ge en källa producerar modellen formen av en källa: rimliga författare, en tidskrift som låter äkta, ett volymnummer i rätt intervall.
Därför samlas hallucinationer på förutsägbara ställen:
- Detaljer som är sällsynta i träningsdatan: exakta källhänvisningar, statistik, datum, rättsfall, telefonnummer.
- Bibliotek och API:er, särskilt allt som ändrats efter träningens brytdatum. Påhittade metodnamn är extremt vanliga.
- Frågor med en falsk premiss. Fråga varför något hände och modellen förklarar oftast varför, i stället för att säga att det inte hände.
- Allt strax utanför kanten av det den vet, där rätt svar hade varit "jag är osäker".
Vad du bör se upp med
Självsäkerhet bär ingen information om korrekthet. Tonen i ett felaktigt svar är identisk med tonen i ett riktigt, eftersom tonen kommer från stilen och inte från någon kontroll. Läsare kalibrerar på självsäkerhet och blir därför systematiskt vilseledda.
Två missförstånd till är värda att nämna. Att sätta temperaturen till noll tar inte bort hallucinationer — det tar bort variationen, så du får samma felaktiga svar varje gång, vilket kan vara värre eftersom det ser stabilt ut. Och hämtning av källor minskar men eliminerar det inte: att grunda modellen i verkliga dokument tar bort en stor klass av påhittade fakta, men modellen kan ändå läsa en källa fel, blanda två av dem eller svara tvärsäkert när hämtningen inte gav något relevant.
Vad som faktiskt hjälper är strukturellt: ge modellen källmaterialet i stället för att lita på minnet, be den citera det stycke den använt så att ett påstående går att kontrollera, verifiera allt som går att verifiera maskinellt — kör koden, testa länken, kontrollera siffran — och ge den uttryckligt tillstånd att svara "det står inte i underlaget". Utforma sedan gränssnittet så att ett fel svar blir billigt. Utgå från att en viss andel blir fel och gör den andelen synlig och rättningsbar, i stället för att försöka nå noll.
Vanliga frågor
Kan hallucinationer åtgärdas helt?
Nej, inte med nuvarande arkitekturer. Grundning i hämtade dokument, verktygsanvändning och automatisk verifiering sänker frekvensen betydligt, och en modell kan tränas att gardera sig oftare, men den underliggande mekanismen — att producera sannolik text utan sanningskontroll — finns kvar. Behandla utdata som ett utkast som ska kontrolleras där korrekthet spelar roll.
Varför hittar modellen på funktioner som inte finns när den skriver kod?
Eftersom den producerar det metodnamn som är mest rimligt givet bibliotekets namngivning, vilket inte är samma sak som namnet som finns. Versionsändringar efter träningens brytdatum gör det värre. Kod är samtidigt det lättaste fallet att upptäcka: kör den, och felet dyker upp direkt.
Bygg det själv
NorthernGo förvandlar en beskrivning i ren text till en fungerande webbapp med databas, inloggning och en live-adress. Lokal AI-generering körs på ditt eget grafikkort, är obegränsad och ingår gratis i alla prisplaner.