Hvad sker der reelt under motorhjelmen på de store sprogmodeller? I dette kigger vi på tre indflydelsesrige blogposts fra topforskere hos OpenAI, Thinking Machines Lab og Chroma.
Vi lærer, hvorfor den "transparens", vi tror vi har, når modeller viser deres tankeproces, ofte er en illusion eller efterrationalisering designet til at tilfredsstille os.
Vi diskuterer, hvorfor jagten på 100% konsistente svar (determinisme) er både ekstremt dyr og ofte forretningsmæssigt unødvendig.
Til sidst analyserer vi "Context Rot", der viser, hvorfor store kontekstvinduer fejler i praksis, og understreger den kritiske nødvendighed af intelligent context engineering og data governance.
Det er en teknisk diskussion med store strategiske konsekvenser for alle, der arbejder seriøst med implementering af AI.
Har du feedback eller spørgsmål, du vil have vi svarer på i podcasten? Skriv til dan.rose@todai.ai
Links:
Om Transparens og Reasoning (Lilian Weng):
https://lilianweng.github.io/posts/2025-05-01-thinking/
Om Determinisme og Konsistente Svar (Thinking Machines Lab):
https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
Om Kontekstvinduer og "Context Rot" (Chroma):
https://research.trychroma.com/context-rot
Bonus - Omtalt i diskussionen om data vs. tricks (Richard Sutton):
The Bitter Lesson - http://www.incompleteideas.net/IncIdeas/BitterLesson.html
