Herausforderungen bei Architekturentscheidungen und Trade-offs im Bereich KI

Alle Large Language Models (LLMs) haben ein Cut-off-Datum, an dem ihr Weltwissen endet. Und über Unternehmensinterna wissen sie nichts. Hier setzt RAG (Retrieval-augmented Generation) an. Was dahinter steckt, klären Ole und Robert anhand verschiedener Anwendungsmöglichkeiten in dieser Folge. Sie diskutieren auch, wie RAG Large Language Models durch kontextuelle Wissensanreicherung verbessert, wann RAG sinnvoller und kostengünstiger ist als Finetuning und welche Engineering-Skills von Softwareentwicklerinnen und Architektinnen gefragt sind, wenn es darum geht, LLM-Modelle zu implementieren.

• Sam Bowman (NYU): 8 Things to Know About Large Language Models
• FAIR (Facebook AI Research)
• Lex Fridman Podcast mit Yann LeCun
• Word2Vec
• Amazon Kendra
• Google Vertex AI
• LangChain
• Pinecone
• Cohere
• INNOQ Podcast Folge 149 zu AI Prompting
• INNOQ Podcast Folge 152 zu Vektordatenbanken