Large Language Models (LLM) – RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Grundlagen von Retrieval-Qualität

• Metriken: Recall, Precision, nDCG
• Warum klassisches IR- und LLM-Tuning zusammengehören

Tuning-Strategien

• Chunking-Varianten (Overlaps, Semantik-basiert)
• Embedding-Modelle vergleichen
• Index-Parameter optimieren (z. B. k, Abstandsmessung)

Re-Ranking & Hybrid Search

• Lexikalische + semantische Suche kombinieren
• Einsatz von Cross-Encodern
• Trade-offs zwischen Qualität und Kosten

Evaluationstechniken

• Human-in-the-loop Verfahren
• Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
• Benchmark-Sets aufbauen

Qualitätssicherung im Betrieb

• Bias-Checks, Halluzinationsanalyse
• Drift Detection bei Embeddings
• Canary-Tests für neue Pipelines

Monitoring & Reporting

• KPI-Tracking: Retrieval-Präzision, Factuality
• Dashboards für Stakeholder
• Feedback Loops und kontinuierliche Verbesserung

Alle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren - z.?B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.

Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.