Large Language Models (LLM) – RAG-Tuning und Evaluation
Der Kurs zu LLM RAG-Tuning und Evaluation vermittelt Methoden, um die Qualität von RAG-Systemen mit Metriken, Tuning-Strategien und Evaluation gezielt zu verbessern.
Unser Angebot richtet sich ausschließlich an Unternehmer (§ 14 BGB), Gewerbetreibende, Freiberufler sowie öffentliche Auftraggeber. Kein Verkauf an Verbraucher (§ 13 BGB). Alle Preisangaben werden sorgfältig gepflegt. Preisirrtümer und technische Darstellungsfehler können jedoch nicht vollständig ausgeschlossen werden.
Kursdetails & Termine
Kursbeschreibung
Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.
Seminarinhalte
Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung
Zielgruppe
Alle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren, z. B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.
Voraussetzungen
Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Lernziele
- Sie können die Qualität von RAG-Systemen anhand geeigneter Metriken bewerten.
- Sie kennen Tuning-Strategien für Retrieval, Embeddings und Index-Parameter.
- Sie können Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen einordnen.
- Sie kennen Ansätze für Qualitätssicherung, Monitoring und kontinuierliche Verbesserung im Betrieb.
Firmenseminar anfragen
Fragen Sie diesen Kurs für Ihr Team oder Unternehmen an. Wir prüfen passende Termine, Formate und individuelle Anforderungen und melden uns persönlich mit einem Vorschlag.
Termine & Buchung
Terminfilter
Verfügbare Termine
Kursdetails & Termine
Termine & Buchung
Terminfilter
Verfügbare Termine
Kursbewertungen
Wir sind persönlich für Sie da
Nicht jeder Kurs passt sofort auf Anhieb. Wir helfen Ihnen dabei, aus Themen, Formaten und Anforderungen die passende Lösung zu finden – persönlich, praxisnah und mit Blick auf Ihren tatsächlichen Bedarf.
Nicole Mühlbauer
Planen Sie einen Kurs oder Seminar und möchten sich vorab informieren?
Alison Kreis
Haben Sie bereits einen Kurs gebucht und noch Fragen zum Ablauf vor Ort oder Online?
Anouk Mendoza
Haben Sie Fragen zu einer Raumvermietung oder unseren Räumlichkeiten vor Ort?
Fragen & Antworten
Hier beantworten wir die häufigsten Fragen zu unseren Kursen, Abläufen und Formaten. Sollten Sie weitere Fragen haben, unterstützen wir Sie gerne persönlich.
Large Language Models (LLM) – RAG-Tuning und Evaluation im Überblick
LLM RAG-Tuning und Evaluation ordnet die Qualitätsarbeit rund um Retrieval-Augmented Generation fachlich ein. Sie lernen, die Qualität von RAG-Systemen mit geeigneten Metriken zu bewerten und Verbesserungspotenziale für robuste sowie nachvollziehbare LLM-Anwendungen zu erkennen.
Im Mittelpunkt steht das Zusammenspiel aus klassischem Information Retrieval und LLM-Tuning. Chunking, Embedding-Modelle und Index-Parameter beeinflussen die Retrieval-Qualität ebenso wie die Kombination lexikalischer und semantischer Suche, Re-Ranking und die Abwägung von Qualität und Kosten.
Für die praktische Qualitätsarbeit verbindet der Kurs Evaluationstechniken mit dem Betrieb von RAG-Systemen. Benchmark-Sets, Human-in-the-loop-Verfahren und automatisierte Evals ergänzen Monitoring, Bias-Checks, Halluzinationsanalyse, Drift Detection und kontinuierliche Verbesserung.
Rezensionen
Es gibt noch keine Rezensionen.