Înapoi la cursuri
IT PRO Advanced

AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment

Citește gratuit prima lecție — integral Fără cont, fără card · plus demo-ul interactiv al platformei și Profesorul AI Începe acum

Program avansat, complet practic, dedicat evaluării riguroase a sistemelor LLM înainte de livrarea în producție. Înveți să treci de la vibe-checks subiective la măsurare disciplinată: taxonomia evaluării (offline vs online, determinist vs LLM-judge), construirea de golden datasets curate și etichetate fără PII real, design-ul rubricilor pentru LLM-as-a-judge și mitigarea bias-urilor judecătorului, metrici de calitate pentru RAG și generare (faithfulness, answer relevancy, context precision și recall în stil RAGAS), framework-uri reale (DeepEval, Promptfoo) cu metric gates și red-teaming, regression suites integrate în CI/CD pentru a preveni degradarea calității, bugetarea modelului-judecător, sampling și monitorizare în producție, plus contextul EU AI Act (Art. 43, conformity assessment) pentru sisteme high-risk. Totul ancorat în documentația oficială Anthropic, OpenAI, DeepEval, RAGAS și Promptfoo, cu un proiect capstone end-to-end integrat în pipeline CI. Disclaimer: contextul legal este informativ, nu sfat juridic.

11 module
32 lecții
~24h durata
v1.0 versiune
Profesor AI virtual Agent AI integrat în fiecare lecție — pune întrebări și primești răspunsuri instant bazate pe conținutul cursului
Exerciții practice Scenarii reale și exerciții hands-on direct pe platformă, cu feedback instant
Progres și analytics Dashboard personal cu statistici, streaks, scoruri și trasee de învățare personalizate
Quizuri AI interactive Întrebări generate de AI și adaptate nivelului tău, cu explicații detaliate
Acces la acest curs
249
lei + TVA / lună
Toate lecțiile Quiz-uri AI Profesor AI — limitat Anulezi oricând
sau
Recomandat
Pachet IT Pro
1.999
lei + TVA / lună
≈ 79 lei / curs economisești ~68%
Cele 25 cursuri, cumpărate separat 6.225 lei/lună
Cu pachetul IT Pro 1.999 lei/lună
Creează cont și alege pachetul
  • Toate cele 25 cursuri IT ProO bibliotecă întreagă, nu doar acest curs
  • Trasee structurate de învățareȘtii exact ce să înveți și în ce ordine
  • Profesor AI Virtual — acces completRăspunsuri la fiecare lecție, când ai nevoie
  • Quiz-uri, progres, streaks & statistici
  • Notițe, bookmarks & recapitulări programate
  • Conținut actualizat periodic
Anulezi oricând
Plată securizată
Actualizat periodic
Conținut în română
Agent AI integrat Exclusiv Întreabă orice despre lecție și primești răspuns instant — agentul cunoaște conținutul cursului
Chat interactiv cu AI Rezumate automate Quizuri personalizate

Ce vei învăța

Competențe practice pe care le dobândești parcurgând acest curs

Fundamentele Evaluării LLM: De la Vibe-Checks la Măsurare Riguroasă
Golden Datasets: Curare, Etichetare și Date Sintetice Fără PII
LLM-as-a-Judge: Rubrici, Calibrare și Mitigarea Bias-urilor
Metrici pentru RAG și Generare: Faithfulness, Relevancy și Context (RAGAS)
DeepEval în Practică: Metrici, Test Suites și Metric Gates
Promptfoo: Comparare, Red-Teaming și Quality Gate în CI
Regression Suites și CI/CD: Previi Degradarea Calității la Fiecare Deploy
Cost și Operaționalizare: Bugetare, Sampling și Monitorizare în Producție
Evals și Conformitate EU AI Act: Context, Nu Sfat Juridic
Proiect Capstone: Suită de Evals End-to-End Integrată în CI
Apendice: Resurse Oficiale, Actualizări 2026 și Trasee de Învățare

Pentru cine este

Developeri Ingineri software Arhitecți de soluții CTO / Tech Lead Data Scientists ML Engineers DevOps Engineers

Nivel recomandat

Advanced

Presupune experiență practică cu AI și scenarii complexe.

Actualizari

Periodic

Ultima actualizare: 20.07.2026. Conținut mereu la zi.

Categorie

AI Engineering

Curs tehnic pentru profesioniști IT — necesită plan IT Pro sau IT + Non-IT.

Nivel Advanced

Experiență practică necesară

Presupune experiență practică cu AI. Acoperă scenarii complexe și strategii avansate.

Mereu actualizat

Ultima actualizare: 20.07.2026

Cursul este actualizat periodic cu cele mai noi informații, instrumente și practici din industrie.

Practic și aplicat

32 lecții cu exemple reale

Fiecare lecție include scenarii practice, checklist-uri executabile și quiz-uri pentru verificarea cunoștințelor.

Curriculum

11 module, 32 lecții — structurat pentru a învăța pas cu pas.

11 module
32 lecții
~24h de conținut
Quiz-uri interactive
Preview disponibil De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate
Citește preview
1 Preview De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate
Citește preview
2 Taxonomia Evaluării: Offline vs Online, Determinist vs LLM-Judge
54 min
3 Metrici Statistice și de Acord: Pass Rate, Praguri, Intervale de Încredere
50 min
1 Anatomia unui Golden Dataset: Structură, Acoperire și Versionare
52 min
2 Curare și Etichetare: De la Logs de Producție la Adevăr de Referință
54 min
3 Date Sintetice Fără PII: Generare, Anonimizare și Conformitate GDPR
56 min
4 Edge-Cases, Adversarial Inputs și Mentenanța în Timp a Datasetului
50 min
1 LLM-as-a-Judge: Când Folosești un Model ca Evaluator și Când Nu
52 min
2 Design de Rubrici: Criterii Clare, Scale și Chain-of-Thought pentru Judecător
56 min
3 Bias-urile Judecătorului: Position, Verbosity, Self-Preference și Mitigarea Lor
54 min
4 Calibrarea Judecătorului față de Oameni: Agreement, Kappa și Meta-Evaluare
52 min
1 De Ce RAG Are Nevoie de Metrici Proprii: Retriever vs Generator
50 min
2 Faithfulness și Answer Relevancy: Măsori Halucinația și Utilitatea Răspunsului
54 min
3 Context Precision și Context Recall: Calitatea Retrieverului
52 min
4 Metrici pentru Generare Non-RAG: Sumarizare, Tone, Format și Task Success
50 min
1 DeepEval: Modelul Mental, Instalare și Primul Test Case
52 min
2 Metrici și Test Suites în DeepEval: G-Eval, RAG Metrics și Custom Metrics
56 min
3 Metric Gates ca Poartă de Calitate: Praguri, Pass/Fail și Raportare
52 min
1 Promptfoo: Config Declarativ, Comparare de Prompturi și Modele
52 min
2 Red-Teaming cu Promptfoo: Probe de Robustețe pentru Calitate
54 min
3 Promptfoo în CI ca Quality Gate: Integrare și Decizii de Deploy
50 min
1 Regression Testing pentru LLM: De Ce Calitatea Se Degradează Tăcut
52 min
2 Pipeline CI/CD de Evals: Gates, Sharding, Flakiness și Raportare
56 min
3 Eval-Gating la Schimbarea Modelului: Migrare și A/B între Versiuni
52 min
1 Bugetarea Modelului-Judecător: Cost, Sampling și Tiering de Modele
52 min
2 Monitorizare în Producție: Online Evals, Sampling de Trafic și Alerting
54 min
1 Evals ca Probă: Testing Data și Conformity Assessment (Art. 43)
52 min
2 Documentarea Calității: Model Cards, Eval Reports și Pista de Audit
50 min
1 Proiectarea Suitei Capstone: Aplicația, Golden Dataset și Planul de Evaluare
54 min
2 Implementarea Evals: DeepEval + Promptfoo, Calibrarea Judecătorului și Raportare
56 min
3 Integrarea în CI și Evaluarea Finală a Cursului
54 min
1 Resurse Oficiale, Actualizări 2026 și Trasee de Învățare
34 min
De pe blog

Articole conexe

Aprofundează subiectele din acest curs cu articolele noastre de pe blog.

Acces la toate cursurile IT Pro

Vrei acces la acest curs?

Creează un cont și alege planul potrivit pentru a accesa acest curs și multe altele.

Creează cont Compară planurile
32 lecții practice Conținut actualizat constant Creat de experți AI