Curs IT Pro Nivel Avansat

AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment

Treci de la impresii la măsurători: golden datasets, LLM-as-a-judge, metrici în stil RAGAS, DeepEval și Promptfoo, cu quality gates în CI.

Lecții
32în 11 module
Durată
~24 hîn ritmul tău
Quiz
471de întrebări
Nivel
Avansatpentru practicieni
  • În limba română
  • Actualizat pe
Fragment gratuit · lecția 1 · fără cont De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate Oricine poate lipi un prompt într-un API și obține un răspuns care „pare bun”. Foarte puțini pot demonstra, cu numere, că acel sistem rămâne bun după ce schimbi modelul, ajustezi promptul sau crește traficul. Citește fragmentul

Ce vei învăța

Competențele cursului. Aceleași apar pe Certificatul de Finalizare, ca să poți arăta ce ai parcurs.

  • Fundamentele Evaluării LLM: De la Vibe-Checks la Măsurare Riguroasă
  • Golden Datasets: Curare, Etichetare și Date Sintetice Fără PII
  • LLM-as-a-Judge: Rubrici, Calibrare și Mitigarea Bias-urilor
  • Metrici pentru RAG și Generare: Faithfulness, Relevancy și Context (RAGAS)
  • DeepEval în Practică: Metrici, Test Suites și Metric Gates
  • Promptfoo: Comparare, Red-Teaming și Quality Gate în CI
  • Regression Suites și CI/CD: Previi Degradarea Calității la Fiecare Deploy
  • Cost și Operaționalizare: Bugetare, Sampling și Monitorizare în Producție

Despre curs

Program avansat, complet practic, dedicat evaluării riguroase a sistemelor LLM înainte de livrarea în producție. Înveți să treci de la vibe-checks subiective la măsurare disciplinată: taxonomia evaluării (offline vs online, determinist vs LLM-judge), construirea de golden datasets curate și etichetate fără PII real, design-ul rubricilor pentru LLM-as-a-judge și mitigarea bias-urilor judecătorului, metrici de calitate pentru RAG și generare (faithfulness, answer relevancy, context precision și recall în stil RAGAS), framework-uri reale (DeepEval, Promptfoo) cu metric gates și red-teaming, regression suites integrate în CI/CD pentru a preveni degradarea calității, bugetarea modelului-judecător, sampling și monitorizare în producție, plus contextul EU AI Act (Art. 43, conformity assessment) pentru sisteme high-risk. Totul ancorat în documentația oficială Anthropic, OpenAI, DeepEval, RAGAS și Promptfoo, cu un proiect capstone end-to-end integrat în pipeline CI. Disclaimer: contextul legal este informativ, nu sfat juridic.

Pentru cine este

Pentru developeri, ingineri și profesioniști tehnici care construiesc sau integrează soluții AI. Face parte din AI Engineering, pe direcția IT Pro.

Ce îți trebuie

Nivel Avansat: presupune experiență practică cu AI în domeniul cursului.

Programa cursului

11 module · 32 de lecții · aproximativ 24 de ore · 471 de întrebări de quiz

Citește un fragment gratuit din lecția 1: „De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate” Fără cont și fără card. Vezi cum e scrisă o lecție înainte să plătești.
  1. Modulul 1: Fundamentele Evaluării LLM: De la Vibe-Checks la Măsurare Riguroasă

    3 lecții · 2 h 36 min · 43 de întrebări
    1. De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate Fragment gratuit din lecția „De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate” 52 min 14 întrebări
    2. Taxonomia Evaluării: Offline vs Online, Determinist vs LLM-Judge 54 min 15 întrebări
    3. Metrici Statistice și de Acord: Pass Rate, Praguri, Intervale de Încredere 50 min 14 întrebări
  2. Modulul 2: Golden Datasets: Curare, Etichetare și Date Sintetice Fără PII

    4 lecții · 3 h 32 min · 58 de întrebări
    1. Anatomia unui Golden Dataset: Structură, Acoperire și Versionare 52 min 14 întrebări
    2. Curare și Etichetare: De la Logs de Producție la Adevăr de Referință 54 min 15 întrebări
    3. Date Sintetice Fără PII: Generare, Anonimizare și Conformitate GDPR 56 min 15 întrebări
    4. Edge-Cases, Adversarial Inputs și Mentenanța în Timp a Datasetului 50 min 14 întrebări
  3. Modulul 3: LLM-as-a-Judge: Rubrici, Calibrare și Mitigarea Bias-urilor

    4 lecții · 3 h 34 min · 61 de întrebări
    1. LLM-as-a-Judge: Când Folosești un Model ca Evaluator și Când Nu 52 min 15 întrebări
    2. Design de Rubrici: Criterii Clare, Scale și Chain-of-Thought pentru Judecător 56 min 16 întrebări
    3. Bias-urile Judecătorului: Position, Verbosity, Self-Preference și Mitigarea Lor 54 min 16 întrebări
    4. Calibrarea Judecătorului față de Oameni: Agreement, Kappa și Meta-Evaluare 52 min 14 întrebări
  4. Modulul 4: Metrici pentru RAG și Generare: Faithfulness, Relevancy și Context (RAGAS)

    4 lecții · 3 h 26 min · 59 de întrebări
    1. De Ce RAG Are Nevoie de Metrici Proprii: Retriever vs Generator 50 min 14 întrebări
    2. Faithfulness și Answer Relevancy: Măsori Halucinația și Utilitatea Răspunsului 54 min 16 întrebări
    3. Context Precision și Context Recall: Calitatea Retrieverului 52 min 15 întrebări
    4. Metrici pentru Generare Non-RAG: Sumarizare, Tone, Format și Task Success 50 min 14 întrebări
  5. Modulul 5: DeepEval în Practică: Metrici, Test Suites și Metric Gates

    3 lecții · 2 h 40 min · 44 de întrebări
    1. DeepEval: Modelul Mental, Instalare și Primul Test Case 52 min 14 întrebări
    2. Metrici și Test Suites în DeepEval: G-Eval, RAG Metrics și Custom Metrics 56 min 16 întrebări
    3. Metric Gates ca Poartă de Calitate: Praguri, Pass/Fail și Raportare 52 min 14 întrebări
  6. Modulul 6: Promptfoo: Comparare, Red-Teaming și Quality Gate în CI

    3 lecții · 2 h 36 min · 44 de întrebări
    1. Promptfoo: Config Declarativ, Comparare de Prompturi și Modele 52 min 15 întrebări
    2. Red-Teaming cu Promptfoo: Probe de Robustețe pentru Calitate 54 min 15 întrebări
    3. Promptfoo în CI ca Quality Gate: Integrare și Decizii de Deploy 50 min 14 întrebări
  7. Modulul 7: Regression Suites și CI/CD: Previi Degradarea Calității la Fiecare Deploy

    3 lecții · 2 h 40 min · 45 de întrebări
    1. Regression Testing pentru LLM: De Ce Calitatea Se Degradează Tăcut 52 min 15 întrebări
    2. Pipeline CI/CD de Evals: Gates, Sharding, Flakiness și Raportare 56 min 16 întrebări
    3. Eval-Gating la Schimbarea Modelului: Migrare și A/B între Versiuni 52 min 14 întrebări
  8. Modulul 8: Cost și Operaționalizare: Bugetare, Sampling și Monitorizare în Producție

    2 lecții · 1 h 46 min · 30 de întrebări
    1. Bugetarea Modelului-Judecător: Cost, Sampling și Tiering de Modele 52 min 15 întrebări
    2. Monitorizare în Producție: Online Evals, Sampling de Trafic și Alerting 54 min 15 întrebări
  9. Modulul 9: Evals și Conformitate EU AI Act: Context, Nu Sfat Juridic

    2 lecții · 1 h 42 min · 29 de întrebări
    1. Evals ca Probă: Testing Data și Conformity Assessment (Art. 43) 52 min 15 întrebări
    2. Documentarea Calității: Model Cards, Eval Reports și Pista de Audit 50 min 14 întrebări
  10. Modulul 10: Proiect Capstone: Suită de Evals End-to-End Integrată în CI

    3 lecții · 2 h 44 min · 50 de întrebări
    1. Proiectarea Suitei Capstone: Aplicația, Golden Dataset și Planul de Evaluare 54 min 15 întrebări
    2. Implementarea Evals: DeepEval + Promptfoo, Calibrarea Judecătorului și Raportare 56 min 15 întrebări
    3. Integrarea în CI și Evaluarea Finală a Cursului 54 min 20 de întrebări
  11. Modulul 11: Apendice: Resurse Oficiale, Actualizări 2026 și Trasee de Învățare

    1 lecție · 34 min · 8 întrebări
    1. Resurse Oficiale, Actualizări 2026 și Trasee de Învățare 34 min 8 întrebări
Pe email

Trimite-mi programa cursului pe email

Modulele și lecțiile, în ordine, plus linkul către previzualizarea lecției 1 — ca să decizi în liniște.

Cum înveți

Citești lecția, întrebi Profesorul AI chiar în pagină și verifici ce ai reținut.

De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate

Oricine poate lipi un prompt într-un API și obține un răspuns care „pare bun”. Foarte puțini pot demonstra, cu numere, că acel sistem rămâne bun după ce schimbi modelul, ajustezi promptul sau crește traficul.

Bara Profesorului AI, care apare în lecție sub pasajul selectat, cu acțiunile „Explică-mi asta”, „Dă-mi un exemplu”, „De ce contează?” și „Întrebarea mea”
Primele rânduri din lecția 1 a acestui curs. Citește fragmentul gratuit, fără cont.
  1. Citești lecția în ritmul tău

    Lecții scrise, cu exemple și exerciții. Progresul se salvează automat, așa că reiei oricând de unde ai rămas.

  2. Întrebi Profesorul AI chiar în lecție

    Selectezi un pasaj și îți explică, îți dă un exemplu sau îți spune de ce contează. Îi scrii sau îi vorbești, în română.

  3. Verifici ce ai reținut

    Fiecare lecție are quiz-ul ei, cu explicații la răspunsuri: 471 de întrebări în tot cursul. Profesorul îți face și rezumatul lecției și carduri de recapitulare.

  4. Primești Certificatul de Finalizare

    Când parcurgi lecțiile și atingi scorul minim la quiz-uri, îl emiți din cont, cu număr unic, verificabil public.

Profesorul AI e inclus în abonament, și la accesul pe un singur curs, cu o limită lunară de utilizare corectă. Este un sistem AI, nu un profesor uman, iar răspunsurile pot conține erori; detalii în Termeni. Vezi demo-ul Profesorului AI.

Pleci cu o dovadă pe care oricine o poate verifica

Certificatul de Finalizare pentru „AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment”: o atestare privată, cu număr unic și cod QR. Un recrutor îi confirmă autenticitatea pe pagina publică de verificare, fără cont și fără cost.

Exemplu de Certificat de Finalizare Cursuri AI, cu date de exemplu: seria și data emiterii în colțul din dreapta sus, numele titularului, cursul, treapta acordată, procentul de lecții, scorul mediu, timpul de studiu, versiunea cursului, emitentul și codul QR de verificare
Documentul real, un PDF A4, aici cu date de exemplu. Pe al tău apar numele tău, cursul „AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment”, seria, data emiterii și treapta obținută; codul QR din imagine e decorativ.
  • Verificabil public

    Pagină publică de verificare, cod QR și amprentă criptografică, fără cont pentru cel care verifică.

  • Îl arăți unde contează

    Îl adaugi pe CV și pe profilul de LinkedIn; recrutorul îi confirmă autenticitatea cu un click.

  • Spune exact ce atestă

    Cursul, treapta obținută (Promovat, Merit sau Distincție), seria și data emiterii, plus procentul de lecții parcurse.

Verifică un certificat
Prețuri

Doar acest curs sau toată direcția IT Pro

Cursul se plătește lunar, pachetele lunar sau anual. Oprești reînnoirea oricând din cont, iar accesul pornește imediat după plată. Prețurile sunt totale, cu TVA 21% inclus.

La plata anuală plătești 10 luni și ai acces 12.

Doar acest curs

AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment

499 lei pe lună, TVA inclus Fără angajament: oprești reînnoirea oricând

aproximativ 21 lei pe oră de curs

32 de lecții în 11 module aproximativ 24 de ore
  • Toate lecțiile, exercițiile și quiz-urile cursului: 471 de întrebări
  • Profesor AI în lecții, cu utilizări incluse în abonament
  • Certificat de Finalizare verificabil public

IT Pro

Include acest curs

Developeri, ingineri de date, arhitecți. Cod și producție.

1.999 lei pe lună, TVA inclus sau 19.990 lei pe an: plătești 10 luni, ai 12

80 lei pe lună pentru fiecare dintre cele 25 de cursuri

25 de cursuri IT în medie 24 de ore per curs
  • Prompt engineering, LLM-uri, RAG, agenți AI și MCP, Claude Code și Cursor, computer vision, MLOps, securitate AI
  • Proiecte practice cu exemple de producție
  • Profesor AI în fiecare lecție, quiz-uri și certificat la fiecare curs

IT + Non-IT

Tot catalogul, ambele parcursuri în paralel.

2.499 lei pe lună, TVA inclus sau 24.990 lei pe an: plătești 10 luni, ai 12

50 lei pe lună pentru fiecare dintre cele 50 de cursuri

Toate cele 50 de cursuri aproximativ 1.213 ore
  • Economisești 999 lei pe lună față de cele două pachete luate separat
  • Trasee de învățare pentru ambele profiluri
  • Profesor AI în fiecare lecție, quiz-uri și certificat la fiecare curs

Abonamentele se reînnoiesc automat; oprești reînnoirea oricând din cont, iar accesul rămâne până la finalul perioadei plătite. Fiind conținut digital cu acces imediat, vezi condițiile de retragere.

Înainte să te decizi

Întrebări frecvente

Despre curs, preț, Profesorul AI și certificat.

Ce înveți în cursul „AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment”?

Program avansat, complet practic, dedicat evaluării riguroase a sistemelor LLM înainte de livrarea în producție. Înveți să treci de la vibe-checks subiective la măsurare disciplinată: taxonomia evaluării (offline vs online, determinist vs LLM-judge), construirea de golden datasets curate și etichetate fără PII real, design-ul rubricilor pentru LLM-as-a-judge și mitigarea bias-urilor judecătorului, metrici de calitate pentru RAG și generare (faithfulness, answer relevancy, context precision și recall în stil RAGAS), framework-uri reale (DeepEval, Promptfoo) cu metric gates și red-teaming, regression suites integrate în CI/CD pentru a preveni degradarea calității, bugetarea modelului-judecător, sampling și monitorizare în producție, plus contextul EU AI Act (Art. 43, conformity assessment) pentru sisteme high-risk. Totul ancorat în documentația oficială Anthropic, OpenAI, DeepEval, RAGAS și Promptfoo, cu un proiect capstone end-to-end integrat în pipeline CI. Disclaimer: contextul legal este informativ, nu sfat juridic.

Cursul are 11 module și 32 de lecții, cu 471 de întrebări de quiz. Programa completă, modul cu modul, e afișată pe pagina cursului.

Am nevoie de experiență anterioară pentru acest curs?

Da. Cursul e de nivel Avansat și presupune experiență practică cu AI în domeniul lui.

Cât durează cursul?

Durata estimată e de aproximativ 24 de ore, în 32 de lecții. Înveți în ritmul tău, iar progresul se salvează automat la fiecare lecție, așa că reiei oricând de unde ai rămas.

Cât costă și ce abonament îmi trebuie?

Accesul doar la acest curs costă 499 lei pe lună. Cursul e inclus și în pachetul IT Pro, 1.999 lei pe lună pentru toate cele 25 de cursuri IT Pro, și în IT + Non-IT, 2.499 lei pe lună pentru tot catalogul.

La plata anuală a unui pachet plătești 10 luni și ai acces 12. Prețurile pentru persoane fizice sunt totale, cu TVA de 21% inclus. Compară planurile.

Pot citi o parte din curs înainte să plătesc?

Da. Poți citi gratuit, fără cont, un fragment din lecția 1, „De Ce Evals: Problema Vibe-Checks-urilor și Costul Calității Negarantate”. Fragmentul îți arată cum e scrisă lecția; restul lecției și celelalte lecții se deschid după plată.

Cum mă ajută Profesorul AI în acest curs?

Profesorul AI e integrat în fiecare lecție și pornește de la lecția pe care o ai deschisă: îți explică pasajele pe care le selectezi, îți dă exemple, îți face rezumatul, te testează cu un quiz și îți pregătește carduri de recapitulare. Îl folosești scriind sau vorbind, în română.

E inclus în abonament, și la accesul pe un singur curs, cu o limită lunară de utilizare corectă. Este un sistem AI, nu un profesor uman, iar răspunsurile pot conține erori; detalii în Termeni.

Primesc un certificat când termin cursul?

Când îndeplinești pragurile de finalizare afișate în platformă (lecțiile parcurse și scorul minim la quiz-uri), îți poți emite din cont Certificatul de Finalizare pentru „AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment”, cu număr unic, verificabil public pe site.

Este o atestare privată de finalizare, emisă de GALIAN SOFTWARE DEVELOPMENT SRL. Nu este diplomă sau act de studii, nu este certificat de calificare profesională și nu este recunoscut de ANC; angajatorii îl pot lua în considerare la libera lor apreciere. Detalii în Politica de certificare.

Abonamentul se reînnoiește automat? Cum îl opresc?

Da. Accesul la un curs și pachetele sunt abonamente care se reînnoiesc automat la finalul fiecărei perioade plătite: o lună sau, la plata anuală a unui pachet, un an. Data următoarei reînnoiri o vezi oricând în cont.

Oprești reînnoirea oricând, din cont sau pe email, fără alte formalități. Accesul rămâne activ până la finalul perioadei deja plătite, iar pentru perioada începută nu se restituie sume pro-rata, cu excepțiile prevăzute de lege. Certificatul emis și progresul rămân în cont. Detalii în Termeni și Condiții, secțiunea 5.5.

Pot dărui cursul cuiva?

Da. Poți dărui o lună de acces la acest curs: plătești o singură dată 499 lei, iar destinatarul primește pe email un cod care îi deschide o lună de acces. Nu e un abonament și nu se reînnoiește. Vezi cum funcționează cadoul.

Din aceeași direcție

Cursuri similare

Toate sunt incluse în pachetul IT Pro, la aproximativ 80 lei pe curs, sau le iei separat, la 499 lei pe lună fiecare.

IT Pro: AI Engineering

MCP (Model Context Protocol) — Construirea de Servere și Integrări (Enterprise Edition)

Servere MCP în Python cu FastMCP și în TypeScript: transport stdio și HTTP, OAuth 2.1, threat modeling, testare, Docker, deploy în cloud și CI/CD.

De pe blog

Articole despre aceleași subiecte

Începe cursul azi, în ritmul tău

„AI Evals pentru LLM-uri în Producție: Testare, Scoring și Calitate pre-Deployment”: 32 de lecții și aproximativ 24 de ore de conținut, cu progresul salvat la fiecare lecție.

  • Acces imediat după plată, pe calculator, tabletă sau telefon.
  • Profesor AI în fiecare lecție, inclus în abonament.
  • Certificat de Finalizare, verificabil public.

Doar acest curs

499 lei/lună

TVA 21% inclus · oprești reînnoirea oricând din cont

Cumpără cursul Sau toate cele 25 de cursuri IT Pro: 1.999 lei/lună