Inapoi la cursuri
IT PRO Intermediate

LLM-uri Locale cu Ollama: Privacy, Self-Hosting și Inferență Offline

Program intermediar, complet practic, dedicat rulării modelelor de limbaj open-weight pe infrastructură proprie, on-premise și offline. Pornind de la motivația reală — privacy by design, data residency, GDPR și EU AI Act ca motoare de adopție în bănci, sănătate și sectorul public — înveți să instalezi și să operezi Ollama, să consumi API-ul REST OpenAI-compatible local (http://localhost:11434/v1), să alegi argumentat dintre Llama 4, Gemma 3, Qwen3 și DeepSeek, să stăpânești cuantizarea GGUF (q4_K_M vs q8_0) și dimensionarea realistă a hardware-ului, să construiești modele custom cu Modelfile, să înlocuiești apelurile cloud în aplicații, să scalezi inferența cu vLLM și SGLang și să citești corect model card-urile pentru conformitate de licențiere (Apache 2.0 vs licența custom Meta). Modulul de guvernanță acoperă DPIA, audit trail și minimizarea datelor, iar capstone-ul livrează un deployment privat end-to-end cu API intern și checklist GDPR. Totul ancorat exclusiv în docs.ollama.com, model cards HuggingFace, llama.cpp/GGUF, documentația vLLM și SGLang. Conținut informativ, nu consultanță juridică.

10 module
30 lectii
~23h durata
v1.0 versiune
Profesor AI virtual Agent AI integrat in fiecare lectie — pune intrebari si primesti raspunsuri instant bazate pe continutul cursului
Exercitii practice Scenarii reale si exercitii hands-on direct pe platforma, cu feedback instant
Progres si analytics Dashboard personal cu statistici, streaks, scoruri si trasee de invatare personalizate
Quizuri AI interactive Intrebari generate de AI si adaptate nivelului tau, cu explicatii detaliate
Acces la acest curs
249
lei + TVA / luna
Toate lectiile Quiz-uri AI Profesor AI — limitat Anulezi oricand
sau
Acces la toate cursurile IT Pro
Pachet IT Pro
1.999
lei + TVA / luna
Creeaza cont si alege pachetul
  • Acces la toate cele 20 cursuri IT Pro
  • Trasee structurate de invatare
  • Profesor AI Virtual — acces complet
  • Quiz-uri, progres, streaks, statistici
  • Notite, bookmarks, repetitie spatiata
  • Continut actualizat periodic
Actualizat periodic
Quiz-uri interactive
Progres salvat automat
Continut in romana
Agent AI integrat Exclusiv Întreabă orice despre lecție și primești răspuns instant — agentul cunoaște conținutul cursului
Chat interactiv cu AI Rezumate automate Quizuri personalizate

Ce vei invata

Competente practice pe care le dobandesti parcurgand acest curs

De Ce LLM Local: Privacy, Data Residency și Cadrul Legal ca Motoare de Adopție
Instalare și Fundamente Ollama: Primul Model și API-ul REST OpenAI-Compatible
Peisajul Modelelor Open-Weight 2026: Criterii Reale de Alegere
Cuantizare și Hardware: GGUF, q4_K_M vs q8_0 și Dimensionare Realistă
Modelfile și Personalizare: Modele Custom pentru Cazuri de Uz Interne
Integrare în Aplicații: Înlocuirea Apelurilor Cloud și Considerații de Performanță
Scaling de Inferență On-Premise: vLLM și SGLang pentru Servire Performantă
Licențiere și Conformitate: Citirea Corectă a Model Cards pentru Uz Comercial
Securitate și Guvernanță Self-Hosted: DPIA, Audit Trail și Minimizarea Datelor
Proiect Capstone: Deployment Privat End-to-End cu API Intern și Checklist GDPR

Pentru cine este

Developeri Ingineri software Arhitecti de solutii CTO / Tech Lead Data Scientists ML Engineers DevOps Engineers

Nivel recomandat

Intermediate

Cunostinte de baza despre AI si domeniul specific sunt recomandate.

Actualizari

Periodic

Continut actualizat constant cu cele mai noi practici din industrie.

Categorie

AI Engineering

Curs tehnic pentru profesionisti IT — necesita plan IT Pro sau IT + Non-IT.

Nivel Intermediate

Cunostinte de baza necesare

Cunostinte de baza despre AI si domeniul specific sunt recomandate pentru a beneficia la maxim.

Mereu actualizat

Continut de ultima generatie

Cursul este actualizat periodic cu cele mai noi informatii, instrumente si practici din industrie.

Practic si aplicat

30 lectii cu exemple reale

Fiecare lectie include scenarii practice, checklist-uri executabile si quiz-uri pentru verificarea cunostintelor.

Curriculum

10 module, 30 lectii — structurat pentru a invata pas cu pas.

10 module
30 lectii
~23h de continut
Quiz-uri interactive
Preview disponibil De Ce Rulezi Modelul Local: Privacy by Design și Costul Real al Apelului Cloud
Citeste preview
1 Preview De Ce Rulezi Modelul Local: Privacy by Design și Costul Real al Apelului Cloud
Citeste preview
2 Data Residency și Suveranitatea Datelor: Unde Trăiesc Datele Tale Contează
50 min
3 EU AI Act și Modelele de Uz General: Ce Obligații Rămân Când Hostezi Local
50 min
1 Instalare și Primul Run: ollama run, pull și Structura Comenzilor
50 min
2 API-ul REST OpenAI-Compatible: /v1/chat/completions Local, Fără Cloud
54 min
3 Operare Locală: Logs, Keep-Alive, Concurență și Variabile de Mediu OLLAMA_*
48 min
1 Taxonomia Modelelor Open-Weight: Familii, Dimensiuni și Arhitecturi Dense vs MoE
52 min
2 Gemma 3, Qwen3, DeepSeek și Llama 4: Profiluri Comparate prin Model Cards
54 min
3 Cum Alegi Modelul pentru Cazul Tău: O Matrice de Decizie Practică
48 min
1 GGUF și Cuantizare: Ce Se Întâmplă Când Comprimi un Model
52 min
2 q4_K_M vs q8_0 și Restul Schemelor: Trade-off Calitate/Memorie în Practică
50 min
3 Dimensionarea Hardware: Cât VRAM/RAM Îți Trebuie și Cum Estimezi
50 min
1 Anatomia unui Modelfile: FROM, PARAMETER, SYSTEM și TEMPLATE
50 min
2 System Prompts și Parametri pentru un Model Intern: Comportament Predictibil
48 min
3 Import de Modele: GGUF, Safetensors și Cuantizare la Create
50 min
1 De la Cloud la Local: Înlocuirea Apelurilor API cu Endpoint Intern
52 min
2 Latență, Throughput și Streaming: Ce Așteptări Realiste Să Ai Local
50 min
3 Embeddings, RAG Local și Patterns de Integrare Offline
48 min
1 Când Depășești Ollama: De ce vLLM și SGLang pentru Servire la Scară
50 min
2 vLLM în Profunzime: PagedAttention, Continuous Batching și Server OpenAI-Compatible
54 min
3 SGLang și Alegerea Stack-ului de Servire: RadixAttention și Criterii de Decizie
48 min
1 Cum Citești un Model Card: Licență, Acceptable Use și Ce Te Obligă Cu Adevărat
50 min
2 Apache 2.0 vs Licențe Custom: Qwen3, Gemma și Llama 4 Comparate
52 min
3 Conformitate Practică: Atribuire, Audit de Licențe și Politica Internă de Modele
48 min
1 Self-Hosting Reduce, Dar NU Elimină Obligațiile GDPR: Harta Responsabilităților
50 min
2 DPIA pentru un Sistem LLM Intern: Când și Cum O Faci
50 min
3 Audit Trail, Minimizarea Datelor și Hardening al Serverului Local
50 min
1 Proiectarea Deployment-ului Privat: Cerințe, Alegerea Modelului și Arhitectura Internă
52 min
2 Implementarea End-to-End: Modelfile Custom, API Intern și Integrare
54 min
3 Checklist GDPR și Postura Finală: Validarea Conformității Deployment-ului
54 min
Acces la toate cursurile IT Pro

Vrei acces la acest curs?

Creeaza un cont si alege planul potrivit pentru a accesa acest curs si multe altele.

Creeaza cont Compara planurile
30 lectii practice Continut actualizat constant Creat de experti AI