Ce este Computer Use și Ce sunt Browser Agents
Din cursul Computer Use și Browser Agents: Automatizare pe Ecran în Producție
Profesor AI integrat Exclusiv
Întreabă orice despre lecție și primești răspuns instant. Profesorul AI cunoaște conținutul cursului și te ajută să înveți mai eficient.
Un agent care execută corect fiecare pas în 95% din cazuri pare aproape de perfecțiune — până când afli că, pe o sarcină de douăzeci de pași, reușește de la un capăt la altul în doar aproximativ 36% din încercări. Aceasta este matematica brutală a agenților care operează un calculator ca un om: percep ecranul, decid o acțiune motrică (un click, o tastare, un scroll), o execută și reiau bucla — iar fiecare pas adaugă o probabilitate de eroare care se compune. Promisiunea este seducătoare: un agent care face orice poate face un om într-o interfață grafică, iar browser agents duc aceeași idee în fereastra browserului. Onestitatea profesională cere însă să spunem din prima propoziție tema care va însoți întreg cursul: acești agenți nu sunt deterministici și nu sunt fiabili la nivel de producție fără măsuri suplimentare de robustețe.
Definiția riguroasă a paradigmei
Un sistem de tip computer use este un agent care operează un calculator în același mod în care l-ar opera un om: privind interfața grafică și acționând asupra ei. Spre deosebire de un program clasic care apelează direct o funcție sau un endpoint, agentul de computer use nu are acces privilegiat la logica internă a aplicației. El vede exact ceea ce vede un utilizator uman — pixeli pe un ecran — și interacționează exact prin canalele unui utilizator uman — cursorul și tastatura.
Mecanismul de fond este o buclă percepție–decizie–acțiune (uneori numită bucla agentică sau loop de tip ReAct), pe care o putem descompune astfel:
- Percepție. Sistemului i se furnizează o reprezentare a stării curente a ecranului. În practică, aceasta este fie o captură de ecran (screenshot, deci o imagine), fie o reprezentare structurată a interfeței (de exemplu arborele DOM al unei pagini web sau arborele de accesibilitate al unei aplicații), fie o combinație a celor două.
- Decizie. Modelul, având obiectivul formulat în limbaj natural și starea curentă, raționează asupra următoarei acțiuni utile. Rezultatul deciziei este o intenție concretă: „dă click pe butonul Trimite", „scrie textul X în câmpul de email", „derulează pagina în jos".
- Acțiune. Intenția este tradusă într-o comandă executabilă de un strat de orchestrare care controlează efectiv mausul și tastatura: o mișcare de cursor la coordonatele (x, y), un click, o secvență de taste, o apăsare de Enter, un scroll.
- Re-observare. După executarea acțiunii, sistemul capturează din nou starea ecranului și reia bucla. Iterația continuă până când obiectivul este îndeplinit, până când agentul declară că s-a blocat, sau până când se atinge o limită de pași (un buget de turnuri) impusă din exterior.
Ceea ce face paradigma puternică este universalitatea ei: dacă un om poate face o sarcină dintr-o interfață grafică, atunci, în principiu, un agent de computer use poate încerca aceeași sarcină, indiferent dacă aplicația respectivă oferă sau nu o cale programatică de acces. Ceea ce o face fragilă este exact aceeași universalitate: agentul lucrează cu pixeli și coordonate, nu cu garanții, iar fiecare pas introduce o probabilitate de eroare care se compune de-a lungul buclei.
Computer use vs. browser agents: granița esențială
Termenii se suprapun adesea în vorbirea curentă, dar distincția lor tehnică este reală și are consecințe practice. O reținem cel mai bine prin domeniul de operare.
| Dimensiune | Computer use (nivel desktop / SO) | Browser agents (nivel browser) |
|---|---|---|
| Domeniu de control | Întregul sistem de operare: aplicații desktop, ferestre, fișiere, terminal | Doar conținutul și navigarea din browser |
| Percepție tipică | Captură de ecran a întregului desktop | Captură de ecran a paginii și/sau arborele DOM |
| Acțiuni disponibile | Click, tastare, scroll, taste rapide globale, deschidere de aplicații | Click, tastare, scroll, navigare URL, interacțiune cu elemente DOM |
| Acoperire | Foarte largă (orice aplicație vizuală) | Restrânsă la web, dar mai precisă pe web |
| Precizie pe web | Mai redusă (lucrează cu pixeli ai paginii) | Mai mare (poate folosi structura DOM, selectori) |
| Costul percepției | Ridicat (imagini de rezoluție mare) | Poate fi redus (text DOM în loc de imagine) |
Ai citit începutul. Restul lecției începe aici.
Deblochezi restul acestei lecții și toate celelalte 21 din curs. Alege varianta potrivită pentru tine:
Abonament lunar, cu reînnoire automată · anulezi oricând din contul tău · conținut digital cu acces imediat, vezi condițiile de retragere.
Ce urmează în această lecție
- Sursele reale ale paradigmei în 2026
- Tool-ul computer use de la Anthropic
- Biblioteca open-source browser-use
- Tool-ul CUA al OpenAI și nota istorică despre Operator
- Benchmark-ul OSWorld
- Tema centrală: fiabilitatea și non-determinismul
- Un exemplu conceptual de buclă
- 1. Percepție: capturăm starea ecranului
Tot ce înveți în acest curs
1 Paradigma Computer Use: Agentul care Operează Ecranul 2 lecții
- Ce este Computer Use și Ce sunt Browser Agents O citești acum 55 min
- Computer Use vs API: Când Are Sens să Operezi Interfața 55 min
2 Peisajul 2026: Instrumente, Modele și Furnizori 3 lecții
- Anthropic Computer Use: Tool-ul, Modelele și Modul de Funcționare la Nivel Înalt 55 min
- browser-use, CUA în ChatGPT Agent și Ecosistemul Open-Source 54 min
- OSWorld și Evaluarea Agenților: Cum Măsori Capabilitatea Reală 53 min
3 Cum Funcționează: Percepție, Acțiune și Bucla Agentică 2 lecții
- Screenshots, Coordonate și Reprezentarea Ecranului 56 min
- Acțiuni și Bucla Perceive-Decide-Act 56 min
4 Primul Agent de Browser: Setup și Sarcini de Bază 2 lecții
- Setup și Mediul de Execuție pentru un Agent de Browser 55 min
- Navigare, Completare Formulare și Extragere de Date 56 min
5 Fiabilitate și Non-Determinism în Producție 2 lecții
- Flakiness și Non-Determinism: De ce E Greu în Producție 56 min
- Retry, Verificarea Rezultatelor și Idempotență 56 min
6 Selectoare, DOM și Viziune: Abordarea Hibridă 2 lecții
- DOM, Accessibility Tree și Selectoare vs Acțiune Vizuală 55 min
- Strategia Hibridă: Combinarea Structurii cu Viziunea 55 min
7 Sandboxing și Securitate 2 lecții
- Izolare și Sandboxing: VM-uri, Containere și Permisiuni Minime 55 min
- Suprafața de Atac: Prompt Injection, Conținut Ostil și Ce NU Lași Agentul să Facă 55 min
8 Cazuri de Utilizare Reale 2 lecții
- Aplicații fără API și RPA Modern Asistat de AI 54 min
- Testare End-to-End și QA Asistat de Agenți 54 min
9 Limite, Costuri și Etică 2 lecții
- Termeni de Serviciu, Consimțământ și Limite Legale 54 min
- Costuri, Rate Limits și Când să NU Folosești Computer Use 54 min
10 Proiect Capstone: Un Agent de Browser Fiabil 2 lecții
- Proiectarea Capstone: Task Realist, Arhitectură și Guardrails 56 min
- Implementare, Verificare și Hardening pentru Producție 56 min
11 Apendice: Resurse Oficiale, Actualizări 2026 și Trasee de Învățare 1 lecții
- Resurse Oficiale, Actualizări 2026 și Trasee de Învățare 32 min
Tot ce ai nevoie ca să înveți eficient
Quiz-uri interactive
Verifică-ți cunoștințele la finalul fiecărei lecții cu quiz-uri cu scor și feedback.
Notițe personale
Salvează notițe pe fiecare lecție, accesibile oricând din dashboard.
Recapitulări programate
Revii la lecții exact când e nevoie, la intervalele potrivite — reții pe termen lung.
Progres & Realizări
Urmărește progresul, deblochează achievement-uri și vizualizează ce ai învățat.
Bookmark-uri
Salvează lecțiile importante și găsește-le instant când ai nevoie.
Întrebări & Răspunsuri
Pune întrebări direct pe lecție și primește răspunsuri de la echipa noastră.
Bun de știut înainte să începi
Cum primesc acces la curs?
Începutul primei lecții îl citești gratuit, chiar pe această pagină. Pentru curs îți creezi cont, alegi abonamentul potrivit — curs individual sau pachet — și primești acces imediat după confirmarea plății. Totul se întâmplă 100% online.
Pot anula abonamentul oricând?
Da. Anulezi oricând, direct din contul tău, în câteva click-uri. Accesul rămâne activ până la finalul perioadei deja plătite.
Ce include abonamentul pentru acest curs?
Toate cele 22 lecții din curs, quiz-uri interactive, profesorul AI integrat în fiecare lecție (selectezi orice pasaj și ți-l explică pe loc), notițe personale, progres salvat automat și actualizări de conținut incluse.
Există un program fix de învățare?
Nu. Înveți în ritmul tău, de pe orice dispozitiv. Lecțiile sunt structurate pas cu pas, iar platforma îți salvează automat progresul, ca să poți continua oricând de unde ai rămas.
Pregătit să deblochezi tot conținutul?
Doar acest curs — 499 lei / lună, cu TVA — sau toate cele 25 cursuri IT Pro, cu trasee și Profesorul AI inclus, în pachetul de 1.999 lei / lună, cu TVA. Atestarea de finalizare rămâne a ta și după ce anulezi.
