Ce este Computer Use și Ce sunt Browser Agents

Un agent care execută corect fiecare pas în 95% din cazuri pare aproape de perfecțiune — până când afli că, pe o sarcină de douăzeci de pași, reușește de la un capăt la altul în doar aproximativ 36% din încercări. Aceasta este matematica brutală a agenților care operează un calculator ca un om: percep ecranul, decid o acțiune motrică (un click, o tastare, un scroll), o execută și reiau bucla — iar fiecare pas adaugă o probabilitate de eroare care se compune. Promisiunea este seducătoare: un agent care face orice poate face un om într-o interfață grafică, iar browser agents duc aceeași idee în fereastra browserului. Onestitatea profesională cere însă să spunem din prima propoziție tema care va însoți întreg cursul: acești agenți nu sunt deterministici și nu sunt fiabili la nivel de producție fără măsuri suplimentare de robustețe.

Definiția riguroasă a paradigmei

Un sistem de tip computer use este un agent care operează un calculator în același mod în care l-ar opera un om: privind interfața grafică și acționând asupra ei. Spre deosebire de un program clasic care apelează direct o funcție sau un endpoint, agentul de computer use nu are acces privilegiat la logica internă a aplicației. El vede exact ceea ce vede un utilizator uman — pixeli pe un ecran — și interacționează exact prin canalele unui utilizator uman — cursorul și tastatura.

Mecanismul de fond este o buclă percepție–decizie–acțiune (uneori numită bucla agentică sau loop de tip ReAct), pe care o putem descompune astfel:

1. Percepție. Sistemului i se furnizează o reprezentare a stării curente a ecranului. În practică, aceasta este fie o captură de ecran (screenshot, deci o imagine), fie o reprezentare structurată a interfeței (de exemplu arborele DOM al unei pagini web sau arborele de accesibilitate al unei aplicații), fie o combinație a celor două.
2. Decizie. Modelul, având obiectivul formulat în limbaj natural și starea curentă, raționează asupra următoarei acțiuni utile. Rezultatul deciziei este o intenție concretă: „dă click pe butonul Trimite", „scrie textul X în câmpul de email", „derulează pagina în jos".
3. Acțiune. Intenția este tradusă într-o comandă executabilă de un strat de orchestrare care controlează efectiv mausul și tastatura: o mișcare de cursor la coordonatele (x, y), un click, o secvență de taste, o apăsare de Enter, un scroll.
4. Re-observare. După executarea acțiunii, sistemul capturează din nou starea ecranului și reia bucla. Iterația continuă până când obiectivul este îndeplinit, până când agentul declară că s-a blocat, sau până când se atinge o limită de pași (un buget de turnuri) impusă din exterior.

Ceea ce face paradigma puternică este universalitatea ei: dacă un om poate face o sarcină dintr-o interfață grafică, atunci, în principiu, un agent de computer use poate încerca aceeași sarcină, indiferent dacă aplicația respectivă oferă sau nu o cale programatică de acces. Ceea ce o face fragilă este exact aceeași universalitate: agentul lucrează cu pixeli și coordonate, nu cu garanții, iar fiecare pas introduce o probabilitate de eroare care se compune de-a lungul buclei.

Computer use vs. browser agents: granița esențială

Termenii se suprapun adesea în vorbirea curentă, dar distincția lor tehnică este reală și are consecințe practice. O reținem cel mai bine prin domeniul de operare.