Ce sunt tokenii şi are este treaba cu aceştia?

Tokenii sunt unitățile de text pe care le „mănâncă” un model de AI (LLM) — nu cuvinte întregi și nu caractere individuale.

Ce este un token

Un model de limbaj nu citește fraze ca un om. Textul este mai întâi tăiat în bucăți numite tokeni. Un token poate fi:

• un cuvânt scurt: cat
• o parte de cuvânt: ing, tion, un
• un semn de punctuație: . !
• un spațiu sau o combinație de caractere frecvente

În engleză, un token corespunde de obicei cu ~4 caractere sau ~0,75 cuvinte. În română, din cauza diacriticelor și a cuvintelor mai lungi, raportul e adesea puțin diferit.

Exemplu aproximativ:

• „Salut, ce faci?” → câteva tokeni
• Un articol de 1000 de cuvinte → de obicei 1300–1600 de tokeni

De ce contează tokenii

1. Fereastra de context
   Modelele au o limită maximă de tokeni pe care îi pot „ține minte” într-o conversație (context window). Dacă depășești limita, modelul uită începutul conversației sau trebuie să taie text.
2. Costul
   Majoritatea serviciilor (ChatGPT, Claude, Grok, API-uri) facturează per milion de tokeni — separat pentru input (ce trimiți) și output (ce generează modelul). De aceea mesajele lungi sau istoricul mare costă mai mult.
3. Viteza și calitatea
   Cu cât sunt mai mulți tokeni de procesat, cu atât răspunsul e mai lent și mai scump. Uneori modelele „halucinează” sau se încurcă când contextul e prea lung sau prost tokenizat.
4. Limite practice
   Un prompt + tot istoricul conversației + răspunsul trebuie să încapă în fereastra de context. De aceea unele chat-uri „uită” după un timp.

Cum se face tokenizarea

Există algoritmi de tokenizare (BPE, SentencePiece etc.) antrenați pe corpusuri uriașe. Ei învață care combinații de caractere apar cel mai des și le tratează ca un singur token. De aceea:

• cuvintele rare sau numele proprii pot fi tăiate în mai mulți tokeni
• limba română (cu ă, î, ș, ț) poate consuma ușor mai mulți tokeni decât engleza pentru același text

Pe scurt

Tokenii sunt moneda de schimb a AI-ului actual: măsoară cât text „vede” modelul, cât costă și cât de lungă poate fi conversația. Când auzi „128k context” sau „preț per 1M tokeni”, vorbim exact despre aceste unități.

Tokeni de input vs. tokeni de output

• Tokeni de input = tot ce trimiți modelului: mesajul tău + istoricul conversației + instrucțiunile de sistem (dacă există).
  Modelul trebuie să-i citească și să-i țină în memorie.
• Tokeni de output = textul pe care îl generează modelul ca răspuns.

De obicei output-ul costă mai mult decât input-ul, pentru că generarea e mai scumpă computațional decât citirea.
De aceea un răspuns lung (explicație detaliată, cod, articol) costă mai mult decât un „da” scurt, chiar dacă promptul tău a fost scurt.

În practică:

• Conversatie lungă → mulți tokeni de input (istoricul se adună).
• Răspuns lung → mulți tokeni de output.
• Ambele consumă din fereastra de context.

Cum arată tokenizarea pe un text în română

Să luăm fraza:

„Salut, ce mai faci astăzi? Vreau să înțeleg tokenii.”

Un tokenizer de tip GPT (BPE) nu taie neat după spații. Tinde să păstreze bucăți frecvente și să spargă restul. O împărțire aproximativă arată cam așa:

• Salut
• ,
• ce
• mai
• faci
• ast
• ăzi
• ?
• Vreau
• să
• în
• țele
• g
• token
• ii
• .

Observații importante pentru română:

• Diacriticele (ă, î, ț) pot face ca un cuvânt să fie tăiat altfel decât varianta fără diacritice.
• Cuvintele lungi sau mai rare (înțeleg, tokenizare) sunt adesea sparte în 2–3 tokeni.
• Spațiile de la începutul unor tokeni ( ce, mai) sunt normale — tokenizerul le tratează ca parte din unitate.

De aceea același text în română consumă de obicei puțin mai mulți tokeni decât echivalentul în engleză.

Ok,  să luăm un paragraf în română — diacritice, cuvinte compuse, termeni tehnici, ghilimele tipografice, cifre — și l-am trecut prin tokenizerul real folosit de modelele noi de tip GPT

Aceste funcții permit AI-ului să proceseze automat:

• Conținutul mesajelor
• Atașamentele (inclusiv extrase de cont, facturi, dosare fiscale, scrisori medicale, contracte, poze etc.)

Scopul declarat: generarea de rezumate, sugestii de răspuns, „Help Me Write”, prioritizare inbox, detectare atașamente uitate etc.

Milioane de utilizatori au observat că era activat fără un consimțământ explicit nou — trebuia să fie activat manual anterior, iar acum era pornit implicit. Asta a generat val de nemulțumire și articole virale.

Procesul colectiv (class action lawsuit)

Există un proces colectiv (Thele v. Google LLC) intentat în noiembrie 2025 în California. Acuzațiile principale:

• Google a activat „în secret” accesul AI-ului la istoricul complet de e-mailuri și atașamente.
• Lipsa consimțământului clar.
• Procesarea datelor sensibile fără informare adecvată.

Procesul este în desfășurare (sau în stadii avansate în 2026). Acoperă utilizatorii din SUA afectați după octombrie 2025.

Ce spune Google oficial

• Nu folosește conținutul Gmail (e-mailuri + atașamente) pentru a antrena modelele de bază Gemini (fundamentul AI-ului).
• Procesarea se face doar pentru a oferi funcțiile inteligente (în medii izolate, fără stocare pe termen lung pentru antrenare).
• Datele rămân în contul tău și nu sunt folosite pentru publicitate (din 2017 încoace).

Totuși, AI-ul citește efectiv mesajele și atașamentele tale cât timp „Smart Features” este activat. Este o diferență tehnică între „antrenare model” și „procesare pentru funcții”. Mulți experți de privacy consideră asta tot o formă de scanare masivă.

Cum pot fi dezactivate complet funcțiile AI (recomandat pentru cine ţine la confidențialitate)

Trebuie dezactivat din două locuri (mulți îl uită pe al doilea):

1. Intră pe Gmail (pe calculator, în browser) → clic pe rotița → See all settings.
2. Tab General → scroll la Smart features → debifează „Turn on smart features in Gmail, Chat, and Meet” → Save Changes (se reîncarcă).
3. Tot în General → scroll la Google Workspace smart features → clic pe Manage → dezactivează ambele opțiuni → Save.

Face același lucru și în aplicația mobilă (Settings → General → Smart features).

După dezactivare nu se mai pot face:

• Rezumate automate
• Sugestii inteligente de răspuns
• Help Me Write
• Unele categorisiri avansate

Dar securitatea de bază (anti-spam, antivirus pe atașamente) rămâne activă.

Sfaturi practice

• Verifică setările chiar acum — mulți le au încă activate.
• Pentru documente foarte sensibile (medicale, financiare, fiscale): evită să le trimiți prin Gmail sau folosește servicii cu criptare end-to-end (ProtonMail, Tutanota, Signal etc.).
• Activează 2FA și verifică periodic myaccount.google.com → Data & privacy.

Majoritatea oamenilor cred că ștergerea unui folder, golirea fișierelor recente sau ștergerea istoricului acestora este suficientă pentru a le ascunde urmele pe un computer.

Ceea ce nu își dau seama este că Windows păstrează în liniște o înregistrare ascunsă a folderelor pe care le deschid, chiar și după ce aceste foldere sunt șterse sau unitatea este eliminată.

Aceste înregistrări se numesc Shellbags și sunt unele dintre cele mai puternice și incriminatoare artefacte disponibile anchetatorilor criminalistici.

Fișierele Shellbag apar în două seturi de registry, NTUSER.DAT și USRCLASS.DAT, și stochează informații detaliate despre activitatea de navigare prin foldere a unui utilizator. Acestea includ foldere locale, unități USB, hard disk-uri externe, partajări de rețea și chiar directoare care nu mai există.

De fiecare dată când un utilizator deschide un folder în Windows Explorer, sistemul creează sau actualizează automat o intrare Shellbag. Aceste intrări conțin timestamp-uri, căi către foldere, ierarhia subfolderelor, ordinea în care a fost accesat un folder și chiar setările specifice de vizualizare utilizate de utilizator. Din acest motiv, fișierele Shellbag reconstruiesc traseul exact de navigare al unui utilizator mult timp după ce persoana respectivă crede că dovezile au dispărut.

Ceea ce face ca fișierele Shellbag să fie cu adevărat periculoase este faptul că acestea supraviețuiesc acțiunilor pe care utilizatorii se bazează de obicei pentru a-și acoperi urmele.

Ștergerea unui folder nu șterge fișierul Shellbag. Formatarea unei unități nu o șterge. Nici instrumentele de confidențialitate și programele de curățare precum CCleaner sau BleachBit nu pot șterge în mod fiabil datele Shellbag, deoarece informațiile sunt adânc încorporate în secțiunile de registry pe care utilitarele de curățare standard nu le ating. Singura modalitate de a elimina Shellbag-urile este prin ștergerea forensică avansată, iar încercarea unei astfel de ștergeri este, în sine, un semn al unui comportament suspect.

Examinatorii criminaliști se bazează foarte mult pe Shellbags, deoarece aceștia expun adevărul chiar și atunci când un suspect încearcă să mintă.

Dacă o persoană neagă că a accesat vreodată un director, Shellbag-urile pot arăta când a fost deschis acel folder, de câte ori a fost accesat și dacă se afla pe o unitate internă, un USB extern sau o partiție ștearsă. Acest lucru face ca Shellbag-urile să fie extrem de valoroase în investigațiile care implică amenințări interne, furt de date, fraudă, exploatare a copiilor, acces neautorizat la date și litigii corporative. În multe cazuri, Shellbag-urile devin factorul decisiv care infirmă povestea unui suspect.

În captura de ecran, secțiunea evidențiată cu roșu arată trei chei importante din interiorul registrului.

Când toate aceste informații sunt combinate, Shellbag-urile devin un martor tăcut care nu uită niciodată.

Acestea reconstruiesc o poveste ascunsă a activității utilizatorului pe care persoana nu o poate nega, suprascrie sau evita cu greutăți.

Acesta este motivul pentru care Shellbag-urile rămân unul dintre cele mai temute artefacte pentru oricine încearcă să-și ascundă acțiunile pe un computer cu Windows.

Puteți șterge folderul... dar Shellbag-urile încă arată că a existat.

Chiar dacă formatați o unitate sau ștergeți directorul, Windows a înregistrat deja:

1. Numele folderului

2. Calea sa completă

3. Când a fost deschis

4. De câte ori a fost deschis

5. Setările de vizualizare (modul pictogramelor, dimensiunea ferestrei)

6. Ordinea în care au fost răsfoite folderele