AI Companions: mize tehnice și probleme juridice. Exemplul legislativ chinez

Ideea de interlocutor artificial capabil să dialogheze cu ființa umană, emisă în urmă cu mai multe decenii, își găsește astăzi expresia concretă prin conceptul și practica de „AI Companions” (însoțitori IA) și generează mize tehnice și provocări etice și juridice inedite, cu semnificații majore. În special mecanismele de empatie instituite în acest context presupun stabilirea de garanții, inclusiv juridico-instituționale, în scopul evitării derivelor pe care pot să le manifeste.

Într-o ilustrare elocventă a unor atari evoluții tehnologice, la 15 iulie 2026, în China a intrat în vigoare o reglementare juridică menită să limiteze uzul IA antropomorfice, care permit a da față și o voce umane unui companion artificial, în fața amplificării fenomenului de adicție, a numărului de persoane care se îndrăgostesc de inteligențele lor artificiale sau a creșterii alarmante a cazurilor de detrese psihologice.

O nouă problemă societală, alimentată de o preocupare nouă pentru sănătatea mintală, îndeosebi a copiilor și tinerilor.

1. O problemă importantă a dezvoltării de AI Companions e reprezentată de integrarea unei empatii computaționale, întemeiată din punct de vedere tehnic pe detectarea de emoții în intrarea utilizatorului (promptul textual formulat de acesta). Clasificatori supervizați de tip BERT (bidirectional encoder representations from transformers) ori RoBERTa estimează un vector de emoții reprezentând polaritate, „arousal” (nivel de activare psihologică) și categorii afective. Această etapă se sprijină pe baze de date adnotate precum GoEmotions. Sistemul combină apoi această informație cu istoricul stocat într-o memorie vectorială. Fiecare tur de dialog e codat de un embedding și indexat prin căutarea celor mai apropiați vecini aproximați. Modelul generează apoi răspunsul condiționând Transformer-ul de un prompt implicit ce integrează profilul emoțional. Generarea e ghidată de tehnici de control al stilului – polaritate, clasificatori de tonalitate – în scopul de a produce un discurs susținut, dar fără a supradramatiza.

2. Empatia artificială ridică multiple dificultăți computaționale și etice. Din punctul de vedere al primelor, cum emoțiile umane sunt multidimensionale și contextuale, reducerea lor la vectori discreți introduce o prejudecată de modelizare. În plus, optimizarea prin învățare prin întărire tinde să favorizeze răspunsurile considerate agreabile de adnotatori, ceea ce poate conduce mai degrabă la o „bunăvoință strategică” decât la o înțelegere reală. Cercetările actuale poartă asupra definirii abordărilor hibride, ce combină modele cauzale, reflectând asupra intențiilor și a constrângerilor deontice pentru a limita aeste derive.

3. Creșterea în putere a AI Companions impune definirea, instituirea și aplicarea de guardrails (balustrade, bariere, parapeți), care să supravegheze și să filtreze intrările și ieșirile LLM. Un guardrail e un algoritm care ia în intrare un ansamblu de elemente și determină dacă și cum anumite măsuri coercitive pot fi luate spre a reduce riscurile inerente acestor elemente. Dacă intrarea LLM e legată de utilizarea de către copii, guardrail-ul o poate bloca sau poate adapta ieșirea spre a o face inofensivă. Cu alte cuvinte, aceste bariere, balustrade sunt utilizate pentru a identifica abuzurile potențiale la stadiul de solicitare și a împiedica modelul să furnizeze un răspuns ce nu ar trebui să fie dat.

4. Inteligențele artificiale zise „însoțitoare” sunt considerate în prezent ca unul dintre domeniile lor de aplicare cele mai complexe. Dezvoltarea acestora mobilizează în mod simultan avansurile în modelizarea limbajului, în învățarea statistică și în ingineria softului la scară mare. Contrar chatboturilor istorice fondate pe modele de reguli, aceste sisteme se bazează pe arhitecturi neuronale capabile să construiască reprezentări vectoriale ale sensului (contextul de utilizare a unui cuvânt) și să exploateze mecanisme de atenție ce permit o corespunzătoare luare în considerare a textului. Această putere algoritmică e completată, în cazul AI Companions, de module de memorie, de personalizare și de gestiune a emoțiilor care transformă un model generic într-un interlocutor agreabil și convivial pentru utilizatorul uman. Introducerea empatiei în atari însoțitori IA reflectă complexitatea problemei. Detectarea unei stări afective a interlocutorului uman, interpretarea corectă și apoi condiționarea generării textului cer un lanț de tratamente care îmbină clasificarea emoțiilor și analiza sentimentelor, raționamentul asupra intențiilor și controlul stilului. Fiecare etapă comportă incertitudini, în special privind prejudecățile subiacente seturilor de date, ambiguitatea intrinsecă a limbajului natural și instabilitatea modelelor generative ce pot deriva în halucinații.

La aceste provocări se adaugă problemele de securitate. Guardrails-urile nu se pot reduce la un simplu filtraj de cuvinte interzise, ci se impune să integreze mecanisme formale capabile să prevină utilizările periculoase, manipulările emoționale subtile și implicite ori divulgarea de informații sensibile. Abordările actuale combină învățarea prin întărire plecând de la preferințele umane, verificarea post-generare și politicile de refuzuri explicite. Această suprapunere de protecție arată că miza nu e numai una științifică, ci și una socio-tehnică: se impune definirea cadrului în care o mașină poate însoți o persoană. Dezvoltarea unor atari aplicații va depinde, așadar, deopotrivă de mizele tehnice, economice, juridice și antropologice pe care le implică. Progresele modelelor nu trebuie să mascheze limitele lor fundamentale și dificultățile de a evalua impactul psihologic pe termen lung asupra utilizatorului uman. În plus, nu pot fi ignorate provocările de mediu ținând de utilizarea intensivă a LLM.

5. În contextul actual de comercializare a AI Companions și al impactului lor asupra utilizatorilor celor mai vulnerabili se impune relevarea necesității de transparență algoritmică. Ea trebuie să înglobeze acțiunile și „intențiile” IA însoțitoare, precum și o înțelegere aprofundată a umanului, a funcționării acestor sisteme și a modului în care barierele (guardrails) cuvenite sunt definite și aplicate într-o atare arhitectură. Numai așa aceste aplicații de IA ar putea deveni instrumente utile, fiabile și respectuoase în utilizări societale benefice precum acompaniamentele emoționale, relația cu persoanele în situație de handicap ori cu afecțiuni de tulburări de neurodezvoltare.

Nu în ultimul rând, este de remarcat faptul că, în pofida binefacerilor pe care le pot aduce AI însoțitoare, în special pentru persoanele izolate, se observă, de asemenea, și importante efecte dăunătoare ce apar din interacțiunile în plin avânt pe care utilizatorii le întrețin cu o mare diversitate de „prieteni virtuali”, ceea ce presupune a reflecta asupra încadrării lor juridice cât mai adecvate contextului dat.

6. Analizele efectuate până acum în acest sens ne arată că tentația e mare de a consacra o definiție a AI Companions din care să decurgă o calificare și un regim juridic. Totuși, aceasta s-ar putea dovedi ineficientă având în vedere evoluția rapidă a utilizărilor și riscul de perimare a unui text legat de feedback-urile așteptate. Sunt critici adresate astfel propunerilor formulate în S.U.A. la nivel federal și textelor în materie adoptate de California și statul New York, care nu vizează decât riscurile observate în cauzele recente și nu promovează nicio abordare globală necesară identificării posibilelor efecte de domino. Riscul de a nu putea sesiza uzul IA ar fi prea important pentru ca această calificare să fie eficientă în special față de IA generaliste.

Dacă nu e primordial să se stabilească definiția juridică a IA însoțitoare, e indispensabil însă să se blocheze evoluția unui model de afaceri posibil toxic, în particular prin a-l lega frontal de ansamblul efectelor publicității orientate, pentru a propune interzicerea sa. Aceasta ar permite, în același context, înțelegerea tuturor manipulărilor utilizatorului, valorificând angajamentul său care este, în cadrul acestor IA, utilizat în mod deosebit și amplificat. S-ar impune sesizarea mai fermă a problemei centrale care e reprezentată de concepția (proiectarea) sistemului. Într-adevăr, pentru a proteja autonomia persoanei față de riscurile individuale și sistemice rezultate din concepția și utilizările de AI Companions, se impune o abordare holistică. Ea combină reglementarea preventivă și acțiunea penală sau civilă, țintind efectele asupra victimelor. Aceasta facilitează proba și amintește actorilor economici îndatorirea lor de a nu vătăma pe altul, mai ales pe cei mai vulnerabili. Dacă o atare intenție nu ar fi demonstrată, ar fi vorba de o amenințare ce apasă asupra societății întregi pe care se cuvine a o înțelege ca atare.

7. Revenind la situația juridico-tehnologică din China, evocată anterior, 15 iulie 2026 marchează o dată de răscruce în reglementarea mondială a inteligenței artificiale, prin intrarea în vigoare a „Măsurilor interimare pentru administrarea serviciilor interactive IA antropomorfice”, primul corpus reglementar național din lume dedicat în mod specific sistemelor de IA concepute spre a simula personalitățile umane, întreținând relații emoționale cu utilizatorii ori a se da drept indivizi reali.

Aplicarea imediată a textului a obligat ByteDance (Doubao) și Alibaba (Qwen) să-și dezactiveze funcționalitățile lor de agenți de IA personalizați și de companioni virtuali, cu suprimarea definitivă a datelor utilizatorilor până la 15 octombrie 2026.

Utilizările profesionale, educative și științifice sunt exceptate de reglementare, prezervându-se competitivitatea actorilor chinezi pe piețele B2B.

Noile dispoziții legale țintesc, în mod specific, serviciile de IA care întrețin o „interacțiune emoțională continuă” cu o personalitate umanoidă. În mod concret, sunt vizate aplicațiile de companie virtuală, agenții IA putând adopta o identitate nominativă persistentă, sisteme capabile să simuleze relații afective de durată și servicii ce permit utilizatorilor să creeze alter ego IA interacționând în locul lor. Îngrijorările exprimate de autoritățile chineze, în timpul consultărilor prealabile, se refereau la patru riscuri principale în acest sens: difuzarea de conținuturi extremiste via personajelor IA nefiltrate, crearea de dependențe psihologice la utilizatorii vulnerabili, violarea vieții private în timpul colectării de informații personale în texte de interacțiuni emoționale și efectele nefaste asupra minorilor expuși acestor sisteme în mod neîncadrat.

Câmpul de exceptare al textului este totuși semnificativ și aparține logicii economice subiacente reglementării chatboturilor de serviciu clienți; instrumentele de întrebări-răspunsuri informaționale, asistenții de productivitate în întreprindere, aplicațiile educaționale și aplicațiile dedicate cercetării științifice sunt excluse în mod explicit din perimetrul legii, sub condiția de a nu include „interacțiune emoțională subestimată”. Această nuanță deschide un spațiu comercial important pentru aplicațiile B2B și utilizările profesionale, prezervând competitivitatea actorilor chinezi pe piețele cu puternică valoare adăugată.

Această reglementare se înscrie în cea de-a cincea mare inițiativă reglementară chineză în materie de IA din 2022, după cele privind algoritmii de recomandare, deepfakes, serviciile de IA generativă și guvernanța marilor modele de limbaj. Beijingul construiește astfel, în ritm alert, un corpus reglementar sectorial ce acoperă în mod progresiv ansamblul spectrului utilizatorilor de IA, cu o coerență doctrinară centrată pe controlul riscurilor sociale și prezervarea stabilității politice.

7.1. Legea chineză privind IA antropomorfică apare la un moment în care regulatorii unional-europeni ezită în a preciza contururile practice ale AI Act, intrat în vigoare în august 2024, dar al cărui conținut nu se aplică decât în mod treptat, într-un interval de timp prelungit prin Digital Omnibus. Abordarea chineză contrastează în mod radical: ea este sectorială, rapidă în aplicare și însoțită de exigențe constrângătoare care forțează o conformitate operațională imediată, mai degrabă decât a urma lungile perioade de tranziție ce acoperă mai mulți ani. Această diferență de metodă reflectă priorități distincte, Beijingul reglementând IA cu două obiective simultane: controlarea riscurilor sociale și politice legate de sistemele capabile să simuleze interacțiunile umane și potențial a vehicula discursuri contrarii valorilor oficiale, previzionând totodată competitivitatea campionilor tehnologici naționali în utilizările profesionale și industriale. Exceptarea explicită a aplicațiilor B2B și științifice arată preocuparea de a nu împiedica inovația în domenii strategice din punct de vedere economic. Este o reglementare politică, cât și o acțiune publică de protecție a consumatorilor. Pentru actorii occidentali care doresc să opereze în China, această lege creează o constrângere suplimentară de integrare în strategiile lor de piață. Aplicațiile de acompaniere de IA, sector în plină creștere reprezentând miliarde de dolari ca valoare tranzacțională, vor trebui reconfigurate pentru piața chineză ori pur și simplu abandonate. Problema datelor acumulate în timpul interacțiunilor emoționale – adesea informații de o intimitate considerabilă asupra utilizatorilor – ridică, de asemenea, mize de conformitate RGPD pentru actorii care operează simultan în Europa și în Asia.

7.2. Chestiunea exportului acestui model reglementar se pune cu acuitate. Mai multe țări din Asia de Sud-Est și din Orientul Mijlociu, influențate în mod tradițional de standardele tehnologice chineze, urmăresc cu atenție o atare inițiativă. Dacă ea este percepută ca eficientă pentru a controla derivele IA de însoțire – dependențe afective, manipulare emoțională a minorilor, uzurpare de identitate – ea ar putea inspira legislații similare mult dincolo de frontierele chineze, creând, totodată, un standard de facto în anumite regiuni ale lumii. Întreprinderile din sectorul IA companion au interesul de a anticipa un val reglementar mai larg, cu impact internațional evident, și de a încerca să se adapteze exigențelor impuse.

Concluzii posibile. Ca regulă generală, nu a existat până la demersul chinez o reglementare specifică pentru „AI companions”, acestea fiind încadrate de dreptul general al inteligenței artificiale și protecția datelor. În Europa, AI Act și RGPD impun în această privință transparența (obligația de informare că este vorba de o IA) și interzic aplicațiile care manipulează comportamentul cognitiv ori care cauzează prejudicii psihologice.

La nivel internațional, regulile rămân în domeniul de soft law. În planul dreptului comparat, China devine primul stat care prin lege, începând din 15 iulie 2026, impune reguli stricte vizând în mod specific limitarea dependenței efective și a riscurilor de adicție legate de aceste avataruri. 

2. CJUE: Google, responsabil pentru conținutul partenerilor săi

Jurisprudența AI – Europa: Curtea de Justiție a Uniunii Europene a stabilit, printr-o hotărâre din 16 iulie 2026, că Google poate fi trasă la răspundere pentru videoclipurile ilegale ce promovează jocuri de noroc pe YouTube, dacă este legată de creatorul de conținut printr-un parteneriat comercial. Instanța a subliniat că analiza prealabilă a canalului pentru încheierea unui astfel de acord exclude statutul de prestator intermediar neutru, eliminând astfel posibilitatea exonerării de răspundere.

Printr-o hotărâre din 16 iulie 2026 (cauza C-421/24), Curtea de Justiție a Uniunii Europene (CJUE) a statuat că firma Google poate fi ținută răspunzătoare de videoclipurile de pe YouTube ale unui creator de conținut, de care era legată printr-un parteneriat comercial. La 19 iulie 2022, autoritatea italiană de tutelă a comunicațiilor (AGCOM) a aplicat Google Ireland Ltd. o amendă de 750.000 euro și i-a ordonat să retragă mai multe videoclipuri de pe YouTube care făceau promoție jocurilor de noroc online, cu încălcarea reglementării italiene în materie. Respectivul videoclip fusese pus online de către un creator de conținut legat de Google printr-un acord de parteneriat comercial, ceea ce presupune un control, purtând, în special, asupra conținutului acestuia. Google a atacat în justiție decizia în cauză. Sesizat cu litigiul, Consiliul de Stat italian a solicitat CJUE, pe calea procedurii preliminare, o interpretare a dreptului unional-european pertinent.

Prin decizia evocată, instanța de la Luxemburg amintește, mai întâi, că dreptul UE exclude jocurile de noroc din câmpul de armonizare în materie de comerț electronic, precum și orice activitate aferentă acestora, pe motivul profundelor divergențe de ordin moral, religios și cultural care există între statele membre asupra acestui subiect. Cu toate acestea, activitatea de găzduire online nu este legată în mod intrinsec de jocurile de noroc, întrucât constă în a stoca, în mod neutru, conținuturile furnizate de utilizator, fără nicio intenție de a le promova. În consecință, postarea de conținuturi publicitare relative la jocurile de noroc online nu aparține câmpului de excludere de la aplicarea dreptului UE, ci li se aplică, în sensul respectiv, reglementarea europeană privind conținutul electronic.

În afară de asta, pentru a beneficia de exonerare de răspundere privind conținuturile publicate pe o platformă, exploatantul trebuie să acționeze în calitate de „prestator intermediar”, adică să exercite o activitate strict tehnică, automatizată și pasivă, excluzând orice cunoaștere ori control al informațiilor transmise ori stocate.

Ceea ce nu este însă cazul atunci când exploatantul examinează, în scopul de a încheia un contract de parteneriat comercial, tema principală a unui canal video, videoclipurile cele mai vizionate ori cele mai recente ale acestuia, precum și metodele asociate. Exploatantul dobândește astfel o cunoaștere concretă a conținutului esențial al unui consumator de video și nu mai poate pretinde deci a acționa ca un prestator intermediar.