Functiile gandite de Apple pentru a proteja impotriva abuzului sexual au potentialul de a genera consecinte nedorite.
Apple a lansat recent trei noi functii menite sa mentina siguranta copiilor. Una dintre ele, numita “Siguranta comunicarii in Mesaje” va scana mesajele copiilor cu varsta mai mica de 13 ani pentru a identifica si blura imaginile explicite sexual si pentru a anunta parintii daca cei mici deschid sau trimit un mesaj care contine o astfel de imagine.
Desi in prima instanta aceasta noua functie poate parea un mod bun de a reduce riscul de exploatare a copiilor de catre raufacatorii adulti, ea poate face mai mult rau decat bine.
Potentialul negativ al tehnologiei Apple
Desi ne dorim ca toti parintii sa fie interesati sa-si mentina copiii in siguranta, din pacate lucrurile nu se intampla asa pentru un numar mare de copii. Tinerii LGBTQ+, in mod deosebit, sunt expusi riscului violentei parentale si abuzurilor, si de doua ori mai predispusi decat ceilalti sa devina oameni ai strazii. In plus, ei reprezinta 30% din copiii care ajung in centrele de plasament. Pe de alta parte, tot copiii din acest grup sunt mai predispusi sa trimita imagini explicite precum cele pe care Apple isi propune sa le detecteze si sa le raporteze, in parte din pricina lipsei disponibilitatii educatiei sexuale.
Notificarea parintilor cu privire la comportamentul copiilor in cadrul fluxului de mesaje le poate dezvalui acestora preferintele sexuale ale copiilor, ceea ce poate conduce la violenta si chiar si la lipsa unui camin.
Aceste efecte daunatoare sunt amplificate de faptul ca e putin probabil ca tehnologia care sta la baza acestei functii sa fie foarte exacta in detectarea imaginilor explicite daunatoare. Apple spune ca va folosi “invatarea automata on-device pentru a analiza atasamentele imagine si pentru a determina daca o imagine este explicita sexual”.
Toate imaginile trimise sau primite de catre un cont Apple detinut de o persoana cu varsta sub 13 ani vor fi scanate si se vor trimite notificari parentale daca acest cont este asociat unui cont parental indicat.
Recunoasterea imaginilor – cat de infailibila este?
Nu este clar cum va functiona acest algoritm si nici ce va detecta el in mod precis. O parte din algoritmii de detectare a continutului explicit sexual marcheaza continutul in functie de procentajul de piele expusa. Astfel, algoritmul poate semnala o poza a unei mame cu fiica sa la plaja, in costume de baie. Daca doi tineri isi trimit o imagine a unei vedete imbracate sumar, parintii lor ar putea fi informati cu privire la acest mesaj.
Recunoasterea imaginilor este o problema dificila, iar algoritmii existenti – de pilda cei folositi pentru detectarea faciala – au distorsiuni cunoscute, inclusiv fatul ca esueaza in mod frecvent in a detecta fetele non-albe.
Riscul ca sistemul Apple sa aiba inadvertente este extrem de mare, pentru ca majoritatea algoritmilor de detectare a nuditatii publicati in lucrari academice sunt antrenati cu imagini ale adultilor. Apple nu a oferit niciun fel de transparenta cu privire la algoritmul folosit, astfel ca nu stim nimic despre cat de bine va functiona, mai ales pentru detectarea imaginilor pe care tinerii si le fac singuri – care se presupune ca sunt cele mai ingrijoratoare.
Aceste probleme de acuratete a algoritmilor sunt ingrijoratoare pentru ca risca sa dezechilibreze asteptarile tinerilor. Cand facem un exces de zel in etichetarea unui comportament ca fiind “rau” sau “periculos” – chiar si distribuirea de poze in costume de baie intre adolescenti – blocam de fapt capacitatea tinerilor de a detecta cand li se intampla ceva cu adevarat daunator.
Intimitate si intruziune
Mai mult, simpla existenta si activare a acestei functii ii invata pe copii ca nu au dreptul la intimitate. Eliminandu-le intimitatea si dreptul de a-si da consimtamantul facem exact opusul a ceea ce sugereaza recomandarile UNICEF bazate pe dovezi, pentru prevenirea exploatarii sexuale si abuzului copiilor in mediul online si offline.
Pe de alta parte, aceasta functie nu risca numai sa faca rau, ci deschide si calea unor intruziuni si mai mari in conversatiile private, inclusiv intruziuni guvernamentale.
Trebuie sa facem lucrurile mai bine cand vine vorba despre conceperea tehnologiei prin care sa mentinem siguranta online a copiilor.
O alta abordare tehnologica
Un astfel de demers trebuie sa porneasca de la implicarea potentialelor victime in designul sistemelor de siguranta. Asa cum sugereaza o miscare din ce in ce mai ampla cu privire la design justice, implicarea persoanelor cele mai afectate de o tehnologie este un mod eficient de a preveni efectele negative si de a concepe solutii mai eficiente.
Pana acum, tinerii nu au luat parte la conversatiile derulate de companiile de tehnologie sau de cercetatori. Ar trebui sa o faca!
Trebuie sa ne amintim, de asemenea, ca tehnologia nu poate rezolva de una singura problemele societatii. Este important sa ne concentram resursele si eforturile in primul rand pe prevenirea situatiilor daunatoare. De pilda, urmand recomandarile UNICEF bazate pe cercetari, de a extinde programele de educatie sexuala complete si bazate pe consimtamant, care ii pot ajuta pe tineri sa invete si sa isi dezvolte sexualitatea in conditii de siguranta.
