SPECIALE: Volti sotto controllo. Il caso del proctoring
Filosofia dal Futuro #13
Ciao, ben trovati al tredicesimo episodio di Filosofia dal Futuro! Da poco è ricominciato l’anno accademico e, quasi in concomitanza con l’inizio delle lezioni, l’Università Bocconi ha ricevuto una multa di 200 mila euro: l’accusa è l’utilizzo illecito del software di proctoring. Per questa ragione e per l’importanza che la lotta alla sorveglianza gioca nella nostra visione del futuro, abbiamo deciso di dedicare questo speciale proprio al tema del proctoring raccontato dalla nostra amica Anna Fasolato. Anna Fasolato è ricercatrice all'Università di Potsdam, dove si occupa di privacy da un punto di vista semiotico e di percezione pubblica.
Se vi piace il nostro lavoro ricordatevi di seguirci su
e su
e se volete supportarci, e ricevere uno splendido poster, potete sempre
Volti Sotto Controllo. Il caso del proctoring
di Anna Fasolato
Se pensiamo alle frasi più comuni pronunciate o scritte da quando è cominciata l’era COVID, sicuramente una di queste è stata: “La pandemia ha accelerato i processi di digitalizzazione”. Un’affermazione senza dubbio vera: per un periodo di tempo, molte attività umane sono state traslate dal mondo fisico a quello digitale e solo così è stato possibile garantirne il proseguimento. Questa migrazione ha portato all’adozione di nuovi software e nuove piattaforme, che portano con loro anche nuovi rischi e criticità.
Tra le novità più invasive del mondo pandemico, ci sono senza dubbio i software di proctoring, introdotti da alcune università europee tra cui la Sorbona di Parigi, la Vrije Universiteit di Amsterdam e l’Università di Torino. Si tratta di strumenti pensati per un controllo dell’ambiente fisico e digitale della persona che sta sostenendo un esame universitario, così da evitare irregolarità durante il suo svolgimento (come la consultazione di appunti, siti web etc.). Esistono diversi meccanismi di proctoring, da quelli più semplici, che bloccano la schermata del browser e adottano una sorta di censura temporanea del dispositivo, a quelli più evoluti, che utilizzano il riconoscimento facciale sfruttando modelli di machine learning per captare movimenti corporei, facciali o oculari, così come rumori vocali, che poi vengono segnalati, se considerati anomali.
In questo senso, i sistemi di proctoring eseguono anzitutto una lettura del volto, che diventa una tavola da interpretare, una miniera di significati che il sistema tecnico estrae e compara con la propria enciclopedia (nel senso che Umberto Eco da a questo termine) per giungere a una conclusione. Il proctoring fa del viso il centro di gravità dell’interpretazione: la viseità, il potenziale semiotico del viso, è messa sotto controllo ed esaminata in maniera totale e sofisticata. Deleuze e Guattari in ‘Mille Piani’ mettono il viso e la sua funzione produttiva, la viseità, al centro della produzione umana di significato:
“La forma del significante nel linguaggio, le sue stesse unità resterebbero indeterminate se l’eventuale ascoltatore non orientasse le sue scelte in funzione del viso di chi parla”
E ancora:
“Il viso costruisce il muro di cui il significante ha bisogno per rimbalzare, costituisce il muro del significante, il quadro e lo schermo”
Questo focus sul volto, questa cattura della viseità, è fondamentale per il proctoring e per altri sistemi di analisi biometrica, come le telecamere a riconoscimento facciale. Attraverso i segni del viso, le sue “zone di frequenza o di probabilità”, i movimenti inconsci, si vanno a triangolarizzare le intenzioni e le azioni dello studente che si trova davanti al dispositivo. Il viso è una tavola, uno schermo secondo i filosofi francesi, su cui si muovono flussi semiotici che vengono continuamente doppiati, riprodotti e analizzati dallo schermo artificiale che si oppone al volto umano.
L’introduzione del software, nato come ausilio allo svolgimento delle prove d’esame, ha presentato criticità di ordine pratico. Innanzitutto, si pone il problema del suo funzionamento, che ha spesso presentato bias o bug, interdicendo il normale svolgimento della prova. Poi, c’è anche l’aspetto economico: molte università hanno investito ingenti somme in questa misura, tralasciandone altre urgenti. Infine, c’è da considerare l’aspetto della privacy dal punto di vista legale, ovvero quanto questi software siano stati progettati per tutelarla e quanto le norme vigenti dettate dal GDPR, il Regolamento Europeo sulla Protezione dei Dati, vengano veramente rispettate nel suo utilizzo.
Iniziamo investigando il suo funzionamento: si può considerare il proctoring come un’interfaccia altamente pervasiva. Esso, infatti, è programmato per applicare un blocco temporaneo alle funzioni globali del computer dell’esaminato: l’interfaccia è fissa sulla pagina dell’esame e l’apertura di altre finestre di navigazione, app o cartelle del desktop è interdetta. Possiamo quindi pensare a tale blocco come a una sorta di censura, secondo la definizione di Cassone:
“Il dispositivo/medium diviene vero e proprio responsabile e soggetto attivo dell’interazione, addirittura in posizione dominante, legandosi nel nostro caso ad una lettura repressiva della censura”
La censura nel proctoring non va intesa come un semplice filtro alla produzione di testi in una data semiosfera, ma come repressione, impadronimento temporaneo, interruzione programmata. È interessante guardare alla traduzione italiana di proctor - censore - e all’etimologia della parola censura, censeo, ovvero “giudico, annuncio, comunico”. Come spiega il semiologo Ugo Volli nel volume Censura, questi due termini sono connessi dal significato che avevano nella Roma del V secolo a.C.: la parola censeo venne applicata alle funzioni dei censori, che non solo registravano le proprietà degli abitanti, ma sindacavano anche sulla loro condotta morale e civile. È qui che la parola censura assume il senso moderno. Azioni quindi, quelle del censore e dell’antropomorfo sistema di proctoring, che implicano “un giudizio etico sul comportamento”, che viene posto a priori: nel caso del proctoring, infatti, il blocco viene posto come precauzione alla possibilità di copiatura. Si implica quindi che lo studente abbia una innata tendenza all’inganno nel contesto dell’esame e si agisce censurando la possibilità che questo raggiro abbia luogo.
La non trasparenza dell’interfaccia di proctoring si rende evidente fin dalle fasi iniziali: l’operazione è accompagnata da rallentamenti più o meno lunghi, che rivelano la presenza di un forte mediatore tecnologico. I software di image detection, di cui i software di proctoring si servono, per esempio, possono presentare delle falle nel loro funzionamento. È il caso di Examsoft, software americano segnalato per i continui fallimenti nel riconoscere il volto di persone di colore. Questo software usa una tecnologia di riconoscimento facciale che abbina l'immagine di uno studente nel suo database all’immagine che lo studente scatta immediatamente prima di un esame. L’algoritmo si è però mostrato più volte incapace di riconoscere un volto di una persona di colore, segnalando come errore la poca illuminazione, nonostante gli studenti fossero in una stanza sufficientemente illuminata. Un errore del genere, già registrato in altri sistemi di riconoscimento facciale, denuncia anzitutto che il sistema è stato allenato su un dataset limitato, a maggioranza di volti bianchi. Certamente, in un ambiente che si dice inclusivo come quello dell’istruzione, tali bias andrebbero evitati.
Gli algoritmi di riconoscimento facciale, nel caso del proctoring, vengono anche addestrati a identificare movimenti sospetti del volto: una rotazione troppo ampia della testa o degli occhi dell’esaminato potrebbero venire interpretati dal software come segno di un’azione non consentita, come la consultazione di appunti. Il volto dello studente, il suo sguardo diventano il centro del controllo applicato dal software che si mostra ancora una volta nella sua pervasività applicando un blocco totale del dispositivo in caso di sospetta copiatura. La sentenza finale spetta però sempre all'insegnante, che revisiona la registrazione del volto fatta dal sistema, per decretare se l’azione possa essere considerata illecita o semplicemente un movimento distratto. È quindi l’occhio umano a supervisionare in ultima istanza quello tecnologico.
Il proctoring potrebbe sembrare ad un osservatore superficiale un semplice ausilio alla didattica, così come lo sono le lavagne elettroniche o i proiettori. Ci sono però dei gradi di complessità che si stratificano nell’adozione di questo software da parte dell'istituzione università e che hanno a che vedere con il modo in cui la società si è evoluta nell’era digitale. Gli sviluppatori del proctoring sembrano obbedire alle leggi di quello che Shoshana Zuboff ha definito “capitalismo della sorveglianza”: essi implementano sistemi tecnici per risolvere presunti problemi sociali, nascondendo così il cuore del loro business model, cioè l’estrazione di dati.
Il capitalismo della sorveglianza si riproduce attraverso l’ideologia del tecno-soluzionismo, così definita dal sociologo Evgeny Morozov: si tratta della tendenza ad applicare e preferire soluzioni di tipo tecnico ai problemi complessi del presente, senza considerare i diversi aspetti che la tecnologia non può risolvere. La scelta di molte università europee (e non solo) di adottare i software di proctoring dopo l’avvento della pandemia sembra rispondere a queste logiche: davanti ai disagi causati dall’emergenza sanitaria si guarda all’aspetto tecnico dei problemi, tralasciando quelli economici e sociali.
Questo atteggiamento ha scatenato in alcuni casi le proteste degli studenti, come nel caso di Torino. Dopo l’adozione del software ProctorExam da parte dell’Università di Torino, gli studenti hanno risposto con l’occupazione dello studio del Rettorato, durato una settimana. Le rivendicazioni degli studenti riguardano le conseguenze sociali della pandemia, che ha causato, soprattutto nelle fasi iniziali, disagi nel sostenimento degli esami, la perdita di spazi comuni per lo studio, nonché un disagio economico nella prosecuzione degli studi. Alle richieste degli studenti di intervento per la diminuzione delle tasse universitarie, per l’introduzione di un semestre bonus per il recupero degli esami e, soprattutto, alla richiesta che la DAD non sia sostitutiva alla didattica in presenza, l’organizzazione universitaria sembra essere sorda, come riportato anche dall’Ansa.
L’unica soluzione vera e concreta proposta è stata, quindi, di tipo tecnico, con l’introduzione di un monitoraggio dello studente che invade la propria sfera privata. Questo comporta due ulteriori livelli di complessità: quello del consenso e quello della privacy. Per quanto riguarda il primo, il GDPR afferma che il consenso deve essere dato esplicitamente e liberamente. Il responsabile della pratica di protezione di dati per l’Unione Europea, Van Eecke, ha sottolineato la difficoltà di considerare libero un consenso che viene da un rapporto di squilibrio di autorità. Dal lato della privacy, invece, non è sempre chiaro a quali terzi vengano rilasciati i dati e nemmeno la località in cui vengono immagazzinati. Tutti questi fattori rendono il campo del proctoring e del suo design, uno scenario primariamente politico, soprattutto nel difficile contesto pandemico.
Non si sono fatti attendere i primi provvedimenti del Garante della privacy italiano in favore degli studenti sottoposti agli esami con sistemi di proctoring: il 16 Settembre 2021 l’Università Luigi Bocconi è stata multata con una somma di 200.00 per avere violato, tramite l’utilizzo del software di proctoring statunitense Respondus, diverse norme previste dal GDPR. Ciò che viene evidenziato dal Garante è che gli studenti non hanno innanzitutto ricevuto le adeguate informazioni sulla conservazione dei dati, sui loro possibili trasferimenti negli Stati Uniti (sede della società proprietaria del software) e nessuna spiegazione sulla logica coinvolta nella profilazione degli studenti fatta dal software. L’università ha infatti mancato di informare gli studenti che durante il test il software avrebbe dapprima scattato una fotografia del loro volto e successivamente controllato la loro posizione, oltre che le disconnessioni dalla rete internet, e che avrebbe registrato audio e video, violando in questo modo gli articoli 5, 12 e 13 del Regolamento. Il Garante ha anche ritenuto che siano state raccolte molte più informazioni rispetto a quelle strettamente necessarie per il sostenimento dell’esame e che l’università abbia mancato di valutare l’impatto sulla protezione dei dati, mancando di tenere in considerazione il principio della protezione dei dati per design e per default, contenuti nell’articolo 25.
Secondo questi due principi, il software dovrebbe essere stato progettato per raccogliere solo i dati strettamente necessari (privacy by design) e, successivamente, nel suo utilizzo si dovrebbe aver controllato che questo stesse realmente accadendo (privacy by default). La Bocconi non ha inoltre fornito nessuna prova di valutazione riguardo alla conformità della legislazione del paese terzo (gli Stati Uniti) in merito a trattamento e conservazione di dati con il GDPR, violando così gli articoli 28, 44 e 46. Infine, il trattamento dei dati biometrici è stato fatto senza una base giuridica, come previsto dall’articolo 9: l'università aveva indicato il consenso come base giuridica adeguata, ma, visto lo squilibrio di potere tra l’Istituzione e l’alunno, non è possibile parlare di vero e proprio consenso.
È importante comprendere come l’interfaccia di proctoring sia un campo anzitutto politico, in cui diverse forze e concezioni valoriali del mondo, si incontrano e scontrano. Abbiamo visto come il passaggio (temporaneo?) dal luogo fisico al luogo digitale ha necessitato l’introduzione di strumenti per riprodurre le dinamiche comunicative e relazionali e come i sistemi di proctoring basino il proprio funzionamento sull’analisi del volto, che è storicamente legato all’identificazione della persona ed è considerato la condicio sine qua non del riconoscimento del soggetto: non esiste soggetto senza volto. E’ però il caso di ponderare accuratamente sull’introduzione di tecnologie così invasive in un ambito di pubblico interesse come l'università. Qualora invece, la pervasività del controllo sfuggisse ad ogni appello di ragionevolezza, una linea di fuga potrebbe esistere nel disfacimento del volto, nel superamento di questa interfaccia semiotica che viene sempre di più sfruttata per la disciplina, nella direzione deleuziana che va “verso l’a-significante, verso l’a-soggettivo”, per arrivare oltre la “soggettività strutturata” ed il paradigma di cattura che la circonda.
Se e quando i sistemi di proctoring conosceranno un’ulteriore fortuna, è probabile che emergeranno nuove forme di resistenza e di offuscamento verso questa interfaccia, come già accaduto in altri casi di controllo biometrico. Il volto è il nuovo campo di battaglia.