Il 30 dicembre il tribunale di Bologna ha emesso un'ordinanza, firmata dalla giudice Chiara Zompì, che definisce discriminatorio l'algoritmo utilizzato da Deliveroo, piattaforma di consegna del cibo a domicilio, per gestire le prenotazioni delle sessioni di lavoro da parte dei rider, condannando l'azienda a pagare 50 000 euro di risarcimento alle organizzazioni sindacali che hanno fatto ricorso oltre a sostenere le spese legali (il testo dell'ordinanza è consultabile qui).
«È probabilmente il primo caso in cui un algoritmo viene chiamato a comparire
in tribunale e ritenuto illegittimo in Europa nel rapporto tra privato e
privato», commenta Mario Guglielmetti, legale presso lo European Data
Protection Supervisor (EDPS), l'autorità europea indipendente per la protezione
dei dati personali. E aggiunge «esistono diversi precedenti riguardanti
algoritmi utilizzati da soggetti pubblici, come ad esempio il sistema SiRy che stimava la probabilità dei cittadini
olandesi di commettere frode ai danni dello Stato, sospeso a febbraio dalla
corte distrettuale dell'Aia perché accusato di violare i diritti umani. Il
pronunciamento del tribunale di Bologna è il primo in cui un sistema automatico
viene considerato illegittimo nel rapporto tra due soggetti privati, come sono
da considerarsi Deliveroo e i riders, che l'azienda inquadra come collaboratori
autonomi»1.
L'algoritmo su cui si è espressa la giudice Zompì è quello che stabilisce le
priorità di accesso al sistema di prenotazione delle sessioni di lavoro. Il
funzionamento di questo algoritmo non è chiaro e durante il procedimento è
stato ricostruito solo grazie alle testimonianze di alcuni fra i ciclofattorini
che si sono rivolti alle associazioni sindacali per ricorrere contro l'azienda.
Deliveroo non ha infatti fornito alcun dettaglio a riguardo. «Questo rende
particolarmente significativa questa ordinanza: l'opacità dei sistemi
automatici di assistenza alla decisione non è più sufficiente a proteggere le
aziende e sollevarle dalle loro responsabilità nei confronti dei lavoratori»,
afferma Massimo Durante, professore associato all'Università di Torino,
filosofo del diritto ed esperto di governance algoritmica (il suo ultimo libro
in italiano è 'Potere computazionale', edito da Meltemi).
Ma come funziona l'algoritmo in questione e in che modo è discriminatorio? Si
tratta del sistema che assegna le priorità di accesso al "self-service
booking", la prenotazione delle sessioni di lavoro settimanali. Ogni
lunedì i rider iscritti alla piattaforma hanno la possibilità di prenotare le
sessioni di lavoro della settimana. Ma non lo fanno tutti nello stesso momento.
Coloro che hanno un punteggio reputazionale maggiore, infatti, possono accedere
alla prenotazione dalle 11 del lunedì. Chi è in posizione intermedia vi accederà
dalle 15, i rider che occupano i posti più bassi della classifica solo dalle 17
in poi. Chi accede più tardi ha meno possibilità di scelta. Secondo uno dei
testimoni accedendo alle 11 si possono prenotare fino a 40 ore settimanali,
alle 15 ci si assicura tra le 13 e le 17 ore settimanali, mentre alle 17 le
sessioni settimanali ancora disponibili superano difficilmente le due ore. Le
prime sessioni a essere prenotate sono quelle del weekend, in cui il numero di
consegne è sensibilmente più alto e dunque le possibilità di guadagno maggiori.
Molto, insomma, dipende dal punteggio reputazionale che, nella ricostruzione
del procedimento, viene stabilito dall'algoritmo in base a due indici:
affidabilità e partecipazione. L'affidabilità decresce quando il lavoratore non
esegue l'accesso alla piattaforma entro i primi 15 minuti dall'inizio della
sessione di lavoro localizzandosi nell'area per cui ha dato disponibilità a
eseguire il servizio di consegna, tranne nel caso in cui l'abbia cancellata
almeno 24 ore prima. La partecipazione invece aumenta con il numero di sessioni
di lavoro in cui il rider ha prestato il suo servizio durante i periodi di
picco, dalle 20 alle 22 di venerdì, sabato e domenica. Se un rider non cancella
la sua prenotazione con sufficiente anticipo per via di uno sciopero a cui
vuole prendere parte o per motivi di salute o di cura dei figli minori,
l'algoritmo comunque lo giudicherà meno affidabile e lo farà scendere nella
classifica reputazionale mettendo a rischio la sua priorità di accesso alle
prenotazioni. In sostanza l'algoritmo tratta in maniera uguale tutte le
cancellazioni avvenute troppo tardi, considerando cioè irrilevanti i motivi
della mancata partecipazione alla sessione prenotata. In questo consiste,
secondo la giudice, la discriminazione indiretta, un comportamento che a causa
della sua uniformità riserva un trattamento ingiusto a un determinato gruppo di
soggetti (in questo caso i lavoratori che legittimamente desiderano partecipare
a uno sciopero o che hanno problemi di salute che gli impediscono di rispettare
l'impegno preso).
La giudice ha sottolineato che l'algoritmo è in grado di contemplare delle
eccezioni, nel caso in cui si verifichi un incidente nel turno precedente a
quello a cui il rider non partecipa o nel caso in cui la piattaforma che
gestisce i rider si blocchi e diventi inaccessibile. In queste due circostanze
infatti la mancata partecipazione del lavoratore alla sessione prenotata non
viene considerata ai fini del calcolo delle statistiche reputazionali. Sarebbe,
dunque, bastata la volontà da parte dell'azienda di tenere in considerazione il
diritto allo sciopero, diritto costituzionalmente garantito, per adeguare di
conseguenza l'algoritmo. L'ordinanza potrebbe avere rilevanza nazionale, visto
che il sistema con cui Deliveroo ha gestito le priorità di accesso alle
prenotazioni da parte dei rider è stato in uso su tutto il territorio
nazionale.
«L'altro elemento estremamente interessante di questa sentenza è che inverte,
seppur parzialmente, l'onere della prova nell'ambito di un giudizio
antidiscriminatorio che si applica al funzionamento di un algoritmo», commenta
ancora Durante, «la giudice ha infatti accettato le testimonianze delle parti
ricorrenti a prova degli effetti discriminatori dell'algoritmo sui lavoratori
chiedendo all'azienda di provare l'insussistenza della discriminazione».
Deliveroo, dal canto suo, non ha fornito a riguardo alcun dettaglio, a parte
dichiarare che il sistema non è più utilizzato dal 2 novembre 2020 e che anche
prima di quella data i rider hanno sempre avuto un'alternativa alla
prenotazione, quella del cosiddetto free login. «L'azienda ha
accettato la ricostruzione del funzionamento del sistema automatizzato emersa
in corso di causa, piuttosto che dimostrare il contrario svelando la cosiddetta
black box della intelligenza artificiale utilizzata»commenta ancora
Guglielmetti, «questo ha impedito di condurre un vero audit tecnologico
sull'algoritmo», conclude.
Non sappiamo infatti se l'algoritmo sia un sistema di machine learning, i cui
risultati cambiano a seconda della base di dati su cui vengono allenati e i cui
effetti possono essere difficili da valutare a priori, o piuttosto si tratti di
un più semplice software pre-programmato secondo un sistema di regole scelte
dall'azienda per massimizzare i suoi obiettivi di profitto e di cui è molto più
semplice prevedere i difetti e i limiti. Ma è ormai sempre più evidente che
anche sistemi molto semplici possono generare discriminazione e ingiustizia.
Ne è un esempio recente il caso dell'algoritmo utilizzato per la pianificazione delle campagne
vaccinali contro COVID-19 all'ospedale di Stanford. A metà dicembre un
centinaio di medici, dipendenti dell'ospedale, hanno manifestato davanti agli
ambulatori dove venivano effettuate le prime vaccinazioni. Solo 7 degli oltre
1300 medici della struttura erano stati inclusi nella somministrazioni delle
prime 5000 dosi. La decisione era stata presa in base ai risultati di un
algoritmo che considerava una serie di variabili per ciascun dipendente, tra
cui l'età e il livello di esposizione al contagio. Evidentemente, però,
l'algoritmo faceva male il suo lavoro, visto che aveva escluso gran parte del
personale sanitario che da mesi è impegnato in prima linea nel contrastare
l'epidemia. Come approfondito più avanti da MIT Technology Review, l'errore è stato non rivedere i
risultati che l'algoritmo produceva quando riceveva come input i dati relativi
ai dipendenti di quell'ospedale. Il problema, insomma, non è usare una
procedura automatizzata ma piuttosto non essere disposti a rivederne il
funzionamento anche di fronte all'evidenza che questa sia difettosa.
L'ordinanza del tribunale di Bologna è importante anche dal punto di vista del
diritto del lavoro. In un intervento sulla rivista Il Mulino, Antonio Aloisi e
Valerio de Stefano, autori del volume 'Il mio capo è un algoritmo. Contro il
lavoro disumano' edito da Laterza, notano come autonomia e indipendenza dei
lavoratori delle piattaforme digitali siano di fatto virtuali e che questo sia
stato ormai riconosciuto da diversi tribunali in Europa (tra gli ultimi
esempi la sentenza del tribunale di Palermo del novembre 2020 che ha
imposto a Glovo di assumere a tempo indeterminato uno dei suoi ciclofattorini).
La giudice Zompì, sottolineano i due giuristi, si è però concentrata su un
altro aspetto, quello della responsabilità dell'azienda riguardo le decisioni
prese automaticamente sulla base di valutazioni statistiche. In altre parole la
corte è andata oltre il formalismo dell'inquadramento del rapporto di lavoro e
ha affermato un principio: è ora di guardare dentro alle scatole nere degli
algoritmi e correggerne i difetti se non si vuole incorrere in giudizi come
quello di Bologna. Nell'affermare questo principio si comunica anche un altro
concetto centrale al problema della governance algoritmica: i sistemi
automatici non sono né neutri, né oggettivi. Come ha scritto la giornalista
Cathy O'Neil nel suo libro 'Weapons of Math Destruction': «i modelli non sono
altro che opinioni scritte nel linguaggio della matematica».
L'obbligo alla trasparenza e alla conoscibilità dei sistemi automatici di
assistenza alla decisione è stabilito anche dagli articoli 14 e 22 del
Regolamento europeo sulla protezione dei dati personali (GDPR), entrato in
vigore nel 2018. L'ordinanza di Bologna non vi fa riferimento, probabilmente
perché la questione non viene invocata dalle parti ricorrenti, cioè le organizzazioni
sindacali. Esistono però altre cause in corso che si appellano proprio al GDPR,
come quella intentata contro
Uber dal sindacato britannico App Drivers & Couriers Union, per conto di un
migliaio di autisti che si sono visti disattivare gli account
ingiustificatamente. In questo caso i ricorrenti sostengono che un sistema
automatico ha preso una decisione rilevante per la loro vita, li ha licenziati,
fatto considerato illegittimo proprio dall'articolo 22 del GDPR.
Note
1. Guglielmetti non
conosce i dettagli del procedimento e ha espresso le sue valutazioni a titolo
personale e non in qualità di dipendente dello EDPS.
Nessun commento:
Posta un commento