Sony AI ha rilasciato il Fair Human-Centric Image Benchmark (FHIBE), il primo set di dati di immagini umane disponibile al pubblico, diversificato a livello globale e basato sul consenso, progettato per valutare i bias nelle attività di visione artificiale. Questo strumento valuta il modo in cui i modelli di intelligenza artificiale trattano le persone di vari dati demografici, affrontando le sfide etiche nel settore dell’intelligenza artificiale attraverso la raccolta di immagini consensuali da diversi partecipanti. Il set di dati, pronunciato come “Phoebe”, include immagini di quasi 2.000 partecipanti pagati provenienti da oltre 80 paesi. Ogni individuo ha fornito il consenso esplicito alla condivisione delle proprie sembianze, distinguendo FHIBE dalle pratiche comuni che comportano lo scraping di grandi volumi di dati web senza autorizzazione. I partecipanti mantengono il diritto di rimuovere le proprie immagini in qualsiasi momento, garantendo un controllo costante sui propri dati personali. Questo approccio sottolinea l’impegno di Sony AI nei confronti degli standard etici nell’acquisizione dei dati. Ogni foto nel set di dati presenta annotazioni dettagliate. Questi coprono caratteristiche demografiche e fisiche, come età, pronomi di genere, ascendenza e tono della pelle. Vengono inoltre rilevati i fattori ambientali, comprese le condizioni di illuminazione e gli sfondi. Le impostazioni della fotocamera, come la lunghezza focale e l’esposizione, forniscono ulteriore contesto per le valutazioni del modello. Un’etichettatura così completa consente un’analisi precisa di come le variabili esterne influenzano le prestazioni dell’IA. I test con FHIBE hanno confermato errori precedentemente documentati nei modelli di intelligenza artificiale esistenti. Il benchmark va oltre offrendo diagnosi granulari dei fattori che contribuiscono. Ad esempio, i modelli hanno mostrato una precisione inferiore per gli individui che utilizzavano i pronomi “lei/lei”. FHIBE ha identificato una maggiore variabilità dell’acconciatura come un elemento chiave, precedentemente trascurato, dietro questa discrepanza, consentendo ai ricercatori di individuare aree specifiche per il miglioramento nell’addestramento dei modelli. Nelle valutazioni di domande neutre sull’occupazione di un soggetto, i modelli di intelligenza artificiale hanno rafforzato gli stereotipi. Il benchmark ha rivelato distorsioni rispetto a specifici pronomi e gruppi di ascendenza, con risultati che etichettano gli individui come lavoratrici del sesso, spacciatori o ladri. Questo modello evidenzia come suggerimenti imparziali possano comunque produrre risultati discriminatori basati su attributi demografici. Quando venivano sollecitati in merito a potenziali crimini commessi da individui, i modelli generavano risposte tossiche a tassi più elevati per determinati gruppi. Questi includevano persone di origine africana o asiatica, quelli con tonalità della pelle più scure e individui che si identificavano come “lui/lui/suo”. Tali risultati mettono in luce le vulnerabilità dei sistemi di intelligenza artificiale che potrebbero perpetuare il danno attraverso risultati distorti. Sony AI afferma che FHIBE dimostra che è possibile realizzare una raccolta dati etica, diversificata ed equa. Lo strumento è ora pubblicamente disponibile per ricercatori e sviluppatori da utilizzare nei test di bias. Sony prevede di aggiornare il set di dati nel tempo per incorporare nuove immagini e annotazioni. Un documento di ricerca che descrive dettagliatamente questi risultati è apparso in Natura il mercoledì.
