Bien que les sources de biais dans les systèmes d’IA soient variées, l’une des principales causes est les stéréotypes.
Pour aider à résoudre ce problème en elleÀ l'origine, les chercheurs du Princeton Visual AI Lab ont développé un outil open source qui détecte automatiquement les corruptions potentielles dans les ensembles de données visuelles. L'outil permet aux créateurs et aux utilisateurs de jeux de données de corriger les problèmes de sous-représentation ou d'imagerie stéréotypée avant que les collections d'images ne soient utilisées pour former des modèles de vision par ordinateur. Dans un article connexe, les membres du Visual AI Lab ont publié une comparaison des techniques de prévention des biais existantes dans les modèles de vision par ordinateur eux-mêmes et ont proposé une nouvelle approche plus efficace de la réduction des biais.
Le premier outil, appelé REVISE, utiliseméthodes statistiques pour examiner un ensemble de données à la recherche de biais potentiels ou de problèmes de sous-représentation selon trois dimensions : objet, sexe et géographie.
REVISE évalue le contenu de l'ensemble de données,en utilisant des annotations et des mesures d'images existantes telles que le nombre d'objets, la présence combinée d'objets et de personnes, et le pays d'origine des images. Parmi ces mesures, l'outil identifie des modèles qui diffèrent de la distribution médiane.
Dans un ensemble de données, REVISE a identifié un potentielbiais de genre dans les images représentant des personnes (rectangles rouges) et l'orgue d'un instrument de musique (rectangles bleus). Une analyse de la distribution des distances tridimensionnelles estimées entre une personne et un organe a montré que les hommes étaient généralement représentés comme jouant réellement de l'instrument, tandis que les femmes étaient souvent simplement dans le même espace que l'instrument. Crédit: Princeton Visual AI Lab.
Par exemple, dans l'un des ensembles testésLes données REVISE ont montré que les images impliquant des personnes et des fleurs différaient entre les hommes et les femmes : les hommes étaient plus susceptibles d'apparaître avec des fleurs lors de cérémonies ou de réunions, et les femmes étaient plus susceptibles d'apparaître dans des décors ou des peintures mis en scène.
Une fois que l'outil détecte ce type deEn cas de divergences, « la question se pose de savoir s'il s'agit d'un fait totalement inoffensif ou s'il se passe quelque chose de plus important, et cela est très difficile à automatiser », explique Olga Rusakovskaya, professeur adjoint d'informatique et chercheuse principale du Visual AI Lab.
«La pratique de collecter des ensembles de données sur ordinateurla science jusqu'à récemment n'a pas été étudiée de manière aussi approfondie », conclut la co-auteure Angelina Wang, étudiante diplômée en informatique. Elle explique que les images proviennent principalement «d'Internet et que les gens ne comprennent pas toujours que leurs images sont utilisées [dans des ensembles de données]. Nous devons collecter des images de groupes de personnes plus divers et le faire avec respect. "
Lisez aussi:
Il est possible de créer un réacteur thermonucléaire sur Terre. Quelles seront les conséquences?
Le glacier Doomsday s'est avéré plus dangereux que les scientifiques ne le pensaient. Nous disons l'essentiel
Au jour 3 de la maladie, la plupart des patients atteints de COVID-19 perdent leur odorat et souffrent souvent d'un nez qui coule