Embora as fontes de preconceito nos sistemas de IA sejam variadas, uma das principais causas são os estereótipos.
Para ajudar a resolver esse problema nelaOriginalmente, os pesquisadores do Princeton Visual AI Lab desenvolveram uma ferramenta de código aberto que detecta automaticamente possíveis corrupções em conjuntos de dados visuais. A ferramenta permite que os criadores de conjuntos de dados e usuários corrijam a sub-representação ou problemas de imagem estereotipados antes que as coleções de imagens sejam usadas para treinar modelos de visão por computador. Em um trabalho relacionado, os membros do Visual AI Lab publicaram uma comparação das técnicas de prevenção de viés existentes nos próprios modelos de visão por computador e propuseram uma abordagem nova e mais eficaz para a redução de viés.
A primeira ferramenta, chamada REVISE, utilizamétodos estatísticos para examinar um conjunto de dados em busca de possíveis preconceitos ou problemas de sub-representação em três dimensões: objeto, gênero e geografia.
REVISE avalia o conteúdo do conjunto de dados,usando anotações e medidas de imagens existentes, como o número de objetos, a presença combinada de objetos e pessoas e o país de origem das imagens. Entre essas medidas, a ferramenta identifica padrões que diferem da distribuição mediana.
Em um conjunto de dados, REVISE identificou um potencialviés de gênero em imagens que retratam pessoas (retângulos vermelhos) e o órgão de um instrumento musical (retângulos azuis). Uma análise da distribuição das distâncias tridimensionais estimadas entre uma pessoa e um órgão mostrou que os homens geralmente eram retratados como realmente tocando o instrumento, enquanto as mulheres frequentemente estavam simplesmente no mesmo espaço que o instrumento. Crédito: Princeton Visual AI Lab.
Por exemplo, em um dos conjuntos testadosOs dados do REVISE mostraram que as imagens envolvendo pessoas e flores diferiam entre homens e mulheres: os homens eram mais propensos a aparecer com flores em cerimônias ou reuniões, e as mulheres eram mais propensas a aparecer em cenários ou pinturas.
Assim que a ferramenta detectar esse tipo dediscrepâncias, “surge a questão se este é um fato completamente inofensivo ou se há algo mais importante acontecendo, e isso é muito difícil de automatizar”, explica Olga Rusakovskaya, professora assistente de ciência da computação e investigadora principal do Visual AI Lab.
“A prática de coletar conjuntos de dados no computadora ciência até recentemente não tinha sido estudada tão profundamente ”, conclui a coautora Angelina Wang, uma estudante de graduação em ciência da computação. Ela explica que as imagens são em sua maioria “da Internet, e as pessoas nem sempre entendem que suas imagens estão sendo usadas [em conjuntos de dados]. Precisamos coletar imagens de grupos de pessoas mais diversos e fazer isso com respeito. "
Leia também:
É possível criar um reator termonuclear na Terra. Quais serão as consequências?
A geleira Doomsday revelou-se mais perigosa do que os cientistas pensavam. Nós contamos o principal
No terceiro dia de doença, a maioria dos pacientes com COVID-19 perde o olfato e geralmente sofre de corrimento nasal