Andrei Ustyuzhanin— Chefe do Laboratório de Pesquisa e Educação de Métodos de Análise de Big Data da Escola Superior de Economia da National Research University.
Formado pelo Instituto de Física e Tecnologia de Moscou em 2000, candidato a ciências físicas e matemáticas. Um dos jurados da final internacional da Microsoft Imagine Cup, antes disso foi mentor da equipe do MIPT que conquistou a taça em 2005.
Como procurar anomalias nos dados do Large Hadron Collider
O que são anomalias de dados?
— Se falamos de dados obtidos usandoGrande Colisor de Hádrons (LHC), essas podem ser descobertas que não se enquadram nas ideias padrão sobre como ocorrem os decaimentos de partículas após colisões de prótons. Essas descobertas serão anomalias.
Por exemplo, se estamos falando de cotações de ativosna bolsa de valores, as anomalias podem ocorrer devido ao fato de um determinado fundo de hedge decidir bombear um ativo ou a Wall Street Bets decidir ganhar dinheiro extra e criar seu próprio fundo de hedge distribuído. Ou seja, a física é completamente diferente, e a manifestação dessa física nos dados também não é semelhante a outros casos.
Portanto, se falamos de anomalias, primeiro precisamos entender de quais dados e de que física estamos falando.
— Então vamos esclarecer com foco em colisores.
- Aqui é um pouco mais fácil, embora também surjagarfo. O fato é que existem dados sobre que tipo de processos ocorrem com as partículas dentro do detector. E há dados sobre como esse colisor funciona. As pessoas que estão interessadas principalmente em descobrir novas partículas ou leis estão interessadas principalmente no primeiro tipo de dados. Mas o fato é que tudo o que acontece na física passa por uma longa cadeia de coleta e processamento dessas informações. E se algum dos nós dessa cadeia começar a se comportar não tão bem quanto imaginávamos, ou seja, ultrapassar certos limites do permissível, isso introduz uma distorção nas medidas. Podemos ver anomalias no lugar onde elas, em geral, não estavam na física.
Descobertas que não se encaixam nas ideias padrão sobre como ocorrem os decaimentos de partículas ali, surgindo após a colisão de prótons, serão anomalias
Para evitar tais acontecimentos desagradáveis, as pessoaseles escrevem sistemas especiais de controle de qualidade de dados que monitoram todos os dados nos instrumentos de medição e tentam excluir da consideração aqueles períodos de tempo em que há suspeita de que algo está errado.
Um dos exemplos que as pessoas gostam de falarfísicos do LHC, foi que nos estágios iniciais da operação do colisor notaram anomalias que não se enquadravam nos conceitos físicos. Ainda não existia o LHC, mas sim a sua versão anterior. Como resultado, os físicos descobriram que a correlação é muito séria com o horário dos trens da ferrovia, que fica nas proximidades. E se você fizer ajustes associados a essas flutuações, obterá uma imagem não física do mundo.
É necessário levar em conta fatores externos e ser capaz deentender quais deles precisam ser compensados corretamente. A solução mais simples: vamos jogar fora os dados que não se enquadram na imagem usual do mundo. Histórias mais complexas consistem em tentar retornar essas anomalias, usando princípios físicos e compreensíveis, aos dados normais e tentar se beneficiar delas.
Descartar dados é um desperdício de recursos orçamentários. Cada kilobyte-megabyte tem um preço determinado.
Andrey Ustyuzhanin, chefe do Laboratório de Pesquisa e Educação para Métodos de Análise de Big Data na Escola Superior de Economia da Universidade Nacional de Pesquisa
- E, nesse sentido, como a anomalia pode ser detectada nesses dados usando um sistema de aprendizado de máquina?
— Existem dois grupos de tais algoritmos, quetrabalhar com anomalias. O primeiro grupo de métodos de classificação de uma classe inclui algoritmos que usam informações apenas sobre os eventos marcados como bons. Ou seja, eles estão tentando construir um casco convexo que envolve tudo o que achamos certo. A lógica é esta: tudo o que for além desta concha, consideraremos anomalias. Ou seja, por exemplo, 99% dos dados são cobertos por esse shell, e todo o resto parece algo suspeito.
Outro grupo de algoritmos depende demarcando o que consideramos errado. Essencialmente, há um conjunto de eventos que são conhecidos por terem resultados indesejáveis. E então a busca por anomalias se resume a um problema de classificação de duas classes. Este é um classificador regular que pode ser construído com base nos princípios de redes neurais ou árvores de decisão.
A nuance é que geralmente em tarefasanomalias, a amostra não é balanceada. Ou seja, o número de exemplos positivos excede significativamente o número de negativos. Sob tais condições, os algoritmos de classificação padrão podem não funcionar tão bem quanto gostaríamos. A função de perda padrão trata igualmente as instâncias que se qualificam corretamente e pode ignorar o fato de que entre 10.000 resultados corretos, há cem que se qualificam incorretamente. Esta centena representa apenas os exemplos negativos que são mais interessantes. É claro que isso pode ser combatido, por exemplo, atribuindo mais peso aos exemplos negativos e levando em consideração erros com sua classificação com muito mais peso.
Função de perda- função que, na teoria das decisões estatísticas, caracteriza perdas por tomadas de decisão incorretas com base em dados observados.
Contribuição do nosso laboratório para a resolução do problemaA detecção de anomalias consiste em propor métodos que combinem as características da primeira e da segunda abordagens. Ou seja, a tarefa de trabalhar com classificação uniclasse e biclasse. Tal combinação torna-se possível se construirmos modelos generativos de exemplos anômalos.
Usando abordagens como a geraçãoredes adversárias ou fluxos normalizadores, podemos aprender a recuperar aqueles exemplos que são rotulados como negativos e gerar uma amostra extra que permitirá ao classificador regular trabalhar com a amostra sintética aumentada de forma mais eficiente. Essa abordagem funciona bem para dados tabulares e imagens. Houve um artigo sobre isso no ano passado, que descreve como esse sistema é construído e dá exemplos práticos de seu uso.
— Você mencionou trabalhar com imagens. Como funciona neste caso?
— Há exemplos em que mostramos o trabalhoeste algoritmo. Eles simplesmente escolheram uma das classes de imagens: por exemplo, números manuscritos. E eles disseram que zero é algum tipo de anomalia. E pediram à rede neural, que decide que os zeros não são como tudo o mais, que fosse atribuída à classe negativa. Naturalmente, podem ser não apenas zeros, mas também, por exemplo, números dentro dos quais existem ciclos fechados - 068 - ou números com interseções horizontais. Ou simplesmente imagens giradas em algum ângulo em relação ao resto da amostra.
“Podemos simular a física sob certasparâmetros externos com boa precisão e dizer quais características observáveis descreverão os eventos de sinal corretos, por exemplo, o decaimento do bóson de Higgs "
Existe um conjunto de dados chamado omniglot -letras escritas em fontes diferentes. Há um grande número de fontes: de Futurama, gótico, manuscrito de alfabetos impopulares - sânscrito ou hebraico. Podemos dizer que as letras em sânscrito são uma anomalia, as letras escritas em uma certa caligrafia também são.
Pedimos ao sistema que aprenda a distinguir tudoo resto desses símbolos anômalos. O principal é que eles são muito menores do que todo o resto. Essa é a dificuldade de trabalhar com eles para algoritmos convencionais de aprendizado de máquina.
Simbiose de física e TI: como o aprendizado de máquina é usado na pesquisa do LHC
— Quais tarefas do LHC são resolvidas com a ajuda do aprendizado de máquina?
— Uma grande tarefa com a qual estamos trabalhando éé acelerar processos computacionais que simulam colisões físicas e decaimentos de partículas. O fato é que a decisão sobre se determinados eventos são semelhantes a certos decaimentos físicos ou não é feita após a análise de um número bastante grande de decaimentos simulados. Podemos simular a física em certos parâmetros externos com boa precisão e dizer quais características observáveis descreverão os eventos de sinal corretos, por exemplo, o decaimento do bóson de Higgs.
Mas há certas ressalvas:Nem sempre sabemos os parâmetros sob os quais esses decaimentos precisam ser gerados. Via de regra, existe uma certa ideia sobre isso. E o desafio de encontrar a física correta é distinguir os eventos de sinal dos eventos de fundo, que podem estar associados ao funcionamento incorreto dos algoritmos de recuperação ou à física de outros processos que são muito semelhantes ao que estamos tentando encontrar. Algoritmos de aprendizado de máquina fazem um bom trabalho nisso, mas é uma história bem conhecida.
Mas para treinar tais algoritmos, é necessáriouma amostra estatística bastante grande de eventos simulados, e o cálculo desses dados sintéticos requer certos recursos. Porque a simulação de um evento leva cerca de um minuto ou até dez minutos do tempo de computação dos modernos centros de computação. Devido ao fato de que o número de eventos reais com os quais os físicos trabalharão aumentará em ordens de grandeza nos próximos anos, o número de eventos sintetizados também deve aumentar. Agora os recursos computacionais mal são suficientes para cobrir as necessidades dos pesquisadores. Porque para simular um evento, temos que calcular a interação das micropartículas com a estrutura do detector e simular a resposta que veremos nos sensores deste detector com altíssima precisão.
A ideia da aceleração é treinar a rede neuralem eventos que foram simulados por meio de um pacote certificado - GMT 4, que simula tudo o que acontece dentro dos detectores do colisor. Este neurônio aprenderá a comparar as entradas, os parâmetros das partículas que queremos simular e as saídas – aquelas características observáveis que o detector produz. As redes neurais hoje já lidam muito bem com a tarefa de interpolação de dados. E vários projetos em nosso laboratório visam justamente isso. Ou seja, restaurar as características dos decaimentos da amostra sintética disponível, ou seja, fazer esses sintéticos de segunda ordem. Mas há uma nuance: a vantagem das redes neurais é que podemos ajustá-las usando dados reais. Ou seja, torne esta configuração mais precisa para uma decadência física específica.
Pessoas que estão envolvidas em atividades físicas completassimulação, eles gastam seu tempo e esforço nisso, mas com os neurônios acaba sendo um pouco menos trabalhoso. E a partir dos resultados que fizemos para o experimento LHTV no CERN e o projeto do experimento Dubna MPD no acelerador Nica, ficou claro que as redes neurais podem atingir uma precisão muito alta na cobertura do espaço de fase de eventos simulados. Eles aceleram significativamente o processo de cálculo: pedidos e até centenas mais rápidos do que uma simulação honesta.
— Como a própria rede neural aprende?
— Não há diferenças no processo de aprendizagem.Mas há uma peculiaridade: para uma rede neural, além da amostra de treinamento, é necessário formular critérios de qualidade, ou seja, definir uma função de perda que melhor corresponda à tarefa que esta rede deve cumprir. Além disso, a qualidade do trabalho de tal rede neural não é avaliada pelos pesquisadores: ela pode ser avaliada adequadamente em termos das etapas computacionais que ocorrem em um estágio posterior do processamento de dados.
Para determinar se uma simulação é boa ou não, podemossomente depois que passamos os eventos pela cadeia de sua análise, reconstrução, e entendemos que as mesmas características que originalmente colocamos neles são restauradas a partir deles. Isso significa que, por exemplo, usar uma métrica simples de erro quadrático médio MSE não é suficiente.
Erro quadrático médio MSE- mede a diferença quadrática média entre os valores estimados e o valor real.
O comportamento da rede neural precisa ser avaliado mais detalhadamente, emrecursos em faixas de parâmetros que podem não estar presentes no conjunto de treinamento. Construir modelos que se comportem muito além dos valores dos parâmetros conhecidos no estágio de treinamento é uma tarefa grande e teórica.
As redes neurais são boas nos locais onde elassabia de algo na fase de treinamento. Fora deles, eles podem distribuir o que quiserem. No nosso caso, isso é especialmente delicado, porque disso depende a correção da interpretação física da realidade que nos rodeia.
“Se uma partícula de matéria escura se decompõe em partículas com as quais sabemos como interagir, pode-se supor que essa partícula de matéria escura realmente era”
- Ou seja, a rede neural está procurando eventos raros que podem ocorrer no colisor?
— Com base na operação de modelos generativos, ou seja,Em primeiro lugar, estamos falando da síntese de tudo o que pode acontecer. Fazemos isso com modelos em miniatura. E na saída de tais redes, podemos construir um modelo que buscará o que precisamos: o que conseguimos gerar em uma rede neural generativa.
Como pesquisar matéria escura e por que as redes neurais são necessárias para isso
— Um princípio de pesquisa semelhante pode ser aplicado à matéria escura?
- O fato é que a matéria escura pode ser pesquisadajeitos diferentes. Uma maneira é construir um detector adequado que possa isolar razoavelmente bem os efeitos da matéria comum. Ou seja, bloquear o sinal que vem de partículas conhecidas pelos físicos. Este é apenas um método de eliminação: se o detector vê algo diferente de ruído, então ele vê algo que nunca vimos antes. Uma possibilidade seria que estas sejam partículas de matéria escura.
Se, por exemplo, uma partícula de matéria escuradecai em partículas com as quais sabemos como interagir, e é claro que traços de decadência não podem aparecer de qualquer lugar, exceto dele, então podemos supor que essa partícula de matéria escura realmente existiu.
Tais experimentos são discutidos e planejados.Um deles é chamado SHiP (Search for Hidden Particles). E, a propósito, para tal experimento, as abordagens de que falei também são aplicáveis. Requer simulação e algoritmos para reconhecer abordagens raras. Mas como a luminosidade desse experimento é muito menor (a luminosidade é o número de partículas que se planeja detectar por unidade de tempo), a necessidade de simular um grande número de eventos semelhantes não é tão aguda quanto no caso do Colisor de Hádrons detectores. Embora, por exemplo, a tarefa associada à avaliação da qualidade do sistema de proteção contra partículas conhecidas pela física exija a simulação de um número bastante grande de eventos. Isso é necessário para garantir que a proteção funcione bem com o enorme número de partículas recebidas de vários tipos.
Enviaré um experimento que visa encontrarpartículas, incluindo partículas de matéria escura, em um fluxo de partículas do acelerador SPS filtradas por campos magnéticos, uma camada de concreto e metal de cinco metros.
Existem outras maneiras de procurar matéria escura,relacionadas com observações de fenômenos espaciais. Em particular, uma abordagem é construir elementos sensíveis que reconheçam a direção de partículas que interagem muito fracamente, dependendo do ângulo de incidência desta partícula. A lógica do experimento é que é possível posicionar os elementos sensíveis de forma que fiquem orientados ao longo do vetor de movimento do sistema Solar, ou seja, em direção à constelação de Cygnus. Então seremos capazes de distinguir as partículas que se movem no sistema de coordenadas da Terra das partículas que se movem de forma diferente. Como o éter imóvel, que se distribui no espaço sideral de acordo com suas próprias leis, de forma alguma relacionado com a orientação e direção do movimento dos planetas. Acontece que em vez de éter, presume-se que existam partículas de matéria escura. Eles podem interagir fracamente com os sensores do nosso experimento. E analisando suas leituras, é possível derivar padrões de distribuições angulares de partículas em interação. Se percebermos que existe um componente sério que não depende da posição da Terra no espaço, isso indicará a existência de partículas até então desconhecidas. E talvez estes sejam candidatos a partículas de matéria escura.
Em tal experimento, a simulação é muito importante,porque para construir um algoritmo para reconhecer eventos de sinal, você precisa imaginar como é o sinal de interesse para nós. Portanto, as tarefas associadas à simulação rápida e à busca de anomalias são relevantes e aplicáveis.
Eles falam línguas diferentes, mas os objetivos são comuns
Vamos falar sobre trabalhar no CERN. Como é para uma pessoa de TI trabalhar com físicos? Que recursos estão associados ao trabalho em um espaço tão científico como o LHC?
- Boa pergunta.Na verdade, as pessoas falam línguas diferentes: chega-se ao ponto em que os mesmos conceitos são representados graficamente de maneiras diferentes. Por exemplo, as curvas ROC, com as quais os especialistas em aprendizado de máquina estão acostumados, geralmente são desenhadas em física giradas em 90 graus. E as coordenadas não são chamadas de taxa de verdadeiro positivo e taxa de falso negativo, mas de eficiência de sinal e rejeição de fundo. Além disso, se a eficiência do sinal ainda for Precisão, a rejeição de fundo será um menos a Taxa Verdadeira Negativa.
Curva ROC (da característica inglesa de operação do receptor, característica de operação do receptor)— um gráfico que permite avaliar a qualidade do binárioclassificações. Exibe a relação entre as parcelas de objetos do número total de portadores do atributo, classificados corretamente como portadores do atributo, e as parcelas de objetos do número total de objetos que não possuem o atributo, classificados incorretamente como portadores do atributo.
É claro que tais coisas podem estar emsuperfícies e são relativamente fáceis de se acostumar, mas os principais desafios residem na compreensão de algumas das suposições básicas que os pesquisadores fazem ao escrever seus artigos. E, via de regra, estão além do que escrevem. Ou seja, trata-se de algum conhecimento secreto que é transmitido durante a formação de uma pessoa na pós-graduação, no processo de trabalho em seus projetos de pesquisa, se forma em sua mente.
Para pessoas de outro campo da ciência, é comoambiente cultural diferente. Para eles, essas suposições podem não ser tão óbvias. Pelo fato de o léxico ser bastante extenso e diferenciado, a construção de um diálogo pode ser demorada ou mesmo improdutiva. Portanto, aqui, como recomendações, pode-se provavelmente aconselhar pedir às pessoas para irem além do que estão acostumadas e formular o problema nos termos mais abstratos da física. Fazemos isso em parte quando organizamos competições como parte de nossa Olimpíada IDAL. No processo de diálogo, encontramos um cenário que não exigiria uma imersão profunda em física, mas ao mesmo tempo seria interessante para especialistas em aprendizado de máquina.
Este ano tivemos um projeto conjunto comum laboratório italiano que procura matéria escura. Eles forneceram dados sintéticos para as Olimpíadas encontrarem essa matéria escura. Realmente não existe matéria escura lá, porque os decaimentos da física conhecida foram simulados: colisões de elétrons e íons de hélio. Mas as colisões de partículas de matéria escura podem ser muito semelhantes a algumas destas colisões. São muito difíceis de simular e ainda mais difíceis de interpretar. Portanto, principalmente para quem não é especialista na área, decidimos não retirar esses dados e nos limitar apenas àqueles que são semelhantes. Os algoritmos que veremos funcionam com dados aproximados, mas também podem ser aplicados a dados reais.
Andrey Ustyuzhanin. Foto do arquivo do palestrante
Para resumir, uma maneira é concordar com termos claros para todos, e a outra é gastar tempo e esforço, frequentar escolas de verão, participar de projetos práticos de pesquisa.
Livros sobre aprendizado de máquina e experimentos físicos recomendados por Andrey Ustyuzhanin:
- Deepak Kar,Física Experimental de Partículas: Entendendo as medições e pesquisas no Grande Colisor de Hádrons.
- Ilya Narsky,Técnicas de Análise Estatística em Física de Partículas: Ajustes, Estimativa de Densidade e Aprendizagem Supervisionada.
- Giuseppe Carleo,Aprendizado de máquina e as ciências físicas.
- Existem contradições entre os valores dos físicos e especialistas em TI: por exemplo, a natureza das interações é mais importante para alguém ou, pelo contrário, a precisão?
— Se falarmos especificamente sobre precisão, provavelmentenão há ambiguidade. Mas é mais provável que isso se deva ao fato de os especialistas em TI não compreenderem a natureza dos dados. Acontece que, se medimos os dados com precisão de um milímetro, não faz sentido calcular a área com precisão de mícrons quadrados. No caso de redes neurais complexas, nos deparamos com o fato de que elas produzem informações precisas até o último sinal da mantissa, mas não há mais significado nesses sinais do que na precisão que estava na entrada.
Bem, talvez um desejo geral para as pessoasque se preocupam em avaliar a precisão dos modelos é dar não só características absolutas, mas também os limites de faixas aceitáveis ou o spread em que esses valores foram obtidos. Na verdade uma boa recomendação não só para quem interage com físicos ou com biólogos. Esta é, em princípio, a forma correta de manter uma apresentação dos resultados obtidos.
E se falarmos sobre o quanto eles podem serexpectativas diferentes de um lado e de outro, então estas são todas questões de trabalho, na verdade. Se houver interesse de ambos os lados, eles poderão ser resolvidos de forma simples e adequada. Ou seja, o aprendizado de máquina é agora muito procurado pelos físicos em sentido amplo, porque fornece ferramentas mais precisas para trabalhar com seus dados. E funciona no sentido oposto, pois para especialistas em aprendizado de máquina pode ser muito mais interessante ver como seus algoritmos auxiliam na descoberta de novas partículas, por exemplo, como é o caso do nosso laboratório. Trabalhamos muito tempo para criar um algoritmo que determinasse o tipo de partícula. E recentemente houve notícias sobre a descoberta de novos tetraquarks, e nossos algoritmos participaram diretamente de sua descoberta.
Portanto, para pessoas de TI, condicionalmente de Ciência de Dados,Ciência da Computação, sentir a utilidade dos algoritmos que desenvolvem é muito importante. Portanto, em nosso corpo docente, por exemplo, existe um Laboratório Internacional de Bioinformática.
Tais interações tornam-se cada vez maiscada vez mais normal. Não sei se já podem ser considerados mainstream ou se ainda temos que esperar, mas de uma forma ou de outra essa história é inevitável. Mesmo se você olhar para os workshops organizados como parte das principais conferências sobre inteligência artificial da atualidade, o workshop sobre o uso de IA nas ciências físicas ocupa um lugar de liderança no número de interessados.
Consulte Mais informação:
Satélite americano "viu" uma mensagem incomum da Terra
Publicado vídeo do foguete, que foi lançado a partir de um acelerador experimental
O monstro no centro da nossa Galáxia: veja a foto de um buraco negro na Via Láctea