Андрей Устюжанин— Ръководител на Научно-учебната лаборатория по методи за анализ на големи данни в Националния изследователски университет „Висше училище по икономика“.
Завършва Московския физико-технически институт през 2000 г., кандидат на физико-математическите науки. Един от съдиите на международните финали на Microsoft Imagine Cup, преди това беше ментор на отбора на МФТИ, който спечели купата през 2005 г.
Как да търсим аномалии в данните на Големия адронен колайдер
Какво представляват аномалиите в данните?
— Ако говорим за данни, получени чрезГолемият адронен колайдер (LHC), това може да са открития, които не се вписват в стандартните идеи за това как там се случват разпади на частици след сблъсъци на протони. Тези открития ще бъдат аномалии.
Например, ако говорим за котировки на активина фондовата борса, тогава може да има аномалии поради факта, че определен хедж фонд е решил да изпомпва актив или Wall Street Bets са решили да спечелят допълнителни пари и да създадат свой собствен разпределен хедж фонд. Тоест физиката е напълно различна и проявлението на тази физика в данните също не е подобно на други случаи.
Следователно, ако говорим за аномалии, първо трябва да разберем за какви данни и каква физика говорим.
— Тогава нека изясним с акцент върху колайдери.
- Тук е малко по-лесно, макар че също възниквавилица. Факт е, че има данни за това какви процеси протичат с частици вътре в детектора. И има данни как работи този колайдер. Хората, които се интересуват предимно от откриване на нови частици или закони, се интересуват главно от първия тип данни. Но факт е, че всичко, което се случва във физиката, преминава през доста дълга верига на събиране и обработка на тази информация. И ако някой от възлите на тази верига започне да се държи не толкова добре, колкото сме си представяли, тоест излиза извън определени граници на допустимото, това внася изкривяване в измерванията. Можем да видим аномалии на мястото, където по принцип ги нямаше във физиката.
Открития, които не се вписват в стандартните представи за това как там се случват разпада на частиците, възникващи след сблъсъка на протони, ще бъдат аномалии
За да избегнете такива неприятни събития, хорате пишат специални системи за контрол на качеството на данните, които следят всички данни в измервателните уреди и се опитват да изключат от разглеждане онези периоди от време, когато има съмнение, че нещо не е наред.
Един от примерите, за които хората обичат да говорятфизици от LHC, беше, че в ранните етапи от работата на колайдера са забелязали аномалии, които не се вписват във физическите концепции. Все още нямаше LHC, а предишната му версия. В резултат на това физиците установиха, че корелацията е много сериозна с разписанието на влаковете на железопътната линия, която се намира наблизо. И ако направите корекции, свързани с тези колебания, вие получавате нефизическа картина на света.
Необходимо е да се вземат предвид външните фактори и да могатразберете кои от тях трябва да бъдат компенсирани правилно. Най-простото решение: нека изхвърлим данните, които не се вписват в обичайната картина на света. По-сложните истории са да се опитаме да върнем тези аномалии, използвайки разбираеми и физически принципи, към нормални данни и да се опитаме да извлечем полза от тях.
Изхвърлянето на данни е загуба на бюджетни средства. Всеки килобайт-мегабайт има определена цена.
Андрей Устюжанин, ръководител на Научно-образователна лаборатория за методи за анализ на големи данни във Висшето училище по икономика на Националния изследователски университет
- И съответно как може да се открие аномалията в тези данни с помощта на система за машинно обучение?
— Има две групи такива алгоритми, коиторабота с аномалии. Първата група методи за класификация от един клас включва алгоритми, които използват информация само за онези събития, които са маркирани като добри. Тоест, те се опитват да изградят изпъкнал корпус, който да обхваща всичко, което смятаме за правилно. Логиката е следната: всичко, което излиза извън обхвата на тази обвивка, ще разглеждаме аномалии. Тоест, например, 99% от данните са покрити от такава обвивка, а всичко останало изглежда като нещо подозрително.
Друга група алгоритми разчита на частичноотбелязване на това, което смятаме за грешно. По същество има набор от събития, за които е известно, че имат нежелани резултати. И тогава търсенето на аномалии се свежда до проблем с класификация от два класа. Това е обикновен класификатор, който може да бъде изграден на принципите на невронни мрежи или дървета на решения.
Нюансът е, че обикновено в задачитеаномалии, пробата не е балансирана. Тоест броят на положителните примери значително надвишава броя на отрицателните. При такива условия стандартните алгоритми за класификация може да не работят толкова добре, колкото бихме искали. Функцията за загуба по подразбиране третира екземпляри, които се квалифицират правилно, еднакво и може да пренебрегне факта, че сред 10 000 правилни резултата има сто, които се квалифицират неправилно. Тази стотина просто представлява онези негативни примери, които са най-интересни. Ясно е, че това може да се пребори, например, като се придаде по-голяма тежест на отрицателните примери и се вземат предвид грешките при класифицирането им с много по-голяма тежест.
Функция за загуба- функция, която в теорията на статистическите решения характеризира загубите поради неправилно вземане на решения въз основа на наблюдавани данни.
Принос на нашата лаборатория за решаване на проблемаОткриването на аномалия е да предложи методи, които комбинират характеристиките на първия и втория подход. Тоест задачата за работа с еднокласова и двукласова класификация. Такава комбинация става възможна, ако изградим генеративни модели на аномални примери.
Използване на подходи като генеративнипротивопоставящи се мрежи или нормализиращи потоци, можем да се научим да възстановяваме онези примери, които са обозначени като отрицателни, и да генерираме допълнителна извадка, която ще позволи на обикновения класификатор да работи по-ефективно с разширената синтетична извадка. Този подход работи добре както за таблични данни, така и за изображения. Миналата година имаше статия за това, която описва как се изгражда такава система и дава практически примери за нейното използване.
— Споменахте работата с изображения. Как работи в този случай?
— Има примери, в които показахме работататози алгоритъм. Те просто избраха един от класовете изображения: например ръкописни числа. И казаха, че нулата е някаква аномалия. И те помолиха невронната мрежа, която решава, че нулите не са като всичко останало, да бъдат приписани към отрицателния клас. Естествено, това могат да бъдат не само нули, но и например числа, в които има затворени цикли - 068 - или числа с хоризонтални пресичания. Или просто изображения, завъртяни под някакъв ъгъл спрямо останалата част от извадката.
„Можем да симулираме физика при определени условиявъншни параметри с добра точност и да кажат какви наблюдаеми характеристики ще опишат правилните сигнални събития, например разпадането на бозона на Хигс "
Има набор от данни, наречен омниглот -букви, написани с различни шрифтове. Има огромен брой шрифтове: от футурама, готически, ръкописни от непопулярни азбуки - санскрит или иврит. Можем да кажем, че буквите на санскрит са аномалия, буквите, написани с определен почерк също са.
Ние молим системата да се научи да различава всичкоостаналото от тези аномални символи. Основното е, че те са много по-малки от всичко останало. Това е трудността да се работи с тях за конвенционалните алгоритми за машинно обучение.
Симбиоза на физика и ИТ: как машинното обучение се използва в изследванията на LHC
— Какви задачи на LHC се решават с помощта на машинното обучение?
— Една голяма задача, с която работим, ее да ускори изчислителните процеси, които симулират физически сблъсъци и разпад на частици. Факт е, че решението дали дадени събития са подобни на определени физически разпади или не се взема след анализ на доста голям брой симулирани разпади. Можем да симулираме физика при определени външни параметри с добра точност и да кажем какви наблюдаеми характеристики ще опишат правилните сигнални събития, например разпадането на бозона на Хигс.
Но има някои предупреждения:Ние не винаги знаем параметрите, при които трябва да се генерират тези разпади. Като правило има определена идея за това. И предизвикателството да се намери правилната физика е да се разграничат сигналните събития от фоновите събития, които могат да бъдат свързани или с неправилната работа на алгоритмите за възстановяване, или с физиката на други процеси, които са много подобни на това, което се опитваме да намерим. Алгоритмите за машинно обучение се справят добре с това, но това е добре известна история.
Но за обучение на такива алгоритми е необходимодоста голяма статистическа извадка от симулирани събития и изчисляването на тези синтетични данни изисква определени ресурси. Защото симулацията на едно събитие отнема около минута или дори десет минути от времето за изчисление на съвременните компютърни центрове. Поради факта, че броят на реалните събития, с които физиците ще работят, ще се увеличи с порядък през следващите години, трябва да се увеличи и броят на синтезираните събития. Сега изчислителните ресурси едва са достатъчни, за да покрият нуждите на изследователите. Защото, за да симулираме едно събитие, трябва да изчислим взаимодействието на микрочастиците със структурата на детектора и да симулираме реакцията, която ще видим на сензорите на този детектор с много висока точност.
Идеята на ускорението е да се обучи невронната мрежана събития, които са симулирани с помощта на сертифициран пакет - GMT 4, който симулира всичко, което се случва вътре в детекторите на колайдера. Този неврон ще се научи да сравнява входовете, параметрите на частиците, които искаме да симулираме, и изходите - онези наблюдаеми характеристики, които детекторът произвежда. Невронните мрежи днес вече се справят доста добре със задачата за интерполация на данни. И няколко проекта в нашата лаборатория са насочени именно към това. Тоест да се възстановят характеристиките на разпадите от наличната синтетична проба, тоест да се направят такива синтетики от втори ред. Но има един нюанс: предимството на невронните мрежи е, че можем да ги настроим фино, използвайки реални данни. Тоест, направете тази настройка по-точна за конкретен физически разпад.
Хората, които се занимават с пълноценни физическисимулация, те прекарват времето и усилията си за това, но с невроните се оказва малко по-малко трудоемко. И от резултатите, които направихме за експеримента LHTV в CERN и проекта за експеримента Dubna MPD в ускорителя Nica, стана ясно, че невронните мрежи могат да постигнат много висока точност при покриване на фазовото пространство на симулирани събития. Те значително ускоряват процеса на изчисление: поръчки и дори стотици по-бързо от честна симулация.
— Как се учи самата невронна мрежа?
— Няма разлики в учебния процес.Но има една особеност: за невронна мрежа, в допълнение към обучителната извадка, е необходимо да се формулират критерии за качество, тоест да се зададе функция на загуба, която най-добре да отговаря на задачата, с която тази мрежа трябва да се справи добре. В допълнение, качеството на работата на такава невронна мрежа не се оценява от изследователите: то може да бъде адекватно оценено по отношение на изчислителните стъпки, които се случват на по-късен етап от обработката на данните.
За да определим дали една симулация е добра или не, можемедва след като преминем събитията през веригата на техния анализ, реконструкция и разберем, че от тях се възстановяват същите характеристики, които първоначално сме заложили в тях. Това означава, че например използването на проста метрика за средна квадратична грешка на MSE не е достатъчно.
MSE средноквадратична грешка- измерва средната квадратна разлика между прогнозните стойности и действителната стойност.
Поведението на невронната мрежа трябва да бъде оценено допълнително, вхарактеристики на диапазони от параметри, които може да не са присъствали в набора за обучение. Изграждането на такива модели, които се държат много повече от стойностите на параметрите, известни на етапа на обучение, е голяма и теоретична задача.
Невронните мрежи са добри там, където сазнаеше нещо на етапа на обучение. Извън тях могат да раздават каквото си искат. В нашия случай това е особено чувствително, тъй като от това зависи правилността на физическата интерпретация на заобикалящата ни реалност.
„Ако частица тъмна материя се разпадне на частици, с които знаем как да взаимодействаме, може да се предположи, че тази частица тъмна материя наистина е била“
— Тоест, невронната мрежа търси редки събития, които могат да възникнат в колайдера?
— Въз основа на работата на генеративни модели, т.е.Първо, говорим за синтеза на всичко, което може да се случи. Правим това с миниатюрни модели. И на изхода на такива мрежи можем да изградим модел, който ще търси това, от което се нуждаем: това, което успяхме да генерираме в генеративна невронна мрежа.
Как да търсим тъмна материя и защо са необходими невронни мрежи за това
— Може ли подобен принцип на търсене да се приложи към тъмната материя?
- Факт е, че тъмната материя може да се търсиразлични начини. Един от начините е да се изгради подходящ детектор, който може да изолира доста добре от ефектите на обикновената материя. Тоест да блокира сигнала, който идва от известните на физиците частици. Това е просто метод за елиминиране: ако детекторът вижда нещо различно от шум, тогава той вижда нещо, което никога не сме виждали преди. Една от възможностите би била, че това са частици от тъмна материя.
Ако например частица тъмна материяразпада на частици, с които знаем как да си взаимодействаме, и е ясно, че следи от разпад не биха могли да се появят от никъде, освен от него, тогава можем да предположим, че тази частица тъмна материя наистина е била.
Такива експерименти се обсъждат и планират.Един от тях се нарича SHiP (Търсене на скрити частици). И между другото, за такъв експеримент са приложими и подходите, за които говорих. Изисква симулация и алгоритми за разпознаване на редки подходи. Но тъй като яркостта на този експеримент е много по-ниска (светимостта е броят на частиците, които се планира да бъдат открити за единица време), необходимостта от симулиране на голям брой подобни събития не е толкова остра, колкото в случая на адронния колайдер детектори. Въпреки че, например, задачата, свързана с оценка на качеството на защитната система срещу известни на физиката частици, изисква симулация на доста голям брой събития. Това е необходимо, за да се гарантира, че защитата работи добре с огромния брой входящи частици от различен тип.
Корабе експеримент, насочен към намиране на скритичастици, включително частици от тъмна материя, в поток от частици от ускорителя SPS, филтриран от магнитни полета, петметров слой от бетон и метал.
Има и други начини за търсене на тъмна материя,свързани с наблюдения на космически явления. По-специално, един подход е да се изградят чувствителни елементи, които разпознават посоката на много слабо взаимодействащи частици в зависимост от ъгъла на падане на тази частица. Логиката на експеримента е, че е възможно чувствителните елементи да бъдат разположени така, че да са ориентирани по вектора на движение на Слънчевата система, тоест към съзвездието Лебед. Тогава ще можем да различаваме частиците, които се движат в координатната система на Земята, от частиците, които се движат по различен начин. Подобно на неподвижния етер, който се разпределя в космическото пространство по свои закони, по никакъв начин не свързани с ориентацията и посоката на движение на планетите. Просто вместо етер се предполага, че има частици тъмна материя. Те могат слабо да взаимодействат със сензорите на нашия експеримент. И чрез анализиране на техните показания е възможно да се извлекат модели на ъглови разпределения на взаимодействащи частици. Ако видим, че има сериозна компонента, която не зависи от положението на Земята в космоса, това ще означава съществуването на неизвестни досега частици. И може би те ще бъдат кандидати за частици тъмна материя.
В такъв експеримент симулацията е доста важна,защото за да изградите алгоритъм за разпознаване на сигнални събития, трябва да си представите как изглежда интересуващият ни сигнал. Следователно задачите, свързани с бързото симулиране и търсенето на аномалии, са подходящи и приложими там.
Говорят различни езици, но целите са общи
Нека поговорим за работата в CERN. Какво е ИТ човек да работи с физици? Какви характеристики са свързани с работата в такова междунаучно пространство като LHC?
- Добър въпрос.Всъщност хората говорят различни езици: стига се дотам, че едни и същи понятия са графично представени по различни начини. Например ROC кривите, с които специалистите по машинно обучение са свикнали, обикновено се чертаят във физиката, завъртяни на 90 градуса. И координатите не се наричат истинска положителна скорост и фалшиво отрицателна честота, а ефективност на сигнала и отхвърляне на фона. Освен това, ако ефективността на сигнала все още е прецизност, тогава фоновото отхвърляне е едно минус истински отрицателен процент.
ROC-крива (от английската работна характеристика на приемника, работна характеристика на приемника)— графика, която ви позволява да оцените качеството на двоичния файлкласификации. Показва връзката между дяловете на обекти от общия брой носители на атрибути, правилно класифицирани като носещи атрибута, и дяловете на обекти от общия брой обекти, които не носят атрибута, неправилно класифицирани като носещи атрибута.
Ясно е, че такива неща може да имаповърхности и са относително лесни за свикване, но основните предизвикателства се крият в разбирането на някои от основните допускания, които изследователите правят, когато пишат статиите си. И като правило те са извън това, за което пишат. Тоест, това е някакво тайно знание, което се предава по време на обучението на човек в аспирантура, в процеса на работа по неговите изследователски проекти, то се формира в съзнанието му.
За хора от друга област на науката е каторазлична културна среда. За тях тези предположения може да не са толкова очевидни. Поради факта, че лексиконът се оказва доста обширен и различен, изграждането на диалог може да се забави или дори да бъде непродуктивно. Ето защо тук, като препоръки, вероятно може да се посъветва или да се помолят хората да надхвърлят това, с което са свикнали, и да формулират проблема с най-абстрактните термини от физиката. Правим това отчасти, когато организираме състезания като част от нашата IDAL олимпиада. В процеса на диалог откриваме настройка, която не изисква дълбоко потапяне във физиката, но в същото време би била интересна за специалистите по машинно обучение.
Тази година имахме съвместен проект ситалианска лаборатория, която търси тъмна материя. Те предоставиха синтетични данни за Олимпийските игри, за да открият тази тъмна материя. Там наистина няма тъмна материя, защото бяха симулирани разпадите на известната физика: сблъсъци на електрони и хелиеви йони. Но сблъсъците на частици от тъмната материя могат да бъдат много подобни на някои от тези сблъсъци. Те са много трудни за симулиране и още по-трудни за интерпретация. Ето защо, особено за хора, които не са специалисти в тази област, решихме да не изваждаме тези данни и да се ограничим само до тези, които са подобни. Алгоритмите, които ще видим, работят върху приблизителни данни, но могат да бъдат приложени и към реални данни.
Андрей Устюжанин. Снимка от архива на оратора
В обобщение, единият начин е да се споразумеят ясни условия за всички, а другият е да отделите време и усилия, да посещавате летни училища, да участвате в практически изследователски проекти.
Книги за машинно обучение и физически експерименти, препоръчани от Андрей Устюжанин:
- Дийпак Кар,Експериментална физика на частиците: Разбиране на измерванията и търсенията в Големия адронен колайдер,
- Иля Нарски,Техники за статистически анализ във физиката на елементарните частици: съвпадения, оценка на плътността и контролирано обучение.
- Джузепе Карлео,Машинно обучение и физическите науки.
- Има ли противоречия между ценностите на физиците и ИТ специалистите: например естеството на взаимодействията е по-важно за някого или, напротив, точността?
— Ако говорим конкретно за точност, вероятноняма неяснота. Но това е по-вероятно поради факта, че ИТ специалистите не разбират естеството на данните. Просто ако сме измерили данните с точност до милиметър, тогава няма смисъл да изчисляваме площта с точност до квадратни микрони. В случай на сложни невронни мрежи се сблъскваме с факта, че те произвеждат информация, точна до последния знак в мантисата, но в тези знаци няма по-голямо значение, отколкото в точността, която е била на входа.
Е, може би общо пожелание за хоратакоито се занимават с оценка на точността на моделите е да дадат не само абсолютни характеристики, но и границите на приемливите диапазони или разпределението, в което са получени тези стойности. Всъщност добра препоръка не само за тези, които общуват с физици или биолози. Това по принцип е правилният начин за поддържане на представяне на получените резултати.
И ако говорим колко могат да бъдатразлични очаквания от едната и от другата страна, тогава това всъщност са работни проблеми. Ако има интерес и от двете страни, те се решават просто и добре. Това означава, че машинното обучение сега е търсено сред физиците в широк смисъл, защото предоставя по-точни инструменти за работа с техните данни. И работи в обратната посока, защото за специалистите по машинно обучение може да бъде много по-интересно да видят как техните алгоритми помагат при откриването на нови частици, например, какъвто е случаят в нашата лаборатория. Работихме дълго време, за да създадем алгоритъм, който да определи вида на частицата. И наскоро имаше новина за откриването на нови тетракварки и нашите алгоритми взеха пряко участие в тяхното откриване.
Следователно за хората от ИТ, условно от Data Science,Компютърни науки, усещането за полезността на алгоритмите, които разработват, е много важно. Затова в нашия факултет например има Международна лаборатория по биоинформатика.
Такива взаимодействия стават все по-честивсе по-нормално. Не знам дали вече могат да се считат за мейнстрийм или все още трябва да почакаме, но по един или друг начин тази история е неизбежна. Дори ако погледнете семинарите, организирани като част от днешните водещи конференции за изкуствен интелект, семинарът за използването на AI във физическите науки заема водещо място по брой заинтересовани.
Прочетете още:
Американският спътник "видя" необичайно съобщение от Земята
Публикувано видео от ракетата, която беше изстреляна от експериментален ускорител
Чудовището в центъра на нашата галактика: погледнете снимката на черна дупка в Млечния път