Що вчені роблять в хмарах: від моніторингу Байкалу до аналізу генома

Хмари для безпілотних болідів і аналізу генома

Для проведення багатьох досліджень вузам та науковим

організаціям потрібні досить серйозніобчислювальні потужності - і це перша причина, через яку вони приходять до використання хмарних платформ. Хмари стають гнучкішою та зручнішою (особливо для географічно розподілених команд) альтернативою закупівлі або оренді необхідного обладнання.

Приклади:

Гоночна команда МГТУ ім. Н. Е.Баумана (Bauman Racing Team) використовувала хмарні потужності для створення безпілотного гоночного боліда. У систему автономного водіння закладений алгоритм, який розпізнає об'єкти на трасі в режимі реального часу. Завдяки цьому автомобіль рухається в правильному напрямку. Для такого розпізнавання розробники використовували згорткові нейромережі, а навчання цих нейромереж відбувалося в хмарі.

Команда Bauman Racing Team використовувала сервісML-розробки (Machine learning) Yandex DataSphere для навчання двох нейронних мереж, що обробляють зображення. Використання цього інструменту дозволило значно підвищити швидкість і зручність навчання алгоритмів: вже зараз одна з нейронних мереж пропустила через собі 7 000 зображень, а друга - 3 000.

Центр застосування кількісних методів уБіологія при німецькому Університеті Тюбінгена співпрацює у своїх проектах з дослідження геному з хмарним сервісом корпорації Amazon - AWS. Німецькі вчені використовують хмару для аналізу десятків тисяч генетичних зразків та виявлення різних закономірностей: наприклад, відмінностей в експресії генів між здоровою та хворою тканиною. Використання хмари дозволило на 50% зменшити час дослідження геномів та прискорити роботу над проектом.

експресія генів- Процес перетворення спадковоїінформації (послідовності нуклеотидів ДНК) у РНК або білок. Саме регулювання експресії генів дає клітинам можливість контролювати свою структуру. Контроль за характеристиками експресії генів впливає функції інших генів у цілому організмі.

Вважати яблука, шукати рак і аналізувати знімки чорної діри

Сьогодні хмарні провайдери надають зручні готові інструменти для ML-розробки та роботи з даними - і це друга причина, через яку наукові організації приходять до використання хмари.

До таких інструментів належать перш за всесервіси для машинного навчання: Yandex DataSphere, Google Cloud ML або Azure ML. Інтерес для дослідників представляють сервіси для зручного перегляду і візуалізації даних: наприклад, Yandex DataLens або Microsoft Power BI. Є і більш спеціалізовані інструменти, такі як AWS Panorama для технологій комп'ютерного зору, Yandex SpeechKit для розпізнавання і синтезу мови або Google Vision AI для аналізу зображень.

Приклади:

Біологічний факультет МГУ разом з ФНЦ іменіМічуріна, Тамбовським державним університетом і агроінженерний центром ВІМ використовували інструменти Yandex.Cloud для створення системи моніторингу садів. Вона застосовується для більш точної оцінки і прогнозування обсягу врожаю і більш ефективного планування подальшої логістичного ланцюжка.

Вчені завантажують у хмарне сховище Yandex.Cloud фотографії плодів і використовують Yandex DataSphere для створення алгоритму, що самонавчається: він розпізнає окремі яблука на деревах і вважає їх кількість, а також вчиться визначати такі показники, як інтенсивність цвітіння, велика кількість врожаю на гектар і якість самих плодів.

Американське онкологічне суспільство на базіGoogle Cloud аналізувала різні знімки органів жінок, які хворіють на рак грудей, та виявило закономірності виникнення та розвитку таких пухлин. Вчені використовували Cloud ML Engine: машинне навчання дозволило проводити аналіз у 12 разів швидше. Крім того, як зазначають автори дослідження, використання хмари надає вченим можливість масштабувати результати роботи та використовувати отримані висновки в інших аналогічних проектах.

Міжнародний астрономічний досліднийпроект Event Horizon Telescope використовував обчислювальні потужності Google Cloud для створення першого зображення чорної діри. Для створення такого зображення були оброблені величезні обсяги даних, що надходять з телескопів: протягом тижня спостережень щодня надходило в середньому 350 ТБ даних. Для обробки і аналізу такого обсягу вченим потрібні були значні потужності, тому вони і звернулися до використання хмари.

Берегти Байкал, досліджувати артефакти і шукати тюленів

Важлива роль хмари у переході наукових проектівбільш сучасні методи роботи: від застарілих методів аналізу до використання штучного інтелекту. Тут має значення все: і додаткові потужності, які є у хмарі, і унікальні сервіси, і загальна експертиза хмарних провайдерів.

Приклади:

Один із найбільш наочних прикладів такийсинергії - співпраця Yandex.Cloud з "Точкою № 1", найдовшою в Росії програми екологічного моніторингу, яка протягом 75 років стежить за здоров'ям Байкалу. Останнім часом проект перебував під загрозою закриття через нестачу ресурсів і дуже застарілі технології аналізу даних.

У рамках проекту команда Yandex.Cloud разом із вченими створюють інтелектуальну систему цифрової підтримки процесу аналізу проб води з використанням ІІ. Для навчання алгоритму, здатного розпізнавати мікроорганізми у пробах байкальської води, вчені надали понад тисячу знімків кожного виду мікроорганізмів. У майбутньому цей «цифровий помічник» зможе визначати до 400 видів планктону і розпізнавати до 99% проб автоматично.

Стенфордський університет застосував можливостіхмари від AWS для створення бази даних археологічних знахідок: йдеться про знахідки, виявлені під час розкопок городища Чатал-Хююк у Туреччині. Раніше створення та регулярне оновлення бази даних, в якій містилася вся інформація про предмет із зазначенням точного місця знахідки та інших відомостей про нього, вимагало багатогодинної праці вчених — це займало близько 20 годин на тиждень, причому нерідко виникала плутанина через оновлення, що вводяться різними людьми. . Переведення бази даних у хмару зробив процес оновлення інформації набагато ефективнішим.

Ще один приклад:Американське Національне управління океанічних і атмосферних досліджень використовувало хмара від Microsoft Azure для того, щоб створювати ІІ-інструменти, які допомагають вивчати і захищати полярних тюленів і білух на Алясці. Раніше біологи вручну вивчали тисячі аерофотознімків і шукали на них ознаки досліджуваних тварин, причому інформація за цей час часто встигала застаріти. Тепер для цього використовуються ІІ-інструменти, які виконують цю роботу: навчання моделей штучного інтелекту і обробка зібраних вченими 20 ТБ даних відбуваються в хмарі.

Укладати контракти і забезпечувати безпеку даних

Іноді перешкодою для використання хмариможе стати недолік експертизи у хмарних технологіях: наявність зручних інструментів та експертизи у хмарних провайдерів значною мірою вирішує цю проблему. Деякі університети та інші державні наукові організації помилково вважають, що вони не можуть укладати контракти на використання хмарних технологій, що насправді не так.

У деяких випадках у наукових проектів не вистачаєфінансових ресурсів. Однак у багатьох великих хмарних сервісів є програми з підтримки науки. У деяких країнах є і загальнонаціональні проекти, які повинні сприяти застосуванню хмари в науці. У минулому році в США був запущений проект Національне дослідне хмара, в ньому беруть участь 22 університети, серед яких Стенфордський університет і Університет Карнегі - Меллона, а також представники уряду і Конгресу США і технологічні корпорації, в тому числі Google, Microsoft, Amazon і IBM . Мета проекту - дати доступ до хмарним потужностям дослідникам і знайти фінансування для подібних проектів.

У деяких випадках вчених може турбуватипитання безпеки даних у хмарі. Насправді сучасні хмарні платформи мають низку переваг у порівнянні з власною фізичною інфраструктурою: дані розподілені по всій хмарі, а дата-центри — територіально, тому у разі виходу з ладу вашого дата-центру концепція хмар це нівелює. Крім того, проводиться постійний моніторинг безпеки хмарної платформи.

Хмара також спрощує процес спільної роботинад проектами та обміну знаннями: так, ML-інструменти (DataSphere) дозволяють ділитися результатами досліджень через збереження стану, тому інші вчені за необхідності зможуть повторити експеримент.

Наука продовжить переходити в хмару

Всі проекти, автори яких звертаються до хмарнимсервісів, об'єднує перш за все сам факт застосування математичних методів і пов'язане з цим зростання вимог до швидкості і обсягами обробки інформації. Наукові інститути приходять в хмару насамперед за додатковими обчислювальними потужностями, а залишаються завдяки наявності готових інструментів і масштабованих сервісів.

Читати далі:

Уповільнення обертання Землі викликало викид кисню на планеті

На Великому адронному колайдері відкрили нову частинку

Вчені знайшли найдавніший приклад прикладної геометрії