Звіт OpenAI за 2018 рік показав, що обчислювальна потужність для навчання найбільших моделей ІІ зростає
Нове спеціалізоване обладнання, CerebrasSystem’s Wafer Scale Engine, дозволяє замінити безліч потужних комп'ютерів і використовувати один невеликий чіп, який підходить для навчання ІІ. Однак поки що його не можна виробляти масово і дослідники зазначають, що він коштуватиме кілька мільйонів доларів.
«Це фантастичне досягнення, якедозволить тисячам незалежних дослідників досягати таких самих потужних результатів, як і командам величезних корпорацій. До того ж, обчислювальні ресурси, зазвичай необхідних проведення таких досліджень, призводять до великому вуглецевому сліду. Тепер нам вдалося його позбутися».
дослідники університету Південної Каліфорнії
У цьому методі агента ІІ поміщають в симуляціїсередовище, яке забезпечує винагороду за досягнення певних цілей. Їх модель використовує в якості зворотнього зв'язку для подальшого навчання. Воно включає в себе три основних обчислювальних завдання: моделювання середовища і агента; прийняття рішення про те, що робити далі на основі вивчених правил і використання результатів цих дій для оновлення своєї поведінки.
Це призвело до значного прискорення навчання попорівняно з іншими підходами. Використовуючи один комп'ютер, оснащений 36-ядерним процесором, дослідники змогли обробляти приблизно 140 тис. Кадрів в секунду під час тренувань з відеоігор Atari і Doom. У навчальній 3D-середовищі DeepMind Lab вони забезпечили тактову частоту 40 тис. Кадрів в секунду, що на 15% краще, ніж звичайно.
Читайте також:
- Подивіться на величезну «стіну» з сотні тисяч галактик позаду Чумацького шляху
- Комета NEOWISE видно в Росії. Де її побачити, куди дивитися і як зробити фото
- НАСА та ЄКА опублікували самий детальний знімок Сонця