Суперкомпьютеры для ИИ, науки и промышленности: опыт США
В последние годы на фоне бума искусственного интеллекта (ИИ) по всему миру растет потребность в вычислительных мощностях, равно как и их стоимость. Ведущие экономики, конкурируя между собой за лидерство в передовых исследованиях и высоких технологиях, все больше инвестируют в развитие вычислительной инфраструктуры. Институт статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ выявил ключевые вехи государственной политики США — страны, многие годы задававшей повестку развития в области ИИ.
Высокопроизводительные вычисления (high-performance computing, HPC) — совокупность объединенных в единую систему вычислительных мощностей, обеспечивающих более высокие рабочие нагрузки, чем у отдельных компьютеров или серверов, за счет использования принципов параллельной и распределенной (грид) обработки данных.
Высокопроизводительные вычисления и суперкомпьютеры, на которых они реализуются, — важный элемент технологической мощи страны и один из факторов лидерства в науке и промышленности. Они позволяют проводить моделирование объектов и процессов без дорогостоящих натурных испытаний; анализировать огромные массивы данных, которые долго и дорого обрабатывать с помощью обычных вычислительных систем; открывать новые лекарства; разрабатывать и испытывать сложные устройства (например, авиационные двигатели); создавать наиболее точные системы прогноза погоды, предсказывать стихийные бедствия и решать целый ряд иных задач.
Сегодня главным драйвером развития этой области является искусственный интеллект: современные суперкомпьютерные установки позволяют оптимизировать алгоритмы машинного обучения и обучить большие языковые модели ИИ, тренирующиеся на миллиардах и даже триллионах параметров. По некоторым оценкам, стоимость обучения крупнейшей ИИ-модели при сохранении текущих тенденций превысит ВВП США уже в 2026 г. Сегодня США — лидер по числу суперкомпьютеров и совокупной вычислительной мощности (171 установка), согласно рейтингу Top-500 (от июня 2024 г.). США принадлежат два суперкомпьютера экзафлопсного уровня — системы Frontier и Aurora, способные выполнять квинтиллион (1018) вычислений в секунду. Однако они уже не являются единственными в мире: по некоторым оценкам, Китаю удалось создать собственные установки экзафлопсного класса (Sunway OceanLight, Tianhe-3), лишь немного уступающие американским.
Доминирующие позиции США в области передовых вычислений были достигнуты благодаря масштабному и непрерывному государственному финансированию. По мере развития технологий и усложнения экономических связей смещался акцент этой политики. Если ранее он был сделан на обеспечении условий для применения суперкомпьютеров в научных исследованиях и разработках, то с развитием ИИ на первый план вышла задача расширения круга пользователей и создания ИИ-моделей, в т. ч. для различных прикладных проектов. Однако пока позволить себе высокопроизводительную вычислительную инфраструктуру могут лишь крупные компании и ведущие университеты.
Чтобы выровнять эти дисбалансы, в США в начале 2024 г. запущен рассчитанный на два года пилотный проект — Национальный исследовательский ресурс по искусственному интеллекту (далее — Национальный ИИ-ресурс, NAIRR) (табл. 1). Его задача — обеспечить доступ исследователей, студентов, небольших компаний к наиболее современным инструментам создания и доработки ИИ-систем. В его основе лежит концепция инфраструктуры коллективного пользования, объединяющей в единую экосистему не только вычислительные мощности (суперкомпьютеры, распределенные платформы, сети), но и данные, тестовые полигоны, алгоритмы и инструменты тестирования, сопровождение и поддержку со стороны оператора ресурса. По задумке авторов, NAIRR не только стимулирует научно-исследовательскую активность, но и служит платформой для взаимодействия исследователей и экспертов, знакомства с успешными практиками создания ИИ-моделей.
Табл. 1. Ключевые инициативы США в сфере высокопроизводительных вычислений
| Инициатива | Период реализации | Ответственное ведомство | Основные положения (задачи) | Бюджет |
|---|---|---|---|---|
| Национальный исследовательский ресурс по ИИ (National Artificial Intelligence Research Resource, NAIRR) | 2024–2026 гг. – пилот, после этого периода возможен полноценный запуск | Национальный научный фонд (NSF) Министерство энергетики (DOE) |
| 2,6 млрд долл. в 2023–2028 гг. (440 млн долл. в год) |
| Национальная стратегическая компьютерная инициатива (National Strategic Computing Initiative, NSCI) |
2016–2030 гг. (обновлена в 2019 г.)
| Министерство обороны (DOD) Министерство энергетики (DOE) Национальный научный фонд (NSF) |
| 2,9 млрд долл. в 2016–2020 гг. |
| Передовые научные компьютерные исследования (The Advanced Scientific Computing Research, ASCR) |
бессрочно с 1980 г.
| Министерство энергетики (DOE) |
| 1 млрд долл. в 2024 г. |
ИСИЭЗ НИУ ВШЭ на основе открытых источников.
Льготы на пользование ресурсов могут получить исследователи, преподаватели, студенты, МСП, реализующие фундаментальные, прикладные и трансляционные1 исследования в области ИИ. Федеральная поддержка предоставляется в форме грантов (в денежной форме) или токенов (сертификатов), обмениваемых на вычислительное время, доступ к данным и иные сервисы. При этом одно из ключевых условий — общедоступность результатов, разработанных за счет государственных средств. Результаты, которых участники добились благодаря применению вычислительной инфраструктуры NAIRR, должны быть представлены в форме открытого исходного кода, за исключением малых предприятий (согласно законодательству США). Таким образом пользователи становятся и контрибьюторами Национального ИИ-ресурса, в т. ч. данных, исследовательских инструментов, учебных программ и сопутствующих материалов.
Пилотируемая инфраструктура представляет собой комбинацию правительственных и корпоративных ресурсов, включая отдельные серверы, кластеры серверов, в локальном и облачном формате. Вовлекаемые в проект ресурсы должны выдерживать значительные нагрузки, обеспечивать одновременное выполнение операций различными пользователями и обучение наиболее ресурсоемких ИИ-моделей. Частные компании могут стать поставщиками Национального ИИ-ресурса только по итогам конкурсного отбора. Сегодня свой вклад в проект вносят и 26 организаций, участвующих в проекте, в т. ч. глобальные корпорации AMD, NVIDIA, IBM, Microsoft, Intel и др., аффилированные с ними стартапы (OpenAI и др.). К примеру, IBM предоставляет наборы данных, геопространственные, временные ряды, базовые (фундаментальные) модели для материаловедения и химии; Intel обучает навыкам работы со своими серверными платформами и т. д.
В проекте участвуют 13 федеральных ведомств, но главная роль принадлежит министерству энергетики (DOE). Оно предоставляет основную вычислительную базу при подведомственных ему лабораториях, включая испытательный стенд ИИ Аргонского вычислительного комплекса (ALCF) и систему Summit лидирующего вычислительного комплекса Ок-Риджа (OLCF), которые берут начало с Манхэттенского проекта (американский атомный проект, в его рамках создавалась математическая программа для проведения вычислений в области энергетических технологий). Логика реализации NAIRR во многом восходит к этой политике, начатой еще в 1950-х гг. и направленной на объединение установок в единую инфраструктуру с помощью внутренней научной высокоскоростной сети связи.
Вычислительная инфраструктура подведомственных министерству энергетики лабораторий развивается в рамках бессрочной федеральной программы передовых компьютерных исследований, действующей на протяжении последних 40 лет (табл. 1). Одной из задач программы является вовлечение новых пользователей и получение благодаря этому ощутимых для экономики и общества результатов. Именно поэтому новый этап развития суперкомпьютеров, начавшийся в середине 2000-х гг., связан с открытием доступа к суперкомпьютерной сети на конкурсной основе для исследователей из промышленности. Впервые в Законе о возрождении высокопроизводительных вычислений (High-End Computing Revitalization Act, 2004) высокопроизводительные вычисления признаны инструментом инновационной деятельности бизнеса. Эти инициативы также нашли отражение в Законе о восстановлении и реинвестировании (American Recovery and Reinvestment Act, 2009) как ответ на глобальный финансово-экономический кризис. Крупный бизнес в полной мере оценил возможности высокопроизводительных вычислений, и сегодня они широко востребованы в различных промышленных проектах. В частности, корпорации General Electric и Pratt&Whitney разработали более энергоэффективные и менее шумные реактивные двигатели благодаря проведению трехмерных виртуальных испытаний вместо натурных.
Интеграция ИИ в повестку развития высокопроизводительных вычислений произошла в 2016 г. с началом реализации Национальной стратегической компьютерной инициативы (табл. 1). Она обозначила в качестве главных приоритетов объединение двух типов вычислений — моделирование и симуляции с анализом данных, а также переход к следующему поколению вычислений уровня экзафлопс. Центральным элементом этой стратегии стал крупнейший в истории министерства энергетики США Экзафлопсный вычислительный проект стоимостью почти 1 млрд долл. В рамках него разработано 30 приложений и 67 программных решений для приоритетных задач (химия, материаловедение, энергетика, науки о земле и космосе, национальная безопасность и др.), сформирован интегрированный программный стек. Всего планируется создать три установки экзафлопсного класса: Frontier (области применения — моделирование жизненного цикла ядерного реактора, генетика), Aurora (материалы, биология, транспорт, ВИЭ), El Capitan (ядерная безопасность). На сегодня запущены два из них — Frontier (2021 г.) и Aurora (2023 г., проект еще не завершен).
Резюме
США занимают ведущие позиции в области науки и технологий во многом благодаря самой мощной вычислительной инфраструктуре в мире. Главные черты политики в этой области — многолетний характер программ, масштабное финансирование, объединение государственных и частных ресурсов (аппаратное обеспечение, ПО, инструменты разработки, данные и др.). С учетом стабильно значительных инвестиций одной из главных задач госполитики в этой области остается формирование эффективной модели использования суперкомпьютерной сети.
Сегодня ИИ востребован практически во всех отраслях экономики и социальной сферы, что стимулирует и спрос на суперкомпьютеры. Государство, обеспечивая доступ для новых категорий пользователей, включая студентов, отдельных исследователей, стартапы и малые компании, не только ускоряет разработку новых решений, но и упрощает выявление наиболее интересных разработок. Не случайно в эти программы вовлечены профильные министерства и ведомства, включая министерство обороны США (DOD), которое среди прочего является одним из ключевых пользователей новых технологий. Фактически речь идет об интеграции гражданских и военных ИИ-приложений в рамках единой инновационной экосистемы. Одновременно с этим реализуются проекты, направленные на преодоление ограничений в области полупроводников, а также разрабатываются альтернативные вычислительные парадигмы, среди которых особое место занимают квантовые вычисления.
ИСИЭЗ НИУ ВШЭ представляет новую серию регулярных информационно-аналитических материалов на основе специализированных обследований по изучению трендов, направлений и факторов развития и распространения технологий ИИ в России и мире. Настоящий выпуск подготовлен в рамках проекта «Мониторинг распространения искусственного интеллекта в реальном секторе экономики России» тематического плана научно-исследовательских работ, предусмотренных Государственным заданием НИУ ВШЭ.
Предыдущий выпуск серии «Искусственный интеллект»:
«Технологии искусственного интеллекта для производства: разработка и использование»
См. также:
Экспресс-информации ИСИЭЗ НИУ ВШЭ