Суперсила из облака. Для кого будет работать самый производительный российский суперкомпьютер "Кристофари"

12 декабря начинает свою работу "Кристофари" - самый мощный российский суперкомпьютер, созданный компанией SberCloud, облачной платформой Группы Сбербанк. В этом большом проекте банк делает ставку на искусственный интеллект: "Кристофари" специально создан для ускорения разработки продуктов и сервисов на базе AI. При этом Сбербанк будет предоставлять ресурсы суперкомпьютера любым компаниям, благодаря чему даже стартап наравне с крупной корпорацией сможет получить огромные вычислительные мощности.

Что значит "супер"

Суперкомпьютеры (HPC, High Performance Computing) - вычислительные комплексы, многократно превосходящие по производительности обычные компьютерные системы. Общим употреблением термина мир обязан американскому инженеру Сеймору Крэю (1925-1996): он спроектировал и создал ряд мощнейших для своего времени ЭВМ, которые получили широкое распространение.

Производительность суперкомпьютеров измеряется во флопсах - эта величина показывает, сколько специальных математических операций в секунду может выполнять система. Суперкомпьютеры, как и обычные вычислительные системы, состоят из модулей памяти, процессоров, накопителей и прочих элементов, объединенных в вычислительные узлы. Для их работы требуется много электроэнергии и мощные системы охлаждения. HPC занимает немалую площадь, поэтому его нельзя поставить в обычном офисе - требуется просторное, специально оборудованное помещение.

Первые суперкомпьютеры имели производительность около 1 кфлопс, то есть 1 тыс. операций в секунду. Знаменитый суперкомпьютер Cray-1, выпущенный в 1976 году, мог делать уже 240 млн вычислений в секунду. С тех пор число доступных HPC операций выросло на много порядков: рубеж 1 квадриллион флопс (1 петафлопс) взял в 2008 году суперкомпьютер IBM Roadrunner. Ранее наибольшую ценность НРС представляли для научных исследований. В список областей их применения входили: физика высоких энергий, наука о земле, вычислительная биология, химия и медицина, криптография и т. д. Сейчас суперкомпьютеры все больше и больше используются в бизнесе и промышленности.

Гонка мощностей

Лидерами в разработке высокопроизводительных вычислительных систем являются Китай и США: в мировом рейтинге суперкомпьютеров Top500 (ведется с 1993 года) у Китая 220 систем, у США - 116 машин. Но в гонке мощностей первенствуют уже американские суперкомпьютеры: в топ-10 входят сразу пять машин из США, а возглавляет рейтинг построенный IBM для лаборатории Министерства энергетики США суперкомпьютер Summit с максимальной вычислительной мощностью 200 Петафлопс.

Россия тоже производит суперкомпьютеры, но пока объективно отстает от мировых лидеров. Помимо "Кристофари" в России есть всего два высокопроизводительных вычислительных кластера, входящих в Top500. Это "Ломоносов-2", созданный в 2014 году и установленный в вычислительном центре МГУ, и суперкомпьютер Росгидромета. "Ломоносов-2" (107-е место в рейтинге Top500) используется различными подразделениями МГУ, институтами РАН для решения академических и научно-исследовательских задач в области физики, химии, геологии, биологии и других областях науки. Его мощность составляет 2,48 петафлопса. Вычислительный комплекс Росгидромета создан в 2018 году и предназначен для метеорологических расчетов и выполнения фундаментальных и прикладных задач ученых-метеорологов. Его мощность - 1,2 петафлопса, это 465-е место в Top500.

По итогам последних тестов Linpack, на основе которых формируется Top500, новый суперкомпьютер "Кристофари" показал результат 6,7 петафлопса и стал самым мощным в России, восьмым в Восточной Европе и 29-м в мире. Это позволило России подняться на 13-е место в мире по суммарной мощности HPC из Top500.

Суперкомпьютер, получивший имя в честь первого клиента Сберегательных касс России Николая Кристофари, создавался компанией SberCloud при поддержке Cбербанка и NVIDIA. Специалисты SberCloud проектировали и строили суперкомпьютер, банк предоставил свою экспертизу в области AI, а NVIDIA обеспечила консультационную поддержку по работе с модулями NVIDIA DGX 2, на основе которых создавался вычислительный кластер "Кристофари", рассказали “Ъ” в компании. Суперкомпьютер расположился в дата-центре Сбербанка c уровнем надежности Tier III на территории инновационного центра "Сколково".

Новые тренды

"У бизнеса, государства, научных организаций появилась потребность в высокопроизводительных вычислительных мощностях для работы с алгоритмами искусственного интеллекта. Облако делает их доступными: даже небольшой стартап наравне с крупнейшей корпорацией сможет получить огромные вычислительные мощности, и для этого не требуется создавать или наращивать собственную IT-инфраструктуру. Вторая ключевая ценность "Кристофари" - это рекордная в России скорость обучения моделей, соответственно, сокращение time-to-market продуктов, сервисов, а также решения других задач бизнеса и науки, тем более что некоторые из задач машинного обучения в принципе нельзя решить без таких значительных вычислительных ресурсов",- говорит СТО "Сбербанк Груп", исполнительный вице-президент, руководитель блока "Технологии" Давид Рафаловский.

"Среди 30 самых мощных суперкомпьютеров, входящих в Top500, 8 принадлежат академическим институтам, 16 используются в исследовательских центрах, один - правительством США и всего 3, включая "Кристофари", относятся к коммерческому сегменту и предоставляют услуги внешним заказчикам. При этом только мы будем делать это в публичном облаке",- подчеркивает генеральный директор SberCloud Александр Сорокоумов.

Сами облачные технологии также набирают популярность у российского бизнеса. Об этом, в частности, говорится в совместном исследовании, проведенном в четвертом квартале 2019 года SberCloud и аналитическим центром НАФИ. По его результатам 77% российского крупного бизнеса уже готовы к миграции в облако и использованию облачных сервисов.

Согласно отчету Deloitte, доступ к алгоритмам искусственного интеллекта в облаке становится важным трендом AI- и Сloud-рынков. В 2020 году уровень проникновения корпоративного облачного ПО и программ, основанных на алгоритмах искусственного интеллекта, достигнет 83% и 87% соответственно, при этом 65% корпоративного софта, базирующегося на AI, будет разработано с помощью облачных инструментов.

От стартапа до государства

В применении суперкомпьютеров сейчас выделяются два основных направления - решение классических вычислительных задач и алгоритмы машинного обучения и AI, объясняет директор департамента аппаратной разработки Yadro Алексей Сигаев: "В первой части основные потребители неизменны уже много лет - это учебные и исследовательские заведения и крупные промышленные компании. А вот вторая часть - достаточно молодой сектор индустрии, развитие которого идет семимильными шагами, следовательно, растет и спрос на мощности".

"Удешевление и развитие процессорных технологий, появление все большего числа новых мощных суперкомпьютеров привели к демократизации суперкомпьютинга. Если раньше использовать вычислительные системы такого уровня могли позволить себе только исследовательские организации, находящиеся на госфинансировании, сегодня благодаря использованию графических процессоров суперкомпьютеры все чаще появляются и в коммерческих организациях. Поэтому доля прикладных задач в супервычислениях будет расти",- соглашается представитель NVIDIA Ирина Шеховцова.

Крупный бизнес сегодня может использовать ресурсы высокопроизводительных вычислительных кластеров для разработки новых продуктов, оптимизации бизнес-процессов, создания предиктивной аналитики спроса, управления рисками, решения логистических и прочих задач. Госсектор - для повышения эффективности управления и бюджетирования, предоставления цифровых сервисов населению, создания "умных" городов. Научные организации могут моделировать различные процессы и тестировать гипотезы. Стартапы, малый и средний бизнес также получили возможность оперативно разрабатывать новые продукты и сервисы благодаря быстрому и удобному доступу через облако к вычислительным ресурсам, которые ранее им не были доступны в принципе.

Сложнейшие задачи человечества

Самые быстрые суперкомпьютеры мира создаются для того, чтобы решать самые сложные задачи, с которыми сталкивается человечество. Например, суперкомпьютер Summit, номер один в рейтинге Top500, помогает искать решения проблем в области геномики, метеорологии, патологии, утилизации ядерных отходов. Исследователи пытаются понять причины фармакологической опиоидной наркозависимости, в последние годы приобретшей характер эпидемии, анализируют причины возникновения экстремальных погодных явлений, которые происходят в том числе по вине человека, повышают точность анализа данных биопсии и т. д.

В банках они используются для обучения искусственного интеллекта и применяются в скоринге, анализе рисков, создании ботов и голосовых помощников для общения с клиентами. В медицине AI-алгоритмы, обученные при помощи суперкомпьютера, обрабатывают снимки и помогают врачам в постановке диагнозов. В фармакологии - моделируют действие новых лекарств. В ритейле AI обеспечивает предиктивную аналитику, разработку новых продуктов и логистику. В нефтегазовом и металлургическом секторе с помощью суперкомпьютеров проводят оценки месторождений ископаемых.

Потенциальная область применения AI намного шире, а появление на рынке облачных суперкомпьютеров и цифровизация бизнеса сняли последние барьеры на пути массового применения искусственного интеллекта во всех отраслях экономики. По мнению аналитиков IDC, уже в 2019 году объем продаж решений с использованием AI-технологий достигнет $139,3 млн, что на 48,2% превзойдет показатель годичной давности. Такой быстрый темп роста рынка AI потребует большого количества новых, специализированных вычислительных мощностей, обеспечить которое сможет еще более широкое применение доступных для бизнеса суперкомпьютеров.