AMD Instinct MI355X: результаты тестов видеокарты для вывода ИИ-моделей

AMD опубликовала результаты внутреннего тестирования своей новой видеокарты Instinct MI355X. Тесты показывают, как карта справляется с выводом больших языковых моделей – и в одиночку, и при работе в связке с другими ускорителями.

Как тестировали видеокарту

Что проверяли

Компания тестировала MI355X на двух сценариях. Первый – работа на одном узле, то есть когда вся модель функционирует на одной или нескольких картах внутри одного сервера. Второй – распределённый вывод, когда модель распределена по нескольким серверам и они обмениваются данными по сети.

Проще говоря, первый случай – это когда вы устанавливаете карту в обычный сервер и запускаете модель. Второй – когда модель слишком большая или требуется высокая пропускная способность, и вы распределяете её по нескольким машинам.

Конкурентные результаты тестов

Результаты оказались конкурентными

AMD сообщает, что MI355X показала конкурентные, а в некоторых случаях – превосходящие результаты. Точные цифры и детали сравнения они приводят в самой статье, но суть в том, что карта справляется с задачами вывода на уровне, достаточном для промышленного использования.

Это важно, потому что рынок ускорителей для искусственного интеллекта давно не ограничивается одним производителем. Чем больше вариантов с приемлемой производительностью – тем шире выбор у тех, кто строит инфраструктуру под модели.

Важность производительности ИИ-ускорителей

Зачем это нужно

Вывод – это то, что происходит, когда модель уже обучена и начинает работать с реальными данными. Если обучение можно провести один раз, то вывод происходит постоянно: каждый раз, когда пользователь отправляет запрос к модели.

Поэтому производительность на выводе напрямую влияет на то, сколько запросов вы можете обработать, как быстро модель отвечает и сколько оборудования вам для этого нужно. Чем эффективнее карта – тем меньше серверов требуется для одной и той же нагрузки.

Влияние MI355X на рынок ИИ-ускорителей

Что это означает для индустрии

MI355X позиционируется как решение для тех, кто разворачивает большие модели в промышленной эксплуатации. Если результаты подтвердятся на практике у разных заказчиков, это может дать AMD более прочную позицию на рынке ускорителей для искусственного интеллекта.

Для тех, кто выбирает оборудование, это ещё один вариант, который стоит рассмотреть – особенно если вы работаете с распределёнными системами или ищете альтернативу устоявшимся решениям.

Полные результаты и методологию тестирования AMD опубликовала на своём сайте для разработчиков.