AMD опубликовала результаты внутреннего тестирования своей новой видеокарты Instinct MI355X. Тесты показывают, как карта справляется с выводом больших языковых моделей — и в одиночку, и при работе в связке с другими ускорителями.
Что проверяли
Компания тестировала MI355X на двух сценариях. Первый — работа на одном узле, то есть когда вся модель функционирует на одной или нескольких картах внутри одного сервера. Второй — распределённый вывод, когда модель распределена по нескольким серверам и они обмениваются данными по сети.
Проще говоря, первый случай — это когда вы устанавливаете карту в обычный сервер и запускаете модель. Второй — когда модель слишком большая или требуется высокая пропускная способность, и вы распределяете её по нескольким машинам.
Результаты оказались конкурентными
AMD сообщает, что MI355X показала конкурентные, а в некоторых случаях — превосходящие результаты. Точные цифры и детали сравнения они приводят в самой статье, но суть в том, что карта справляется с задачами вывода на уровне, достаточном для промышленного использования.
Это важно, потому что рынок ускорителей для искусственного интеллекта давно не ограничивается одним производителем. Чем больше вариантов с приемлемой производительностью — тем шире выбор у тех, кто строит инфраструктуру под модели.
Зачем это нужно
Вывод — это то, что происходит, когда модель уже обучена и начинает работать с реальными данными. Если обучение можно провести один раз, то вывод происходит постоянно: каждый раз, когда пользователь отправляет запрос к модели.
Поэтому производительность на выводе напрямую влияет на то, сколько запросов вы можете обработать, как быстро модель отвечает и сколько оборудования вам для этого нужно. Чем эффективнее карта — тем меньше серверов требуется для одной и той же нагрузки.
Что это означает для индустрии
MI355X позиционируется как решение для тех, кто разворачивает большие модели в промышленной эксплуатации. Если результаты подтвердятся на практике у разных заказчиков, это может дать AMD более прочную позицию на рынке ускорителей для искусственного интеллекта.
Для тех, кто выбирает оборудование, это ещё один вариант, который стоит рассмотреть — особенно если вы работаете с распределёнными системами или ищете альтернативу устоявшимся решениям.
Полные результаты и методологию тестирования AMD опубликовала на своём сайте для разработчиков.