Интеллектуальный хаб темы
Работа с нейросетевыми моделями не заканчивается на этапе их обучения. Когда алгоритм переходит в стадию эксплуатации, на первый план выходят вопросы производительности, потребления памяти и скорости отклика. В этой подборке мы рассматриваем методы и подходы, которые позволяют сократить вычислительные затраты при сохранении точности прогнозов. Здесь собраны материалы о квантовании, прунинге, дистилляции знаний и адаптации архитектур под конкретные аппаратные решения – от мобильных процессоров до высоконагруженных серверных кластеров.
Google добавила в Gemini API два новых режима обработки запросов – Flex и Priority, чтобы разработчики могли самостоятельно выбирать между скоростью и стоимостью.
ИИ: События
Инфраструктура
Red Hat и NVIDIA совместно добились лидирующих показателей в независимом тесте MLPerf Inference v6.0, охватывающем задачи распознавания изображений, речи и рассуждений.
ИИ: События
Инфраструктура
Два новых open-source проекта предлагают способ запускать несколько ИИ-моделей на одном GPU с динамическим управлением памятью и без потери производительности.
ИИ: События
Технический контекст • Инфраструктура
Разработчики SGLang представили механизм, позволяющий сохранять работоспособность системы при частичных сбоях в крупных GPU-кластерах.
ИИ: События
Технический контекст • Исследования
Вышла Mamba-3 – открытая языковая модель, которая обгоняет трансформеры по скорости генерации текста и превосходит предыдущие версии по качеству.
AMD объясняет, почему сравнение ИИ-ускорителей по одному показателю производительности вводит в заблуждение, и предлагает многомерный подход к оценке.
ИИ: События
Инфраструктура
AMD выпустила ZenDNN 5.2 – обновление, которое заметно ускоряет запуск языковых моделей на серверных процессорах EPYC без использования видеокарт.
OpenAI выпустила GPT-5.3 Instant – облегчённую версию модели, предназначенную для скорости и удобства в обычных диалогах и рутинных задачах.
ИИ: События
Инфраструктура
Новый сервер NVIDIA GB300 NVL72 в связке с фреймворком SGLang показал 25-кратный прирост производительности при запуске языковых моделей.
Хотите глубже погрузиться в мир
нейротворчества?
Первыми узнавайте о новых книгах, статьях и экспериментах с ИИ
в нашем Telegram-канале!