Higress: Gateway API и расширения для ИИ моделей

Higress – облачный шлюз от Alibaba, предназначенный для управления трафиком между сервисами и приложениями. Он работает как диспетчер: принимает запросы от пользователей и направляет их получателям. Недавно разработчики выпустили обновление, которое добавляет две важные функции: поддержку нового стандарта Gateway API и специальные возможности для работы с ИИ-моделями.

Изменения в управлении трафиком с Higress

Что изменилось в подходе к управлению трафиком

Ранее для настройки подобных шлюзов использовался стандарт Ingress. Он существует достаточно давно и функционирует, но со временем стало очевидно, что для современных задач его возможностей недостаточно. Gateway API – более гибкая альтернатива, позволяющая точнее описывать процесс обработки запросов.

Главное отличие состоит в разделении ролей. Один специалист может настраивать общую инфраструктуру шлюза, а другой – описывать маршруты для конкретного приложения. Это удобно в больших командах, где за разные части системы отвечают разные специалисты.

Теперь Higress полностью поддерживает этот стандарт. Это значит, что если вы уже используете Gateway API в других инструментах, переход на Higress будет проще, поскольку конфигурация остаётся знакомой и не требует переобучения.

Почему шлюзам нужны функции для искусственного интеллекта

Зачем шлюзу нужны функции для ИИ

Вторая часть обновления связана с искусственным интеллектом. При работе с языковыми моделями или другими ИИ-сервисами часто возникает необходимость отправлять запросы к различным моделям и получать ответы. Здесь есть несколько сложностей.

Во-первых, разные провайдеры используют разные форматы запросов: одна модель ожидает данные в одном виде, другая – в другом. Во-вторых, необходимо управлять нагрузкой: если одна модель перегружена, запрос можно перенаправить на другую. В-третьих, важна скорость: пользователь не должен ждать слишком долго.

Higress теперь включает расширение для работы с ИИ-инференсом, то есть с процессом получения ответов от моделей. Это расширение позволяет:

• Направлять запросы к разным моделям через единый интерфейс, не переписывая код приложения под каждого провайдера.
• Автоматически распределять нагрузку между несколькими моделями.
• Кэшировать ответы, чтобы одинаковые запросы обрабатывались быстрее и дешевле.
• Контролировать использование токенов – единиц, которыми измеряется объём запросов к языковым моделям.

По сути, шлюз берёт на себя часть работы, которую раньше приходилось реализовывать в каждом приложении отдельно.

Примеры использования Higress на практике

Как это работает на практике

Представьте, что у вас есть приложение, использующее несколько ИИ-моделей. Одна модель отвечает на вопросы пользователей, другая генерирует тексты, третья обрабатывает изображения. Без шлюза вам пришлось бы прописывать в коде приложения логику для каждой модели: куда отправлять запрос, как обрабатывать ответ, что делать, если модель недоступна.

С Higress вы настраиваете маршруты один раз на уровне шлюза. Приложение просто отправляет запрос в стандартном формате, а шлюз сам решает, какую модель использовать, как преобразовать запрос и как вернуть результат. Если одна из моделей перегружена, шлюз автоматически переключится на другую.

Кэширование также упрощает работу. Если кто-то уже задавал похожий вопрос, шлюз может вернуть сохранённый ответ, не обращаясь к модели заново. Это экономит время и деньги, особенно при работе с платными API.

Для кого будет полезен обновленный Higress

Кому это может быть полезно

Обновление Higress интересно прежде всего командам, которые разрабатывают приложения с использованием ИИ-моделей. Если вы работаете с несколькими провайдерами или экспериментируете с разными моделями, управление через шлюз может значительно упростить архитектуру.

Также это полезно для тех, кто хочет перейти на более современный подход к управлению трафиком. Gateway API активно развивается и становится стандартом в индустрии, поэтому поддержка Higress помогает быть в тренде.

Для небольших проектов, где используется одна модель и нет сложной логики маршрутизации, такой функционал может быть избыточен. Но если вы планируете масштабирование или уже столкнулись с проблемами управления несколькими ИИ-сервисами, имеет смысл обратить внимание на Higress.

Нерешенные вопросы об обновлении Higress

Что остаётся под вопросом

Как и в случае с любым обновлением, есть моменты, которые станут понятны только в процессе использования. Насколько стабильно работает новая функциональность под нагрузкой? Как быстро шлюз переключается между моделями, если одна из них становится недоступной? Насколько гибко можно настраивать кэширование для разных типов запросов?

Кроме того, Higress – это продукт Alibaba, и его экосистема может быть удобнее для тех, кто уже использует облачные сервисы этой компании. Для команд, работающих с другими облачными провайдерами, могут существовать альтернативные решения, которые лучше интегрируются с их инфраструктурой.

Тем не менее, сам факт того, что облачные шлюзы начинают встраивать функции для работы с ИИ, показывает направление развития индустрии. Искусственный интеллект всё глубже проникает в инфраструктуру, и инструменты адаптируются к этим изменениям.