OpenAI Tolan: модель с 2 млн токенов для работы с кодом и сложными задачами

OpenAI анонсировала новую модель под названием Tolan. Если коротко: это система, которая умеет работать с очень большими объёмами текста – до 2 миллионов токенов в одном запросе – и при этом лучше справляется с задачами, где нужно планировать действия, рассуждать и писать код.

Что за модель и зачем она нужна

Tolan – это не просто очередная GPT с увеличенным окном контекста. Модель разработана так, чтобы эффективно обрабатывать длинные документы, кодовые базы, исследовательские материалы – всё то, что раньше приходилось делить на части или сжимать.

Контекстное окно в 2 миллиона токенов – это примерно полтора миллиона слов. Для сравнения: это эквивалент нескольких романов среднего размера или большой технической документации. Такой объём позволяет модели видеть всю картину целиком, не теряя детали в процессе обработки.

Помимо длинного контекста, Tolan предназначена для задач планирования и структурированного мышления. OpenAI утверждает, что модель показывает заметный прогресс в способности выстраивать многошаговые стратегии, разбивать сложные задачи на этапы и удерживать логическую цепочку на протяжении длинного диалога или рабочего процесса.

Улучшения в коде и рассуждениях

Улучшения в коде и рассуждениях 🛠️

Одно из ключевых направлений развития Tolan – работа с кодом. Модель обучалась с акцентом на понимание структуры программ, отладку, рефакторинг и генерацию кода в условиях, когда нужно учитывать большой контекст проекта.

Проще говоря, если вы загружаете в модель целый репозиторий, она может понять связи между модулями, увидеть зависимости и предложить изменения, которые учитывают архитектуру всего проекта, а не только одного файла.

Также улучшена способность модели к рассуждениям. OpenAI отмечает, что Tolan лучше справляется с задачами, где требуется последовательное логическое мышление, поиск противоречий, сравнение альтернатив и обоснование выводов. Это особенно полезно в сценариях, связанных с анализом данных, юридическими документами или научными исследованиями.

Как это работает технически

OpenAI не раскрывает всех деталей архитектуры, но известно, что Tolan построена на улучшенной версии трансформерной архитектуры с оптимизированным механизмом внимания. Это позволяет модели эффективно обрабатывать длинные последовательности без критического роста вычислительных затрат.

Обучение модели включало как традиционные методы предобучения на больших текстовых массивах, так и специализированные этапы fine-tuning с акцентом на задачи планирования, кодинга и работы с длинными документами. Использовались техники обучения с подкреплением (reinforcement learning), чтобы улучшить способность модели выбирать оптимальные стратегии решения задач.

Кому это будет полезно

Модель ориентирована на профессиональных пользователей и разработчиков. В первую очередь это:

• Разработчики ПО, работающие с крупными кодовыми базами
• Исследователи, анализирующие большие объёмы научных публикаций
• Юристы и аналитики, обрабатывающие сложные контракты и нормативные документы
• Команды, занимающиеся стратегическим планированием и долгосрочным прогнозированием

В каждом из этих сценариев ключевую роль играет способность модели не просто прочитать большой объём информации, но и извлечь из него смысл, связи и структуру.

Доступность и ограничения

Пока что Tolan доступна через API OpenAI. Компания не сообщает о планах сделать модель открытой или предоставить её для локального использования. Учитывая размер контекстного окна и вычислительные требования, это не удивительно – запуск такой модели требует значительных ресурсов.

Стоит отметить, что работа с 2 миллионами токенов в одном запросе – это дорого с точки зрения затрат на API. OpenAI пока не раскрывает детали ценообразования, но вероятно, что использование модели на полную мощность будет доступно в основном корпоративным клиентам.

Также остаются вопросы к точности модели при работе с максимальным контекстом. Известно, что даже у современных систем с длинным окном возникают проблемы с удержанием информации из середины контекста – так называемый эффект «потерянной середины». OpenAI утверждает, что Tolan справляется с этим лучше, но реальные тесты покажут, насколько это так на практике.

Что дальше

Релиз Tolan – это часть стратегии OpenAI по развитию моделей, способных решать сложные, многоэтапные задачи. Компания продолжает двигаться в сторону систем, которые не просто генерируют текст, а могут действовать как полноценные ассистенты в профессиональной работе.

Интересно, что параллельно с увеличением контекстного окна идёт работа над улучшением способности моделей к планированию и структурированному мышлению. Это говорит о том, что индустрия постепенно смещает фокус с «больше контекста» на «лучше рассуждения».

Пока рано говорить, станет ли Tolan прорывом или просто ещё одной ступенью в эволюции больших языковых моделей. Но то, что OpenAI продолжает активно развивать возможности своих систем в направлении практического применения, – это факт.