Когда речь заходит об ИИ в строительстве, обычно представляется что-то вроде умного помощника, который читает чертежи, проверяет соответствие нормам и помогает сметчикам избежать ошибок в расчётах. Звучит разумно. Но давно назревал вопрос: а как вообще понять, насколько хорошо ИИ справляется с такими задачами? До недавнего времени чёткого ответа не существовало.
Задача, которую никто толком не измерял
Большинство тестов для языковых моделей – это либо общие проверки на логику и знания, либо узкоспециализированные задачи из академической среды. Строительная отрасль в этой картине почти не присутствовала. Архитектура, инженерия и строительство – это особый мир: здесь работают с чертежами, техническими регламентами, многостраничными спецификациями, пространственными схемами и нормативными документами. Обычный текстовый тест здесь просто не работает.
Именно для этого был создан AEC-Bench – специализированный набор задач, который проверяет, как ИИ-системы справляются с реальными профессиональными вызовами в этих трёх областях. Проще говоря, это экзамен для ИИ, составленный с учётом специфики отрасли.
Что именно проверяется – и почему это сложно
AEC-Bench – мультимодальный бенчмарк. Это означает, что задачи в нём не ограничиваются текстом: моделям приходится работать с изображениями, схемами, планами этажей, техническими рисунками и документацией. Именно такой материал составляет основу повседневной работы архитекторов, инженеров и строителей.
Задачи охватывают несколько уровней сложности: от распознавания элементов на чертеже до многошаговых рассуждений, где нужно сопоставить несколько источников информации и прийти к технически обоснованному выводу. Отдельный акцент сделан на так называемых агентных сценариях – ситуациях, когда ИИ должен не просто ответить на вопрос, а самостоятельно выстроить последовательность действий для решения задачи.
Это принципиальное отличие от большинства существующих тестов. Реальная работа в строительстве редко сводится к одному вопросу и одному ответу. Чаще это цепочка: нужно найти нужный раздел в проектной документации, соотнести его с нормативом, проверить соответствие, выявить противоречие и предложить решение. AEC-Bench пытается воспроизвести именно такую логику.
Что показали результаты
Когда современные ИИ-модели прошли через этот набор задач, выяснилось кое-что важное: даже самые продвинутые из них справляются с отраслевыми задачами заметно хуже, чем с общими вопросами. Многошаговые задачи, требующие работы с визуальной информацией и нормативными документами одновременно, вызывали у моделей серьёзные затруднения.
Это не значит, что ИИ бесполезен в строительстве. Скорее, это честный сигнал: текущий уровень возможностей не соответствует той планке, которую сами разработчики и пользователи склонны приписывать своим инструментам. Разрыв между маркетинговыми обещаниями и реальной производительностью в специализированных задачах ощутим.
Зачем это нужно индустрии
Появление AEC-Bench важно по нескольким причинам. Во-первых, это попытка перевести разговор об ИИ в строительстве из плоскости «звучит перспективно» в плоскость «давайте измерим». Без стандартизированной точки отсчёта сложно сравнивать инструменты, отслеживать прогресс и принимать обоснованные решения о внедрении.
Во-вторых, такой бенчмарк может стать ориентиром для разработчиков, которые хотят создавать ИИ-решения именно для AEC-отрасли. Понять, где модель проваливается, – значит понять, что именно нужно улучшать.
В-третьих, это сигнал для самих специалистов отрасли: прежде чем доверять ИИ-инструменту проверку проектной документации или анализ нормативного соответствия, стоит понимать, что он пока не обязательно справится с этим так же хорошо, как опытный инженер.
Открытые вопросы
Любой бенчмарк – это срез реальности, а не сама реальность. AEC-Bench охватывает определённый набор задач и документов, но строительная отрасль невероятно разнообразна: нормы различаются по странам, типы проектов – по масштабу и специфике, профессиональные практики – по регионам.
Открытым остаётся и вопрос о том, как именно результаты тестирования соотносятся с реальной рабочей производительностью. Пройти экзамен и хорошо работать на стройке – не одно и то же. Тем не менее наличие самого экзамена уже меняет ситуацию: теперь хотя бы есть с чем сравнивать.
AEC-Bench – не революция и не приговор для ИИ в строительстве. Это инструмент, который помогает смотреть на вещи трезво. А в отрасли, где цена ошибки измеряется не только деньгами, но и безопасностью, трезвый взгляд – это уже немало.
