Большая языковая модель GigaChat 2 MAX успешно прошла комплексный базовый экзамен для специалистов в области недвижимости, эксплуатации, проектирования и экономики в строительстве. Подготовка и аттестация искусственного интеллекта были проведены экспертами Нижегородского государственного архитектурно-строительного университета (ННГАСУ).
Нейросеть справилась с экзаменационными заданиями, получив итоговую оценку «хорошо».
Обучение проходило в рамках научно-исследовательского соглашения между ПАО «Сбербанк» и ННГАСУ, целью которого является разработка и апробация новых методик обучения искусственного интеллекта и оценки его профессиональной компетенции в узких предметных областях.
«Для всесторонней оценки знаний и практических навыков ГигаЧата мы использовали систему из трех взаимодополняющих типов тестирования. Первый – это закрытый тест MMLU (Massive Multitask Language Understanding) на общее понимание концепций. Второй и наиболее важный – генеративное задание с развернутым ответом (Long Answer), где нейросеть должна была решить комплексные инженерно-экономические задачи и обосновать свои решения. Эти ответы мы детально проверяли командой профильных экспертов нашего университета. И третий этап – открытый тест RuBQ, проверяющий точность фактов и умение работать со специализированными базами знаний по каждой конкретной дисциплине. Такой комплексный подход позволил нам не просто поставить оценку, а сделать полноценный вывод о профессиональной пригодности модели в строительной области», – отметил ректор ННГАСУ Дмитрий Щеголев.
В процессе интенсивного обучения модель освоила 28 ключевых дисциплин, составляющих основу образовательных программ высшего образования в сфере строительства и ЖКХ. Среди них – «Механика», «Строительные материалы и изделия», «Архитектура жилых, общественных и промышленных зданий и сооружений», «Строительные конструкции», «Проектирование зданий и сооружений», «Информационное моделирование и проектирование в строительстве» и другие.
Помимо фундаментальных теоретических знаний, ГигаЧат продемонстрировал приобретение практических компетенций в сфере управления инвестиционно-строительной деятельностью и работы с объектами недвижимости, что подтверждает его способность выполнять прикладные задачи, актуальные для современной отрасли.
Данное достижение знаменует важный шаг в интеграции искусственного интеллекта в высоко регулируемые и ответственные области. Оно открывает перспективы для применения языковых моделей в качестве помощников в образовательном процессе, при проектной экспертизе, анализе документации и подготовке решений, что может значительно повысить эффективность и инновационность строительной и жилищно-коммунальной отраслей.
Пресс-центр ННГАСУ
