Специалисты Московского государственного психолого-педагогического университета разработали программное обеспечение для выявления "галлюцинаций" крупных языковых моделей — правдоподобных, но фактически неверных утверждений, генерируемых искусственным интеллектом. Об этом сообщила пресс-служба вуза агентству ТАСС.
Созданный инструментарий позволяет оценивать надежность ответов ИИ-ассистентов и автоматизирует составление запросов по заданным описаниям, что существенно упрощает работу специалистов по промт-инжинирингу.
Основу методологии составляют два ключевых алгоритма: первый отвечает за подбор исходного запроса, второй анализирует степень правдоподобия полученного ответа. При этом тексты запросов и ответов интерпретируются как точки в метрических пространствах, где расстояние вычисляется на основе семантического сходства.
Такой математический подход позволяет формализовать смысловые расхождения и применять инструменты статистического анализа. Разработанное решение может быть интегрировано в различные системы, включая платформы разработки контейнеризированных приложений, где требуется проверка корректности работы ИИ-компонентов.
Результаты исследования представляют значительную ценность для программистов и математиков, занимающихся совершенствованием больших языковых моделей. Технология поможет повысить качество и надежность ИИ-систем в различных сферах применения.
Параллельно в России планируется создание федерального оперативного штаба по развитию технологий искусственного интеллекта. Новая структура будет координировать внедрение ИИ-решений и заниматься созданием надежных и безопасных систем искусственного интеллекта.