Искусственный интеллект научили предсказывать успешность человека в задачах на внимание

Ученые из НИУ ВШЭ и Сколтеха разработали модель машинного обучения, которая может предсказывать успешность человека в задаче на внимание по времени реакции и движениям глаз. О работе рассказывается в совместном пресс-релизе Российского научного фонда и Сколтеха.

Для задач, связанных с удержанием в уме зрительной информации, например, в работе диспетчера в аэропорту или водителя на дороге, особенно важна степень внимания участника. Внимание также необходимо для обучения, когда человеку нужно сосредоточиться на мыслительной задаче. Поэтому важно научиться измерять, как ресурс внимания в зрительных задачах влияет на успешность их выполнения.

Измерение ментального внимания широко изучалось в психологии развития и в образовании. Известно, что показатели ментального внимания сильно коррелируют с общим интеллектом и успеваемостью. Авторы статьи решили впервые применить алгоритмы машинного обучения, чтобы понять, по каким измеряемым данным можно предсказать точность выполнения задачи на внимание. Для предсказания ученые собирали данные о времени реакции и движении глаз.

В эксперименте испытуемые выполняли задачу на соответствие цветов (Colour Matching Task) в двух вариантах: с воздушными шариками и с клоунами. В каждом из них перед игроком на короткое время появляются изображения с различными цветами. От испытуемого требуется сравнить картинку с предыдущей и ответить, совпадают ли цвета. Это задание имитирует задачи, которые стоят перед врачами-рентгенологами, водителями, диспетчерами в аэропортах и другими специалистами, которым важно удерживать в уме зрительную информацию и быстро учитывать изменения. У обеих задач есть шесть уровней сложности — в зависимости от количества цветов, которые нужно обработать. Вариант с клоунами всегда немного сложнее варианта с шариками, так как в изображении клоуна больше разных деталей.

Движения глаз испытуемых записывались с помощью специального устройства — айтрекера. Всего были проанализированы данные 57 здоровых взрослых людей, средний возраст которых составлял 23 года. Затем данные анализировали с использованием моделей машинного обучения. Такие модели позволяют понять, какие данные лучше всего предсказывают успешность выполнения задачи. В эксперименте мерой успешности была точность — процент правильных ответов для каждого испытуемого на каждом уровне сложности.

Модель «регрессор XGBoost» показала лучший результат. Она с точностью 82,8 % предсказывала, даст ли участник правильный ответ. Самым эффективным параметром для предсказания успешности участника оказалась скорость ответа. Чем больше она варьировалась, тем меньше правильных ответов давал испытуемый. Это может быть связано с тем, что некоторые испытуемые давали быстрый случайный ответ, если уровень сложности превышал их ресурсы внимания.

Также на результат повлияли, хоть и в меньшей степени, движения глаз. По таким параметрам, как среднее количество фиксаций на каждой картинке и их длительность, число саккад, частота морганий и размер зрачка, можно было частично предсказать успешность испытуемого. Движения глаз могут отражать то усилие, которое испытуемый прилагает для удержания информации в поле внимания.

«Разработанный подход может использоваться как для дальнейшего изучения параметров, которые предсказывают успешность в решении задач, связанных с ресурсами ментального внимания, так и в прикладных целях — для непосредственного предсказания в реальном времени когнитивных способностей специалистов, объем которых может изменяться под влиянием таких факторов, как физическое состояние и усталость», — считает один из авторов статьи, стажер-исследователь научно-учебной лаборатории нейробиологических основ когнитивного развития Валентина Бачурина.

Исследование проведено при поддержке Российского научного фонда (17-18-01047) и (21-71-10136). Его итоги опубликованы в журнале Decision Support Systems.