Библиотека
|
ваш профиль |
Программные системы и вычислительные методы
Правильная ссылка на статью:
Хейфиц А.Е., Янчус В.Э., Боревич Е.В.
Методика проведения экспериментального исследования восприятия графического интерфейса с применением технологии ай-трекинга
// Программные системы и вычислительные методы.
2022. № 2.
С. 52-62.
DOI: 10.7256/2454-0714.2022.2.37972 EDN: XRZXKT URL: https://nbpublish.com/library_read_article.php?id=37972
Методика проведения экспериментального исследования восприятия графического интерфейса с применением технологии ай-трекинга
DOI: 10.7256/2454-0714.2022.2.37972EDN: XRZXKTДата направления статьи в редакцию: 30-04-2022Дата публикации: 05-07-2022Аннотация: В настоящей статье описана разработанная авторами методика проведения экспериментального исследования восприятия графического интерфейса систем удаленного управления динамическими объектами с применением технологии ай-трекинга. Разработанная методика является составляющей частью исследований по изучению восприятия визуальной информации. Объектом исследования является графический иетерфейс систем управления динамическим объектом. Предметом исследования являются дашборды в стимульном слайде, их внутреннее наполнение (тип, размер, количество). Методика включает разработку набора дашбордов с различными значениями отображаемого параметра, выполненных в трех видах диаграмм (линейной, столбиковой, фигурной количественной) и в трех размерах. Стимульный материал эксперимента был разработан с использованием специального программного модуля. Данный модуль выполнял задачу заполнения стимула дашбордами случайным образом. При проведении эксперимента производилась подготовка испытуемых в ходе специального инструктажа. Для проведения эксперимента применялся программно-аппаратный комплекс ай-трекинга, который фиксирует объективные параметры шаблона рассматривания и позволяет снимать массивы экспериментальных данных. Для обработки результатов эксперимента используются стандартные методы математической статистики, такие как дисперссионный анализ. Разработанная методика была апробирована на ограниченной группе. Научная новизна данной работы заключается в разработке методики проведения экспериментального исследования на предмет влияния фактора количества, типа и размера диаграмм в графической композиции, eе восприятие зрителем. Ключевые слова: Интеллектуальный интерфейс, Человеко-компьютерное взаимодействие, Стимульный материал, Инфографика, Ай-трекер, Статистическая обработка, Программный модуль, Зрительная система, Дисперсионный анализ, Вычислительный экспериментAbstract: This article describes the methodology developed by the authors for conducting an experimental study of the perception of the graphical interface of remote control systems for dynamic objects using eye-tracking technology. The developed methodology is an integral part of research on the perception of visual information. The object of the study is a graphical interface of dynamic object control systems. The subject of the study is dashboards in a stimulus slide, their internal content (type, size, quantity). The methodology includes the development of a set of dashboards with different values of the displayed parameter, made in three types of diagrams (linear, columnar, curly quantitative) and in three sizes. The stimulus material of the experiment was developed using a special software module. This module performed the task of filling the stimulus with dashboards randomly. To conduct the experiment, an eye-tracking software and hardware complex was used, which captures the objective parameters of the eye pattern and allows you to shoot arrays of experimental data. Standard methods of mathematical statistics, such as analysis of variance, are used to process the results of the experiment. The developed technique was tested on a limited group. The scientific novelty of this work lies in the development of a methodology for conducting an experimental study on the influence of the factor of the number, type and size of diagrams in a graphic composition, its perception by the viewer. Keywords: Intelligent interface, Human-computer interaction, Incentive material, Infographics, AI Tracker, Statistical processing, Software module, Visual system, Analysis of variance, Computational experimentВведение В последнее десятилетие наблюдается возрастающий интерес к проектированию сложных технических и биомеханических систем, в которых человек-оператор взаимодействует с компьютерными системами. Одним из основных элементов таких систем является пользовательский интерфейс, посредством которого осуществляется связь человека с компьютером. Огромное внимание уделяется эргономическому проектированию новых форм интерфейсов, обеспечивающих эффективную адаптацию операторов к естественным и искусственным обучающим средам [1]. Обеспечение эффективного взаимодействия операторов с компьютерной системой является актуальной проблемой, несмотря на внедрение тренажеров и технологий компьютерного обучения [2]. Для анализа эффективности, продуктивности, и эстетической привлекательности разрабатываемых пользовательских интерфейсов широко используется метод окулографии, который на практике реализуется с помощью программно-аппаратных комплексов ай-трекинга [3]. Исходя из вышеизложенного, можно говорить об актуальности задачи исследования условий восприятия оператором графической информации при функционировании системы человеко-компьютерного взаимодействия с применением технологий ай-трекинга. При решении задач инженерного проектирования пользовательских интерфейсов, качество любого интерфейса в конечном итоге определяется эффективностью взаимодействия между одним человеком и одной системой [4]. Одним из ярких примеров человеко-компьютерного взаимодействия, является использования интерфейса при управлении самолётом в системе лётчик – самолёт. В трудах ученых обоснована концепция «умножения возможностей» и симбиотический подход к интеграции летчика и самолета, в соответствии с которыми, интеграция летчика с самолетом носит симбиотический характер. В результате возникает новое технобиотическое самоорганизующееся единство, ведущее себя как боевая единица, ориентированная на достижение решающего превосходства над противником [5]. Вопрос проектирования интеллектуального интерфейса, помогающего человеку адаптироваться к системе управления удаленными объектами, является актуальным в разрезе решения задач эффективного управления [6,7]. Прототипом данного эксперимента является ситуация, в которой решается задача предоставления актуальной информации.
Рис. 1. Условия иммерсивности интерфейса
Цель работы заключается в разработке методики проведения экспериментальных исследований восприятия графического интерфейса в зависимости от условий иммерсивности (рис. 1). В работе рассматривается одно из условий иммерсивности – инфографика. Цель работы предполагает решение следующих задач: - разработка дашбордов (графический элемент, содержащий диаграмму), отображающих текущее значение параметра и ряд предыдущих его значений; - разработка стимульного материала с рандомным расположением дашбордов; - создание проекта эксперимента в специализированном программно-аппаратном комплексе ай-трекинга; - апробация методики и статистическая обработка полученных экспериментальных данных.
Теоретическая модель Информационные панели являются неотъемлемыми элементами графического интерфейса, поскольку они являются визуальной частью информационных систем управления и отображают количественную и качественную информацию о состоянии наблюдаемого объекта. Расширение границ работы между оператором и техникой является эволюцией интеллектуальных технических систем [8]. В лаборатории человеко-компьютерного взаимодействия Политехнического университета Петра Великого была проведена серия экспериментов с использованием технологии ай-трекинга. Проведён эксперимент, где технология ай-трекинга применялась для анализа восприятия испытуемыми сложных графических изображений без четкой смысловой нагрузки и показала свою эффективность [9]. В другом эксперименте проводилось исследование влияния стилизации графических изображений на восприятие графической информации с применением технологий ай-трекинга. Была выявлена зависимость времени анализа графического изображения испытуемым от стилизации изображения стимульного материала [10]. Также проведено экспериментальное исследование влияния типов и количества линейных графиков, которые могут отображаться на одном экране одновременно, на восприятие информации пользователем. Задача экспериментов состояла в том, чтобы выяснить, как меняется восприятие и что необходимо включить в разработку для эффективного обучения в работе. Испытуемым демонстрировались линейные графики на панелях монитора с увеличением числа графиков, изменением размеров и увеличением общей площади, занимаемой графиками на экране. Исследование показало, что отсутствует корреляция между динамической тенденцией графиков и восприятием к изображению у испытуемых [11]. В статье [12] указывается на то, что инфографика является оптимальным инструментом для отображения текущего значения параметра наблюдаемого объекта. Инфографика, как самый минималистичный и продуманный кластер дизайна, не обращает на себя много внимания, позволяя работать с информацией [13,14]. В условиях, где человек решает интерактивную задачу, фактор лаконичности играет главную роль.
Методика проведения эксперимента Разработанная методика проведения экспериментального исследования восприятия графического интерфейса систем удаленного управления динамическими объектами состоит из нескольких этапов: - разработка базы данных дашбордов, отражающих текущее значение параметра и ряд предыдущих; - разработка стимулов с рандомным расположением дашбордов; - проектирование эксперимента в специализированной программе experiment center программно-аппаратного комплекса ай-трекинга SMIRED 250; - подготовка испытуемых (инструктаж) и проведение эксперимента на программно-аппаратном комплексе ай-трекинга; - статистическая обработка полученных экспериментальных данных и интерпретация результатов. Для проведения факторного анализа восприятия графической информации были выделены три фактора, влияние которых исследовалось в настоящей работе: - фактор типа диаграммы; - фактор размера дашборда (графический элемент, содержащий диаграмму); - фактор количества дашбордов на экране. Для разработки стимульного материала были использованы три вида диаграмм: линейные, столбиковые, фигурные количественные. Дашборды имели три размера: 4*2см, 3*2.25см и 2*1,5 см. Было разработано 720 дашбордов в трех размерах и с тремя видами диаграмм. Количество разработанных стимулов – 54 шт. Это количество стимулов определяется тремя исследуемыми факторами, которые принимают три значения. Было принято решение сделать по два стимула с одинаковыми значениями исследуемых факторов, но с различным заполнением дашбордами. Распределение дашбордов в стимуле производилось в сетке с пятью столбцами и пятью строками, которая распределяла монитор на 25 зон. Размер экрана монитора составлял 54*29 см. Положение головы испытуемого фиксировалось в определенном положении при помощи специальной конструкции на расстоянии 74,4 см (рис. 2).
Рис. 2. Схема расположения экрана установки и положение испытуемого в эксперименте
Для создания стимулов с рандомным расположением дашбордов был разработан программный модуль. Блок-схема алгоритма программного модуля представлена на (рис. 3). Для программной реализации был использован открытый язык программирования processing. На входе программного модуля была разработанная в рамках настоящей работы база из 720 дашбордов. На выходе мы имели 54 стимула для проведения эксперимента (рис. 4-6).
Рис. 3. Блок-схема программного алгоритма подготовки стимульного материала. Пример для одного типа диаграмм.
Рис. 4. Пример стимульного материала с тремя дашбордами (размер – s, тип – p) . Рис. 5. Пример стимульного материала с семью дашбордами (размер – l, тип – s)
Рис. 6. Пример стимульного материала с пятью дашбордами(размер – m, тип – l)
Испытуемым в эксперименте ставилась задача, найти график с максимальным увеличением значения параметра и отметить соответствующий дашборд наведением курсора мыши и нажатием кнопки. После нажатия левой кнопки мыши происходил автоматический переход к следующему стимулу. Все испытуемые были проинструктированы о поставленной задаче перед прохождением эксперимента. Время для решения поставленной задачи было неограниченно. Статистическая обработка результатов выполнялась посредством дисперсионного анализа ANOVA [15]. В качестве экспериментальной установки использовался программно-аппаратный комплекс SMIRED 250 (рис. 7) [16].
Рис. 7. Программно-аппаратный комплекс SMIRED 250. Установка и экранный интерфейс
Для апробации разработанной методики были приглашены 12 испытуемых из студентов и молодых преподавателей Санкт-Петербургского политехнического университета Петра Великого.
Анализ результатов При статистической обработке результатов выявлялась статистическая значимость параметров шаблона рассматривания стимульного материала в зависимости от факторов: - size, размер дашборда (фактор принимает значения в соответствии с масштабом демонстрируемых дашбордов: l – размер дашборда 4x2см, m – 3x2.25см, s – 2x1.5 см); - type, тип дашборда (значение фактора в соответствии с типами диаграмм: l – линейная, p – столбиковая и s – фигурная количественная); - inf, количество дашбордов в стимуле (фактор принимает значения 3, 5 и 7, в соответствии с количеством дашбордов в стимуле). В эксперименте было задействовано 12 испытуемых, которые являлись студентами политехнического университета в возрасте от 20 до 28 лет. В результате статистической обработки результатов эксперимента была выявлена статистическая значимость времени рассматривания стимулов испытуемым в зависимости от фактора inf (рис.8). Влияние других факторов на параметры шаблона рассматривания стимульного материала, по данным статистической обработки, не выявлено. Однако, количество участвовавших в эксперименте испытуемых недостаточно для принятия гипотезы об отсутствии влияния этих факторов.
Рис. 8. Плотность распределения времени рассматривания стимула в зависимости от факторов inf и type для различных значений фактора size
Во время проведения эксперимента было замечено, что испытуемые испытывают сложности при решении задачи: - более 75% испытуемых затрачивали на прохождение эксперимента более 10 минут; - при решении задачи испытуемые совершали много ошибок (в некоторых стимулах около 40%) (рис. 9).
Рис. 9. Тепловая карта распределения взгляда испытуемых на стимуле с семью дашбордами (ромбом отмечена точка выбора правильного, по его мнению испытуемого, ответа).
Выводы В результате работы разработана методика проведения экспериментальных исследований восприятия графического интерфейса с применением технологии ай-трекинга. Разработанная методика была протестирована на 12 испытуемых. В результате проведенного эксперимента по апробации разработанной методики выявлено следующее: 1. Фактор количества дашбордов в стимуле имеет статистически значимое влияние на параметры шаблона рассматривания стимульного материала испытуемыми. 2. Начальный инструктаж о предлагаемой задаче во время эксперимента является недостаточным для испытуемых. Испытуемые не имеют опыта работы с инфографикой, что вызывает у них трудности в решении задачи. Были выявлены затруднения двух типов: a. некорректное решение задачи; b. утомляемость испытуемых во время эксперимента. Некорректное решение испытуемыми задачи эксперимента не позволило выявить влияние факторов размера и типа дашбордов на параметры шаблона рассматривания. Для получения достоверных данных необходимо сократить количество ошибок испытуемых при прохождении эксперимента. Для решения этого вопроса необходимо разработать методику подготовки испытуемых к прохождению данного эксперимента. Материалы для подготовки испытуемых должны разрабатываться, соблюдая условия комфортного восприятия информации, её закрепления и сохранения. Предполагается, что после прохождения подготовки испытуемые будут быстрее и качественнее анализировать инфографическую информацию, и, соответственно, решать предложенную в эксперименте задачу корректно. Библиография
1. Сергеев С. Ф.: Виртуальные тренажеры: проблемы теории и методологии проектирования // Биотехносфера. 2010. № 2 (8). С. 15–20.
2. Сергеев С. Ф.: Человеческий фактор в отечественной робототехнике: основные проблемы и перспективы развития // Робототехника и техническая кибернетика. 2016. № 3 (12). С.10‒13. 3. Лызь А. Е., Компаниец В. С.: Ай-трекинг как метод оценки пользовательских интерфейсов// В сборнике: Новые задачи технических наук и пути их решения// Сборник статей по итогам Международной научно-практической конференции. 2017. С. 31-33. 4. Раскин Д.: Интерфейс: новые направления в проектировании компьютерных систем. СПб.: Символ-Плюс, 2005, С. 69. 5. Сергеев С. Ф.: Человеческий фактор в самолетах 6-го поколения: проблемы техносимбиоза// Мехатроника, автоматизация, управление. 2018. Т. 19. № 12. С. 806-811. 6. Chiquet S., Martarelli C. S., Mast F.W.: Eye movements to absent objects during mental imagery and visual memory in immersive virtual reality. Virtual Reality. – 2020, URL.https://doi.org/10.1007/s10055-020-00478-y 7. Pastel S., Chen CH., Martin L.: et al. Comparison of gaze accuracy and precision in real-world and virtual reality. Virtual Reality 25. – 2021. – pp. 175–189. URL. https://doi.org/10.1007/s10055-020-00449-3 8. Сергеев С. Ф.: Санкт-Петербургское отделение Научного совета по методологии искусственного интеллекта и когнитивных исследований РАН в 2020 году. Философские науки. 2021;64(1):149-154. https://doi.org/10.30727/0235-1188-2021-64-1-149-154] 9. Орлов П. А., Лаптев В. В., Иванов В. М.: К вопросу о применении систем ай-трекинга// Информатика, телекоммуникации и управление.URL: https://cyberleninka.ru/article/n/k-voprosu-o-primenenii-sistem-ay-trekinga 10. Borevich E., Mescheryakov S., Yanchus V.: Computer Eye-Tracking Model to Investigate Influence of the Viewer’s Perception of the Graphic Information. pp. 720-728. 10.20948/graphicon-2021-3027-720-728. 11. Orlov P., Ermolova T., Laptev V., Mitrofanov A., Ivanov V.: The Eye-tracking Study of the Line Charts in Dashboards Design. In Proceedings of the 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications-IVAPP, (VISIGRAPP 2016) ISBN 978-989-758-175-5; ISSN 2184-4321, 203-211 s. DOI: 10.5220/0005692102030211 12. Bruce N., Tsotsos J. Weiss Y., Schölkopf B., Platt J.: (2006). Saliency based on information maximization. Advances in neural information processing systems 18 pp. 155–162. Cambridge, MA: MIT Press. 13. Bundesen C.: A theory of visual attention. Psychological Review, 1990. pp. 523–547. 14. Carmi R., Itti L.: (2006). The role of memory in guiding attention during natural vision. Journal of Vision, pp. 898–914, http://journalofvisionorg/6/9/4/, doi:101167/694 15. Гланц С.: Медико-биологическая статистика / Стентон Гланц; Пер. с англ. д.ф.-м.н. Ю.А. Данилова под ред. Н.Е. Бузикашвили и Д.В. Самойлова. – М.: Практика, 1999. – 459 с. 16. Новый стиль. Система удаленного трекинга глаз RED 250 / RED 500 [Электронный ресурс] URL:https://newstyle-y.ru/high-school/group_2164/group_2166/item_11065/? (дата обращения 28.03.2022) References
1. Sergeev S. F.: Virtual simulators: problems of theory and methodology of design // Biotechnosphere. 2010. No. 2 (8). pp. 15-20.
2. Sergeev S. F.: The human factor in domestic robotics: the main problems and prospects of development // Robotics and technical cybernetics. 2016. No. 3 (12). pp.10-13. 3. Lyz A. E., Companets V. S.: Ai‒tracking as a method for evaluating user interfaces// In the collection: New problems of technical sciences and ways to solve them// Collection of articles on the results of the International Scientific and Practical Conference. 2017. pp. 31-33. 4. Raskin D.: Interface: new directions in the design of computer systems. St. Petersburg: Symbol-Plus, 2005, pp. 69. 5. Sergeev S. F.: The human factor in aircraft of the 6th generation: problems of technosymbiosis// Mechatronics, automation, control. 2018. Vol. 19. No. 12. pp. 806-811. 6. Chiquet S., Martarelli C. S., Mast F.W.: Eye movements to absent objects during mental imagery and visual memory in immersive virtual reality. Virtual Reality. – 2020, URL.https://doi.org/10.1007/s10055-020-00478-y 7. Pastel S., Chen CH., Martin L.: et al. Comparison of gaze accuracy and precision in real-world and virtual reality. Virtual Reality 25. – 2021. – pp. 175–189. URL. https://doi.org/10.1007/s10055-020-00449-3 8. Sergeev S. F.: St. Petersburg Branch of the Scientific Council on the Methodology of Artificial Intelligence and Cognitive Research of the Russian Academy of Sciences in 2020. Philosophical sciences. 2021;64(1):149-154. https://doi.org/10.30727/0235-1188-2021-64-1-149-154] 9. Orlov P. A., Laptev V. V., Ivanov V. M.: To the question of the use of ai-tracking systems// Informatics, telecommunications and management.URL: https://cyberleninka.ru/article/n/k-voprosu-o-primenenii-sistem-ay-trekinga 10. Borevich E., Mescheryakov S., Yanchus V.: Computer Eye-Tracking Model to Investigate Influence of the Viewer’s Perception of the Graphic Information. pp. 720-728. 10.20948/graphicon-2021-3027-720-728. 11. Orlov P., Ermolova T., Laptev V., Mitrofanov A., Ivanov V.: The Eye-tracking Study of the Line Charts in Dashboards Design. In Proceedings of the 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications-IVAPP, (VISIGRAPP 2016) ISBN 978-989-758-175-5; ISSN 2184-4321, 203-211 s. DOI: 10.5220/0005692102030211 12. Bruce N., Tsotsos J. Weiss Y., Schölkopf B., Platt J.: (2006). Saliency based on information maximization. Advances in neural information processing systems 18 pp. 155–162. Cambridge, MA: MIT Press. 13. Bundesen C.: A theory of visual attention. Psychological Review, 1990. pp. 523–547. 14. Carmi R., Itti L.: (2006). The role of memory in guiding attention during natural vision. Journal of Vision, pp. 898–914, http://journalofvisionorg/6/9/4/, doi:101167/694 15. Glants S.: Medical and biological statistics / Stanton Glantz; Translated from the English by Dr. Yu.A. Danilova, ed. by N.E. Buzikashvili and D.V. Samoilov. – M.: Praktika, 1999. – 459 p. 16. New style. Remote eye tracking system RED 250 / RED 500 [Electronic resource] URL:https://newstyle-y.ru/high-school/group_2164/group_2166/item_11065 /? (accessed 28.03.2022)
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Методология исследования базируется на обобщении литературных и интернет-источников по теме работы, проведении экспериментов по изучению влияния количества дашбордов на комфортность восприятия информации, её закрепления и сохранения. Актуальность исследования авторы справедливо связывают с возрастающим интересом к проектированию сложных технических и биомеханических систем, в которых человек-оператор взаимодействует с компьютерными системами и совершенствованию подходов к разработке эргономически эффективных пользовательских интерфейсов, посредством которых осуществляется связь человека с компьютером. Научная новизна представленного исследования заключается в разработке авторской методики проведения экспериментальных исследований восприятия графического интерфейса с применением технологии ай-трекинга, ее тестировании и апробации. При изложении материала выдержан научный стиль речи, широко используются наглядные средства представления информации – статья иллюстрирована 9 качественно выполненными рисунками. Структурно в рукописи выделены следующие разделы: Введение, Теоретическая модель, Методика проведения эксперимента, Анализ результатов, Выводы, Библиография. Во введении отражены актуальность, цель и задачи исследования. В следующем разделе сделан обзор проведенных ранее другими авторами экспериментальных исследований влияния различных факторов на восприятие информации пользователем. При изложении методики проведения эксперимента показаны ее этапы, исследуемые факторы; виды диаграмм, использованные для разработки стимульного материала, их размеры и общее количество разработанных стимулов. В статье отражено, что в эксперименте было задействовано 12 испытуемых, которые являлись студентами политехнического университета в возрасте от 20 до 28 лет. В статье приведены блок-схема программного алгоритма подготовки стимульного материала, примеры стимульного материала с разным количеством дашбордов; плотность распределения времени рассматривания стимула в зависимости от факторов; тепловая карта распределения взгляда испытуемых в ходе экспериментов. В результате статистической обработки результатов эксперимента авторами выявлена статистическая значимость времени рассматривания стимулов испытуемым в зависимости от количества дашбордов в интерфейсе. В выводах нашли отражение результаты проведенного эксперимента по апробации разработанной методики. Библиографический список включает 16 наименований источников, на которые в тексте приведены адресные ссылки, свидетельствующие о наличии в публикации апелляции к оппонентам. В качестве пожелания хочется высказать пожелание авторам высказать свое мнение о сходствах и различиях понятий «инфографика», «дашборд», «визуализация», используемых в статье. Тема статьи актуальна, содержание рукописи отражает реально проведенное авторское исследование с четко определенной целью и решаемыми задачам, материал соответствует тематике журнала «Программные системы и вычислительные методы» и рекомендуется к опубликованию. |