Выявление зон интереса пользователя при визуализации данных с использованием метода ай-трекинга

Лаптев Максим Владимирович инженер-проектировщик, ООО "ПСК "ФРАМ" 196128, Россия, Санкт-Петербург область, г. Санкт-Петербург, ул. Варшавская, 5а, оф. 4-Н/38 Laptev Maksim Vladimirovich Design Engineer, PSK FRAM 196128, Russia, Saint Petersburg region, Saint Petersburg, Varshavskaya str., 5a, office 4-N/38 lapt.maxim@gmail.com Янчус Виктор Эдмундасович кандидат технических наук доцент Высшей школы дизайна и архитектуры, Санкт-Петербургский политехнический университет Петра Великого 195251, Россия, г. Санкт-Петербург, ул. Политехническая, 29 Yanchus Victor Edmundasovich PhD in Technical Science Associate Professor, Higher School of Design and Architecture, Peter the Great St. Petersburg Polytechnic University 195251, Russia, Saint Petersburg, Politechnicheskaya str., 29 victorimop@mail.ru

Лаптев Владимир Владимирович ORCID: 0000-0002-7840-377X доктор искусствоведения профессор Высшей школы дизайна и архитектуры, Санкт-Петербургский политехнический университет Петра Великого 195251, Россия, Санкт-Петербург, г. Санкт-Петербург, ул. Политехническая, 29 Laptev Vladimir Vladimirovich Doctor of Art History Professor of the Higher School of Design and Architecture of Peter the Great St. Petersburg Polytechnic University 195251, Russia, Saint Petersburg, Saint Petersburg, Politechnicheskaya str., 29 laptevsee@gmail.com

Введение

Визуализация данных — это часто встречающаяся задача, которую решает современный дизайнер. В его распоряжении имеется широкий спектр графических форм, в которые он превращает числа, их ряды и массивы. Преобразование данных в графику сталкивается с рядом проблем, связанных с выбором формы визуализации и ее корректным отображением. В подавляющем большинстве случаев возникает вариативность формообразования из-за имеющегося в наличии широкого спектра диаграмм. Окончательный выбор формы такой визуализации носит ярко выраженный творческий характер и относится к дизайну как проектно-художественной деятельности. При этом форма должна вписываться в выбранный стилистический концепт, раскрывать архитектуру инфографики как содержательного образа и потому должна поддерживать ее функциональность. Несмотря на это выбор формы визуализации и ее трансформация до сих пор вызывают трудности у дизайнера, что иногда приводит к неудовлетворительным результатам. По этой причине данное исследование имеет актуальность.

Выявление особенностей восприятия различных форм визуализации данных с определением особых зон интереса пользователя является целью настоящего исследования. Для ее достижения необходимо решить ряд задач: рассмотреть роль формы и формообразования в визуализации данных; изучить возможности метода окулографии (ай-трекинга) для выявления особых кластеров — зон интереса пользователя; выявить возможное влияние таких зон на проектные правила формирования диаграмм различного типа. Объекты исследования — графики и диаграммы — относятся к инфографике как к направлению коммуникативного дизайна. Предмет исследования — особенность формообразования в визуализации данных — рассматривается и изучается с позиции информационных технологий, примененных к компьютерной графике, которая наглядно представляет числовые данные. Поэтому, данная работа носит комплексный междисциплинарный характер.

1. Форма и формообразование в визуализации данных

Выраженная посредством диаграммы (или карты, или схемы) идея является одним из приоритетных принципов построения информационной графики. Для визуализации данных в системе координат одну и ту же числовую последовательность можно графически выразить несколькими способами. Для этого существуют линейная, брусковая, секторная, плоскостная или фигурная диаграмма. Если существует географическое распределение данных, то вместе с перечисленными способами в число изобразительных средств необходимо включить картограмму и картодиаграмму. «Важно определить точные, соизмеримые критерии, которые можно использовать для классификации, выбрать лучший для данного случая и объяснить, почему читатели предпочитают разную форму графика» ^{[1, с. 139]}. Поэтому основной проблемой, стоящей перед информационным дизайнером в начале проекта, является правильный выбор формы визуализации, которая максимально соответствует идее графика. Учет функциональности, композиционного окружения графика и семантической значимости изображения также входит в ряд решаемых им задач.

Вариативность выбора типа диаграмм может представлена на примере визуализации структуры данных. В качестве решения могут быть использованы и брусковые, и секторные, и фигурные, и потоковые диаграммы, и древовидные карты (tree maps). Во всех случаях пользователь сравнивает целое (100%) и его доли, а также эти доли между собой. Смысловая нагрузка может определить приоритеты выбора. В случае динамического контента уместно применение потоковых диаграмм, визуально реализующих принцип «движения» данных. Для статических (по своей сути) данных в зависимости от их количества и пропорциональных соотношений выбираются секторные, кольцевые или брусковые диаграммы. При преобладании дихотомного построения структура данных визуализируется при помощи древовидных карт. А если имеется возможность дискретного представления долей, то может быть осуществлен выбор в сторону фигурных количественных диаграмм. У каждого типа визуализации структуры данных имеются собственные ограничения и проектные правила, сформированные в процессе становления информационной графики.

Для анализа полученного результата необходимо использовать качественные и количественные методы оценки с учетом специфики инфографики. Качественные методы традиционны для исследования предметов дизайна. Это экспертное изучение и выявление методом опроса наглядности, функциональности, эстетической привлекательности плаката или рекламного сообщения, диаграммы или тематической карты. Cвязанные с проектированием инфографики вопросы тесным образом переплетаются с анализом готовых проектов на предмет их эффективности и релевантности. Эффективность инфографики, следуя Бертену, определяется временем, затраченным на визуальное восприятие и понимание графика: «Если для того, чтобы получить правильный и полный ответ на поставленный вопрос, при прочих равных условиях, один график требует более короткого времени наблюдения, чем другой, то можно сказать, что для этого случая он является более эффективным» ^{[1, с. 139]}. Следовательно, в отношении информационной графики для оценки ее эффективности могут включаться статистические методы: количественной оценке подлежат такие показатели как скорость решения задачи и точность анализа представляемых данных.

В непосредственной близости от количественной оценки эффективности визуализации данных находится проблема эргономики формы диаграмм. Простота восприятия, учет контекста и семантических связей между числовым массивом и его графическим образом влияют на удобочитаемости инфографики. В результате проводимых ранее исследований ^{[2, 3]} были получены результаты, что элементы визуальной структуры могут в определенной степени предсказуемо влиять на семантическую интерпретацию данных, которая выходит за пределы простого считывания данных. Поэтому применение каждого из имеющихся типов диаграмм сопряжено с определенными ограничениями, связанными с особенностями визуального восприятия, и семиотической спецификой.

Однако методы, в основе которых лежит только анализ точности и скорости восприятия данных или качественная (но приблизительная) оценка, не рассматривают набор данных в целом как паттерн, состоящий из отдельных элементов коммуникативного дизайна. Для выяснения того, как пользователь оценивает общую композицию визуализации данных или ее отдельные формы, должна быть принята во внимание глазодвигательная активность человека: направление взгляда, количество саккад и длительность его фиксаций.

2. Изучение вопросов формообразования в инфографике с использованием метода ай-трекинга

Известно, что методы отслеживания глаз применялись для понимания взаимодействия частей графа ^[4]; для выявления различий в чтении линейных и брусковых диаграмм ^[5], секторных диаграмм и древовидных карт ^[6]; для оценки влияния макета на понимание дизайна диаграмм ^[7]. Использование метода ай-трекинга позволило ввести рекомендации по ограничению поля и числа линейных диаграмм в информационных консолях-дашбордах управления технологическими процессами ^[8]. Исследование транспортных схем как объекта анализа глазодвигательной активности дало возможность оценить приемы дополнительных визуализаций для обнаружения закономерностей или тенденций ^[9].

Здесь можно заметить, что изучению подлежат определенные фазы глазодвигательной активности: дрейфы, фиксации, варианты саккад, нистагмы. Интерес представляют, во-первых, зрительные фиксации (плавное перемещение глаза в небольшой зоне), во-вторых, саккады (скачкообразные движения высокой скорости, при которых резко изменяется позиция глаза). Считается, что зрительная информация обрабатывается именно в момент фиксации ^[10]. Окуломоторной активностью принято называть то, как человек рассматривает графическое изображение, читает и решает зрительные задачи. Движения глаз показывают, как формы просматриваются и интерпретируются. Определяемые текущей задачей намерения зрителя также влияют на движения и фиксации глаз. Значит глазодвигательная активность детерминирована текущей задачей или общей целью ^[11]. Таким образом длительность фиксации и амплитуды саккады могут использоваться в качестве индикаторов интерпретации формы во время задач поиска ^[12].

Общая композиция изображения воспринимается через рассматривание отдельных пространственных площадей, форм, узлов и фигур. Сложный объект визуально разделяется на более простые части, согласно композиционной структуре и пространственных отношений между частями ^{[13, 14]}. Существует анализ паттернов рассматривания на предмет обнаружения значимых точек (Point of Interest, POI), ограниченных зон или площадей (Area of Interest, AOI) или частей изображения (Region of Interest, ROI), вызывающих интерес у зрителя. Это позволяет определить критически важные формы (или их части) для интерпретации данных.

Визуализация, основанная на выявление точек фиксации взгляда (point-based visualizations), служит для непосредственного показа деталей глазодвигательной активности. Методы, основанные на анализе зон интереса пользователя (AOI-based methods), обращаются к семантической информации стимула ^[15]. Совмещение двух способов анализа движения глаз, представленное в исследованиях ^[16], снижает субъективность определение зон интереса (AOI) за счет использования точек интереса (POI) при сохранении возможности интерпретации. Таким образом движения глаз можно использовать для анализа визуализации данных, оценки влияния типа диаграмм и их формы на эффективность решения задачи (правильность и скорость) и на поведение пользователя при решении задачи.

В ранее произведенных исследованиях формообразования инфографики ^{[2, 17, 18, 19]}, рассматривались следующие индикаторы восприятия визуализации данных: (1) общее время решения задач; (2) средняя длительность фиксации; (3) среднее количество фиксаций; (4) количество правильных ответов при решении задач; (5) паттерны рассматривания. С их помощью решались задачи верификации применения междисциплинарных принципов и правил проектирования инфографики, определенных ранее отечественными и зарубежными специалистами.

Полученные результаты с использованием метода ай-трекинга подтвердили функциональность формы фигурных диаграмм при изменении изобразительности знака в фигурных диаграммах ^[2]. Здесь было определено отсутствие влияния изобразительности символов на длительность и производительность при решении задач на восприятие фигурных диаграмм, а также на паттерны восприятия (модели движения глаз). Однако, дополнительно было выявлено, что композиция фигурных диаграмм (дизайн-визуализации) оказывает существенное влияние на паттерны восприятия. При этом формируются устойчивые зоны интереса респондента.

В других исследованиях ^{[17, 18]} подтверждены правила построения потоковых диаграмм. Эти правила были сформулированы еще в XIX веке ^[20] в части поддержания стабильной толщины непрерывного потока, единообразного формирования корней потоков, пространственной компоновки узлов, целостности композиции при взаимодействии потока с внешними ориентирами. Здесь использовался метод ай-трекинга совместно с кластерным анализом, что позволило детектировать площади интереса при рассматривании потоковых диаграмм.

На основании полученных результатов стало возможным выполнить проектирование потоковой диаграммы путей пользователей, которая является прикладным инструментом веб-аналитики, альтернативной существующей системы Google Analytics. Были сделаны выводы о существенном влиянии вида диаграммы на среднее количество правильных ответов в результате проанализированных данных на воздействие разных факторов (в том числе субъективной общей нагрузки) на эффективность решения задачи и на поведение при ее решении. Следует отметить, что по таким параметрам, как скорость решения задач и количество правильных ответов, разработанный вариант также эффективнее, чем оригинальная диаграмма Google Analytics. Полученные данные можно использовать для повышения качества работы специалистов по веб-аналитике, а также в таких областях, как разработка интерфейсов веб-приложений и исследование юзабилити.

Исследование различных видов брусковых и секторных диаграмм ^[19] посвящено сравнению эффективности восприятия различных типов диаграмм визуализации структуры данных, изучению особенности формирования паттерна рассматривания с использованием метода ай-трекинга. В итоге оказалось, что брусковые и кольцевые диаграммы проще оцениваются при быстром рассмотрении, тогда как применение секторных диаграмм приводит к их более детальному изучению. Для визуализации одиночной статической структуры данных стоит отдавать предпочтение брусковому типу диаграмм. Секторные диаграммы следует выбирать только в том случае, если идет обращение к ассоциативным формам. Все эти тезисы были подтверждены не только благодаря анализу эффективности восприятия визуализации данных структурного характера, но и при использовании кластерного метода анализа для формирования зон интереса.

Результаты приведенных исследований говорят о необходимости обнаружения зон (или точек) интереса и интерпретации их значения для визуализации данных. Это способствует определению эффективности выбора формы визуального образа. Методика такого обнаружения базируется на кластерном анализе глазодвигательной активности человека с помощью системы окулографии (ай-трекинга). Это позволяет включить в исходные параметры не только точность и скорость определения параметров, но и зарегистрировать направление взгляда наблюдателя, длительность его фиксации, определить зоны интереса для последующей интерпретации.

3. Определение AOI пользователя на основе кластерного анализа

Анализ глазодвигательной активности является сложной и нетривиальной задачей, в ходе решения которой требуется учесть сразу несколько факторов одновременно. Это координатное положение точки взора и их группировка, протяженность саккады, последовательность движения взгляда, длительность и количество фиксации, и другие параметры. Такие виды задач как временная или координатная группировка при анализе данных ай-трекинга можно решать с помощью кластерного анализа ^{[17, 21, 22]}. При этом основной трудностью группирования объектов в ранее неизвестные группы является отсутствие заранее известного количества кластеров и их характеристик.

В ай-трекинговом исследовании потоковых диаграмм ^[17] проблема определения числа кластеров решалась посредством иерархических дивизимных алгоритмов. Они работали с универсальным кластером, состоящим из всех зрительных фиксаций, с последующим пошаговым разбиением его на меньшие части по назначенным признакам. В качестве аппарата кластеризации был выбран метод k-средних с многомерным вектором, основанным на координатном построении. Визуализация результата при 4-кластерном разбиении представлена на рисунке 1 с демонстрацией стимульного материала одного из заданий и точек фиксации взгляда испытуемых. Учет семантических характеристик диаграммы-стимула дает возможность уточнить наличие точек интереса как центров формирования зон интереса пользователя.

Рис. 1. Визуализация кластерной модели, соотнесенной с фиксациями взора. Выделены зоны интереса пользователя (AOI), полученные на основании кластерного анализа с учетом семантики стимула

Fig. 1. Visualization of a cluster model correlated with eye fixations. The areas of user interest (AOI) obtained on the basis of cluster analysis considering the semantics of the stimulus are highlighted

Алгоритмы кластеризации ^{[15, 17]} и семантическая группировка точек интереса позволяют выявить три основные площади интереса, основанные на координатах взгляда и длительности фиксации. Одна группа фиксаций сконцентрирована во входящей части стимула (потоковой диаграммы) с левой стороны. Две выходящие группы располагаются в его правой части. Они объединяются в единую площадь интереса по семантической причине. Обнаруживается устойчивый кластер, расположенный в центральной части стимула.

Каждая часть структуры сравнивается с представленными вариантами данных последовательно от верхней правой части и далее вниз. Этим обусловлена правая зона интереса пользователя (AOI 3). Сравнение также идет каждой части с целым, представляемым «входным» кластером (AOI 1). Центральная зона интереса (AOI 2) интерпретирует сравнение частей между собой в динамической части, когда разделение на части уже есть, но оно еще незначительно. В этом случае потоки композиционно объединяются в единый блок. Очевидно, прослеживается нарратив при рассматривании потоковой диаграммы, выявляющий последовательность движения потока, от целого к его структурным частям.

В результате анализа визуальной оценки кластерной модели можно сделать заключение, что кластеры располагаются в соответствии со структурой стимула в виде 4-потоковой диаграммы. То есть, глазодвигательная активность детерминирована текущей задачей или общей целью ^[11]. Выходной кластер имеет явно выраженные три точки интереса (POI 3-1, 3-2, 3-3), а на меньшем (четвертом) потоке диаграммы такая точка интереса отсутствует. Это обусловлено задачей и предлагаемыми наборами ответов: пользователь не имеет затруднений в ответе на вопрос о данных, визуально представляемых этим явно наименьшим потоком.

Интерпретация этих результатов позволила дать рекомендацию по форме потоковой диаграммы. Во-первых, существует индифферентность визуального восприятия к разделению входного потока на его составные части в корневой начальной области интереса (AOI 1). Это позволяет безболезненно использовать выбор цвета отдельных потоков в статических потоковых диаграммах или в интерактивных версиях потоковых диаграмм. Во-вторых, деформация формы потока в средней части имеет решающее значение для визуального восприятия, поскольку происходит изменение поведенческих реакций, связанных с потерей смысловых связей между процессом и методом визуализации. Например, предварительный анализ потоковых диаграмм пользовательских путей в Google Analytics (рис. 2) показал, что одним из недостатков визуализации является нестабильная толщина формы потоков ^[18].

Рис. 2. Потоковая диаграмма пользовательских путей Google Analytics (фрагмент показывает изменение толщины потока в средней части в несколько раз)

Fig. 2. Flow chart of Google Analytics user paths (the fragment shows a change in the thickness of the flow in the middle part several times)

Следующий пример анализа формы визуализации данных продемонстрирован в исследовании ^[19], целью которого является сравнение эффективности восприятия различных типов диаграмм структуры данных. Дополнительно изучаются особенности формирования паттерна рассматривания при помощи метода ай-трекинга. В эксперименте рассматривались 4-частные структуры данных с доминирующей долей (65-75%) и тремя относительно небольшими долями. В качестве инструмента визуализации структуры данных используются вертикальные и горизонтальные брусковые диаграммы, секторные и кольцевые диаграммы.

Интересные результаты получены для секторных и кольцевых диаграмм. Используя кластерный анализ паттерна рассматривания, мы получили точки интереса пользователя POI 1–3 в области дуг малых секторов (рис. 3). Это справедливо и для секторных, и для кольцевых диаграмм. Кроме этого, в центре круга имеется точка интереса POI 4, центр которой совпадает с центром диаграммы. В итоге можно увидеть зону интереса AOI в виде вытянутого эллипса для секторной диаграммы и ее концентрическую форму для кольцевой диаграммы.

Рис. 3. Формирование точек и зоны интереса пользователя (POI, AOI), полученные на основании кластерного анализа с учетом семантики стимула для секторной диаграммы и для кольцевой диаграммы

Fig. 3. Formation of the user's points and area of interest (POI, AOI), obtained on the basis of cluster analysis, considering the semantics of the stimulus for the pie chart and for the doughnut chart

Если для секторной диаграммы это свидетельствует о возможном сравнении угловых величин секторов или об опорной точке отсчета, то для кольцевой диаграммы угловое сравнение отсутствует. Значит человеческий глаз ищет опорную точку в центре круговой диаграммы для визуального сравнения дуг секторов. Это подтверждается исследованиями восприятия различных вариантов формы кольцевых диаграмм ^[23]. При добавлении опорной точки в центре диаграммы эффективность ее визуального восприятия повышалась. Кстати, этим можно объяснить изменение формы паттерна рассматривания кольцевой диаграммы относительно секторной диаграммы. Отсутствие центральной точки приводит к тому, что появляются дополнительные точки интереса POI 5 и POI 6, которые соответствуют границам большого сектора. А эллипсовидная зона интереса превращается в концентрическую зону интереса.

Изучение формы брусковой диаграммы, которая визуализирует структуру данных — это следующий пример использования метода окулографии. Мы можем видеть различную стратегию рассматривания вертикальных и горизонтальных брусковых диаграмм (рис. 4). Так, паттерн рассматривания вертикальной диаграммы показывает, что пользователь изучает только малые доли структуры в ее верхней части. При этом не обращает внимания на доминирующий сегмент структуры, расположенный в нижней части бруска. Напротив, рассматривание горизонтальной диаграммы структуры данных вызывает появление двух зон интереса. Первая зона интереса (AOI 1) формируется за счет изучения зрителем доминирующей доли, а вторая возникает при рассматривании малых долей. Очевидно, что в случае горизонтальных брусковых диаграмм имеется явно выраженное сравнение частей структуры между собой. А в вертикальном бруске основная доля структуры фиксируется фовиальным зрением.

Рис. 4. Формирование точек и зон интереса пользователя (POI, AOI), полученные на основании кластерного анализа с учетом семантики стимула для вертикальной и горизонтальной брусковой диаграммы

Fig. 4. Formation of points and areas of interest of the user (POI, AOI), obtained on the basis of cluster analysis, considering the semantics of the stimulus for the vertical and horizontal bar chart

Дополнительно, сделанный анализ подтверждает ранее выполненное эмпирическое исследование, согласно которому даже небольшие изменения, как округления вершины прямоугольного бруска, приводит к повышению коэффициента ошибок ^[24]. Это утверждение можно экстраполировать на значащие границы частей в самих брусковых диаграммах. Горизонтальные границы для вертикальной брусковой диаграммы и вертикальные границы для горизонтальной брусковой диаграммы должны быть контрастно визуализированы и не иметь искажений. Нижняя граница вертикального бруска становится исключением. Она может быть визуализирована с меньшей тщательностью, например, размыта или деформирована. Но это предположение в свою очередь требует дополнительных сравнений и исследований.

4. Обсуждение и выводы

Итоги исследований, представленные здесь, основаны на методе окулографии и методе кластеризации, обусловленными детерминированным поведением. В результате мы ожидаем, что они станут полезными инструментами изучения форм визуализации данных для обнаружения и анализа областей, представляющих интерес для зрителя. Это справедливо как для использования в экспериментальном анализе, так и для автоматизации решений по контенту в интерактивных системах с использованием ай-трекинга. Этот подход наиболее применим в ситуациях, связанных с просмотром изображения или сцены, неограниченным по времени и в пространстве, например, по примеру ранее выполненных исследований композиции кинокадра ^[25]. Метод ай-трекинга может применяться для исследования эргономики визуального восприятия плоскостных моделей трехмерных объектов, например, рельефов поверхностей в картографии и гидрологии, в ультразвуковом и лазерном зондировании, в других прикладных инженерных задачах.

За рамками настоящего исследования остались вопросы цветового кодирования при визуализации массивов информации, формирования рекомендаций по колористике диаграмм. Визуальное восприятие отдельных цветов, групп контрастов и колористических схем остается актуальной задачей. Это требует дальнейшего изучения, в том числе с использованием метода ай-трекинга и кластерного метода анализа полученных результатов, в основу которого может быть положено определение точек интереса и зон интереса пользователя.

Нам необходимо сказать, что кластерный анализ проводился на основе одного из возможных признаков: координатного расположения фиксаций глазодвигательной активности. В настоящей статье не рассматривалась кластеризация, основанная на принципах оценки близости или порядка следования саккад, продолжительности фиксаций и так далее. Использование различных принципов кластерного анализа для обработки данных глазодвигательной активности требует дальнейшего отдельного исследования.

Возможно, интересными являются новые экспериментальные протоколы, алгоритмы кластеризации и интерактивные системы по определению зон интереса. Их местоположение и свойства можно использовать для изучения особенностей визуального восприятия различных групп зрителей, сходства и различий решаемых задач или использования разных версий изображений. Это можно было бы сделать как в координатном пространстве, сравнив центроиды кластера, созданные разными пользователями или их группами, так и по временной шкале. Относительное количество точек данных внутри кластера указывает на его важность для определения зон интереса. Это может сделать кластерный метод полезным для количественной оценки визуального интереса. Алгоритмизация анализа кластерных моделей позволяет перевести визуальную интерпретацию структур числовых данных в круг задач поддержки принятия решений, решаемых с помощью программных средств.

Применение кластерного метода анализа результатов ай-трекинговых исследования в отношении средств визуализации имеет непосредственное значение для информационного дизайна. Это позволяет уточнить особенности графических форм и формообразования диаграмм, позволяет верифицировать использование проектных правил, сформулированных усилиями отечественных и зарубежных специалистов в конце XIX — начале XX вв. Такая верификация может быть сделана по методике, включающей в себя статистические методы и метод ай-трекинга, что позволяет учесть ценный опыт прошлого в современном дизайне информации.