eng
TS_pub
technospheramag
technospheramag
ТЕХНОСФЕРА_РИЦ
Выпуск #1/2021
В. С. Захариков, Д. В. Клусов, А. В. Гусаченко, Б. Н. Новгородов, Г. Н. Попов
Система определения направления взгляда человека с калибровкой по одной точке на экране
Система определения направления взгляда человека с калибровкой по одной точке на экране
Просмотры: 2481
DOI: 10.22184/1993-7296.FRos.2021.15.1.100.106
В существующих системах отслеживания взгляда человека (eye-tracking) применяется калибровка по трем и более точкам. В статье предложен алгоритм калибровки айтрекера только по одной точке на мониторе. Подобные системы, благодаря упрощенному и быстрому процессу калибровки, позволяют начать работать через несколько секунд. Система может использоваться в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
В существующих системах отслеживания взгляда человека (eye-tracking) применяется калибровка по трем и более точкам. В статье предложен алгоритм калибровки айтрекера только по одной точке на мониторе. Подобные системы, благодаря упрощенному и быстрому процессу калибровки, позволяют начать работать через несколько секунд. Система может использоваться в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
Теги: ergonomics eye-tracker eye tracking technology interface regression polynomial tracking system video equipment айтрекер видеоаппаратура интерфейс регрессионный полином технология отслеживания взгляда эргономика
Система определения направления взгляда человека с калибровкой по одной точке на экране
В. С. Захариков 1, Д. В. Клусов 1, А. В. Гусаченко 2, Б. Н. Новгородов 2, Г. Н. Попов 3
СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия
Филиал ИФП СоРАН «КТИПМ», г. Новосибирск, Россия
ОКБ «Экран» ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия
В существующих системах отслеживания взгляда человека (eye-tracking) применяется калибровка по трем и более точкам. В статье предложен алгоритм калибровки айтрекера только по одной точке на мониторе. Подобные системы, благодаря упрощенному и быстрому процессу калибровки, позволяют начать работать через несколько секунд. Система может использоваться в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
Ключевые слова: технология отслеживания взгляда, tracking system, интерфейс, эргономика, видеоаппаратура, айтрекер, регрессионный полином, eye-tracker
Статья поступила в редакцию: 10.12.2020
Принята к публикации: 18.01.2021
ВВЕДЕНИЕ
Технологии отслеживания направления взгляда человека (видеоокулография, eye-tracking) используются в различных системах проектирования компьютерных интерфейсов [Tobii Eye, MICROSOFT’S EYE CONTROL]. Время фиксации глаза и плотность траектории позволяют делать выводы о том, каким элементам рассматриваемого объекта или изображения уделяется наибольшее внимание.
Основную часть информации об окружающем мире человек воспринимает с помощью зрения. Элементы зрительной системы – глаз, нерв и зрительный анализатор головного мозга – тесно связаны между собой, поэтому изучение траектории движения глазного яблока позволяет делать выводы о процессе распознавания зрительных образов и мыслительных процессах человека в целом. Отслеживание направления взгляда также дает возможность строить принципиально новые интерфейсы взаимодействия между человеком и техническими средствами. Это позволяет в значительной степени повысить удобство работы с вычислительной техникой (персональным компьютером, коммуникатором, планшетом, электронной книгой, смартфоном, а также навигатором в современном автомобиле и т. д.), упрощая и ускоряя переход по ссылкам и работу с приложениями. Такие системы позволяют сделать более эргономичным взаимодействие пользователя с многооконными приложениями. Программное обеспечение может быть адаптировано под большое количество прикладных задач. Крупную область применения технологии представляют интерактивные системы, позволяющие осуществлять управление различными устройствами с помощью глаз [1–3].
Существует несколько способов определения направления взгляда по движению глаз, например измерение электрического потенциала в глазных мускулах при помощи расположенных вокруг глаза электродов или использование специальных контактных линз, упрощающих процедуру слежения. Однако наиболее приемлемым способом в настоящее время является инфракрасное сканирование глаз. При этом способе используется излучатель в виде инфракрасного светодиода и приемник в виде инфракрасной видеокамеры или многоэлементного фотоприемника [4, 5]. И излучатель, и приемник устанавливают в пределах прямой видимости лица оператора. Свет, испускаемый светодиодом, отражается от глаз и улавливается фотоприемником. Поскольку инфракрасное излучение практически невидимо для человека, оно не мешает нормальному зрительному процессу. Одним из вариантов взаимного расположения излучателя и приемника является их размещение на различных осях на некотором расстоянии друг от друга (рис. 1), в результате чего зрачок на приемнике будет иметь темный оттенок. С точки зрения физики зрачок представляет собой почти абсолютно черное тело, т. е. отношение отраженного и поглощенного световых потоков близко к нулю. Это обеспечивает сильный контраст между областями зрачка и радужной оболочки в кадре.
О положении взгляда можно судить по взаимному расположению лучей направленного инфракрасного освещения, отраженного от различных частей глазного яблока – так называемый метод изображений Пуркинье. Однако для реализации этого необходимо специальное оборудование и лабораторные условия. В связи с этим актуальной является задача создания системы отслеживания направления взгляда, их не требующей.
Алгоритмы обработки
изображения и распознавания
Для точной оценки взгляда необходимо точно детектировать позицию зрачков на изображении [1–3, 5–7]. Согласно проведенным исследованиям алгоритмы детектирования зрачков неустойчиво работают на камерах с низким разрешением.
Существенное улучшение качества детектирования зрачков происходит при применении инфракрасной подсветки и разрешении зрачка не менее 15 пикселей в диаметре. Обработка изображения позволяет выделить отражение от роговицы (блик) и зрачок. По взаимному расположению можно вычислить направление взгляда. Блик является исходной точкой (точкой отсчета) положения зрачка в плоскости сенсора.
Алгоритмы обработки изображения и распознавания получаются непростыми, так как должны учитывать много факторов:
Разработанный алгоритм состоит из следующих шагов:
Черно-белое изображение, поступающее с инфракрасной камеры, бинаризуется с некоторым порогом так, что области, темнее порога, рассматриваются как возможные кандидаты в качестве зрачка.
На полученном бинаризованном изображении выделяются компоненты связности.
Часть компонент отсеивается в соответствии со следующими правилами:
удаляются компоненты, касающиеся границы изображения;
удаляются компоненты, площадь которых выше или ниже заданных порогов;
Если после фильтрации осталось более одной компоненты, то выбирается та, которая ближе к центру изображения.
От крайних точек (сверху, снизу, справа, слева) найденной компоненты на несколько точек внутрь выделяются четыре массива, производится проверка, чтобы число точек в противоположных массивах не отличалось больше заданной величины (защита от моргания). За координату х центра зрачка принимается центр масс левого и правого компонента, за координату у – верхнего и нижнего.
Центр блика можно найти по аналогичному алгоритму, изменив в первом пункте, что области, светлее определенного порога, рассматриваются в качестве возможных кандидатов блика. Рисунок 2 иллюстрирует качество изображения глаза, бликов и результат вычисления центра зрачка.
Для перехода из системы координат камеры в систему координат экрана, на который смотрит оператор необходимо использовать регрессионный полином
sx = a0 + a1x + a2x3 + a3y2
sy = b0 + b1x + b2y + b3x2y,
где x, y – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника; sx, sy – координаты центра зрачка в плоскости экрана оператора.
Таким образом, до начала работы системы необходима калибровка для вычисления коэффициентов ai, bi, где i = 0...3.
Исследования и опытные эксперименты показали, что существенное влияние при «привязке» глаза к монитору оказывают коэффициенты a1 и b2, остальными коэффициентами можно пренебречь, несмотря на изменившееся расстояние между оператором и монитором.
Учитывая вышесказанное регрессионный полином можно преобразовать к линейному виду
Sx = kг · (xт – xц) + W / 2
Sy = kв · (yт – yц) + H / 2,
где xт, yт – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника при взгляде, направленном в текущую точку; xц, yц – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника, соответствующие центру экрана монитора; kг, kв – передаточные коэффициенты по горизонтали и вертикали, зависящие от расстояния глаза до камеры; sx, sy – координаты центра зрачка в плоскости экрана оператора; W × Н – разрешение экрана монитора.
Таким образом, для калибровки и начала работы системы айтрекера необходимо направить взгляд на точку в центре экрана всего на несколько секунд, что существенно быстрее других систем, у которых калибровка осуществляется по трем и более точкам, время калибровки при этом составляет не менее 9 с. При изменении расстояния между оператором и монитором, коэффициенты kг, kв автоматически пересчитываются, значение коэффициентов варьируется от 10 до 12, в зависимости от типа глаза и расстояния до монитора. При увеличении расстояния до монитора значение коэффициентов увеличивается.
Область применения
В военной технике такие системы применяются практически только в авиации (рис. 3). Изображение проецируется на прозрачный экран, находящийся перед глазами пилота и закрепленный на его шлеме. Поскольку экран прозрачен, пилот может одновременно наблюдать внешнюю обстановку и индицируемую информацию. Изображение коллимируется в бесконечность, тем самым исключается необходимость аккомодации глаз.
В настоящее время область применения этих систем ограничена боевыми самолетами и вертолетами, где они позволяют осуществлять контроль полета и прицеливание, не опуская взгляд на индикаторы в кабине, т. е. не отвлекаясь от окружающей обстановки, что очень важно в условиях боевых действий и на напряженных фазах полета.
Заключение
Разработанная система имеет широчайшие возможности для применения в вычислительной технике, робототехнике, медицине и практически любой сфере деятельности, в которой используются двигатели и дисплеи, ускоряя процессы передачи команд на исполнительные устройства. В отличие от аналогичных систем, благодаря упрощенному и быстрому процессу калибровки, позволяющему начать работать через несколько секунд, представленная система может использоваться и в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
СПИСОК ЛИТЕРАТУРЫ
Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М: Техносфера. 2005. 1072 с. ISBN 5-94836-028-8.
Местецкий Л. М. Математические методы распознавания образов. – М:. ВМиК МГУ. 2002–2004; 42–44.
Малин И. К. Алгоритм нахождения радужки для системы отслеживания направления взгляда на основе доступной видеоаппаратуры. Труды МАИ. 2009; 36.
Фроимсон М. И., Михайлов Д. М., Корсакова А. И., Сорокина М. А., Кондратьев М. Д. Система определения направления взгляда пользователя в режиме реального времени. Спецтехника и связь. 2013; 3: 32–34.
Чинаев Н. Н., Матвеев И. А. Определение точной границы зрачка. Машинное обучение и анализ данных. 2013; 1: 5.
Yang fu. Regression Based gaze estimation with natural head movement. Partial fulfillment of the requirements for the degree of master of applied science. – Concordia university montreal. quebec. canada. 2015. 87 p.
Strupczewski A. Commodity Camera Eye Gaze Tracking. Warsaw university of technology. Warsaw. 2016. 203 p.
Вклад авторов
Все авторы внесли вклад в работу и последующее обсуждение рукописи: Попов Г. Н. – идея алгоритма; Захариков В. С. – математическая реализация алгоритма; Клусов Д. В. – реализация алгоритма в программной среде, проведение ряда экспериментов; Гусаченко А. В., Новгородов Б. Н. – реализация аппаратной и программной части обработки изображения айтрекера.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов
Об авторах
Захариков В. С., к. т. н., корреспондирующий автор; sktb@romz.ru; начальник конструкторского отдела СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
Клусов Д. В., инженер-конструктор 2 категории конструкторского отдела СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
Гусаченко А. В. – ведущий инженер-электроник отдела электронных систем Филиала ИФП СОРАН «КТИПМ», г. Новосибирск, Россия.
Новгородов Б. Н. – ведущий инженер-программист отдела тепловидения и телевидения Филиала ИФП СО РАН «КТИПМ», г. Новосибирск, Россия.
Попов Г. Н., директор ОКБ «Экран» ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
В. С. Захариков 1, Д. В. Клусов 1, А. В. Гусаченко 2, Б. Н. Новгородов 2, Г. Н. Попов 3
СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия
Филиал ИФП СоРАН «КТИПМ», г. Новосибирск, Россия
ОКБ «Экран» ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия
В существующих системах отслеживания взгляда человека (eye-tracking) применяется калибровка по трем и более точкам. В статье предложен алгоритм калибровки айтрекера только по одной точке на мониторе. Подобные системы, благодаря упрощенному и быстрому процессу калибровки, позволяют начать работать через несколько секунд. Система может использоваться в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
Ключевые слова: технология отслеживания взгляда, tracking system, интерфейс, эргономика, видеоаппаратура, айтрекер, регрессионный полином, eye-tracker
Статья поступила в редакцию: 10.12.2020
Принята к публикации: 18.01.2021
ВВЕДЕНИЕ
Технологии отслеживания направления взгляда человека (видеоокулография, eye-tracking) используются в различных системах проектирования компьютерных интерфейсов [Tobii Eye, MICROSOFT’S EYE CONTROL]. Время фиксации глаза и плотность траектории позволяют делать выводы о том, каким элементам рассматриваемого объекта или изображения уделяется наибольшее внимание.
Основную часть информации об окружающем мире человек воспринимает с помощью зрения. Элементы зрительной системы – глаз, нерв и зрительный анализатор головного мозга – тесно связаны между собой, поэтому изучение траектории движения глазного яблока позволяет делать выводы о процессе распознавания зрительных образов и мыслительных процессах человека в целом. Отслеживание направления взгляда также дает возможность строить принципиально новые интерфейсы взаимодействия между человеком и техническими средствами. Это позволяет в значительной степени повысить удобство работы с вычислительной техникой (персональным компьютером, коммуникатором, планшетом, электронной книгой, смартфоном, а также навигатором в современном автомобиле и т. д.), упрощая и ускоряя переход по ссылкам и работу с приложениями. Такие системы позволяют сделать более эргономичным взаимодействие пользователя с многооконными приложениями. Программное обеспечение может быть адаптировано под большое количество прикладных задач. Крупную область применения технологии представляют интерактивные системы, позволяющие осуществлять управление различными устройствами с помощью глаз [1–3].
Существует несколько способов определения направления взгляда по движению глаз, например измерение электрического потенциала в глазных мускулах при помощи расположенных вокруг глаза электродов или использование специальных контактных линз, упрощающих процедуру слежения. Однако наиболее приемлемым способом в настоящее время является инфракрасное сканирование глаз. При этом способе используется излучатель в виде инфракрасного светодиода и приемник в виде инфракрасной видеокамеры или многоэлементного фотоприемника [4, 5]. И излучатель, и приемник устанавливают в пределах прямой видимости лица оператора. Свет, испускаемый светодиодом, отражается от глаз и улавливается фотоприемником. Поскольку инфракрасное излучение практически невидимо для человека, оно не мешает нормальному зрительному процессу. Одним из вариантов взаимного расположения излучателя и приемника является их размещение на различных осях на некотором расстоянии друг от друга (рис. 1), в результате чего зрачок на приемнике будет иметь темный оттенок. С точки зрения физики зрачок представляет собой почти абсолютно черное тело, т. е. отношение отраженного и поглощенного световых потоков близко к нулю. Это обеспечивает сильный контраст между областями зрачка и радужной оболочки в кадре.
О положении взгляда можно судить по взаимному расположению лучей направленного инфракрасного освещения, отраженного от различных частей глазного яблока – так называемый метод изображений Пуркинье. Однако для реализации этого необходимо специальное оборудование и лабораторные условия. В связи с этим актуальной является задача создания системы отслеживания направления взгляда, их не требующей.
Алгоритмы обработки
изображения и распознавания
Для точной оценки взгляда необходимо точно детектировать позицию зрачков на изображении [1–3, 5–7]. Согласно проведенным исследованиям алгоритмы детектирования зрачков неустойчиво работают на камерах с низким разрешением.
Существенное улучшение качества детектирования зрачков происходит при применении инфракрасной подсветки и разрешении зрачка не менее 15 пикселей в диаметре. Обработка изображения позволяет выделить отражение от роговицы (блик) и зрачок. По взаимному расположению можно вычислить направление взгляда. Блик является исходной точкой (точкой отсчета) положения зрачка в плоскости сенсора.
Алгоритмы обработки изображения и распознавания получаются непростыми, так как должны учитывать много факторов:
- уровень освещенности и размер зрачка могут сильно изменяться;
- дневной свет и инфракрасное излучение различной природы создают ощутимые помехи;
- нужно игнорировать различные несущественные факторы, например моргание и непроизвольные скачки зрачка во все стороны, присущие процессу зрительной фиксации.
Разработанный алгоритм состоит из следующих шагов:
Черно-белое изображение, поступающее с инфракрасной камеры, бинаризуется с некоторым порогом так, что области, темнее порога, рассматриваются как возможные кандидаты в качестве зрачка.
На полученном бинаризованном изображении выделяются компоненты связности.
Часть компонент отсеивается в соответствии со следующими правилами:
удаляются компоненты, касающиеся границы изображения;
удаляются компоненты, площадь которых выше или ниже заданных порогов;
Если после фильтрации осталось более одной компоненты, то выбирается та, которая ближе к центру изображения.
От крайних точек (сверху, снизу, справа, слева) найденной компоненты на несколько точек внутрь выделяются четыре массива, производится проверка, чтобы число точек в противоположных массивах не отличалось больше заданной величины (защита от моргания). За координату х центра зрачка принимается центр масс левого и правого компонента, за координату у – верхнего и нижнего.
Центр блика можно найти по аналогичному алгоритму, изменив в первом пункте, что области, светлее определенного порога, рассматриваются в качестве возможных кандидатов блика. Рисунок 2 иллюстрирует качество изображения глаза, бликов и результат вычисления центра зрачка.
Для перехода из системы координат камеры в систему координат экрана, на который смотрит оператор необходимо использовать регрессионный полином
sx = a0 + a1x + a2x3 + a3y2
sy = b0 + b1x + b2y + b3x2y,
где x, y – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника; sx, sy – координаты центра зрачка в плоскости экрана оператора.
Таким образом, до начала работы системы необходима калибровка для вычисления коэффициентов ai, bi, где i = 0...3.
Исследования и опытные эксперименты показали, что существенное влияние при «привязке» глаза к монитору оказывают коэффициенты a1 и b2, остальными коэффициентами можно пренебречь, несмотря на изменившееся расстояние между оператором и монитором.
Учитывая вышесказанное регрессионный полином можно преобразовать к линейному виду
Sx = kг · (xт – xц) + W / 2
Sy = kв · (yт – yц) + H / 2,
где xт, yт – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника при взгляде, направленном в текущую точку; xц, yц – координаты центра зрачка относительно ИК-блика в плоскости фотоприемника, соответствующие центру экрана монитора; kг, kв – передаточные коэффициенты по горизонтали и вертикали, зависящие от расстояния глаза до камеры; sx, sy – координаты центра зрачка в плоскости экрана оператора; W × Н – разрешение экрана монитора.
Таким образом, для калибровки и начала работы системы айтрекера необходимо направить взгляд на точку в центре экрана всего на несколько секунд, что существенно быстрее других систем, у которых калибровка осуществляется по трем и более точкам, время калибровки при этом составляет не менее 9 с. При изменении расстояния между оператором и монитором, коэффициенты kг, kв автоматически пересчитываются, значение коэффициентов варьируется от 10 до 12, в зависимости от типа глаза и расстояния до монитора. При увеличении расстояния до монитора значение коэффициентов увеличивается.
Область применения
В военной технике такие системы применяются практически только в авиации (рис. 3). Изображение проецируется на прозрачный экран, находящийся перед глазами пилота и закрепленный на его шлеме. Поскольку экран прозрачен, пилот может одновременно наблюдать внешнюю обстановку и индицируемую информацию. Изображение коллимируется в бесконечность, тем самым исключается необходимость аккомодации глаз.
В настоящее время область применения этих систем ограничена боевыми самолетами и вертолетами, где они позволяют осуществлять контроль полета и прицеливание, не опуская взгляд на индикаторы в кабине, т. е. не отвлекаясь от окружающей обстановки, что очень важно в условиях боевых действий и на напряженных фазах полета.
Заключение
Разработанная система имеет широчайшие возможности для применения в вычислительной технике, робототехнике, медицине и практически любой сфере деятельности, в которой используются двигатели и дисплеи, ускоряя процессы передачи команд на исполнительные устройства. В отличие от аналогичных систем, благодаря упрощенному и быстрому процессу калибровки, позволяющему начать работать через несколько секунд, представленная система может использоваться и в военной сфере – в авиации и наземной технике, имеющей управляемые прицельные комплексы.
СПИСОК ЛИТЕРАТУРЫ
Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М: Техносфера. 2005. 1072 с. ISBN 5-94836-028-8.
Местецкий Л. М. Математические методы распознавания образов. – М:. ВМиК МГУ. 2002–2004; 42–44.
Малин И. К. Алгоритм нахождения радужки для системы отслеживания направления взгляда на основе доступной видеоаппаратуры. Труды МАИ. 2009; 36.
Фроимсон М. И., Михайлов Д. М., Корсакова А. И., Сорокина М. А., Кондратьев М. Д. Система определения направления взгляда пользователя в режиме реального времени. Спецтехника и связь. 2013; 3: 32–34.
Чинаев Н. Н., Матвеев И. А. Определение точной границы зрачка. Машинное обучение и анализ данных. 2013; 1: 5.
Yang fu. Regression Based gaze estimation with natural head movement. Partial fulfillment of the requirements for the degree of master of applied science. – Concordia university montreal. quebec. canada. 2015. 87 p.
Strupczewski A. Commodity Camera Eye Gaze Tracking. Warsaw university of technology. Warsaw. 2016. 203 p.
Вклад авторов
Все авторы внесли вклад в работу и последующее обсуждение рукописи: Попов Г. Н. – идея алгоритма; Захариков В. С. – математическая реализация алгоритма; Клусов Д. В. – реализация алгоритма в программной среде, проведение ряда экспериментов; Гусаченко А. В., Новгородов Б. Н. – реализация аппаратной и программной части обработки изображения айтрекера.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов
Об авторах
Захариков В. С., к. т. н., корреспондирующий автор; sktb@romz.ru; начальник конструкторского отдела СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
Клусов Д. В., инженер-конструктор 2 категории конструкторского отдела СКТБ ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
Гусаченко А. В. – ведущий инженер-электроник отдела электронных систем Филиала ИФП СОРАН «КТИПМ», г. Новосибирск, Россия.
Новгородов Б. Н. – ведущий инженер-программист отдела тепловидения и телевидения Филиала ИФП СО РАН «КТИПМ», г. Новосибирск, Россия.
Попов Г. Н., директор ОКБ «Экран» ПАО «Ростовский оптико-механический завод», г. Ростов, Ярославская обл., Россия.
Отзывы читателей
