В таких областях, как психология, когнитивные науки, здравоохранение, образование, розничная торговля, недвижимость и туризм, технология отслеживания взгляда трансформирует наше понимание человеческого внимания и поведения. Анализируя движения глаз человека, она показывает, на что он смотрит, как долго, и последовательность его взгляда. Эти данные имеют большое значение для исследований пользовательского опыта, оценки эффективности рекламы, мониторинга безопасности водителей и даже ранней диагностики аутизма.
Для производителей VR-гарнитур, интегрирующих высококачественное отслеживание взгляда в свои устройства, необходим модуль камеры, способный точно фиксировать микродвижения глаз, быстро фокусироваться и обеспечивать высококачественное изображение. VR-гарнитуры имеют крайне ограниченное внутреннее пространство, работают в различных условиях освещения (от комнатного освещения до темного интерьера гарнитуры) и требуют обработки больших объемов изображений в реальном времени.Качество изображения, скорость фокусировки, разрешение и стабильность интерфейса модуля камеры напрямую влияют на точность отслеживания взгляда и общий пользовательский опыт.
В отличие от стандартных камер, камеры, используемые для отслеживания взгляда, сталкиваются с рядом жестких требований:
Сверхвысокое разрешение: Необходимо четко фиксировать мелкие детали, такие как текстура радужной оболочки, края зрачка и точки отражения роговицы. Более высокое разрешение обеспечивает более высокую точность отслеживания.
Быстрая автофокусировка: Расстояние между глазом пользователя и камерой может незначительно меняться в зависимости от посадки гарнитуры. Автофокус гарантирует, что глаз остается постоянно резким.
Оптика с низким уровнем искажений: Искажения могут искажать форму глаза, снижая точность расчета точки взгляда.
Равномерное полнокадровое изображение: Как центр, так и края должны сохранять высокое разрешение, поскольку глаз может находиться в любой точке кадра (например, при взгляде в сторону).
Компактный размер: Пространство внутри VR-гарнитуры ограничено; модуль должен быть достаточно маленьким, чтобы легко интегрироваться.
Высокоскоростной интерфейс: Отслеживание в реальном времени требует передачи изображений высокого разрешения с низкой задержкой, что делает интерфейс MIPI идеальным выбором.
Исходя из нашего понимания приложений для умного оборудования и компьютерного зрения, модуль камеры MIPI действительно подходящий для отслеживания взгляда в VR-гарнитурах, требует точного согласования датчика, оптики, фокусировки и интерфейса.
Алгоритмы отслеживания взгляда обычно полагаются на три ключевых признака: края зрачка, текстура радужной оболочки и отражения роговицы (изображения Пуркинье). Если разрешение недостаточно, эти тонкие структуры становятся размытыми, что приводит к увеличению ошибок расчета точки взгляда.
Этот модуль камеры UHD построен на основе CMOS-сенсора IMX576(1/2,7 дюйма, корпус COB). Его ключевые характеристики:
Эффективное количество пикселей: 5760(Г) x 4312(В) — примерно 24 мегапикселя (24 Мп). Это один из самых высокоразрешающих модулей камер MIPI. По сравнению с обычными модулями 2 Мп или 5 Мп, 24 Мп обеспечивает в 4-12 раз больше деталей, способен четко фиксировать тонкие текстуры радужной оболочки, точные положения краев зрачка и крошечные точки отражения роговицы.
Вывод UHD 24 Мп: Поддерживает вывод изображений сверхвысокой четкости, удовлетворяя экстремальные требования к ясности алгоритмов отслеживания взгляда. Даже во время быстрых саккад он захватывает кадры, достаточно резкие для последующего анализа.
В VR-гарнитуре расстояние между глазом пользователя и камерой обычно составляет 2-5 см. На этом расстоянии разрешение 24 Мп означает, что физический размер, представленный одним пикселем, может составлять всего несколько микрометров — достаточно для разрешения смещений зрачка менее миллиметра.
При ношении VR-гарнитуры межзрачковое расстояние и выступание глаз варьируются у разных пользователей, а гарнитура может немного смещаться во время движения. При использовании камеры с фиксированным фокусом глаза некоторых пользователей могут оказаться вне глубины резкости, что приведет к размытым изображениям.
Этот CMOS-модуль камеры интегрирует голосовой мотор с замкнутым контуром HBM (VCM), управляемый драйверным чипом CN3927E, поддерживающий диапазон автофокусировки от 10 см до бесконечности. Его преимущества:
Замкнутое управление: В отличие от двигателей с разомкнутым контуром, двигатель с замкнутым контуром использует датчики Холла для обратной связи по положению линзы в реальном времени, обеспечивая более быструю и точную фокусировку. Это крайне важно для захвата быстрых движений глаз, таких как саккады и преследования.
Динамическая стабильность: Поскольку VR-гарнитуры движутся во время игр или иммерсивных впечатлений, двигатель с замкнутым контуром постоянно подстраивает фокус, сохраняя резкость изображения глаза.
Минимальная фокусировка 10 см: Идеально соответствует близкому рабочему расстоянию между камерой и глазом внутри VR-гарнитуры.
В приложениях отслеживания взгляда скорость фокусировки напрямую определяет, сможет ли система зафиксировать 瞬时的 сдвиги взгляда. Миллисекундный отклик двигателя с замкнутым контуром HBM гарантирует, что каждый кадр будет пригоден для использования.
Алгоритмы отслеживания взгляда рассчитывают направление взгляда на основе относительного положения отражений роговицы и центра зрачка. Если изображение имеет искажения, форма глаза искажается, точки отражения смещаются, а результаты расчета страдают от систематических ошибок.
Оптическая система этого модуля специально оптимизирована:
Фокусное расстояние: 3,95 мм, обеспечивающее поле зрения примерно 78,1° на сенсоре 1/2,7 дюйма. Это поле адекватно охватывает полный диапазон нормальных вращательных движений глаза.
Большая диафрагма F1.8: Обеспечивает достаточный прием света, позволяя использовать более высокие скорости затвора даже в относительно темной среде внутри VR-гарнитуры, уменьшая размытие при движении.
Искажения <1%: Строго контролируются до уровня менее 1%, обеспечивая точную геометрию глаза для ввода данных при расчете точки взгляда.
Равномерное полнокадровое разрешение: Разрыв в разрешении между центром и краем специально оптимизирован. Стандартные объективы часто имеют резкий центр и размытые края, но при отслеживании взгляда глаз может находиться в любой точке кадра (особенно на краю при взгляде в сторону). Равномерное полнокадровое изображение гарантирует, что алгоритм отслеживания получает четкие признаки независимо от направления взгляда.
Объем данных от изображений с разрешением 24 Мп огромен. При использовании стандартного интерфейса передача одного несжатого кадра может занять сотни миллисекунд, что не соответствует требованиям отслеживания взгляда в реальном времени (обычно требуются 60 кадров в секунду или выше).
Этот модуль камеры 24 Мп использует высокоскоростной интерфейс MIPI 4-Lane, каждая линия которого способна передавать данные со скоростью более 1,5 Гбит/с, обеспечивая общую пропускную способность более 6 Гбит/с. Это означает:
Плавная передача видеопотоков 24 Мп с полным разрешением (с соответствующим контролем частоты кадров), удовлетворяющая потребности в пропускной способности для отслеживания в реальном времени.
Сверхнизкая задержка, обеспечивающая синхронизацию между движением глаз и реакцией системы.
Сильная дифференциальная сигнальная антиинтерференционная способность, подходящая для сложной электромагнитной среды внутри VR-гарнитур (с драйверами дисплея, беспроводными модулями и т. д. в качестве источников шума).
VR-гарнитуры — это потребительская электроника повседневного использования, подверженная падениям, вибрациям и перепадам температур. Этот модуль имеет структурные оптимизации:
Корпус COB (Chip on Board): Необработанный кристалл монтируется непосредственно на печатную плату, что уменьшает толщину модуля и повышает его устойчивость к ударам.
Фиксированный адрес связи IIC (запись 0x34, чтение 0x35): Обеспечивает надежную передачу команд управления, упрощая интеграцию системы.
1. Отслеживание взгляда в VR/AR-гарнитурах: Интегрируется в VR-гарнитуры для фовеального рендеринга (снижение нагрузки на GPU) и взаимодействия на основе взгляда (например, выбор пунктов меню просто взглядом).
2. Исследования в области психологии и когнитивных наук: Высокоточное отслеживание взгляда используется в лабораториях для изучения механизмов внимания, поведения при чтении, процессов принятия решений и т. д.
3. Здравоохранение: Используется для раннего скрининга аутизма (атипичные паттерны взгляда), диагностики неврологических расстройств (нарушения движений глаз) и оценки реабилитации после черепно-мозговых травм.
4. Розничная торговля и маркетинг: Анализ траекторий взгляда потребителей на полках для оптимизации размещения товаров и дизайна упаковки.
5. Образование и обучение: Отслеживание распределения внимания учащихся для оценки эффективности учебных материалов.
6. Недвижимость и туризм: Анализ визуальных горячих точек в виртуальных шоурумах или рекламных туристических видео для оптимизации дизайна контента.
Основная ценность технологии отслеживания взгляда заключается в "раскрытии визуального внимания". А отправной точкой для всего этого является модуль камеры, оснащенный сверхвысоким разрешением 24 Мп, автофокусом с замкнутым контуром HBM, низкими искажениями <1%, равномерным полнокадровым разрешением и высокоскоростным интерфейсом MIPI. Это больше, чем просто аппаратный компонент; это ключевая точка входа, позволяющая системам отслеживания взгляда достигать "точного захвата" и "реакции в реальном времени".
Если вы разрабатываете VR/AR-гарнитуры, устройства для отслеживания взгляда или другие продукты, требующие высокоточного визуального восприятия, мы предлагаем комплексную поддержку в выборе модуля камеры, оптической настройке, системной интеграции и доставке серийного производства. Начните с одного модуля, и позвольте вашему устройству "видеть" яснее и "отслеживать" точнее.
