3 个月前

RT-BENE:自然环境下实时眨眼估计的数据集与基线方法

RT-BENE:自然环境下实时眨眼估计的数据集与基线方法

摘要

近年来,眼动估计方法取得了显著进展,这主要得益于其在人机交互、视觉注意力估计以及虚拟现实头显中的聚焦渲染等众多应用场景的推动。然而,多数眼动估计方法通常假设被试者眼睛处于睁开状态;当眼睛闭合时,这些方法往往会产生不准确甚至异常的估计结果。针对这一假设限制,本文首先提出一个全新的开源数据集,其中包含超过20万张眼部图像的眼部开闭标注,其中包括超过1万张闭眼图像。此外,我们还提出了一系列基于卷积神经网络的基线方法,用于实现眨眼检测。在大量实验中,我们验证了所提出的基线方法在精确率和召回率方面均表现出色。进一步地,我们将所提出的RT-BENE基线方法集成至近期提出的RT-GENE眼动估计框架中,实现了对眼部开闭状态的实时推理。我们认为,本工作将同时促进眼动估计与眨眼检测方法的发展,并为两类任务的统一建模迈出重要一步。

基准测试

基准方法指标
blink-estimation-on-eyeblink8DenseNet 121 Ensemble
F1: 0.976
blink-estimation-on-researcher-s-nightDenseNet 121 Ensemble
F1: 0.913
blink-estimation-on-rt-beneDenseNet 121 Ensemble
F1: 0.721

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RT-BENE:自然环境下实时眨眼估计的数据集与基线方法 | 论文 | HyperAI超神经