Anish LakkapragadaAaron KlineOnur Cezmi MutluKelley PaskovBrianna ChrismanNate StockhamPeter WashingtonDennis Wall

摘要
正式的自闭症诊断过程往往效率低下且耗时较长。尽管已有证据表明,早期干预能够显著改善治疗效果,但许多家庭仍需等待数月甚至更长时间才能获得孩子的诊断结果。数字技术可通过识别与自闭症相关的行为特征,有效扩大儿童自闭症诊断的可及性。本研究旨在验证深度学习技术在从非结构化家庭视频中检测拍手行为方面的可行性,作为评估模型与数字技术能否助力自闭症诊断的第一步。研究采用自刺激行为数据集(Self-Stimulatory Behavior Dataset, SSBD),该数据集包含75段儿童出现拍手、撞头及旋转等行为的视频。从所有拍手行为视频中,我们提取出100段正样本和对照样本的拍手视频,每段时长介于2至5秒之间。通过结合基于关键点的方法与MobileNet V2预训练卷积层,本研究构建的最优模型在100次五折交叉验证中,取得了84%的测试F1分数(精确率为90%,召回率为80%)。该研究为开发高精度的深度学习方法以识别自闭症相关行为活动迈出了关键的第一步。
代码仓库
anish-lakkapragada/ActivRecognition-Autism-Diagnosis
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| activity-recognition-on-self-stimulatory | all-landmark-model | Activity Recognition: 0.76 |