面向自闭症谱系障碍教育的人形机器人视觉任务建模与自动规划
研究提出一种面向自闭症谱系障碍（ASD）教育场景的半自主机器人方法：配备摄像头的机器人通过基于视觉的大语言模型，将鞋盒任务（Shoebox Tasks）的照片转换为PDDL规划域描述，并生成动作计划。团队在Nao人形机器人上实现机器人接口，可自主执行多种鞋盒任务，并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入，教师无需编程；经适配的接口可集成到多种教育机器人中。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Visual Task Modeling and Automated Planning for Humanoid Robots in Education of Individuals with Autism Spectrum Disorder》查看原链
在机器人辅助教育中，机器人必须理解如何完成一项任务，才能有效地引导学生完成该任务。 我们提出一种新方法，使配备摄像头的半自主机器人能够识别任务目标并规划实现该目标的动作。 我们的工作聚焦于鞋盒任务（Shoebox Tasks），这是自闭症谱系障碍（ASD）个体教育中常用的一种活动。
这些任务的设计使得目标可以直接从其视觉结构中推断出来。 我们开发了一个求解器，它使用基于视觉的大语言模型将鞋盒任务的照片转换为规划领域定义语言（PDDL）表示，并生成用于解决该任务的动作计划。 我们还实现了一个机器人接口，使Nao机器人能够自主执行各种鞋盒任务，并通过动作演示、语音指令或手势来建议下一步或发出检测到的失败信号，从而帮助学生。
经过适配的机器人接口，该求解器可以集成到各种教育机器人中。 教师无需具备编程专业知识，求解器仅以拍摄的图像作为输入运行。 特殊教育需求领域的研究表明，ASD学生可以从机器人辅助教学中显著受益，我们的系统旨在加强这些学习机会，同时培养ASD个体对机器人技术的兴趣。