基于匿名众包反馈的可引导多元策略对齐
论文提出P3L（Preference-PCA Pluralistic Learning）框架，通过PCA分解从匿名众包反馈中联合学习轨迹嵌入与偏好方向的共享基，无需标注者身份即可完成多元对齐。测试阶段可快速进行个性化奖励学习与下游策略优化。在多个具身控制任务上，P3L实现可引导的个性化对齐，能泛化到离线数据集之外的分布外新用户，RL与测试性能具竞争力，同时显著降低计算成本并支持可变的适应查询预算。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback》查看原链
多元对齐要求AI系统从偏好可能异质甚至冲突的多样化人群中学习，并针对个体用户个性化其行为。 现有的多元对齐方法通常假设可以获取标注者身份，并依赖强大的预训练表征来建模个体偏好差异。 我们提出Preference-PCA Pluralistic Learning（P3L），这是一个新的多元对齐框架，它通过PCA分解从异质众包反馈中联合学习轨迹嵌入和偏好方向的共享基，且不需要标注者身份。
在测试时，我们的方法能够实现快速准确的个性化奖励学习和下游策略优化。 在多个具身控制任务上的实验表明，P3L能够实现可引导的个性化对齐，并泛化到离线数据集之外的分布外新用户，同时获得有竞争力的强化学习和测试性能，并大幅降低计算成本，支持可变的适应查询预算。