Teacher2Task是谷歌团队推出的多教师学习框架,引入教师特定的输入标记和重新构思训练过程,消除对手动聚合启发式方法的需求。框架不依赖聚合标签,将训练数据转化为N+1个任务,包括N个辅助任务预测每位教师的标记风格,及一个主要任务关注真实标签。这种方法提高标签效率,减少对手动启发式方法的依赖,减轻潜在标签不准确性的影响,让模型从多个教师的多样化预测中学习,提高性能和鲁棒性。

Teacher2Task – 谷歌推出的多教师学习框架  第1张
(图片来源网络,侵删)
Teacher2Task – 谷歌推出的多教师学习框架  第2张
(图片来源网络,侵删)