在深度学习模型的训练中,使用大型数据集至关重要,但这些数据集往往存在标签噪声,这会显著影响模型在测试集上的分类效果。为了解决这一问题,来自Yildiz技术大学的Enes Dedeoglu、H. Toprak Kesgin和M. Fatih Amasyali教授的研究团队提出了一种创新的方法,称为Adaptive-k,该方法优化了训练过程,并在标签噪声存在的情况下取得了更好的效果。他们的研究成果于2024年8月15日发表在《计算机科学前沿》杂志上,由高等教育出版社与施普林格·自然共同出版。
Adaptive-k方法通过自适应选择用于更新的样本数量,能够更有效地识别和分离噪声样本,从而提升在标签噪声数据集上的训练成功率。这一方法简单易行,无需事先了解数据集的噪声比例,也不需要额外的模型训练或显著延长训练时间。Adaptive-k展现了其潜力,能够达到接近Oracle方法的性能,彻底改变了深度学习模型在噪声数据集上的训练方式,甚至在噪声样本完全被排除的情况下。
在研究中,团队将Adaptive-k与其他常见算法(如Vanilla、MKL、Vanilla-MKL和Trimloss)进行了比较,并评估了其在Oracle场景下的表现,其中所有噪声样本都是已知并被排除的。通过在三个图像数据集和四个文本数据集上的实验,结果表明Adaptive-k在处理标签噪声数据集时始终表现优越。此外,Adaptive-k方法与多种优化器(如SGD、SGDM和Adam)兼容。
本研究的主要贡献包括:
• 提出了Adaptive-k,这是一种针对标签噪声数据集的鲁棒训练新算法,易于实现,无需额外的模型训练或数据增强。
• 对Adaptive-k进行了理论分析,并与MKL和SGD算法进行了比较。
• 使用Adaptive-k进行高精度的噪声比估计,无需事先了解数据集或进行超参数调整。
• 在多个图像和文本数据集上,Adaptive-k与Oracle、Vanilla、MKL、Vanilla-MKL和Trimloss算法进行了实证比较。
未来的研究将致力于进一步改进Adaptive-k方法,探索其在其他领域的应用,并持续提升其性能。
本文来自作者[svs]投稿,不代表立场,如若转载,请注明出处:http://dasbrooksbookkeeping.com/post/5918.html
评论列表(4条)
我是的签约作者“svs”!
希望本篇文章《自适应k:噪声数据集的鲁棒训练方法"(真的有挂)-知乎》能对你有所帮助!
本站[]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览: 在深度学习模型的训练中,使用大型数据集至关重要,但这些数据集往往存在标签噪声,这会显著影响模型在测试集上的分类效果。为了解决这一问题,来自Yildiz技术大学的Enes D...