领域
ALL 
特色
ALL 
请选择
On numerical issues of divergences between nearly equal distributions
On numerical issues of divergences between nearly equal distributions
Brandon Amos
机器学习基础
损失函数设计与动态正则化
参数优化算法
根据论文相关帖子在国内外社交媒体讨论量计算得出,仅供参考
594
热度
巴伦等人(2026)近期发现了softmax函数及软交叉熵损失在数值计算中存在若干问题。我们进一步指出,标准的类别分布间散度运算同样存在类似问题。这包括前向与反向Kullback-Leibler(KL)散度、广义Jensen-Shannon散度(JSD),以及基于蒙特卡洛方法的KL散度估计和熵计算。当两个分布非常接近时,浮点舍入误差与相消误差会同时影响前向传播计算及梯度计算。此类数值不稳定性可能波及各类将散度作为优化目标组成部分的应用场景,例如知识蒸馏、强化学习以及近端优化方法等。为此,我们提出了若干数值稳定的新公式,并为每种应用场景提供了具体实现示例;所有实现均通过基于数学性质的测试进行了严格验证。
PDF
许愿
已成功许愿
社区会每周邀请许愿量TOP的论文作者,来社区直播开讲。为提升邀请成功率,你可分享给同行小伙伴,一起来许愿~
取消许愿
