Higher-order pruning of experts in mixture-of-experts language models
为解决MoE语言模型参数量大问题,提出HOPE方法,通过考虑专家间合作来优化剪枝决策,优于现有方法。
0 citationsRead paper
为解决MoE语言模型参数量大问题,提出HOPE方法,通过考虑专家间合作来优化剪枝决策,优于现有方法。
本文提出DenseFace方法,通过密度感知的概率匹配减少预训练面部识别模型中的种族偏见,同时保持识别精度。
本文提出MInTRL方法,通过稀疏局部干预增强探索范围,同时保持学习轨迹的在策略性,以解决强化学习中探索与学习能力之间的平衡问题。
研究解决了神经符号系统中形式化翻译不保真问题,提出Generative Verification方法,通过生成参考等价分数提高验证准确性。
本文提出UnitBoost方法,通过定义的元级操作符而非生成模型来管理复合LLM系统,解决了协调问题,并在多个基准测试中表现出色。
为解决MoE语言模型参数量大问题,提出HOPE方法,通过考虑专家间合作来优化剪枝决策,优于现有方法。
本文提出DenseFace方法,通过密度感知的概率匹配减少预训练面部识别模型中的种族偏见,同时保持识别精度。
本文提出MInTRL方法,通过稀疏局部干预增强探索范围,同时保持学习轨迹的在策略性,以解决强化学习中探索与学习能力之间的平衡问题。
研究解决了神经符号系统中形式化翻译不保真问题,提出Generative Verification方法,通过生成参考等价分数提高验证准确性。
本文提出UnitBoost方法,通过定义的元级操作符而非生成模型来管理复合LLM系统,解决了协调问题,并在多个基准测试中表现出色。