Exploring Bottom-Up Clustering for Creating Semantic IDs
本文提出了一种基于自下而上聚类的方法生成语义ID,解决了映射唯一性和保留嵌入结构的问题,提高了语义ID的聚类质量和下游任务的实用性。
0 citationsRead paper
本文提出了一种基于自下而上聚类的方法生成语义ID,解决了映射唯一性和保留嵌入结构的问题,提高了语义ID的聚类质量和下游任务的实用性。
为了解决工具增强LLM代理评估中用户输入缺乏多样性的问题,本文提出了一种包含23个维度的三层人格向量模型,以生成更真实多样的用户模拟。
为了解决LLM深度压缩中质量损失问题,提出XMerge方法,通过跨轴选择和局部边界重建来移除transformer层,无需标签或微调。
研究通过因果混合精度干预测试了量化损伤的位置及如何分配额外精度预算,发现全局细化量化优于局部修复关键层。
研究解决持久内存代理中因模型能力变化导致的陈旧事实覆盖当前权威证据的问题,通过不同规模模型在特定基准上的表现评估其影响及缓解方法。
本文提出了一种基于自下而上聚类的方法生成语义ID,解决了映射唯一性和保留嵌入结构的问题,提高了语义ID的聚类质量和下游任务的实用性。
为了解决工具增强LLM代理评估中用户输入缺乏多样性的问题,本文提出了一种包含23个维度的三层人格向量模型,以生成更真实多样的用户模拟。
为了解决LLM深度压缩中质量损失问题,提出XMerge方法,通过跨轴选择和局部边界重建来移除transformer层,无需标签或微调。
研究通过因果混合精度干预测试了量化损伤的位置及如何分配额外精度预算,发现全局细化量化优于局部修复关键层。
研究解决持久内存代理中因模型能力变化导致的陈旧事实覆盖当前权威证据的问题,通过不同规模模型在特定基准上的表现评估其影响及缓解方法。