Microcanonical Hamiltonian Monte Carlo and the Helmholtz Theorem
研究通过热力学视角分析了微正则哈密顿蒙特卡洛算法,证明其满足亥姆霍兹定理,并构建了适用于低维推理问题的新采样算法。
0 citationsRead paper
研究通过热力学视角分析了微正则哈密顿蒙特卡洛算法,证明其满足亥姆霍兹定理,并构建了适用于低维推理问题的新采样算法。
本文通过引入马尔可夫链蒙特卡洛循环来解决贝叶斯推理问题,并开发了自适应集成调度器以调整外部参数,发现非高斯模型可以产生非零净功输出。
本文提出一种高效构建缩放定律的框架,通过贝叶斯优化问题和计算预算逐步扩展的方法,大幅降低计算成本并准确拟合缩放定律。
研究了英语语料库上预训练大规模语言模型的学习率和批量大小的缩放行为,采用Warmup-Stable-Decay学习率调度,并探讨了损失与模型容量和数据集大小之间的关系。
为解决多模态预训练数据需求,通过收集和处理1.3亿个视频URL生成LAION-BVD数据集,采用内容感知场景检测和合成字幕技术,支持视频、音频及图像模态学习。
研究通过热力学视角分析了微正则哈密顿蒙特卡洛算法,证明其满足亥姆霍兹定理,并构建了适用于低维推理问题的新采样算法。
本文通过引入马尔可夫链蒙特卡洛循环来解决贝叶斯推理问题,并开发了自适应集成调度器以调整外部参数,发现非高斯模型可以产生非零净功输出。
本文提出一种高效构建缩放定律的框架,通过贝叶斯优化问题和计算预算逐步扩展的方法,大幅降低计算成本并准确拟合缩放定律。
研究了英语语料库上预训练大规模语言模型的学习率和批量大小的缩放行为,采用Warmup-Stable-Decay学习率调度,并探讨了损失与模型容量和数据集大小之间的关系。
为解决多模态预训练数据需求,通过收集和处理1.3亿个视频URL生成LAION-BVD数据集,采用内容感知场景检测和合成字幕技术,支持视频、音频及图像模态学习。