120B

MegaMath 是一个包含3710亿tokens的开源数学推理预训练数据集，覆盖网页、代码和高质量合成数据三大领域。它首次在规模上超越了DeepSeek-Math Corpus（120B），代表从‘只靠网页’到‘面向推理’的重大跨越。