DualPipe – DeepSeek 开源的双向流水线并行技术

DualPipe是什么 DualPipe 是DeepSeek开源的创新的双向流水线并行技术,主要用于提升大规模深度学习模型的训练效率。核心思想是将模型的训练过程分为两个独立的管道——前向计算管道和反向...
12个月前
05,2200

AIMv2 – 苹果开源的多模态自回归预训练视觉模型

AIMv2是什么 AIMv2是苹果公司开源的多模态自回归预训练视觉模型,通过图像和文本的深度融合提升视觉模型的性能。采用创新的预训练框架,将图像划分为非重叠的图像块,将文本分解为子词令牌,然后将两者拼...
12个月前
05,2100