HoloPart – 港大联合 VAST 开源生成完整可编辑部件的 3D 模型

HoloPart是什么

HoloPart 是香港大学、VAST 团队推出的新型扩散模型，支持将 3D 物体分解为完整、可编辑的语义部件，即使部件被遮挡。HoloPar基于两阶段方法，用局部注意力和全局上下文注意力机制，确保零件的细节和整体形状的一致性。HoloPart 在 ABO 和 PartObjaverse-Tiny 数据集上的表现显著优于现有方法，为几何编辑、材质编辑和动画制作等下游应用提供新的可能性。

HoloPart的主要功能

• 3D 零件隐式分割：识别可见的表面片段，支持补全被遮挡的部分，生成完整的 3D 零件。
• 几何超分辨率：支持几何细节的超分辨率重建。
• 下游应用支持：支持多种下游应用，包括几何编辑、材质编辑、动画制作和几何处理。

HoloPart的技术原理

• 两阶段方法：
  • 初始分割：用现有的 3D 零件分割技术（如 SAMPart3D）获取初始的、不完整的零件片段（表面片段）。
  • 零件补全：基于 PartComp（基于扩散模型的网络）将片段补全为完整的 3D 零件。
• 扩散模型：PartComp 是基于扩散模型的网络，基于捕捉零件的细粒度几何细节，确保零件的局部特征被准确还原。用整体形状的上下文信息，确保补全的零件与整体形状在几何和语义上保持一致。
• 数据预训练与微调：用变分自编码器（VAE）和扩散模型对大规模的完整 3D 形状数据进行预训练，学习通用的 3D 形状表示。在有限的零件数据上对预训练模型进行微调，适应零件补全任务，克服数据稀缺的挑战。

HoloPart的项目地址

• 项目官网：https://vast-ai-research.github.io/HoloPart/
• GitHub仓库：https://github.com/VAST-AI-Research/HoloPart
• HuggingFace模型库：https://huggingface.co/VAST-AI/HoloPart
• arXiv技术论文：https://arxiv.org/pdf/2504.07943
• 在线体验Demo：https://huggingface.co/spaces/VAST-AI/HoloPart

HoloPart的应用场景

• 几何编辑：修改零件的大小、形状和位置，满足设计需求。
• 材质分配：为零件添加不同材质，提升视觉效果。
• 动画制作：让零件独立运动，如车轮转动，提高动画灵活性。
• 几何处理：优化零件的网格划分，提升模型质量。
• 数据生成：为 3D 模型训练提供高质量零件数据，丰富创作素材。