Custom-SVG – Adobe联合香港城市大学推出的SVG定制生成框架

Custom-SVG是什么

Custom-SVG 是Adobe和香港城市大学推出的两阶段风格的SVG定制生成框架，基于文本提示生成具有定制风格的高质量 SVG 图形。框架推出一种两阶段的生成流程，基于路径级表示的扩散模型学习 SVG 的结构和内容，从定制化的文本到图像（T2I）模型中提取风格信息，实现多样化的风格定制。Custom-SVG 结合前馈模型的高效性和扩散模型的强大生成能力，快速生成结构规整且风格一致的矢量图形，适用于设计、图标生成等场景。

Custom-SVG的主要功能

保持 SVG 结构规则性：生成的矢量图形具有清晰的层次结构和规整的路径，便于后续编辑。
实现风格定制：根据用户提供的少量风格示例，生成与之匹配的多样化风格的 SVG。
高效生成：基于前馈式生成方式，快速生成结果，适合实际设计场景。
语义对齐：生成的 SVG 内容与输入文本提示高度一致，确保图形的语义准确性。

Custom-SVG的技术原理

基于路径级表示的 T2V 扩散模型训练：
- 路径级表示：将 SVG 分解为路径级表示，每个路径由贝塞尔曲线和颜色等参数定义，基于预训练的 SVG VAE 编码为紧凑的潜空间向量。
- 扩散模型：用扩散模型的去噪过程，从噪声中逐步恢复出与文本提示对齐的 SVG 张量。
- Transformer 架构：用 Transformer 作为骨干网络，结合自注意力和交叉注意力机制，让模型理解文本语义生成对应的 SVG 结构。
基于图像扩散先验进行风格定制：
- 风格提取：微调 T2I 扩散模型，用少量风格示例生成多样化的定制图像。
- 图像级损失：将生成的 SVG 渲染为图像，基于图像级损失函数对 T2V 模型进行微调，让生成的 SVG 具有所需的风格。
- 风格迁移：将定制图像的风格迁移到 SVG 生成过程中，实现风格的灵活定制。