Skip to content

alphadl/3d-gen-for-llm-builders

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

3D Generation for LLM Builders

3D Latent Diffusion 快速上手手册 — 给 LLM/VLM 背景同学的 3D 生成入门指南

从 EG3D 到 LN3Diff、Hunyuan3D、TRELLIS,用你熟悉的语言讲清楚 3D Latent Diffusion 的来龙去脉。

Why this handbook?

如果你是做 LLM/VLM 的,想了解 3D 生成但被 NeRF、SDS、tri-plane 这些术语劝退过 — 这本手册就是为你写的。

  • 零 3D 基础即可阅读,所有概念都从 LLM 类比切入
  • 覆盖 2026 年主流路线:原生 3D 扩散、多视图重建、解耦形状/纹理、LLM 自回归生成
  • 不是论文列表,而是一条连贯的学习路径

Chapters

# 章节 内容
01 从零讲起:VAE、扩散、体渲染、体素 VAE、DDPM/Flow Matching、Volume Rendering、过时技术筛选
02 3D 生成技术脉络:从 EG3D 到 LN3Diff Tri-plane → LDM → DiT → Shap-E → LN3Diff 完整演进
03 Hunyuan3D 技术路线详解 VecSet、ShapeVAE、FLUX-DiT、UltraShape
04 TRELLIS 技术路线详解 稀疏体素 SLAT、双阶段管线、多格式解码
05 输入模态与 3D 编辑 单图/多图/文本+图 → 3D,Nano3D、TRACE 编辑
06 核心概念速查表 概念速查 + 论文清单 + 缩写表 + 行动指南

Quick Start

在线阅读:直接点击上面的章节链接。

PDF 下载3D_Latent_Diffusion_快速上手手册.pdf

生成 PDF(需要 pandoc + xelatex):

bash build_pdf.sh
# 输出: 3D_Latent_Diffusion_快速上手手册.pdf

macOS 安装依赖:

brew install pandoc
brew install --cask mactex-no-gui

Who is this for?

  • LLM/VLM builder 想快速建立 3D 生成的概念框架
  • 多模态大模型开发者想了解 3D 这块拼图
  • 任何有深度学习基础、但零 3D 背景的人

Key concepts covered

VAE / Latent Diffusion / DiT / Flow Matching
Tri-plane (EG3D) / VecSet (Hunyuan3D) / SLAT (TRELLIS)
Volume Rendering / 3D Gaussian Splatting / Marching Cubes
4 routes: Native 3D Diffusion / Multi-view / Decoupled / LLM Autoregressive
3D Editing: Nano3D (training-free) / TRACE (scene-level)

Contributing

欢迎 PR!特别是:

  • 修正技术错误
  • 补充新的重要工作(请保持"概念讲解"风格,不要变成论文列表)
  • 英文翻译

License

CC BY-SA 4.0 — 自由使用,注明出处,相同方式共享。

Author

by Liam & AI

About

A hands-on guide to 3D latent diffusion for LLM/VLM builders

Resources

License

Stars

27 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages