在 Stable Diffusion 当中亚洲色图，只需加入一个 LoRA 就能证据图像创建 3D 模子了？

港科大（广州）与趣丸科技合营推出了全新三维生成大模子——Kiss3DGen，立异性地将 3D 生成与闇练的图像生成模子进行了对皆。

况兼与主流 2D 扩散模子技能（如 ControlNet、Flux-Redux）兼容协同，无需特地磨练即可即插即用。

△由 Kiss3DGen 生成的场景

即使在有限的磨练数据条目下，Kiss3DGen 仍能生成高质料的 3D 金钱，减少对大限度数据的依赖，同期在天真性和性能方面发达出色。

现在，Kiss3DGen 单独使用效果已优于现存开源表率，而且在与现存表率相连结后，性能可进一步增强。

将 3D 生成退换为 2D 生图

Kiss3DGen 的中枢立异点在充分期骗现存 2D 图像生成模子的常识与框架，将多视图图像和对应法线贴图拼接成三维团聚图（3D Bundle Image），把传统 3D 生成问题转机为 2D 图像生成任务。

这种形式无需诊疗现存 2D 模子的结构，粗略最猛进度接管其闇练的技能上风。

具体经过可分为两大现象：

三维团聚图生成：期骗 DiT（Diffusion Transformer）模子的全局感知才气，高效生成高度对皆的多视图图像及对应法线贴图，无需诊疗 2D 模子结构，即可接管其闇练技能上风。

Mesh 与纹理重建：期骗生成的法线贴图进行 Mesh 重建，通过图像部分生成对应的贴图。扫数这个词过程无需特地磨练，可径直使用现存重建表率完成高质料 3D 金钱生成。

在磨练阶段，需要构建高质料文本 -3D 数据集，使用 LoRA 技能对预磨练的文本 - 图像扩散模子（如 Flux 或 SD3.5）进行微调，生成高度恰当文本刻画的三维团聚图。

而生成阶段又不错分为两个迤逦——亚洲色图

领先期骗磨练好的模子，证据输入文本请示，生成包含 3D 模子多视角信息的三维团聚图。

然后，通过 LRM 或球体启动化表率圣洁重建几何和纹理，再通过网格优化与纹理投影技能（如 ISOMER），精准重建 3D 模子的几何体式和纹理细节。

团队简介

该研讨的作家为林坚涛、杨鑫以及陈好意思羲，他们是来自于香港科技大学（广州）ENVISION 实验室的硕博生。

本责任由趣丸科技资助，由陈颖聪莳植率领硕博研讨团队与趣丸科技归拢打造。

陈颖聪，香港科技大学（广州）东谈主工智能学域助理莳植，博导，受国度东谈主才缱绻后生神气资助，他弥远奋勉于缱绻机视觉和视觉生成模子的研讨，已在 TPAMI、CVPR、ICCV、ECCV 等顶级会议和期刊发表五十余篇论文。

陈莳植的研讨标的包括三维生成与重建、图像视频生成等，并屡次以第一作家身份在顶级会议上作念理论说明。

他的研讨后果屡获大奖，包括 ICCV 2023 最好论文提名和中国图像图形学会当然科学奖一等奖。

同期，陈莳植也在多个学术会议和期刊中担任模范委员会成员或审稿东谈主，并与多个科技公司成立了潜入的合营关系。

论文：

https://arxiv.org/abs/2503.01370

代码：

https://github.com/EnVision-Research/Kiss3DGen

大伊香蕉人在线观看

神气主页：

https://ltt-o.github.io/Kiss3dgen.github.io

在线体验：

https://gen3d.funnycp.com

实验室主页：

https://envision-research.hkust-gz.edu.cn/index.html

一键三连「点赞」「转发」「注重心」

宽饶在考虑区留住你的思法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本质‍

附上论文 / 神气主页纠合，以及联系形式哦

咱们会（尽量）实时回话你

� �   点亮星标 � �

科技前沿进展逐日见亚洲色图