AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架-六六导航站

AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架

2025-03-28 11:57:44 小编：六六导航站

AnyStory是什么

AnyStory是阿里巴巴通义实验室研发的创新文本到图像生成框架，实现单个和多个主体的高保真个性化图像生成。通过“编码-路由”的方法来建模主体个性化问题。在编码阶段，AnyStory结合强大的ReferenceNet和CLIP视觉编码器，对主体特征进行高保真度的编码，捕捉丰富的细节和语义信息。ReferenceNet支持高分辨率输入，与去噪U-Net的特征空间对齐，为生成图像提供坚实的细节基础；CLIP视觉编码器则负责提取主体的粗略概念，确保生成的图像与文本描述紧密对齐。在路由阶段，解耦的实例感知主体路由器能准确感知并预测主体在潜在空间中的位置，引导主体条件的注入，有效避免了多主体生成中常见的主体混合问题，使每个主体能在生成的图像中保持其独特的特征和细节。