Make-A-Character

Make-A-Character（Mach）是什么：

Make-A-Character（简称Mach）是由阿里巴巴集团智能计算研究院开发的人工智能3D数字人生成框架。它利用大型语言和视觉模型，通过文本描述快速创建逼真的3D角色，满足人工智能代理和元宇宙中对个性化和富有表现力的3D角色的需求。

主要特点：

1. 文本到3D角色生成：用户通过文本描述来指定角色的外观特征，系统生成相应的3D角色模型。
2. 灵活的可控定制：允许用户对角色进行详细的定制，包括面部特征、眼睛形状、虹膜颜色、发型和颜色等。
3. 高度逼真的渲染：利用基于物理的渲染（PBR）技术和真实人类扫描数据生成高度逼真的角色。
4. 完整的角色模型：生成的角色模型包括眼睛、舌头、牙齿、全身和服装等所有细节。
5. 动画支持：角色配备了高级的骨骼刚体，支持标准动画。
6. 行业兼容性：生成的角色模型采用明确的3D表示，可以无缝集成到游戏和电影行业的标准CG流程中。

主要功能：

1. 文本解析与视觉提示生成：利用大型语言模型（LLM）理解文本中的语义信息，提取关键面部特征和属性。
2. 参考肖像图像生成：结合Stable Diffusion模型和ControlNet生成参考肖像图像。
3. 密集面部坐标检测：利用密集面部坐标重建面部和头部几何结构。
4. 几何生成：根据参考肖像图像和密集面部坐标重建头部几何结构。
5. 纹理生成：使用可微渲染技术从参考图像中提取纹理。
6. 纹理修正与完成：对生成的漫反射贴图进行修正。
7. 头发生成：通过2D图像合成各种发型，然后基于这些图像进行3D发丝重建。
8. 资产匹配：将生成的头部与预先制作的头发、身体、服装和配饰等资产进行匹配。

使用示例：

用户可以这样使用Make-A-Character：

• 文本描述输入：用户输入文本描述，如“一个留着短发、有雀斑的年轻中国女孩”。
• 角色生成：Mach系统根据文本描述生成相应的3D角色模型。
• 定制调整：用户可以调整角色的面部特征、发型、服装等，直至满意。
• 动画制作：利用角色的骨骼刚体进行动画制作，如制作角色的行走或说话动画。
• 集成应用：将生成的角色模型集成到游戏、电影或其他虚拟环境中。

总结：

Make-A-Character是一个创新的3D角色生成框架，它通过文本描述快速创建逼真的3D角色，具有高度的定制性和逼真度。它结合了最新的人工智能技术，提供了一个直观、灵活且高效的角色创建解决方案，适用于多种行业应用。