AnimeGamer是什么

AnimeGamer 是腾讯 PCG 和香港城市大学共同推出的无限动漫生活模拟系统。基于多模态大语言模型（MLLM），支持玩家基于开放式的语言指令，用动漫角色的身份沉浸于动态游戏世界中。玩家能操控如《悬崖上的金鱼姬》中的宗介等角色，与游戏世界互动。游戏支持生成具有上下文一致性的动态动画镜头（视频）及角色状态（如体力、社交和娱乐值）的更新。相比传统方法，AnimeGamer 在角色一致性、语义一致性和动作控制等方面表现出色，为玩家带来沉浸式的动漫游戏体验。

AnimeGame的主要功能

角色扮演与互动：玩家扮演动漫角色，如《悬崖上的金鱼姬》的宗介，与游戏世界互动，让不同动漫的角色相遇互动。动态动画生成：根据玩家指令，实时生成动态动画镜头（视频），展现角色动作和场景变化，且动画具有上下文一致性和动态性。角色状态更新：根据角色行为和互动，动态更新角色的体力、社交和娱乐值，反映角色在游戏世界中的状态变化。多轮对话交互：支持玩家基于自然语言进行多轮对话，模型基于历史上下文生成一致的游戏状态，提供连贯的游戏体验。自定义游戏内容：支持玩家自定义喜欢的角色和场景。

AnimeGame的技术原理

多模态大语言模型：AnimeGamer 基于多模态大语言模型（MLLM），理解和生成包含文本和视觉信息的多模态数据。动作感知多模态表示：游戏将动画镜头分解为视觉参考、动作描述和动作强度三个部分，基于编码器将信息整合为多模态表示。基于视频扩散模型解码为高质量的动态视频，确保生成的动画镜头具有上下文一致性和动态性。视频扩散模型：视频扩散模型（如 CogVideoX）作为动画镜头的解码器，将多模态表示解码为动态视频。引入动作强度作为额外的条件，控制生成视频中的动作幅度，让动画更加自然和真实。上下文一致性：将历史动画镜头的多模态表示作为上下文输入，模型能预测后续的游戏状态，确保生成的动画镜头在上下文中保持一致，对于维持游戏的连贯性和沉浸感至关重要。角色状态管理：游戏基于 MLLM 预测角色的体力、社交和娱乐值的更新，状态更新反映角色在游戏世界中的行为和互动。角色状态的动态更新增加游戏的真实感和互动性。

AnimeGame的项目地址

项目官网：https://howe125.github.io/AnimeGamer.github.io/GitHub仓库：https://github.com/TencentARC/AnimeGamerHuggingFace模型库：https://huggingface.co/TencentARC/AnimeGamerarXiv技术论文：https://arxiv.org/pdf/2504.01014

AnimeGame的应用场景

个性化娱乐：玩家可选择喜欢的动漫角色和场景，基于语言指令体验专属冒险故事。创意激发：为创作者提供灵感，生成角色互动和新剧情。教育辅助：帮助学生学习语言表达和逻辑思维。社交互动：玩家与朋友共同创造和分享动漫冒险故事。游戏开发：助力开发者快速生成游戏内容，降低开发成本。