千影 QianYing 是一款由巨人网络 AI Lab 推出的有声游戏生成大模型,包含游戏视频生成大模型 YingGame 和视频配音大模型 YingSound。通过先进的人工智能技术,千影 QianYing 能够自动生成高质量、有声的游戏视频。YingGame 通过自定义角色、动作控制和物理模拟,创造互动性强的游戏内容;YingSound 则为视频添加高保真音效,实现精确的跨模态对齐和时间同步。千影 QianYing 旨在大幅提升游戏创作效率,助力游戏开发进入创作平权时代,让创意无限延展。
YingGame
YingGame 是面向开放世界游戏的视频生成大模型,由巨人网络 AI Lab 与清华大学 SATLab 联合研发。它首次实现了角色多样动作的交互控制和个性化定制,以及强大的物理模拟特性。用户可以自定义游戏角色,并通过理解用户输入(如鼠标、键盘按键等)控制角色的多种动作和精细的主体控制,生成具有复杂运动和动作连续性的交互性游戏视频。
YingSound
YingSound 是由巨人网络 AI Lab、西北工业大学 ASLP Lab 和浙江大学联合研发的视频配音大模型。它具备超强的时间对齐和视频语义理解能力,能够为各种类型的视频(包括真实场景视频、动漫视频和游戏视频)生成高精细度的音效。YingSound 支持从视频或视频文本结合的方式生成高保真音效,有效提升少样本场景下的生成质量,实现精确的跨模态对齐效果。
技术创新与应用:
千影 QianYing 通过技术层面的多项创新,包括跨模态特征融合、细粒度角色表征、运动增强与多阶段训练策略,结合高效高质量的游戏视频训练数据生产管线,确保生成内容具备高交互能力和多样化应用场景。
前景与展望:
随着千影 QianYing 的发布,巨人网络实现了自研语义大模型、语音大模型及视频大模型的多模态全矩阵布局,加速“游戏+AI”从降本增效向颠覆式创新的转化。未来,千影 QianYing 将极大提升游戏发行内容的创作效率,并为游戏生产管线、交互方式、游戏玩法带来深远影响。
巨人网络 AI 实验室将持续推进模型能力的升级迭代,同时启动“千影共创计划”,对外开放模型技术、模型应用和原创游戏项目的合作共创、应用落地和人才招募,推动游戏创作的平权化,让更多人实现游戏开发梦想。
数据统计
相关导航
Goku 是一个基于流生成的视频生成基础模型,由香港大学和字节跳动研究团队共同开发。Goku 模型主要用于生成高质量的视频内容,尤其在广告和营销场景中表现尤为出色。
Ferret-UI
Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态AI大语言模型。它专为增强对移动端用户界面(UI)屏幕的理解而设计,具备引用、定位和推理功能。这个模型能够理解手机屏幕上的内容并执行任务,专注于移动端和用户交互。
知海图AI
知海图AI是知乎与面壁智能合作开发的中文大模型,于2023年4月13日开始内测。它的主要功能是对知乎热榜上的问题回答进行要素抽取、观点梳理和内容聚合,以便用户能够更快、更全面地了解知友们讨论的热点与焦点。知海图AI在特定场景中的表现与GPT-4相当,显示出强大的语言理解和内容总结能力。此外,知海图AI的发布也标志着知乎在大语言模型领域的进一步布局,旨在赋能创作者、讨论场、信息获取等多个业务场景。
CatVTON
CatVTON是一款基于扩散模型的虚拟试穿技术工具,旨在提供高效、低资源需求的虚拟试穿体验。通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿,该方法有效地降低了模型复杂度和计算成本,同时保持了高质量的虚拟试衣效果,特别适用于电商平台、时尚设计、个人造型顾问、增强现实应用和虚拟时装秀等场景。
神力霓裳
神力霓裳是阿里大文娱发布的自研影视妆造大模型。这个模型可以根据要求快速生成影视级的各朝代服饰造型,辅助造型师进行创意设计。它主要服务于古装剧,包含造型设计、妆发设计和纹样设计三大功能。
心辰Lingo语音大模型
心辰Lingo语音大模型是由西湖心辰(杭州)科技有限公司开发的端到端语音大模型。该模型具备原生语音理解、多种语音风格表达、语音模态超级压缩、实时打断和控制、深度情感理解等功能,能够以超拟人化的方式进行互动。这个模型不仅能快速响应复杂指令,还能深度理解用户的情感和意图。
灵境矩阵
灵境矩阵是百度推出的一个基于文心大模型的智能体(Agent)平台。它支持开发者根据自己的行业领域和应用场景,选择不同的开发方式来构建产品,以适应大模型时代的需求。开发者可以通过低成本的prompt编排方式来开发智能体,同时平台还提供了流量分发路径,帮助开发者完成商业闭环。
妙笔
妙笔是阿里巴巴最新开源的中文文生图模型,它与经典的Stable Diffusion 1.5版本结构相同,兼容现有的lora、controlnet等主流插件及其权重。妙笔的特点是用户可以直接输入中文进行文生图操作,生成的图像效果逼真。例如,输入“枯藤老树昏鸦,小桥流水人家。水墨画。”,妙笔能够理解诗句中的意境并生成相应的图像。
暂无评论...