Gen-2介绍
Runway最新推出的AI视频生成模型,不用文本,一张图,Gen-2就能生成视频。
好玩到停不下来!
这意味着,一部大片,只需要图片就够了,岂不是人人都能成为好莱坞导演。
这不,已经有网友用Gen-2,结合PS修图,MusicGen、AudioLDM等工具配音,做出了「机器人总动员」翻版影片。
有人把Midjourney和Gen-2混搭,视频画面高级质感简直让人惊掉下巴。
有人用时4小时,制作了一部「火焰之旅」预告片,没有任何提示,只是图像!
有了Gen-2,重拍一部「狮子王」,绝对是不可想象的!

手把手教程
首先通过网页https://research.runwayml.com/gen2注册登录runway的账号,进入runway的编辑界面.
点击左侧的Generate Video。
然后点击屏幕中间的Gen-2:Text to Video进入Gen-2。
在左边的区域上传一张照片,小编这里用的是一张由Midjourney生成的机器人的照片。

提示词:Futuristic machine who is a kind robot who wants to save his planet from his human friends, cinematic, digital illustration, stylized, deep depth of field, high definition, –ar 16:9 –v 5.2
然后什么Prompt都不用输入,上传完照片之后就直接点击Generate。大概1分钟之后,一段4秒钟的视频就生成了。
图中的机器人瞬间就动了起来!
数据统计
数据评估
关于Gen-2特别声明
本站智能信息网提供的Gen-2都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由智能信息网实际控制,在2025年4月26日 下午10:51收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,智能信息网不承担任何责任。
相关导航
D-ID是一个人工智能生成的视频创建平台,可以轻松快速地从文本输入中创建高质量、高性价比和引人入胜的视频。背后的AI技术是由Stable Diffusion和GPT-3提供支持,可以在没有任何技术知识的情况下输出100多种语言的视频。D-ID的实时人像功能可以从一张照片中创建视频,虚拟口播主持可以提供文本或音频。它的API在数万个视频上进行训练,以产生逼真的结果。
Pika
Pika是什么Pika是近期热门的人工智能初创公司Pika Labs推出的AI视频生成和编辑工具,该工具可以将任何创意转化为视频,用户只需输入文字或图像,即可快速生成3D动画、动漫、卡通、电影等风格的视频。该AI视频生成工具最早于2023年4月下旬推出测试版,累计已经超过50万名早期用户使用,每周都在生成数百万个视频。不过,目前Pika还在进一步完善中,实际使用来看离大规模投入到真正的生产环境中还有一定的距离。Pika的主要功能文本/图像转视频:只需输入几行文本或上传图像,即可利用AI创建简短的高质量视频视频转视频:将现有视频转换为不同的风格,包括不同的角色和对象,同时保持视频的结构视频画面比例扩展:扩展视频的画布或宽高比,比如从9:16竖屏智能转换为16:9横屏,AI模型将预测超出原始视频边界的内容视频内容改变:AI编辑视频画面中的内容或物体,例如改变某人的衣服、添加另一个角色、改变环境或添加道具Pika的适用人群个人消费者:即使完全不懂任何视频制作的人,也可以轻松使用AI创作和编辑视频短视频创作者:快速生成病毒性传播的短视频,在TikTok上带有#pikalabs标签的短视频累计超过3000万次观看电影专业人员:AI将剧本生成分镜初稿,激发摄影灵感并辅助后期电影视频编辑如何使用Pika访问Pika的官网(pika.art),点击使用谷歌或Discord账号登录官网,加入等待列表你也可以直接点击Discord邀请链接(https://discord.com/invite/pika)加入其Discord社区抢先体验加入Pika的Discord社区后,选择任意一个生成频道如#generate-1,然后在输入框中输入/create+提示指令最后等待Pika将视频生成即可常见问题Pika是免费的吗?Pika目前处于免费公测中,用户可以加入Discord频道中体验,后续可能推出付费版本。Pika可以生成多长时间的视频?Pika目前默认生成的视频长度只有3秒钟,后续更新可能支持生成更长时间。Pika生成的视频可以商用吗?目前可以将Pika生成的视频免费商用,不过后期若Pika结束测试或推出付费版,该政策可能有变化。
PaLM 2
PaLM(Pathways Language Model) 是一种大型语言模型,即 LLM,类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM,超过了5400亿个训练参数。与其他 LLM 一样,PaLM 是一个灵活的系统,可以执行各种文本生成和编辑任务。例如,你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人,或者你可以将它用于诸如总结文本甚至编写代码等任务。(这类似于谷歌今天也为其 Workspace 应用程序(如 Google Docs 和 Gmail)宣布的功能。)在 2023 谷歌 I/O 大会上,谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2,并正式发布预览版本,改进了数学、代码、推理、多语言翻译和自然语言生成能力。谷歌将为 PaLM 2 提供四种不同大小的版本,从最小到最大:Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧,可以在移动设备上工作,并且速度足够快,即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调,以更多方式支持整个类别的产品,从而帮助更多人。PaLM 2的特性PaLM 2 是谷歌的下一代大语言模型,具有改进的多语言、推理和编码能力。多语言性: PaLM 2 在多语言文本方面接受了更多的训练,涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本(包括成语、诗歌和谜语)的能力,这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。推理: PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此,它展示了逻辑、常识推理和数学方面的改进能力。编程: PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言,但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。
白日梦AI
白日梦AI是一款领先的文生视频类AIGC创作平台,专注于AI视频内容生成,提供AI生成视频教程、AI文生视频、AI动态画面、AI形象生成、人物/场景一致性等创作技巧及成功案例,助您快速上手并打造专业级视频内容。
Viggle
Viggle是什么Viggle AI是一款创新的AI角色动态视频生成工具,基于可理解实际物理运动的视频-3D 基础模型 JST-1,从而实现对静态图像或视频中角色动作的精确控制。用户可以通过文本命令或视频素材,为角色添加各种动作和表情,如微笑、挥手等,使角色仿佛拥有生命般自然地动起来。ViggleAI的界面直观易用,无需复杂的技术背景,使得无论是专业人士还是初学者都能轻松创作出具有专业水准的动画效果。此外,Viggle AI还提供了背景移除和风格化功能,进一步拓宽了创作的自由度和可能性。目前Viggle处于免费公测中,可以通过Discord服务器使用。Viggle AI的主要功能Mix(视频+角色图像混合):用户可以通过上传一个视频和一张角色图像,使用/mix命令,让Viggle AI将视频中的动作赋予给角色图像,生成新的视频。Viggle AI能够处理复杂的动作,如身体旋转和四肢交叠,实现精准的动作还原。Animate(文本提示让静态角色动画):通过/animate命令,用户可以直接使用文本动作提示来为静态角色添加动画效果。这种方式省去了寻找视频素材的步骤,用户可以根据需要选择或自定义动作提示词,快速生成动态效果。Ideate(文本到动态角色视频生成):使用/ideate命令,Viggle AI支持直接从文本提示生成带有动态的角色视频。用户可以描述人物和动作,Viggle AI将根据描述生成并动画化角色。Stylize(真人照片风格化):通过/stylize命令,Viggle AI可以将真人照片进行风格化处理,并添加动态效果,从而创造出多样化的视频效果。用户可以通过文本提示来定义所需的风格,如3D动画风格或皮克斯风格等。Character(文本提示生成静态角色图像):通过/character命令允许用户通过文本提示生成静态角色图像,用户需要在命令中提供对人物外观和特征的描述,例如服装、发型、表情等。Viggle AI将根据这些描述生成相应的角色图像。如何使用Viggle加入Viggle AI Discord服务器:访问Viggle AI的官方网站(https://viggle.ai/),点击“Join the Beta”加入Viggle AI的Discord服务器。命令使用:在Discord服务器中,你可以找到各种命令的使用说明。主要命令包括/mix、/animate、/ideate和/stylize等。上传素材:根据你的需求选择相应的命令。例如,使用/mix命令时,上传一个视频和一张角色图像;使用/animate命令时,上传一张角色图像并提供动态描述。输入描述:对于/animate和/ideate命令,你需要输入文本动作提示,描述你希望角色执行的动作。设置参数:根据需要,你可以设置背景颜色、是否开启微调(finetune)等参数。生成动画:输入命令并上传所需素材后,按下Enter键发送请求。Viggle AI将处理你的请求,并生成动画。查看和下载:生成的动画可以在线预览,如果满意,你可以下载到本地使用。Viggle AI的应用场景社交媒体内容创作:社交媒体平台上的内容创作者可以利用Viggle AI快速制作出具有吸引力的动画视频,增加粉丝互动和参与度。广告和市场营销:广告商和市场营销人员可以使用Viggle AI创造引人注目的广告动画,以独特的方式展示产品或服务,提高品牌认知度。教育和培训:教育工作者可以利用Viggle AI制作教育动画,以生动有趣的方式解释复杂的概念或过程,提高学习效率。娱乐和游戏:游戏开发者和娱乐产业可以借助Viggle AI创造个性化的角色和动画,为游戏或影视作品增添新颖元素。个性化视频制作:个人用户可以使用Viggle AI制作个性化的视频,如生日祝福、节日问候等,为亲朋好友创造特别的记忆。
Gemma
Gemma是什么Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和TensorFlow,以在不同设备上高效运行。6月28日,第二代模型Gemma 2已发布。Gemma的官方入口Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cnGemma的Hugging Face模型:https://huggingface.co/models?search=google/gemmaGemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorchGemma的Google Colab运行地址:https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynbGemma的主要特性轻量级架构:Gemma模型设计为轻量级,便于在多种计算环境中运行,包括个人电脑和工作站。开放模型:Gemma模型的权重是开放的,允许用户在遵守许可协议的情况下进行商业使用和分发。预训练与指令微调:提供预训练模型和经过指令微调的版本,后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架,通过Keras 3.0提供工具链,简化了推理和监督微调(SFT)过程。安全性与可靠性:在设计时,Gemma遵循Google的AI原则,使用自动化技术过滤训练数据中的敏感信息,并进行了一系列安全评估,包括红队测试和对抗性测试。性能优化:Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化,确保在不同设备上都能实现高性能。社区支持:Google提供了Kaggle、Colab等平台的免费资源,以及Google Cloud的积分,鼓励开发者和研究人员利用Gemma进行创新和研究。跨平台兼容性:Gemma模型可以在多种设备上运行,包括笔记本电脑、台式机、物联网设备和云端,支持广泛的AI功能。负责任的AI工具包:Google还发布了Responsible Generative AI Toolkit,帮助开发者构建安全和负责任的AI应用,包括安全分类器、调试工具和应用指南。Gemma的技术要点模型架构:Gemma基于Transformer解码器构建,这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制,允许模型在处理文本时同时关注多个部分。此外,Gemma还使用了旋转位置嵌入(RoPE)来代替绝对位置嵌入,以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活,以及在每个Transformer子层的输入和输出都进行了归一化处理。训练基础设施:Gemma模型在Google的TPUv5e上进行训练,这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制,Gemma能够高效地利用分布式计算资源。预训练数据:Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练,而7B模型则基于6万亿个token),这些数据主要来自网络文档、数学和代码。预训练数据经过过滤,以减少不想要或不安全的内容,同时确保数据的多样性和质量。微调策略:Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对,以及基于人类偏好数据训练的奖励模型。安全性和责任:Gemma在设计时考虑了模型的安全性和责任,包括在预训练阶段对数据进行过滤,以减少敏感信息和有害内容的风险。此外,Gemma还通过了一系列的安全性评估,包括自动化基准测试和人类评估,以确保模型在实际应用中的安全性。性能评估:Gemma在多个领域进行了广泛的性能评估,包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比,在MMLU、MBPP等18个基准测试中,有11个测试结果超越了Llama-13B或Mistral-7B等模型。开放性和可访问性:Gemma模型以开源的形式发布,提供了预训练和微调后的检查点,以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型,推动AI领域的创新。常见问题Gemma一词的含义是什么?Gemma在拉丁语中的意思是“宝石”。Gemma是开源的吗?Gemma是开源开放的大模型,用户可在Hugging Face查看和下载其模型。Gemma模型的参数量是多少?Gemma目前提供20亿和70亿参数量的模型,后续还会推出新的变体。
Humva
Humva是什么Humva 是创新的AI数字人生成工具,专注于为用户提供个性化数字形象和视频内容制作服务。通过简单易用的界面,用户能快速创建专属的数字人,支持多种背景、性别、行业和服装选择,满足不同场景需求。 Humva 的核心优势在于强大的定制化功能和高效的内容生成能力。用户可以输入脚本,快速生成高质量的视频内容,适用于社交媒体、产品推广、教育培训等多种场景。Humva的主要功能自定义数字人生成:用户可以通过上传一张照片或选择预设模板,快速生成个性化的虚拟形象。平台提供丰富的自定义选项,包括发型、服装、肤色、姿势和动作等,满足不同用户的需求。一键生成视频内容:Humva 支持将文本脚本转化为视频内容,用户只需输入脚本并选择虚拟角色,即可生成高质量的视频。视频主持人生成:提供数千种视频主持人选择,适用于社交媒体内容、产品介绍等多种用途。定制化视频内容:用户可以输入脚本并生成定制化的视频内容,支持多语言和多种口音。多语言支持与全球化应用:Humva 支持多种语言,能满足不同国家和地区用户的需求,帮助企业和创作者在全球范围内进行内容推广。如何使用Humva访问官网并注册:访问 Humva 的官方网站,注册账户并登录。创建数字人:在平台上选择“创建数字人”。 选择一个形象模板,如卡通风格或写实风格。 使用自定义功能调整虚拟形象的外观,包括发型、服装、肤色等。 调整虚拟形象的姿势和动作,符合使用场景。生成视频内容:选择一个虚拟形象作为视频代言人。 输入脚本或台词,根据需要调整虚拟形象的情感和语气。 点击“生成视频”,Humva 会根据输入内容生成视频。下载与分享:视频生成后,点击“导出视频”或“下载”按钮。 将生成的视频分享到社交媒体或其他平台。Humva的应用场景社交媒体内容创作:通过个性化的数字分身丰富内容,吸引更多关注者。产品介绍与推广:用虚拟主持人进行产品介绍,提升展示效果。教育与培训:创建虚拟讲师,制作生动的教学视频。企业宣传:定制企业形象代言人,制作品牌宣传视频。
序列猴子:出门问问推出的一款超大规模的语言模型
序列猴子是出门问问推出的一款超大规模的语言模型,具有长序列、多模态、单模型、大数据等特点。利用其通用的表示能力与推理能力,用户能够进行多轮交互,从而在使用中获得更加便捷流畅的体验。
暂无评论...

