Gen-2

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具， 加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区， 推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础，近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。

Hedra是什么Hedra是由原斯坦福大学的研究团队成立的数字创作实验室推出的AI对口型视频生成工具，专注于将人工智能技术应用于人物角色视频的生成。用户可以上传任意人物的照片和语音，Hedra会根据这些输入生成动态视频，其中人物的唇形、表情和姿态都能与语音内容完美同步。Hedra支持文本和图片生成视频，目前在免费公测中，提供无限时长的视频生成能力，单个视频最长可达30秒（开放预览版），并且每60秒的输入可以生成90秒的视频。Hedra的主要功能文本和图片生成视频：Hedra的核心功能之一是能够将用户的文本和图片输入转化为动态视频。用户上传一张人物的照片和相应的语音文件，Hedra的AI技术会分析语音的节奏、音调和强度，然后精确地调整视频中人物的唇形和面部表情，以匹配语音的节奏和情感。这使得生成的视频看起来非常自然，就像人物在实时说话或唱歌一样。无限时长视频生成：Hedra在开放预览期间提供了无限时长的视频生成能力，用户可以创建更长、更复杂的视频内容。虽然目前单个视频最长的视频长度限制为30秒，但这已经足够用于制作许多类型的短视频内容，如社交媒体帖子、广告、音乐视频等。高效率视频制作：Hedra的算法优化了视频生成的流程，提高了制作效率。用户输入60秒的语音和文本，Hedra可以生成长达90秒的视频。这种效率的提升对于需要快速制作大量视频内容的用户来说非常有用。表情同步：Hedra的AI技术能够确保视频中人物的表情和唇形与输入的语音内容精确同步，包括基本的发音同步，以及更细微的表情变化，如微笑、皱眉或惊讶，从而传达更丰富的情感和语境。多样化角色支持：Hedra不仅限于生成单一角色的视频，支持多样化的角色创建（人类、动漫、动物、石像等），每个角色都可以具有独特的表情、动作和语音。虚拟世界构建：Hedra计划推出的Worlds功能将是一个创新的步骤，允许用户构建和探索自己的虚拟世界。这些世界可以包含多个角色、环境和交互元素，为用户的故事讲述提供无限的可能。创意控制：Hedra提供了一个高度创意的控制面板，用户可以在这个面板上调整角色的外观、动作、语音和环境设置。用户能够精确地实现他们的创意愿景，无论是制作教育视频、商业广告还是艺术作品。跨平台使用：Hedra的设计考虑了用户的便利性，支持在多种设备上使用，包括桌面电脑和移动设备。这种跨平台的支持使用户可以在任何地方、任何时间进行创作，不受设备限制。如何使用Hedra访问Hedra的官方网站（hedra.com），点击Try Beta然后进行登录/注册登录成功后在Audio分栏导入音频或生成音频，并选择音色然后在Character分栏上传角色图片或者输入提示词生成角色最后在Video分栏处点击Generate Video等待生成视频即可生成后的视频可点击下载或进行分享常见问题Hedra是免费的吗？Hedra目前处于免费公测中，不限总时长生成。Hedra基于什么大模型？Hedra基于该公司自研的Character-1角色生成模型。Hedra可生成时长多少秒的视频？Hedra目前单次最长可生成30秒的角色视频。Hedra支持生成哪些画面比例的视频？Hedra目前支持生成1:1画面比例的视频，即将推出16:9的比例。

Vizard是什么Vizard是将长视频转换为社交短视频片段的AI视频编辑工具，支持TikTok、Instagram、YouTube Shorts等平台，Vizard服务超200万创作者和团队。Vizard提供团队协作空间，简化项目管理和分享流程。用户上传视频后，AI自动转录、剪辑并生成设计好的视频片段，支持一键下载和分享，操作简便，无需注册即可免费试用。Vizard的主要功能视频转录与剪辑：Vizard自动将用户上传的长视频转录成文字，并根据内容剪辑出关键片段。AI视频生成：基于AI技术为社交媒体平台如TikTok、Instagram、YouTube Shorts生成设计精美的短视频片段。团队协作：提供团队工作空间，允许团队成员进行项目协作、实时预览和与客户或外部团队成员分享。一键分享：用户可以轻松下载、分享视频链接或直接从平台发布视频。如何使用Vizard产品官网：访问 Vizard 的官方网站（vizard.ai）。上传视频：点击上传按钮，选择想要转换的长视频文件进行上传。视频转录：上传后，Vizard 会使用 AI 技术自动转录视频内容，并分析视频中的讲话和场景。选择片段：AI 会根据视频内容生成多个短视频片段。可以浏览这些片段，选择最具吸引力或最符合需求的部分。编辑和定制：可以对生成的片段进行进一步的编辑和定制。生成视频片段：Vizard 根据平台（如 TikTok、Instagram、YouTube Shorts 等）生成最终的视频片段。下载和分享：视频片段生成完成后，可以下载或直接通过链接分享到社交媒体平台。免费试用：Vizard提供免费试用，无需注册即可体验产品功能。Vizard的应用场景社交媒体营销：创作者和品牌可以用Vizard快速制作适合社交媒体的短视频，增加内容的吸引力和传播力。内容创作：视频博主和内容创作者可用Vizard从长视频中提取精彩片段，用于吸引观众或社交媒体上的预告片。企业宣传：企业可以用Vizard将产品介绍、培训材料或公司活动的视频剪辑成短视频，用于内部分享或对外宣传。新闻与媒体：新闻机构可以从采访或报道中提取关键信息，制作成短视频，发布到社交媒体，提高新闻的时效性。

Gemma是什么Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型，基于与Gemini模型相同的技术，旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型：Gemma 2B 和 Gemma 7B，提供预训练和指令微调版本，支持多种框架，如JAX、PyTorch和TensorFlow，以在不同设备上高效运行。6月28日，第二代模型Gemma 2已发布。Gemma的官方入口Gemma的官网主页：https://ai.google.dev/gemma?hl=zh-cnGemma的Hugging Face模型：https://huggingface.co/models?search=google/gemmaGemma的Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/Gemma的技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf官方PyTorch实现GitHub代码库：https://github.com/google/gemma_pytorchGemma的Google Colab运行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynbGemma的主要特性轻量级架构：Gemma模型设计为轻量级，便于在多种计算环境中运行，包括个人电脑和工作站。开放模型：Gemma模型的权重是开放的，允许用户在遵守许可协议的情况下进行商业使用和分发。预训练与指令微调：提供预训练模型和经过指令微调的版本，后者通过人类反馈强化学习（RLHF）来确保模型行为的负责任性。多框架支持：Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通过Keras 3.0提供工具链，简化了推理和监督微调（SFT）过程。安全性与可靠性：在设计时，Gemma遵循Google的AI原则，使用自动化技术过滤训练数据中的敏感信息，并进行了一系列安全评估，包括红队测试和对抗性测试。性能优化：Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化，确保在不同设备上都能实现高性能。社区支持：Google提供了Kaggle、Colab等平台的免费资源，以及Google Cloud的积分，鼓励开发者和研究人员利用Gemma进行创新和研究。跨平台兼容性：Gemma模型可以在多种设备上运行，包括笔记本电脑、台式机、物联网设备和云端，支持广泛的AI功能。负责任的AI工具包：Google还发布了Responsible Generative AI Toolkit，帮助开发者构建安全和负责任的AI应用，包括安全分类器、调试工具和应用指南。Gemma的技术要点模型架构：Gemma基于Transformer解码器构建，这是当前自然语言处理（NLP）领域最先进的模型架构之一。采用了多头注意力机制，允许模型在处理文本时同时关注多个部分。此外，Gemma还使用了旋转位置嵌入（RoPE）来代替绝对位置嵌入，以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活，以及在每个Transformer子层的输入和输出都进行了归一化处理。训练基础设施：Gemma模型在Google的TPUv5e上进行训练，这是一种专为机器学习设计的高性能计算平台。通过在多个Pod（芯片集群）上进行模型分片和数据复制，Gemma能够高效地利用分布式计算资源。预训练数据：Gemma模型在大量英语数据上进行预训练（2B模型大约2万亿个token的数据上预训练，而7B模型则基于6万亿个token），这些数据主要来自网络文档、数学和代码。预训练数据经过过滤，以减少不想要或不安全的内容，同时确保数据的多样性和质量。微调策略：Gemma模型通过监督式微调（SFT）和基于人类反馈的强化学习（RLHF）进行微调。这包括使用合成的文本对和人类生成的提示响应对，以及基于人类偏好数据训练的奖励模型。安全性和责任：Gemma在设计时考虑了模型的安全性和责任，包括在预训练阶段对数据进行过滤，以减少敏感信息和有害内容的风险。此外，Gemma还通过了一系列的安全性评估，包括自动化基准测试和人类评估，以确保模型在实际应用中的安全性。性能评估：Gemma在多个领域进行了广泛的性能评估，包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比，在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Llama-13B或Mistral-7B等模型。开放性和可访问性：Gemma模型以开源的形式发布，提供了预训练和微调后的检查点，以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型，推动AI领域的创新。常见问题Gemma一词的含义是什么？Gemma在拉丁语中的意思是“宝石”。Gemma是开源的吗？Gemma是开源开放的大模型，用户可在Hugging Face查看和下载其模型。Gemma模型的参数量是多少？Gemma目前提供20亿和70亿参数量的模型，后续还会推出新的变体。

Gradio是一个开源的Python库，用于构建演示机器学习或数据科学，以及web应用程序。你可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面，让用户可以尝试拖放他们自己的图像、输入文本、录制他们自己的声音，并通过浏览器与你的演示程序进行交互。Google、HuggingFace、亚马逊、Meta、思科、VMware等公司都在使用。Gradio适用于:向客户/合伙人/用户/学生演示您的机器学习模型。通过自动共享链接快速部署您的模型，并获得模型性能反馈。在开发过程中使用内置的操作和解释工具交互式地调试模型。

Vidu是什么Vidu是由生数科技与清华大学联合发布的中国首个长时长、高一致性、高动态性AI视频生成大模型。基于原创的 Diffusion 与 Transformer 融合的 U-ViT 架构，能一键生成长达 32 秒、分辨率高达 1080P 的高清视频，支持多镜头视角切换、时空连贯性以及丰富的超现实内容创作。Vidu AI 深入理解中国元素，可生成具有中国文化特色的画面。Vidu的主要功能文本转视频：用户只需输入文字描述，Vidu AI 能将其转化为生动的视频内容。图片转视频：上传静态图片后，Vidu AI 可将其动态化，生成具有动画效果的视频。参考视频生成：用户可上传参考视频或图片，Vidu AI 能根据其风格、主体特征生成一致性的视频。多主体一致性：支持在视频中保持多个主体的一致性，适用于复杂场景的创作。高质量视频输出：可生成长达 16 秒、分辨率高达 1080P 的高清视频。动态场景捕捉与物理模拟：能够生成复杂的动态场景，模拟真实世界的光影效果和物体物理行为。丰富的创意生成：基于文本描述，可创造出充满想象力的超现实场景。智能超清功能：对已生成的视频进行自动修复和清晰度提升。丰富的参数配置：用户可自定义视频的风格、时长、清晰度、运动幅度等。多镜头生成：支持生成包含远景、近景、中景、特写等多种镜头的视频，有丰富的视角和动态效果。中国元素理解：能理解并生成具有中国特色的元素，如熊猫、龙等，丰富文化表达。快速推理速度：实测生成4秒视频片段只需约30秒，提供行业领先的生成速度。风格多样：支持多种视频风格，包括写实和动漫风格，满足不同用户需求。Vidu的技术原理Diffusion技术：Diffusion是一种生成模型技术，通过逐步引入噪声并学习如何逆转这个过程来生成高质量的图像或视频。Vidu利用Diffusion技术生成连贯且逼真的视频内容。Transformer架构：Transformer是一种深度学习模型，最初用于自然语言处理任务，因其强大的性能和灵活性，后来被广泛应用于计算机视觉等领域。Vidu结合了Transformer架构来处理视频数据。U-ViT架构：U-ViT是Vidu技术架构的核心，是一种将Diffusion与Transformer融合的创新架构。U-ViT由生数科技团队提出，是全球首个此类融合架构，它结合了Diffusion模型的生成能力和Transformer模型的感知能力。多模态扩散模型UniDiffuser：UniDiffuser是生数科技基于U-ViT架构开发的多模态扩散模型，验证了U-ViT架构在处理大规模视觉任务时的可扩展性。长视频表示与处理技术：Vidu在U-ViT架构的基础上，进一步突破了长视频表示与处理的关键技术，Vidu能够生成更长、更连贯的视频内容。贝叶斯机器学习：贝叶斯机器学习是一种统计学习方法，通过贝叶斯定理来更新模型的概率估计。Vidu在开发过程中，团队利用了贝叶斯机器学习的技术来优化模型性能。如何使用Vidu注册和登录：访问Vidu的官方网站（vidu.cn），注册账号并登录。选择生成模式：在页面上选择“文生视频”或“图生视频”模式。文生视频（Text-to-Video）：用户输入文本描述，Vidu根据文本内容生成视频。适合从零开始创造视频内容。图生视频（Image-to-Video）：用户上传图片，Vidu基于图片内容生成视频。有两种子模式：>”参考起始帧”：使用上传的图片作为视频的起始帧，并基于此生成视频。“参考人物角色”：识别图片中的人物，并在生成的视频中保持该人物的一致性。输入文本或上传图片：对于文生视频，输入详细的描述性文本，包括场景、动作、风格等。对于图生视频，上传一张图片，并选择相应的生成模式。调整生成参数：根据需要调整视频的时长、分辨率、风格等参数。生成视频：点击生成按钮，Vidu将处理输入的文本或图片，开始生成视频。Vidu的适用人群视频制作人员：包括电影制作人、广告创意人员、视频编辑等，可以利用Vidu快速生成创意视频内容。游戏开发者：在游戏设计中需要生成逼真的动态背景或剧情动画的游戏开发者。教育机构：教师和教育技术公司可以利用Vidu制作教育视频、模拟教学场景或科学可视化内容。科研人员：科研领域中的研究人员可以使用Vidu模拟实验场景，帮助展示和理解复杂概念。内容创作者：社交媒体影响者、博客作者和独立视频制作者可以利用Vidu生成有吸引力的视频内容。

Google AI文字到图像生成模型

MOKI是什么MOKI是美图公司推出的AI视频短片创作平台，专注于辅助视频创作者打造动画短片、网文短剧、故事绘本和音乐视频（MV），基于美图自研的奇想智能大模型（MiracleVision），通过智能剪辑、自动配乐、音效添加和字幕生成等功能，大幅简化视频制作流程，提高创作效率。MOKI深度理解创作者需求，实现内容和成本的双重可控，让视频创作变得更加简单和高效。MOKI的主要功能AI短片创作：MOKI支持用户创作多种类型的视频内容，包括动画短片、网文短剧、故事绘本和音乐视频等，满足不同创作需求。MOKI通过AI技术，提供创意构思辅助，帮助用户快速生成视频脚本和故事板。智能剪辑：MOKI利用AI算法自动识别视频中的关键帧，确保剪辑过程中重要内容不被遗漏。根据视频内容的节奏和情感变化，MOKI会智能调整剪辑节奏，使视频更加流畅和富有表现力。AI配乐：MOKI的AI配乐功能可以根据视频的主题和情感氛围，自动匹配合适的背景音乐。提供丰富的版权音乐库，确保用户使用的背景音乐合法且多样。音效添加：MOKI能够根据视频的具体场景，自动添加环境音效或特定动作音效，增强视频的真实感。平台提供广泛的音效资源，用户可以根据需要选择和调整音效。自动字幕：MOKI通过先进的语音识别技术，自动将视频中的对话转换成文字，并支持多种语言的字幕生成，满足不同地区用户的需求。内容可控性：虽然MOKI提供自动化的创作流程，但用户仍然可以对生成的内容进行细致的编辑和调整。用户可以根据自己的创意和需求，对视频的各个方面进行个性化定制。如何使用MOKIMOKI的官方网站（moki.cn）已正式上线，开放内测体验。申请内测：访问官网，申请内测创建一个账户并登录MOKI平台。前期准备：准备视频的脚本、确定视觉风格和角色设定。脚本输入：将脚本输入到MOKI中，可以是文本形式，也可以是更详细的分镜头脚本。角色和风格设置：在MOKI中设置角色的外观、动作和表情，以及整个视频的视觉风格。自动生成分镜图：利用MOKI的AI技术，根据输入的脚本和设置自动生成分镜图。视频素材生成：将分镜图转换为视频素材，MOKI可能提供一些定制选项以调整生成的视频效果。智能剪辑：使用MOKI的智能剪辑功能，自动对视频素材进行剪辑，以达到理想的视频长度和节奏。AI配乐和音效：根据视频内容，MOKI自动选择合适的背景音乐和音效，创作者也可以手动选择或调整。自动字幕生成：MOKI自动识别视频中的对话并生成字幕，创作者可以编辑和校对字幕以确保准确性。细节调整：对生成的视频进行细节调整，如人物动作的微调、场景的优化等。最终输出：完成所有编辑和调整后，MOKI可以输出最终的视频文件，供创作者分享或发布。MOKI的工作流程MOKI的AI短片工作流与传统视频制作流程相比，在多个方面实现了效率的显著提升前期准备阶段：用户首先利用MOKI的AI功能快速生成视频脚本，这一过程可以根据用户的需求和创意快速完成。接着，用户可以选择视频的视觉风格和角色设计，MOKI提供多样化的风格选项，以适应不同的故事背景和用户偏好。分镜图与视频素材生成阶段：在脚本和视觉元素确定后，MOKI的AI将智能生成连续的分镜图，这些分镜图为视频制作提供了详细的视觉规划。用户可以对生成的分镜图进行局部重绘和调整，以确保每个场景都符合创意愿景。利用美图奇想大模型的强大能力，分镜图被转化为具有动态效果的视频片段，大大减少了传统拍摄和动画制作的时间与成本。后期制作与优化阶段：用户通过MOKI的智能剪辑功能，将所有视频素材流畅地串联起来，形成初步的视频草稿。AI音效和AI配乐功能根据视频内容自动添加合适的音效和背景音乐，增强视频的听觉体验。自动字幕功能确保视频的对话部分有准确的文字描述，提高视频的可访问性。如果有需要改进的地方，MOKI支持用户进行多次精细化剪辑和调优，直到达到满意的效果。