
Gemma是什么
Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和TensorFlow,以在不同设备上高效运行。6月28日,第二代模型Gemma 2已发布。
Gemma的官方入口
- Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cn
- Gemma的Hugging Face模型:https://huggingface.co/models?search=google/gemma
- Gemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/
- Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
- 官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorch
- Gemma的Google Colab运行地址:https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb
Gemma的主要特性
- 轻量级架构:Gemma模型设计为轻量级,便于在多种计算环境中运行,包括个人电脑和工作站。
- 开放模型:Gemma模型的权重是开放的,允许用户在遵守许可协议的情况下进行商业使用和分发。
- 预训练与指令微调:提供预训练模型和经过指令微调的版本,后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。
- 多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架,通过Keras 3.0提供工具链,简化了推理和监督微调(SFT)过程。
- 安全性与可靠性:在设计时,Gemma遵循Google的AI原则,使用自动化技术过滤训练数据中的敏感信息,并进行了一系列安全评估,包括红队测试和对抗性测试。
- 性能优化:Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化,确保在不同设备上都能实现高性能。
- 社区支持:Google提供了Kaggle、Colab等平台的免费资源,以及Google Cloud的积分,鼓励开发者和研究人员利用Gemma进行创新和研究。
- 跨平台兼容性:Gemma模型可以在多种设备上运行,包括笔记本电脑、台式机、物联网设备和云端,支持广泛的AI功能。
- 负责任的AI工具包:Google还发布了Responsible Generative AI Toolkit,帮助开发者构建安全和负责任的AI应用,包括安全分类器、调试工具和应用指南。
Gemma的技术要点
- 模型架构:Gemma基于Transformer解码器构建,这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制,允许模型在处理文本时同时关注多个部分。此外,Gemma还使用了旋转位置嵌入(RoPE)来代替绝对位置嵌入,以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活,以及在每个Transformer子层的输入和输出都进行了归一化处理。
- 训练基础设施:Gemma模型在Google的TPUv5e上进行训练,这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制,Gemma能够高效地利用分布式计算资源。
- 预训练数据:Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练,而7B模型则基于6万亿个token),这些数据主要来自网络文档、数学和代码。预训练数据经过过滤,以减少不想要或不安全的内容,同时确保数据的多样性和质量。
- 微调策略:Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对,以及基于人类偏好数据训练的奖励模型。
- 安全性和责任:Gemma在设计时考虑了模型的安全性和责任,包括在预训练阶段对数据进行过滤,以减少敏感信息和有害内容的风险。此外,Gemma还通过了一系列的安全性评估,包括自动化基准测试和人类评估,以确保模型在实际应用中的安全性。
- 性能评估:Gemma在多个领域进行了广泛的性能评估,包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比,在MMLU、MBPP等18个基准测试中,有11个测试结果超越了Llama-13B或Mistral-7B等模型。
- 开放性和可访问性:Gemma模型以开源的形式发布,提供了预训练和微调后的检查点,以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型,推动AI领域的创新。
常见问题
Gemma一词的含义是什么?
Gemma在拉丁语中的意思是“宝石”。
Gemma是开源的吗?
Gemma是开源开放的大模型,用户可在Hugging Face查看和下载其模型。
Gemma模型的参数量是多少?
Gemma目前提供20亿和70亿参数量的模型,后续还会推出新的变体。
数据统计
数据评估
关于Gemma特别声明
本站智能信息网提供的Gemma都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由智能信息网实际控制,在2025年4月23日 下午2:52收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,智能信息网不承担任何责任。
相关导航

在浏览器中组装、配置和部署自主人工智能的开源项目

Gradio
Gradio是一个开源的Python库,用于构建演示机器学习或数据科学,以及web应用程序。你可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面,让用户可以尝试拖放他们自己的图像、输入文本、录制他们自己的声音,并通过浏览器与你的演示程序进行交互。Google、HuggingFace、亚马逊、Meta、思科、VMware等公司都在使用。Gradio适用于:向客户/合伙人/用户/学生演示您的机器学习模型。通过自动共享链接快速部署您的模型,并获得模型性能反馈。在开发过程中使用内置的操作和解释工具交互式地调试模型。

GPT
GPT-4介绍GPT-4(Generative Pre-trained Transformer)是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本,该模型依靠强大的神经网络来理解和生成类似人类的语言。 如何免费使用GPT-4?不开会员的6种方法 目前官方版的GPT-4仅能通过ChatGPT Plus付费会员才能使用,免费版的ChatGPT无法使用最新的GPT-4,而Plus版本需要每个月花费20美元来订阅,并且国内付款非常困... AI教程 2年前 (2023) GPT-4 通过使用被称为「转换器(Transformer)」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲,Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起,使之有意义。之所以采用这样的方法,是因为该模型已经在一个巨大的数据集上进行了训练,其中包括来自不同来源的文本,如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话,并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人,但它远远不是有意识的智能,离通用人工智能还有距离。GPT-4的工作原理GPT-4通过与其前身(GPT-3.5)相同的基本流程工作,但规模更大,以下是其主要的工作原理:Transformer架构: GPT-4是使用一种叫做「Transformer」的设计来构建的,这些转换器就像超级智能机器,能够理解一句话中哪些词是重要的,以及它们之间的关系。大规模的预训练: GPT-4从大量的文本中学习,如书籍、网站和文章,这样一来,它就能更好地理解语言模式、语法和事实。微调(Fine-tuning): 在从大量文本中学习后,GPT-4会在特定的任务中接受训练,如回答问题或理解文本中的情感,这有助于它在处理这些任务时变得更加出色。分词(Tokenization): GPT-4将文本分解成更小的部分,称为「tokens」,这些token可以是单词或单词的一部分,这有助于它处理不同的语言并理解词语的含义。上下文窗口(Context window): GPT-4有一个限制,即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系,但这也意味着它不一定能理解很长的句子或段落。概率分布和抽样: 当GPT-4生成文本时,它根据模型认为每个词的可能性的大小来猜测下一个词。然后,它从这些猜测中挑选出一个词,使其够创造出多样化和有趣的句子。细粒度控制(Fine-grained control): GPT-4可以通过使用特殊提示或调整其设置等技巧,引导它给出特定类型的答案或文本,以帮助从该模型中获得我们想要的结果。ChatGPT和GPT-4的区别ChatGPT 和 GPT-4 并不是同一回事,ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的,专门为对话式人工智能应用而设计的,比如根据用户输入生成类似人类的文本回复。而GPT-4指的是GPT系列大语言模型的当前版本——驱动ChatGPT的引擎。ChatGPT提供的输出读起来更自然,GPT-4更强大,在输入/输出方面可以处理更多文本。GPT-4可以免费访问吗?这个问题的答案:是也不是。用户可以通过ChatGPT、New Bing等软件访问GPT-4,这些平台使用GPT-4来生成内容并与用户互动。然而,GPT-4只有在ChatGPT Plus付费计划下才能使用,或者作为开发者建立应用程序和服务的API。New Bing(新必应)可以每天免费有限次数使用GPT-4驱动的AI聊天,而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。

Auto
Auto-GPT是一个实验性开源应用程序,展示了GPT-4语言模型的真正潜力,GitHub上超10万人星标。该程序由 GPT-4 驱动,将LLM大语言模型思维链接在一起,以自主实现你设定的任何目标。作为GPT-4完全自主运行的首批例子之一,Auto-GPT突破了人工智能的极限,距离AGI通用人工智能又近了一步。大家注意甄别autogpt.net不是其官方网站,agpt.co才是。

Codex
OpenAI旗下AI代码生成训练模型

Segment Anything(SAM): Meta最新推出的AI图像分割模型
Segment Anything Model(SAM)是Meta AI研究院最新推出的图像分割模型,该模型通过点或框等输入提示生成高质量的物体遮罩,并且可以用于为图像中的所有物体和对象生成遮罩。SAM模型在超过1100万张图像和11亿张掩模的数据集上进行了训练,并且在各种图像分割任务上具有强大的零样本性能。

Watsonx.ai
Watsonx.ai是IBM于5月9日发布的新一代企业级生成式人工智能和机器学习平台,Watsonx.ai将由基础模型驱动的新的生成性人工智能和传统的机器学习结合起来,成为一个跨越人工智能生命周期的强大平台。使用Watsonx.ai,开发人员可以轻松地训练、验证、调整和部署模型,只需用一小部分数据在短期时间内快速建立人工智能应用。预计Watsonx.ai将在7月全面上市。

豆包大模型
豆包大模型是什么豆包大模型是字节跳动推出的AI大模型家族,包括 豆包PixelDance、豆包Seaweed 视频生成、文生图、图生图、同声传译、角色扮演、语音合成、声音复刻、语音识别、Function Call和向量化等多个模型。豆包大模型具备强大的语言理解、生成和逻辑能力,能进行个性化创作、情绪丰富的语音合成、高精度语音识别、多风格图像生成和顶级的视频生成。豆包大模型通过火山引擎提供服务,支持企业和开发者构建智能化应用,推动AI技术在多种业务场景中的落地。豆包大模型的性能在多个评测中表现优异,例如在包括MMLU、BBH、GSM8K和HumanEval在内的11个业界公认的基准测试集中,Doubao-pro-4k模型的总体得分达到了76.8分,在代码能力、专业知识和指令遵循等方面的显著进步。豆包大模型的主要功能通用模型:字节跳动自研LLM模型,支持128K长文本,全系列可精调,具备更强的理解、生成、逻辑等综合能力,适配问答、总结、创作、分类等丰富场景。视频生成:通过精准语义理解、强大动态及运镜能力创作高质量视频,支持文本和图片生成两种模式。角色扮演:创作个性化角色,具备上下文感知和剧情推动能力,适合虚拟互动和故事创作。语音合成:生成自然生动的语音,能表达多种情绪,适用于文本到语音转换。声音复刻:快速克隆声音,高度还原音色和自然度,支持跨语种迁移,用于个性化语音合成。语音识别:准确识别和转录语音,支持多语种,适用于语音命令和转录服务。文生图:将文本转换为图像,擅长图文匹配和中国文化元素创作,用于图像生成和视觉内容创作。图生图:基于现有图像生成新图像,支持风格变换、扩图、重绘和涂抹等创意操作。同声传译:提供超低延时且自然高质量的实时翻译,支持跨语言同音色翻译,打破沟通中的语言壁垒。Function Call:准确识别和抽取功能参数,适合复杂工具调用和智能交互。向量化:提供向量检索能力,支持LLM知识库的核心理解,适用于多语言处理。豆包大模型的功能特点豆包通用模型Pro:字节跳动自研的高级语言模型,支持128K长文本处理,适用于问答、总结、创作等多种场景。豆包通用模型Lite:轻量级语言模型,提供更低的成本和延迟,适合预算有限的企业使用。豆包·视频生成模型:利用先进的语义理解技术,将文本和图片转化为引人入胜的高质量视频内容。豆包·语言识别模型:具备高准确率和灵敏度,能够快速准确地识别和转写多种语言的语音。豆包·Function Call模型:专为复杂工具调用设计,提供精确的功能识别和参数抽取能力。豆包·文生图模型:将文字描述转化为精美图像,尤其擅长捕捉和表现中国文化元素。豆包·语音合成模型:能够合成自然、生动的语音,表达丰富的情感和场景。豆包·向量化模型:专注于向量检索,为知识库提供核心理解能力,支持多种语言。豆包·声音复刻模型:仅需5秒即可实现声音的1:1克隆,提供高度相似的音色和自然度。豆包·同声传译模型:实现超低延迟的实时翻译,支持跨语言同音色翻译,消除语言障碍。豆包·角色扮演模型:具备个性化角色创作能力,能够根据上下文感知和剧情推动进行灵活的角色扮演。豆包大模型的产品官网产品官网:volcengine.com/product/doubao如何使用豆包大模型确定需求:明确项目或业务需求,比如是否需要文本生成、语音识别、图像创作、视频生成等。选择合适的模型:根据需求选择合适的豆包大模型,例如文生图模型、语音合成、视频生成模型等。注册和访问火山引擎:访问火山引擎官网注册账户,是字节跳动的云服务平台,提供豆包大模型的服务。申请访问权限:在火山引擎平台上申请使用豆包大模型的权限,填写相关信息和使用场景。API接入:获取相应的API接口信息,包括API的端点、请求方法和必要的认证信息。开发和测试:根据API文档开发应用程序,将豆包大模型集成到你的业务流程中。进行充分测试,确保模型的输出符合预期。部署应用:在测试无误后,将集成了豆包大模型的应用部署到生产环境。监控和优化:监控应用的性能和模型的效果,根据反馈进行优化。豆包大模型的产品定价大语言模型按tokens使用量付费:Doubao-lite-4k(包括分支版本lite-character):上下文长度4K、输入0.0003元/千tokens、输出0.0003元/千tokens、后付费、免费额度50万tokens。Doubao-lite-32k:上下文长度32K、输入0.0003元/千tokens、输出0.0006元/千tokens后付费、免费额度50万tokens。Doubao-lite-128k:上下文长度128K、输入0.0008元/千tokens、输出0.0010元/千tokens后付费、免费额度50万tokens。Doubao-pro-4k(包括分支版本pro-character、pro-functioncall):上下文长度4K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。Doubao-pro-32k:上下文长度32K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。Doubao-pro-128k:上下文长度128K、输入0.0050元/千tokens、输出0.0090元/千tokens后付费、免费额度50万tokens。按模型单元付费:独占的算力资源,更加独立可控Doubao-lite-4k、Doubao-lite-32k:可承载性能(TPS)3000、按小时60元/个、包月28000元/个。Doubao-lite-128k:可承载性能(TPS)4500、按小时240元/个、包月112000元/个。Doubao-pro-4k、Doubao-pro-32k:可承载性能(TPS)3200、按小时160元/个、包月80000元/个。Doubao-pro-128k:可承载性能(TPS)3500、按小时1200元/个、包月550000元/个。视觉模型豆包-文生图模型-智能绘图:推理服务、0.2元/次、后付费、免费额度200次。语音大模型Doubao-语音合成:推理服务、5元/万字符、后付费、免费额度5000字符。Doubao-声音复刻:推理服务、8元/万字符、后付费、免费额度5000字符。向量模型Doubao-embedding:最长输入长度4K、输入0.0005元/千tokens、后付费、免费50万tokens。模型精调按tokens使用量(训练文本*训练迭代次数)计费,训练完成后出账。Doubao-lite-4k、Doubao-lite-32k、Doubao-lite-128k:LoRA定价0.03元/千tokens、后付费。Doubao-pro-4k、Doubao-pro-32k、Doubao-pro-128k:LoRA定价0.05元/千tokens、后付费。更多模型及定价信息,可访问豆包大模型官网获取最新信息。豆包大模型的应用场景内容创作与媒体:使用文生图、图生图、视频生成模型生成文章配图、漫画、海报、短视频等视觉内容。语音合成模型为视频、动画制作配音。客户服务:通过角色扮演模型提供虚拟客服和聊天机器人服务。使用语音识别和语音合成模型改善语音客服系统。教育与培训:文生图模型辅助教学材料的制作,如生成教学插图。角色扮演模型创建个性化学习体验和虚拟教师。娱乐与游戏:在游戏中使用角色扮演模型创建非玩家角色(NPC)的对话和行为。用语音合成模型为游戏角色提供自然的语言交流。智能助手:结合语音识别和语音合成模型,开发智能个人助理。用文生图模型生成个性化的推荐内容。市场与广告:用文生图模型自动生成广告创意和营销素材。用通用模型分析消费者反馈,优化广告文案。企业自动化:通过Function Call模型自动化复杂的工作流程和工具调用。用向量化模型进行高效的信息检索和知识管理。搜索与推荐:用向量化模型改善搜索引擎的准确性和响应速度。结合通用模型为用户推荐相关内容或产品。法律与金融:用通用模型进行合同分析、案件研究和合规检查。用语音识别模型转录会议记录和访谈内容。
暂无评论...