Gemma

5个月前发布 2,330 0 0

Gemma是什么Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和Ten...

收录时间:
2025-04-23

Gemma是什么

Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和TensorFlow,以在不同设备上高效运行。6月28日,第二代模型Gemma 2已发布。

Gemma的官方入口

  • Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cn
  • Gemma的Hugging Face模型:https://huggingface.co/models?search=google/gemma
  • Gemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/
  • Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
  • 官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorch
  • Gemma的Google Colab运行地址:https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

Gemma的主要特性

  • 轻量级架构:Gemma模型设计为轻量级,便于在多种计算环境中运行,包括个人电脑和工作站。
  • 开放模型:Gemma模型的权重是开放的,允许用户在遵守许可协议的情况下进行商业使用和分发。
  • 预训练与指令微调:提供预训练模型和经过指令微调的版本,后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。
  • 多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架,通过Keras 3.0提供工具链,简化了推理和监督微调(SFT)过程。
  • 安全性与可靠性:在设计时,Gemma遵循Google的AI原则,使用自动化技术过滤训练数据中的敏感信息,并进行了一系列安全评估,包括红队测试和对抗性测试。
  • 性能优化:Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化,确保在不同设备上都能实现高性能。
  • 社区支持:Google提供了Kaggle、Colab等平台的免费资源,以及Google Cloud的积分,鼓励开发者和研究人员利用Gemma进行创新和研究。
  • 跨平台兼容性:Gemma模型可以在多种设备上运行,包括笔记本电脑、台式机、物联网设备和云端,支持广泛的AI功能。
  • 负责任的AI工具:Google还发布了Responsible Generative AI Toolkit,帮助开发者构建安全和负责任的AI应用,包括安全分类器、调试工具和应用指南。

Gemma的技术要点

  • 模型架构:Gemma基于Transformer解码器构建,这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制,允许模型在处理文本时同时关注多个部分。此外,Gemma还使用了旋转位置嵌入(RoPE)来代替绝对位置嵌入,以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活,以及在每个Transformer子层的输入和输出都进行了归一化处理。
  • 训练基础设施:Gemma模型在Google的TPUv5e上进行训练,这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制,Gemma能够高效地利用分布式计算资源。
  • 预训练数据:Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练,而7B模型则基于6万亿个token),这些数据主要来自网络文档、数学和代码。预训练数据经过过滤,以减少不想要或不安全的内容,同时确保数据的多样性和质量。
  • 微调策略:Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对,以及基于人类偏好数据训练的奖励模型。
  • 安全性和责任:Gemma在设计时考虑了模型的安全性和责任,包括在预训练阶段对数据进行过滤,以减少敏感信息和有害内容的风险。此外,Gemma还通过了一系列的安全性评估,包括自动化基准测试和人类评估,以确保模型在实际应用中的安全性。
  • 性能评估:Gemma在多个领域进行了广泛的性能评估,包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比,在MMLU、MBPP等18个基准测试中,有11个测试结果超越了Llama-13B或Mistral-7B等模型。
  • 开放性和可访问性:Gemma模型以开源的形式发布,提供了预训练和微调后的检查点,以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型,推动AI领域的创新。

常见问题

Gemma一词的含义是什么?
Gemma在拉丁语中的意思是“宝石”。

Gemma是开源的吗?
Gemma是开源开放的大模型,用户可在Hugging Face查看和下载其模型。

Gemma模型的参数量是多少?
Gemma目前提供20亿和70亿参数量的模型,后续还会推出新的变体。

数据统计

数据评估

Gemma浏览人数已经达到2,330,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:Gemma的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找Gemma的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于Gemma特别声明

本站智能信息网提供的Gemma都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由智能信息网实际控制,在2025年4月23日 下午2:52收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,智能信息网不承担任何责任。

相关导航

Jan(Jan.ai)

Jan(Jan.ai)

Jan(Jan.ai)是一个免费开源的本地运行大模型并进行AI聊天对话的工具,可帮助用户在本地电脑(Windows、Mac、Linux)上安装、部署、运行并使用开源版本的ChatGPT替代大模型,如LLaMa、Mistral、Phi-2等20多个模型,也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama,该工具提供了对话UI和API服务器,适合开发者、研究人员或AI爱好者本地体验开源的大模型。Jan的主要功能本地运行开源大模型:支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型,可手动导入也可以在模型库下载模型简洁好用的聊天界面:软件界面清爽简洁、直观易用,直接在本地与开源大模型快速进行对话聊天支持多个平台:Jan支持在Windows、Mac(Intel、M1/M2/M3)和Linux等操作系统运行,后续还将推出移动端APP。内置API服务器:与OpenAI API兼容,可通过API获取模型信息、下载、启动、停止模型及聊天等如何使用Jan访问Jan的官网(jan.ai),选择对应的电脑操作系统版本,点击Download进行下载然后安装并打开软件,在软件界面的左下角点击Download your first model进入模型库Hub界面,选择你感兴趣的模型进行下载,下载完成后点击Use使用该模型在对话界面输入你的描述即可与你选择的模型进行对话啦Jan还在持续开发中,后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。
MiracleVision 奇想智能

MiracleVision 奇想智能

MiracleVision奇想智能是什么MiracleVision奇想智能是由美图秀秀公司推出的自研AI视觉大模型,不仅具备高度的美学导向和图像处理能力,还能够广泛地应用于多个行业,提高工作流效率。同时,它还提供了简单易用的AI视觉创作工具,使用户能够快速进行图像的创作和编辑。最新的MiracleVision 4.0支持AI图片生成、AI设计排版和AI视频生成等能力。MiracleVision奇想智能的主要能力AI图片生成,支持文生图和图生图,输入文字或上传图像即可创作图片,提供多种风格、参数调整、图片尺寸、精准画面控制等AI智能设计,包括矢量图形、文字特效、智能分层和智能排版,可以满足AI设计的基础需求AI视频生成,提供文生视频、图生视频、视频运镜、视频生视频四大功能,让奇思妙想动起来视觉模型商店,平台提供丰富的视觉模型,从经典复古到现代潮流、从超现实幻想到极简抽象,用户可以任意选择创造惊艳的视觉效果MiracleVision奇想智能的适用行业电商行业:从涂鸦生成线稿、线稿上色、商品图、模特试穿图,再到电商物料输出,全程可通过MiracleVision实现。游戏制作:包揽场景设计、角色设计、道具设计、UI图标、宣发物料等流程,拓宽设计师想象空间的同时助力游戏行业降本。影视行业:充分满足概念场景设计、分镜设计、人物造型、道具设计、宣发物料的效果要求,极大提升影视行业设计环节的效率。广告设计:覆盖创意脑暴、创意深化、平面排版、多尺寸延展、线下投放预览的全工作流,助力客户在广告物料制作环节提效。动漫卡通:打通了概念设计、故事板生成、线稿上色、动漫补帧、视频转动漫等流程,支持创意到物料成品的快速落地。
悟道

悟道

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。悟道接受了4.9 TB高质量英文和中文图像和文本的训练:1.2TB中文文本数据2.5TB中文图形数据1.2TB英文文本数据悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。
GPT

GPT

GPT-4介绍GPT-4(Generative Pre-trained Transformer)是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本,该模型依靠强大的神经网络来理解和生成类似人类的语言。 如何免费使用GPT-4?不开会员的6种方法 目前官方版的GPT-4仅能通过ChatGPT Plus付费会员才能使用,免费版的ChatGPT无法使用最新的GPT-4,而Plus版本需要每个月花费20美元来订阅,并且国内付款非常困... AI教程 2年前 (2023) GPT-4 通过使用被称为「转换器(Transformer)」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲,Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起,使之有意义。之所以采用这样的方法,是因为该模型已经在一个巨大的数据集上进行了训练,其中包括来自不同来源的文本,如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话,并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人,但它远远不是有意识的智能,离通用人工智能还有距离。GPT-4的工作原理GPT-4通过与其前身(GPT-3.5)相同的基本流程工作,但规模更大,以下是其主要的工作原理:Transformer架构: GPT-4是使用一种叫做「Transformer」的设计来构建的,这些转换器就像超级智能机器,能够理解一句话中哪些词是重要的,以及它们之间的关系。大规模的预训练: GPT-4从大量的文本中学习,如书籍、网站和文章,这样一来,它就能更好地理解语言模式、语法和事实。微调(Fine-tuning): 在从大量文本中学习后,GPT-4会在特定的任务中接受训练,如回答问题或理解文本中的情感,这有助于它在处理这些任务时变得更加出色。分词(Tokenization): GPT-4将文本分解成更小的部分,称为「tokens」,这些token可以是单词或单词的一部分,这有助于它处理不同的语言并理解词语的含义。上下文窗口(Context window): GPT-4有一个限制,即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系,但这也意味着它不一定能理解很长的句子或段落。概率分布和抽样: 当GPT-4生成文本时,它根据模型认为每个词的可能性的大小来猜测下一个词。然后,它从这些猜测中挑选出一个词,使其够创造出多样化和有趣的句子。细粒度控制(Fine-grained control): GPT-4可以通过使用特殊提示或调整其设置等技巧,引导它给出特定类型的答案或文本,以帮助从该模型中获得我们想要的结果。ChatGPT和GPT-4的区别ChatGPT 和 GPT-4 并不是同一回事,ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的,专门为对话式人工智能应用而设计的,比如根据用户输入生成类似人类的文本回复。而GPT-4指的是GPT系列大语言模型的当前版本——驱动ChatGPT的引擎。ChatGPT提供的输出读起来更自然,GPT-4更强大,在输入/输出方面可以处理更多文本。GPT-4可以免费访问吗?这个问题的答案:是也不是。用户可以通过ChatGPT、New Bing等软件访问GPT-4,这些平台使用GPT-4来生成内容并与用户互动。然而,GPT-4只有在ChatGPT Plus付费计划下才能使用,或者作为开发者建立应用程序和服务的API。New Bing(新必应)可以每天免费有限次数使用GPT-4驱动的AI聊天,而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。

暂无评论

none
暂无评论...