Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统。
此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的REST API。
该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。
Ollama安装包获取
获取Ollama安装包,扫码关注回复:Ollama
Ollama支持的模型
Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中,以下是可以下载的开源模型示例:
| 模型 | 参数大小 | 文件大小 | 下载运行命令 |
|---|---|---|---|
| DeepSeek-R1 | 1.5B、7B、14B、32B等 | 12-320GB | ollama run deepseek-r1 |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Orca Mini | 3B | 1.9GB | ollama run orca-mini |
| Vicuna | 7B | 3.8GB | ollama run vicuna |
数据统计
数据评估
关于Ollama特别声明
本站智能信息网提供的Ollama都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由智能信息网实际控制,在2025年4月23日 下午2:52收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,智能信息网不承担任何责任。
相关导航
OpenAI旗下AI代码生成训练模型
Auto
Auto-GPT是一个实验性开源应用程序,展示了GPT-4语言模型的真正潜力,GitHub上超10万人星标。该程序由 GPT-4 驱动,将LLM大语言模型思维链接在一起,以自主实现你设定的任何目标。作为GPT-4完全自主运行的首批例子之一,Auto-GPT突破了人工智能的极限,距离AGI通用人工智能又近了一步。大家注意甄别autogpt.net不是其官方网站,agpt.co才是。
通义千问
通义千问官网通义千问是基于的大语言模型的产品,它利用自然语言
Gemma
Gemma是什么Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和TensorFlow,以在不同设备上高效运行。6月28日,第二代模型Gemma 2已发布。Gemma的官方入口Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cnGemma的Hugging Face模型:https://huggingface.co/models?search=google/gemmaGemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorchGemma的Google Colab运行地址:https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynbGemma的主要特性轻量级架构:Gemma模型设计为轻量级,便于在多种计算环境中运行,包括个人电脑和工作站。开放模型:Gemma模型的权重是开放的,允许用户在遵守许可协议的情况下进行商业使用和分发。预训练与指令微调:提供预训练模型和经过指令微调的版本,后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架,通过Keras 3.0提供工具链,简化了推理和监督微调(SFT)过程。安全性与可靠性:在设计时,Gemma遵循Google的AI原则,使用自动化技术过滤训练数据中的敏感信息,并进行了一系列安全评估,包括红队测试和对抗性测试。性能优化:Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化,确保在不同设备上都能实现高性能。社区支持:Google提供了Kaggle、Colab等平台的免费资源,以及Google Cloud的积分,鼓励开发者和研究人员利用Gemma进行创新和研究。跨平台兼容性:Gemma模型可以在多种设备上运行,包括笔记本电脑、台式机、物联网设备和云端,支持广泛的AI功能。负责任的AI工具包:Google还发布了Responsible Generative AI Toolkit,帮助开发者构建安全和负责任的AI应用,包括安全分类器、调试工具和应用指南。Gemma的技术要点模型架构:Gemma基于Transformer解码器构建,这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制,允许模型在处理文本时同时关注多个部分。此外,Gemma还使用了旋转位置嵌入(RoPE)来代替绝对位置嵌入,以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活,以及在每个Transformer子层的输入和输出都进行了归一化处理。训练基础设施:Gemma模型在Google的TPUv5e上进行训练,这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制,Gemma能够高效地利用分布式计算资源。预训练数据:Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练,而7B模型则基于6万亿个token),这些数据主要来自网络文档、数学和代码。预训练数据经过过滤,以减少不想要或不安全的内容,同时确保数据的多样性和质量。微调策略:Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对,以及基于人类偏好数据训练的奖励模型。安全性和责任:Gemma在设计时考虑了模型的安全性和责任,包括在预训练阶段对数据进行过滤,以减少敏感信息和有害内容的风险。此外,Gemma还通过了一系列的安全性评估,包括自动化基准测试和人类评估,以确保模型在实际应用中的安全性。性能评估:Gemma在多个领域进行了广泛的性能评估,包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比,在MMLU、MBPP等18个基准测试中,有11个测试结果超越了Llama-13B或Mistral-7B等模型。开放性和可访问性:Gemma模型以开源的形式发布,提供了预训练和微调后的检查点,以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型,推动AI领域的创新。常见问题Gemma一词的含义是什么?Gemma在拉丁语中的意思是“宝石”。Gemma是开源的吗?Gemma是开源开放的大模型,用户可在Hugging Face查看和下载其模型。Gemma模型的参数量是多少?Gemma目前提供20亿和70亿参数量的模型,后续还会推出新的变体。
Gradio
Gradio是一个开源的Python库,用于构建演示机器学习或数据科学,以及web应用程序。你可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面,让用户可以尝试拖放他们自己的图像、输入文本、录制他们自己的声音,并通过浏览器与你的演示程序进行交互。Google、HuggingFace、亚马逊、Meta、思科、VMware等公司都在使用。Gradio适用于:向客户/合伙人/用户/学生演示您的机器学习模型。通过自动共享链接快速部署您的模型,并获得模型性能反馈。在开发过程中使用内置的操作和解释工具交互式地调试模型。
海螺AI – 你的AI智能助手
海螺AI官网MiniMax不声不响出了款让人惊喜的生产力产品
魔搭社区:阿里达摩院推出的AI模型社区,超过300+开源AI模型
魔搭社区是什么魔搭社区(ModelScope)是阿里巴巴达摩院推出的综合性的人工智能模型共享与服务平台,为构建一个开放、高效、易用的AI模型生态,为开发者、研究人员和企业用户提供一站式的模型获取、部署和应用体验。 ModelScope平台汇集了丰富的预训练模型资源,涵盖自然语言处理、计算机视觉、语音识别等多个领域。用户可以通过简单的搜索和下载操作,快速获取所需的模型,结合平台提供的工具进行微调、优化和部署。魔搭社区支持多种硬件平台,包括昇腾、GPU等,满足不同用户的需求。魔搭社区的主要功能丰富的预训练模型:提供涵盖自然语言处理、计算机视觉、语音识别、多模态等多个领域的预训练模型。模型上下文协议(MCP):推出MCP广场,上架千余款热门MCP服务,包括支付宝、MiniMax等独家首发服务。MCP为大模型对接外部数据源和工具建立了统一标准,简化了开发流程。数据集与指标:提供多种数据集和性能评估指标,方便开发者进行模型训练和优化。模型推理与部署:支持在线推理、本地部署和云端部署。用户可以通过网页界面直接上传数据获取推理结果,也可以通过SDK在本地运行模型。分布式训练与优化:提供分布式训练工具,支持多种框架(如PyTorch、TensorFlow等),提供模型压缩、量化等优化工具。调试与集成:提供简单易用的调试环境和工具,支持第三方平台集成,降低开发者使用门槛。开源与社区共建:作为一个开源平台,鼓励开发者贡献模型和代码,形成开源协作生态。开发者社区:提供交流平台,开发者可以分享经验、讨论技术问题,共同推动AI技术的发展。如何使用魔搭社区访问平台:访问魔搭社区的官方网站,注册或登录。环境准备安装 Python:确保系统中已安装 Python(推荐版本 3.8 及以上)。安装 ModelScope Python 库:通过以下命令安装 ModelScope 的 Python 库。模型下载通过命令行下载:使用 ModelScope 提供的命令行工具下载模型。通过网页界面下载:访问魔搭社区官网,在模型库中搜索并下载所需的模型。模型推理:使用 Python 脚本加载模型并进行推理。模型微调:使用 ms-swift 进行微调ms-swift 是魔搭社区提供的大模型训练和部署框架。模型部署:使用 Vllm 部署模型,Vllm 是一个高效的推理框架,支持多 GPU 分布式推理。探索更多模型和工具:访问魔搭社区官网,浏览丰富的模型库、数据集和工具。参与社区交流:加入魔搭社区的开发者社区,与其他开发者交流经验,共同推动 AI 技术的发展。魔搭社区的应用场景AI研究与教育:研究人员和教育工作者可以用ModelScope上的模型进行AI相关的研究和教学活动,提高研究效率和学习效果。企业应用开发:企业可以用ModelScope上的模型快速开发AI应用,降低研发成本,加快产品上市时间。创业项目:初创企业可以借助ModelScope上的模型资源,开发创新的AI产品和服务,验证商业模式并实现产品的快速迭代。个人项目:个人开发者可以用ModelScope上的模型实现自己的创意,开发个性化的AI应用。多模态应用:ModelScope支持多种多模态模型,例如处理文本、图像和视频的InternVL3系列模型。可以应用于智能助手、内容创作、视频生成等领域。
阿里巴巴M6模型:达摩院推出的超大规模中文预训练模型(M6)
M6是阿里巴巴达摩院推出的,中文社区最大的跨模态预训练模型,模型参数达到十万亿以上,具有强大的多模态表征能力。M6通过将不同模态的信息经过统一加工处理,沉淀成知识表征,为各个行业场景提供语言理解、图像处理、知识表征等智能服务
暂无评论...

