OpenBMB:清华团队支持发起的大规模预训练语言模型库与相关工具

OpenBMB:清华团队支持发起的大规模预训练语言模型库与相关工具

OpenBMB全称为Open Lab for Big Model Base,旨在打造大规模预训练语言模型库与相关工具, 加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区, 推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础,近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。
02,6500
魔搭社区:阿里达摩院推出的AI模型社区,超过300+开源AI模型

魔搭社区:阿里达摩院推出的AI模型社区,超过300+开源AI模型

魔搭社区是什么魔搭社区(ModelScope)是阿里巴巴达摩院推出的综合性的人工智能模型共享与服务平台,为构建一个开放、高效、易用的AI模型生态,为开发者、研究人员和企业用户提供一站式的模型获取、部署和应用体验。 ModelScope平台汇集了丰富的预训练模型资源,涵盖自然语言处理、计算机视觉、语音识别等多个领域。用户可以通过简单的搜索和下载操作,快速获取所需的模型,结合平台提供的工具进行微调、优化和部署。魔搭社区支持多种硬件平台,包括昇腾、GPU等,满足不同用户的需求。魔搭社区的主要功能丰富的预训练模型:提供涵盖自然语言处理、计算机视觉、语音识别、多模态等多个领域的预训练模型。模型上下文协议(MCP):推出MCP广场,上架千余款热门MCP服务,包括支付宝、MiniMax等独家首发服务。MCP为大模型对接外部数据源和工具建立了统一标准,简化了开发流程。数据集与指标:提供多种数据集和性能评估指标,方便开发者进行模型训练和优化。模型推理与部署:支持在线推理、本地部署和云端部署。用户可以通过网页界面直接上传数据获取推理结果,也可以通过SDK在本地运行模型。分布式训练与优化:提供分布式训练工具,支持多种框架(如PyTorch、TensorFlow等),提供模型压缩、量化等优化工具。调试与集成:提供简单易用的调试环境和工具,支持第三方平台集成,降低开发者使用门槛。开源与社区共建:作为一个开源平台,鼓励开发者贡献模型和代码,形成开源协作生态。开发者社区:提供交流平台,开发者可以分享经验、讨论技术问题,共同推动AI技术的发展。如何使用魔搭社区访问平台:访问魔搭社区的官方网站,注册或登录。环境准备安装 Python:确保系统中已安装 Python(推荐版本 3.8 及以上)。安装 ModelScope Python 库:通过以下命令安装 ModelScope 的 Python 库。模型下载通过命令行下载:使用 ModelScope 提供的命令行工具下载模型。通过网页界面下载:访问魔搭社区官网,在模型库中搜索并下载所需的模型。模型推理:使用 Python 脚本加载模型并进行推理。模型微调:使用 ms-swift 进行微调ms-swift 是魔搭社区提供的大模型训练和部署框架。模型部署:使用 Vllm 部署模型,Vllm 是一个高效的推理框架,支持多 GPU 分布式推理。探索更多模型和工具:访问魔搭社区官网,浏览丰富的模型库、数据集和工具。参与社区交流:加入魔搭社区的开发者社区,与其他开发者交流经验,共同推动 AI 技术的发展。魔搭社区的应用场景AI研究与教育:研究人员和教育工作者可以用ModelScope上的模型进行AI相关的研究和教学活动,提高研究效率和学习效果。企业应用开发:企业可以用ModelScope上的模型快速开发AI应用,降低研发成本,加快产品上市时间。创业项目:初创企业可以借助ModelScope上的模型资源,开发创新的AI产品和服务,验证商业模式并实现产品的快速迭代。个人项目:个人开发者可以用ModelScope上的模型实现自己的创意,开发个性化的AI应用。多模态应用:ModelScope支持多种多模态模型,例如处理文本、图像和视频的InternVL3系列模型。可以应用于智能助手、内容创作、视频生成等领域。
01,9850
Ollama

Ollama

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统​​​​。此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的REST API​​。该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。Ollama安装包获取获取Ollama安装包,扫码关注回复:OllamaOllama支持的模型Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中,以下是可以下载的开源模型示例:模型参数大小文件大小下载运行命令DeepSeek-R11.5B、7B、14B、32B等12-320GBollama run deepseek-r1Neural Chat7B4.1GBollama run neural-chatStarling7B4.1GBollama run starling-lmMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run llama2Code Llama7B3.8GBollama run codellamaLlama 2 Uncensored7B3.8GBollama run llama2-uncensoredLlama 2 13B13B7.3GBollama run llama2:13bLlama 2 70B70B39GBollama run llama2:70bOrca Mini3B1.9GBollama run orca-miniVicuna7B3.8GBollama run vicuna
01,9800
GPT

GPT

GPT-4介绍GPT-4(Generative Pre-trained Transformer)是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本,该模型依靠强大的神经网络来理解和生成类似人类的语言。 如何免费使用GPT-4?不开会员的6种方法 目前官方版的GPT-4仅能通过ChatGPT Plus付费会员才能使用,免费版的ChatGPT无法使用最新的GPT-4,而Plus版本需要每个月花费20美元来订阅,并且国内付款非常困... AI教程 2年前 (2023) GPT-4 通过使用被称为「转换器(Transformer)」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲,Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起,使之有意义。之所以采用这样的方法,是因为该模型已经在一个巨大的数据集上进行了训练,其中包括来自不同来源的文本,如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话,并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人,但它远远不是有意识的智能,离通用人工智能还有距离。GPT-4的工作原理GPT-4通过与其前身(GPT-3.5)相同的基本流程工作,但规模更大,以下是其主要的工作原理:Transformer架构: GPT-4是使用一种叫做「Transformer」的设计来构建的,这些转换器就像超级智能机器,能够理解一句话中哪些词是重要的,以及它们之间的关系。大规模的预训练: GPT-4从大量的文本中学习,如书籍、网站和文章,这样一来,它就能更好地理解语言模式、语法和事实。微调(Fine-tuning): 在从大量文本中学习后,GPT-4会在特定的任务中接受训练,如回答问题或理解文本中的情感,这有助于它在处理这些任务时变得更加出色。分词(Tokenization): GPT-4将文本分解成更小的部分,称为「tokens」,这些token可以是单词或单词的一部分,这有助于它处理不同的语言并理解词语的含义。上下文窗口(Context window): GPT-4有一个限制,即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系,但这也意味着它不一定能理解很长的句子或段落。概率分布和抽样: 当GPT-4生成文本时,它根据模型认为每个词的可能性的大小来猜测下一个词。然后,它从这些猜测中挑选出一个词,使其够创造出多样化和有趣的句子。细粒度控制(Fine-grained control): GPT-4可以通过使用特殊提示或调整其设置等技巧,引导它给出特定类型的答案或文本,以帮助从该模型中获得我们想要的结果。ChatGPT和GPT-4的区别ChatGPT 和 GPT-4 并不是同一回事,ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的,专门为对话式人工智能应用而设计的,比如根据用户输入生成类似人类的文本回复。而GPT-4指的是GPT系列大语言模型的当前版本——驱动ChatGPT的引擎。ChatGPT提供的输出读起来更自然,GPT-4更强大,在输入/输出方面可以处理更多文本。GPT-4可以免费访问吗?这个问题的答案:是也不是。用户可以通过ChatGPT、New Bing等软件访问GPT-4,这些平台使用GPT-4来生成内容并与用户互动。然而,GPT-4只有在ChatGPT Plus付费计划下才能使用,或者作为开发者建立应用程序和服务的API。New Bing(新必应)可以每天免费有限次数使用GPT-4驱动的AI聊天,而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。
01,9500
DeepFloyd IF:StabilityAI旗下的DeepFloyd团队推出的图片生成模型

DeepFloyd IF:StabilityAI旗下的DeepFloyd团队推出的图片生成模型

DeepFloyd IF是由StabilityAI旗下的DeepFloyd研究团队推出的开源的文本到图像生成模型,IF是一个基于级联方法的模块化神经网络。IF是由多个神经模块(处理特定任务的独立神经网络)构建的,在一个架构内联合起来产生协同效应。IF以级联方式生成高分辨率图像:从产生低分辨率样本的基础模型开始,然后由一系列的升级模型提升,以创造令人惊叹的高分辨率图像。IF的基础和超分辨率模型采用扩散模型,利用马尔可夫链步骤将随机噪声引入数据中,然后再反转过程,从噪声中生成新的数据样本。IF在像素空间内操作,而不是依赖潜伏图像表征的潜伏扩散(如稳定扩散)。
01,9150