DeepSpeed：微软开源的低成本实现类似ChatGPT的模型训练

在浏览器中组装、配置和部署自主人工智能的开源项目

Cohere是一个提供大语言模型的平台，帮助开发人员和企业构建高性能的AI产品。该平台主要提供AI驱动的搜索文本（多语言嵌入、神经搜索、搜索排名）、分类文本和生成文本等服务，可帮助企业快速部署对话式AI聊天机器人、生成式搜索引擎、文本摘要总结、增强向量检索等。5月3日，Cohere公司获2.5亿美元融资，目前估值约20亿美元，投资者包括Saleforce、Nvidia、Index Ventures等。该公司的联合创始人 Aidan Gomez 是《Attention Is All You Need》论文的作者之一，此论文提出了 GPT 等大语言模型的采用的 Transformer 架构。Cohere提供了一个Playground供用户试玩，如果你感兴趣的话可以访问试试看。另外Cohere还推出了LLM University，一个学习大语言模型的课程，可帮助你了解大型语言模型及其体系结构的基础知识。

PaLM（Pathways Language Model） 是一种大型语言模型，即 LLM，类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超过了5400亿个训练参数。与其他 LLM 一样，PaLM 是一个灵活的系统，可以执行各种文本生成和编辑任务。例如，你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人，或者你可以将它用于诸如总结文本甚至编写代码等任务。（这类似于谷歌今天也为其 Workspace 应用程序（如 Google Docs 和 Gmail）宣布的功能。）在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成能力。谷歌将为 PaLM 2 提供四种不同大小的版本，从最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调，以更多方式支持整个类别的产品，从而帮助更多人。PaLM 2的特性PaLM 2 是谷歌的下一代大语言模型，具有改进的多语言、推理和编码能力。多语言性： PaLM 2 在多语言文本方面接受了更多的训练，涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力，这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。推理： PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此，它展示了逻辑、常识推理和数学方面的改进能力。编程： PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言，但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。

Jan（Jan.ai）是一个免费开源的本地运行大模型并进行AI聊天对话的工具，可帮助用户在本地电脑（Windows、Mac、Linux）上安装、部署、运行并使用开源版本的ChatGPT替代大模型，如LLaMa、Mistral、Phi-2等20多个模型，也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama，该工具提供了对话UI和API服务器，适合开发者、研究人员或AI爱好者本地体验开源的大模型。Jan的主要功能本地运行开源大模型：支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型，可手动导入也可以在模型库下载模型简洁好用的聊天界面：软件界面清爽简洁、直观易用，直接在本地与开源大模型快速进行对话聊天支持多个平台：Jan支持在Windows、Mac（Intel、M1/M2/M3）和Linux等操作系统运行，后续还将推出移动端APP。内置API服务器：与OpenAI API兼容，可通过API获取模型信息、下载、启动、停止模型及聊天等如何使用Jan访问Jan的官网（jan.ai），选择对应的电脑操作系统版本，点击Download进行下载然后安装并打开软件，在软件界面的左下角点击Download your first model进入模型库Hub界面，选择你感兴趣的模型进行下载，下载完成后点击Use使用该模型在对话界面输入你的描述即可与你选择的模型进行对话啦Jan还在持续开发中，后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。

HuggingFace推出的大型语言模型（LLM）

StableLM是由Stable Diffusion背后的团队Stability AI最新推出的开源的类ChatGPT大语言模型，该模型目前处于Alpha版本，拥有的参数量分别为30亿和70亿，后续还将推出150亿到650亿参数模型。

GPT-4介绍GPT-4（Generative Pre-trained Transformer）是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本，该模型依靠强大的神经网络来理解和生成类似人类的语言。 如何免费使用GPT-4？不开会员的6种方法 目前官方版的GPT-4仅能通过ChatGPT Plus付费会员才能使用，免费版的ChatGPT无法使用最新的GPT-4，而Plus版本需要每个月花费20美元来订阅，并且国内付款非常困... AI教程 2年前 (2023) GPT-4 通过使用被称为「转换器（Transformer）」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲，Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起，使之有意义。之所以采用这样的方法，是因为该模型已经在一个巨大的数据集上进行了训练，其中包括来自不同来源的文本，如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话，并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人，但它远远不是有意识的智能，离通用人工智能还有距离。GPT-4的工作原理GPT-4通过与其前身（GPT-3.5）相同的基本流程工作，但规模更大，以下是其主要的工作原理：Transformer架构： GPT-4是使用一种叫做「Transformer」的设计来构建的，这些转换器就像超级智能机器，能够理解一句话中哪些词是重要的，以及它们之间的关系。大规模的预训练： GPT-4从大量的文本中学习，如书籍、网站和文章，这样一来，它就能更好地理解语言模式、语法和事实。微调（Fine-tuning）： 在从大量文本中学习后，GPT-4会在特定的任务中接受训练，如回答问题或理解文本中的情感，这有助于它在处理这些任务时变得更加出色。分词（Tokenization）： GPT-4将文本分解成更小的部分，称为「tokens」，这些token可以是单词或单词的一部分，这有助于它处理不同的语言并理解词语的含义。上下文窗口（Context window）： GPT-4有一个限制，即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系，但这也意味着它不一定能理解很长的句子或段落。概率分布和抽样： 当GPT-4生成文本时，它根据模型认为每个词的可能性的大小来猜测下一个词。然后，它从这些猜测中挑选出一个词，使其够创造出多样化和有趣的句子。细粒度控制（Fine-grained control）： GPT-4可以通过使用特殊提示或调整其设置等技巧，引导它给出特定类型的答案或文本，以帮助从该模型中获得我们想要的结果。ChatGPT和GPT-4的区别ChatGPT 和 GPT-4 并不是同一回事，ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的，专门为对话式人工智能应用而设计的，比如根据用户输入生成类似人类的文本回复。而GPT-4指的是GPT系列大语言模型的当前版本——驱动ChatGPT的引擎。ChatGPT提供的输出读起来更自然，GPT-4更强大，在输入/输出方面可以处理更多文本。GPT-4可以免费访问吗？这个问题的答案：是也不是。用户可以通过ChatGPT、New Bing等软件访问GPT-4，这些平台使用GPT-4来生成内容并与用户互动。然而，GPT-4只有在ChatGPT Plus付费计划下才能使用，或者作为开发者建立应用程序和服务的API。New Bing（新必应）可以每天免费有限次数使用GPT-4驱动的AI聊天，而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。

AI模型开发社区