StableLM:Stability AI推出的开源的类ChatGPT大语言模型 StableLM是由Stable Diffusion背后的团队Stability AI最新推出的开源的类ChatGPT大语言模型,该模型目前处于Alpha版本,拥有的参数量分别为30亿和70亿,后续还将推出150亿到650亿参数模型。
Auto Auto-GPT是一个实验性开源应用程序,展示了GPT-4语言模型的真正潜力,GitHub上超10万人星标。该程序由 GPT-4 驱动,将LLM大语言模型思维链接在一起,以自主实现你设定的任何目标。作为GPT-4完全自主运行的首批例子之一,Auto-GPT突破了人工智能的极限,距离AGI通用人工智能又近了一步。大家注意甄别autogpt.net不是其官方网站,agpt.co才是。
Cohere Cohere是一个提供大语言模型的平台,帮助开发人员和企业构建高性能的AI产品。该平台主要提供AI驱动的搜索文本(多语言嵌入、神经搜索、搜索排名)、分类文本和生成文本等服务,可帮助企业快速部署对话式AI聊天机器人、生成式搜索引擎、文本摘要总结、增强向量检索等。5月3日,Cohere公司获2.5亿美元融资,目前估值约20亿美元,投资者包括Saleforce、Nvidia、Index Ventures等。该公司的联合创始人 Aidan Gomez 是《Attention Is All You Need》论文的作者之一,此论文提出了 GPT 等大语言模型的采用的 Transformer 架构。Cohere提供了一个Playground供用户试玩,如果你感兴趣的话可以访问试试看。另外Cohere还推出了LLM University,一个学习大语言模型的课程,可帮助你了解大型语言模型及其体系结构的基础知识。
OpenBMB:清华团队支持发起的大规模预训练语言模型库与相关工具 OpenBMB全称为Open Lab for Big Model Base,旨在打造大规模预训练语言模型库与相关工具, 加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区, 推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础,近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。
悟道 2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。悟道接受了4.9 TB高质量英文和中文图像和文本的训练:1.2TB中文文本数据2.5TB中文图形数据1.2TB英文文本数据悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。