
2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。
悟道接受了4.9 TB高质量英文和中文图像和文本的训练:
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:
将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。
数据统计
数据评估
关于悟道特别声明
本站智能信息网提供的悟道都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由智能信息网实际控制,在2025年4月23日 下午2:52收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,智能信息网不承担任何责任。
相关导航

百度推出的产业级知识增强大模型

Segment Anything(SAM): Meta最新推出的AI图像分割模型
Segment Anything Model(SAM)是Meta AI研究院最新推出的图像分割模型,该模型通过点或框等输入提示生成高质量的物体遮罩,并且可以用于为图像中的所有物体和对象生成遮罩。SAM模型在超过1100万张图像和11亿张掩模的数据集上进行了训练,并且在各种图像分割任务上具有强大的零样本性能。

DeepSpeed:微软开源的低成本实现类似ChatGPT的模型训练
微软开源的低成本实现类似ChatGPT的模型训练

Ollama
Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统。此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的REST API。该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。Ollama安装包获取获取Ollama安装包,扫码关注回复:OllamaOllama支持的模型Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中,以下是可以下载的开源模型示例:模型参数大小文件大小下载运行命令DeepSeek-R11.5B、7B、14B、32B等12-320GBollama run deepseek-r1Neural Chat7B4.1GBollama run neural-chatStarling7B4.1GBollama run starling-lmMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run llama2Code Llama7B3.8GBollama run codellamaLlama 2 Uncensored7B3.8GBollama run llama2-uncensoredLlama 2 13B13B7.3GBollama run llama2:13bLlama 2 70B70B39GBollama run llama2:70bOrca Mini3B1.9GBollama run orca-miniVicuna7B3.8GBollama run vicuna

Imagen
Google AI文字到图像生成模型

Auto
Auto-GPT是一个实验性开源应用程序,展示了GPT-4语言模型的真正潜力,GitHub上超10万人星标。该程序由 GPT-4 驱动,将LLM大语言模型思维链接在一起,以自主实现你设定的任何目标。作为GPT-4完全自主运行的首批例子之一,Auto-GPT突破了人工智能的极限,距离AGI通用人工智能又近了一步。大家注意甄别autogpt.net不是其官方网站,agpt.co才是。

StableVicuna:StabilityAI推出的第一个通过RLHF训练的大规模开源聊天机器人
StableVicuna 是由 Stable Diffusion 背后的 StabilityAI 推出的第一个通过基于人类反馈的强化学习(RLHF)训练的大规模开源聊天机器人。StableVicuna是Vicuna v0 13b的进一步指令微调和RLHF训练版本,它是一个指令微调的 LLaMA 130亿模型。

AgentGPT:免费开源的在浏览器中组装、配置和部署自主人工智能
在浏览器中组装、配置和部署自主人工智能的开源项目
暂无评论...