OpenBMB：清华团队支持发起的大规模预训练语言模型库与相关工具

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练，并在9个基准上超过了最先进（SOTA）水平，悟道比任何同行都更接近于实现通用人工智能（AGI）和人类水平的思维。悟道接受了4.9 TB高质量英文和中文图像和文本的训练：1.2TB中文文本数据2.5TB中文图形数据1.2TB英文文本数据悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术，其工作原理如下：将预测建模任务划分为子任务，针对每个子任务训练专家（学习者）模型，开发门控模型，该门控模型基于要预测的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用预测模型，该模型可以在英文文本中生成回应。

Runway最新推出的AI视频生成模型，不用文本，一张图，Gen-2就能生成视频。

DALL·E 3是OpenAI的文本到图像合成模型的最新版本，旨在使用文本描述生成图像，相比此前的版本，DALL·E 3进一步降低了提示词门槛，提高语义理解和细节优化。原生构建在ChatGPT上，可供所有ChatGPT Plus和企业用户使用，并在2023年秋季通过API和Labs提供。

StableVicuna 是由 Stable Diffusion 背后的 StabilityAI 推出的第一个通过基于人类反馈的强化学习（RLHF）训练的大规模开源聊天机器人。StableVicuna是Vicuna v0 13b的进一步指令微调和RLHF训练版本，它是一个指令微调的 LLaMA 130亿模型。

魔搭社区是什么魔搭社区（ModelScope）是阿里巴巴达摩院推出的综合性的人工智能模型共享与服务平台，为构建一个开放、高效、易用的AI模型生态，为开发者、研究人员和企业用户提供一站式的模型获取、部署和应用体验。 ModelScope平台汇集了丰富的预训练模型资源，涵盖自然语言处理、计算机视觉、语音识别等多个领域。用户可以通过简单的搜索和下载操作，快速获取所需的模型，结合平台提供的工具进行微调、优化和部署。魔搭社区支持多种硬件平台，包括昇腾、GPU等，满足不同用户的需求。魔搭社区的主要功能丰富的预训练模型：提供涵盖自然语言处理、计算机视觉、语音识别、多模态等多个领域的预训练模型。模型上下文协议（MCP）：推出MCP广场，上架千余款热门MCP服务，包括支付宝、MiniMax等独家首发服务。MCP为大模型对接外部数据源和工具建立了统一标准，简化了开发流程。数据集与指标：提供多种数据集和性能评估指标，方便开发者进行模型训练和优化。模型推理与部署：支持在线推理、本地部署和云端部署。用户可以通过网页界面直接上传数据获取推理结果，也可以通过SDK在本地运行模型。分布式训练与优化：提供分布式训练工具，支持多种框架（如PyTorch、TensorFlow等），提供模型压缩、量化等优化工具。调试与集成：提供简单易用的调试环境和工具，支持第三方平台集成，降低开发者使用门槛。开源与社区共建：作为一个开源平台，鼓励开发者贡献模型和代码，形成开源协作生态。开发者社区：提供交流平台，开发者可以分享经验、讨论技术问题，共同推动AI技术的发展。如何使用魔搭社区访问平台：访问魔搭社区的官方网站，注册或登录。环境准备安装 Python：确保系统中已安装 Python（推荐版本 3.8 及以上）。安装 ModelScope Python 库：通过以下命令安装 ModelScope 的 Python 库。模型下载通过命令行下载：使用 ModelScope 提供的命令行工具下载模型。通过网页界面下载：访问魔搭社区官网，在模型库中搜索并下载所需的模型。模型推理：使用 Python 脚本加载模型并进行推理。模型微调：使用 ms-swift 进行微调ms-swift 是魔搭社区提供的大模型训练和部署框架。模型部署：使用 Vllm 部署模型，Vllm 是一个高效的推理框架，支持多 GPU 分布式推理。探索更多模型和工具：访问魔搭社区官网，浏览丰富的模型库、数据集和工具。参与社区交流：加入魔搭社区的开发者社区，与其他开发者交流经验，共同推动 AI 技术的发展。魔搭社区的应用场景AI研究与教育：研究人员和教育工作者可以用ModelScope上的模型进行AI相关的研究和教学活动，提高研究效率和学习效果。企业应用开发：企业可以用ModelScope上的模型快速开发AI应用，降低研发成本，加快产品上市时间。创业项目：初创企业可以借助ModelScope上的模型资源，开发创新的AI产品和服务，验证商业模式并实现产品的快速迭代。个人项目：个人开发者可以用ModelScope上的模型实现自己的创意，开发个性化的AI应用。多模态应用：ModelScope支持多种多模态模型，例如处理文本、图像和视频的InternVL3系列模型。可以应用于智能助手、内容创作、视频生成等领域。

Gemma是什么Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型，基于与Gemini模型相同的技术，旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型：Gemma 2B 和 Gemma 7B，提供预训练和指令微调版本，支持多种框架，如JAX、PyTorch和TensorFlow，以在不同设备上高效运行。6月28日，第二代模型Gemma 2已发布。Gemma的官方入口Gemma的官网主页：https://ai.google.dev/gemma?hl=zh-cnGemma的Hugging Face模型：https://huggingface.co/models?search=google/gemmaGemma的Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/Gemma的技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf官方PyTorch实现GitHub代码库：https://github.com/google/gemma_pytorchGemma的Google Colab运行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynbGemma的主要特性轻量级架构：Gemma模型设计为轻量级，便于在多种计算环境中运行，包括个人电脑和工作站。开放模型：Gemma模型的权重是开放的，允许用户在遵守许可协议的情况下进行商业使用和分发。预训练与指令微调：提供预训练模型和经过指令微调的版本，后者通过人类反馈强化学习（RLHF）来确保模型行为的负责任性。多框架支持：Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通过Keras 3.0提供工具链，简化了推理和监督微调（SFT）过程。安全性与可靠性：在设计时，Gemma遵循Google的AI原则，使用自动化技术过滤训练数据中的敏感信息，并进行了一系列安全评估，包括红队测试和对抗性测试。性能优化：Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化，确保在不同设备上都能实现高性能。社区支持：Google提供了Kaggle、Colab等平台的免费资源，以及Google Cloud的积分，鼓励开发者和研究人员利用Gemma进行创新和研究。跨平台兼容性：Gemma模型可以在多种设备上运行，包括笔记本电脑、台式机、物联网设备和云端，支持广泛的AI功能。负责任的AI工具包：Google还发布了Responsible Generative AI Toolkit，帮助开发者构建安全和负责任的AI应用，包括安全分类器、调试工具和应用指南。Gemma的技术要点模型架构：Gemma基于Transformer解码器构建，这是当前自然语言处理（NLP）领域最先进的模型架构之一。采用了多头注意力机制，允许模型在处理文本时同时关注多个部分。此外，Gemma还使用了旋转位置嵌入（RoPE）来代替绝对位置嵌入，以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活，以及在每个Transformer子层的输入和输出都进行了归一化处理。训练基础设施：Gemma模型在Google的TPUv5e上进行训练，这是一种专为机器学习设计的高性能计算平台。通过在多个Pod（芯片集群）上进行模型分片和数据复制，Gemma能够高效地利用分布式计算资源。预训练数据：Gemma模型在大量英语数据上进行预训练（2B模型大约2万亿个token的数据上预训练，而7B模型则基于6万亿个token），这些数据主要来自网络文档、数学和代码。预训练数据经过过滤，以减少不想要或不安全的内容，同时确保数据的多样性和质量。微调策略：Gemma模型通过监督式微调（SFT）和基于人类反馈的强化学习（RLHF）进行微调。这包括使用合成的文本对和人类生成的提示响应对，以及基于人类偏好数据训练的奖励模型。安全性和责任：Gemma在设计时考虑了模型的安全性和责任，包括在预训练阶段对数据进行过滤，以减少敏感信息和有害内容的风险。此外，Gemma还通过了一系列的安全性评估，包括自动化基准测试和人类评估，以确保模型在实际应用中的安全性。性能评估：Gemma在多个领域进行了广泛的性能评估，包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比，在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Llama-13B或Mistral-7B等模型。开放性和可访问性：Gemma模型以开源的形式发布，提供了预训练和微调后的检查点，以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型，推动AI领域的创新。常见问题Gemma一词的含义是什么？Gemma在拉丁语中的意思是“宝石”。Gemma是开源的吗？Gemma是开源开放的大模型，用户可在Hugging Face查看和下载其模型。Gemma模型的参数量是多少？Gemma目前提供20亿和70亿参数量的模型，后续还会推出新的变体。

Segment Anything Model（SAM）是Meta AI研究院最新推出的图像分割模型，该模型通过点或框等输入提示生成高质量的物体遮罩，并且可以用于为图像中的所有物体和对象生成遮罩。SAM模型在超过1100万张图像和11亿张掩模的数据集上进行了训练，并且在各种图像分割任务上具有强大的零样本性能。

Watsonx.ai是IBM于5月9日发布的新一代企业级生成式人工智能和机器学习平台，Watsonx.ai将由基础模型驱动的新的生成性人工智能和传统的机器学习结合起来，成为一个跨越人工智能生命周期的强大平台。使用Watsonx.ai，开发人员可以轻松地训练、验证、调整和部署模型，只需用一小部分数据在短期时间内快速建立人工智能应用。预计Watsonx.ai将在7月全面上市。