BLOOM

StableVicuna 是由 Stable Diffusion 背后的 StabilityAI 推出的第一个通过基于人类反馈的强化学习（RLHF）训练的大规模开源聊天机器人。StableVicuna是Vicuna v0 13b的进一步指令微调和RLHF训练版本，它是一个指令微调的 LLaMA 130亿模型。

豆包大模型是什么豆包大模型是字节跳动推出的AI大模型家族，包括 豆包PixelDance、豆包Seaweed 视频生成、文生图、图生图、同声传译、角色扮演、语音合成、声音复刻、语音识别、Function Call和向量化等多个模型。豆包大模型具备强大的语言理解、生成和逻辑能力，能进行个性化创作、情绪丰富的语音合成、高精度语音识别、多风格图像生成和顶级的视频生成。豆包大模型通过火山引擎提供服务，支持企业和开发者构建智能化应用，推动AI技术在多种业务场景中的落地。豆包大模型的性能在多个评测中表现优异，例如在包括MMLU、BBH、GSM8K和HumanEval在内的11个业界公认的基准测试集中，Doubao-pro-4k模型的总体得分达到了76.8分，在代码能力、专业知识和指令遵循等方面的显著进步。豆包大模型的主要功能通用模型：字节跳动自研LLM模型，支持128K长文本，全系列可精调，具备更强的理解、生成、逻辑等综合能力，适配问答、总结、创作、分类等丰富场景。视频生成：通过精准语义理解、强大动态及运镜能力创作高质量视频，支持文本和图片生成两种模式。角色扮演：创作个性化角色，具备上下文感知和剧情推动能力，适合虚拟互动和故事创作。语音合成：生成自然生动的语音，能表达多种情绪，适用于文本到语音转换。声音复刻：快速克隆声音，高度还原音色和自然度，支持跨语种迁移，用于个性化语音合成。语音识别：准确识别和转录语音，支持多语种，适用于语音命令和转录服务。文生图：将文本转换为图像，擅长图文匹配和中国文化元素创作，用于图像生成和视觉内容创作。图生图：基于现有图像生成新图像，支持风格变换、扩图、重绘和涂抹等创意操作。同声传译：提供超低延时且自然高质量的实时翻译，支持跨语言同音色翻译，打破沟通中的语言壁垒。Function Call：准确识别和抽取功能参数，适合复杂工具调用和智能交互。向量化：提供向量检索能力，支持LLM知识库的核心理解，适用于多语言处理。豆包大模型的功能特点豆包通用模型Pro：字节跳动自研的高级语言模型，支持128K长文本处理，适用于问答、总结、创作等多种场景。豆包通用模型Lite：轻量级语言模型，提供更低的成本和延迟，适合预算有限的企业使用。豆包·视频生成模型：利用先进的语义理解技术，将文本和图片转化为引人入胜的高质量视频内容。豆包·语言识别模型：具备高准确率和灵敏度，能够快速准确地识别和转写多种语言的语音。豆包·Function Call模型：专为复杂工具调用设计，提供精确的功能识别和参数抽取能力。豆包·文生图模型：将文字描述转化为精美图像，尤其擅长捕捉和表现中国文化元素。豆包·语音合成模型：能够合成自然、生动的语音，表达丰富的情感和场景。豆包·向量化模型：专注于向量检索，为知识库提供核心理解能力，支持多种语言。豆包·声音复刻模型：仅需5秒即可实现声音的1:1克隆，提供高度相似的音色和自然度。豆包·同声传译模型：实现超低延迟的实时翻译，支持跨语言同音色翻译，消除语言障碍。豆包·角色扮演模型：具备个性化角色创作能力，能够根据上下文感知和剧情推动进行灵活的角色扮演。豆包大模型的产品官网产品官网：volcengine.com/product/doubao如何使用豆包大模型确定需求：明确项目或业务需求，比如是否需要文本生成、语音识别、图像创作、视频生成等。选择合适的模型：根据需求选择合适的豆包大模型，例如文生图模型、语音合成、视频生成模型等。注册和访问火山引擎：访问火山引擎官网注册账户，是字节跳动的云服务平台，提供豆包大模型的服务。申请访问权限：在火山引擎平台上申请使用豆包大模型的权限，填写相关信息和使用场景。API接入：获取相应的API接口信息，包括API的端点、请求方法和必要的认证信息。开发和测试：根据API文档开发应用程序，将豆包大模型集成到你的业务流程中。进行充分测试，确保模型的输出符合预期。部署应用：在测试无误后，将集成了豆包大模型的应用部署到生产环境。监控和优化：监控应用的性能和模型的效果，根据反馈进行优化。豆包大模型的产品定价大语言模型按tokens使用量付费：Doubao-lite-4k（包括分支版本lite-character）：上下文长度4K、输入0.0003元/千tokens、输出0.0003元/千tokens、后付费、免费额度50万tokens。Doubao-lite-32k：上下文长度32K、输入0.0003元/千tokens、输出0.0006元/千tokens后付费、免费额度50万tokens。Doubao-lite-128k：上下文长度128K、输入0.0008元/千tokens、输出0.0010元/千tokens后付费、免费额度50万tokens。Doubao-pro-4k（包括分支版本pro-character、pro-functioncall）：上下文长度4K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。Doubao-pro-32k：上下文长度32K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。Doubao-pro-128k：上下文长度128K、输入0.0050元/千tokens、输出0.0090元/千tokens后付费、免费额度50万tokens。按模型单元付费：独占的算力资源，更加独立可控Doubao-lite-4k、Doubao-lite-32k：可承载性能（TPS）3000、按小时60元/个、包月28000元/个。Doubao-lite-128k：可承载性能（TPS）4500、按小时240元/个、包月112000元/个。Doubao-pro-4k、Doubao-pro-32k：可承载性能（TPS）3200、按小时160元/个、包月80000元/个。Doubao-pro-128k：可承载性能（TPS）3500、按小时1200元/个、包月550000元/个。视觉模型豆包-文生图模型-智能绘图：推理服务、0.2元/次、后付费、免费额度200次。语音大模型Doubao-语音合成：推理服务、5元/万字符、后付费、免费额度5000字符。Doubao-声音复刻：推理服务、8元/万字符、后付费、免费额度5000字符。向量模型Doubao-embedding：最长输入长度4K、输入0.0005元/千tokens、后付费、免费50万tokens。模型精调按tokens使用量（训练文本*训练迭代次数）计费，训练完成后出账。Doubao-lite-4k、Doubao-lite-32k、Doubao-lite-128k：LoRA定价0.03元/千tokens、后付费。Doubao-pro-4k、Doubao-pro-32k、Doubao-pro-128k：LoRA定价0.05元/千tokens、后付费。更多模型及定价信息，可访问豆包大模型官网获取最新信息。豆包大模型的应用场景内容创作与媒体：使用文生图、图生图、视频生成模型生成文章配图、漫画、海报、短视频等视觉内容。语音合成模型为视频、动画制作配音。客户服务：通过角色扮演模型提供虚拟客服和聊天机器人服务。使用语音识别和语音合成模型改善语音客服系统。教育与培训：文生图模型辅助教学材料的制作，如生成教学插图。角色扮演模型创建个性化学习体验和虚拟教师。娱乐与游戏：在游戏中使用角色扮演模型创建非玩家角色（NPC）的对话和行为。用语音合成模型为游戏角色提供自然的语言交流。智能助手：结合语音识别和语音合成模型，开发智能个人助理。用文生图模型生成个性化的推荐内容。市场与广告：用文生图模型自动生成广告创意和营销素材。用通用模型分析消费者反馈，优化广告文案。企业自动化：通过Function Call模型自动化复杂的工作流程和工具调用。用向量化模型进行高效的信息检索和知识管理。搜索与推荐：用向量化模型改善搜索引擎的准确性和响应速度。结合通用模型为用户推荐相关内容或产品。法律与金融：用通用模型进行合同分析、案件研究和合规检查。用语音识别模型转录会议记录和访谈内容。

Llama 3是什么Llama 3是Meta公司最新开源推出的新一代大型语言模型（LLM），包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为Llama系列的第三代产品，Llama 3不仅继承了前代模型的强大功能，还通过一系列创新和改进，提供了更高效、更可靠的AI解决方案，旨在通过先进的自然语言处理技术，支持广泛的应用场景，包括但不限于编程、问题解决、翻译和对话生成。Llama 3的系列型号Llama 3目前提供了两种型号，分别为8B（80亿参数）和70B（700亿参数）的版本，这两种型号旨在满足不同层次的应用需求，为用户提供了灵活性和选择的自由度。Llama-3-8B：8B参数模型，这是一个相对较小但高效的模型，拥有80亿个参数。专为需要快速推理和较少计算资源的应用场景设计，同时保持了较高的性能标准。Llama-3-70B：70B参数模型，这是一个更大规模的模型，拥有700亿个参数。它能够处理更复杂的任务，提供更深入的语言理解和生成能力，适合对性能要求更高的应用。后续，Llama 3 还会推出 400B 参数规模的模型，目前还在训练中。Meta 还表示等完成 Llama 3 的训练，还将发布一份详细的研究论文。Llama 3的官网入口官方项目主页：https://llama.meta.com/llama3/GitHub模型权重和代码：https://github.com/meta-llama/llama3/Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6Llama 3的改进地方参数规模：Llama 3提供了8B和70B两种参数规模的模型，相比Llama 2，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。训练数据集：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。模型架构：Llama 3采用了更高效的分词器和分组查询注意力（Grouped Query Attention, GQA）技术，提高了模型的推理效率和处理长文本的能力。性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了进步。安全性：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。多语言支持：Llama 3在预训练数据中加入了超过30种语言的高质量非英语数据，为未来的多语言能力打下了基础。推理和代码生成：Llama 3在推理、代码生成和指令跟随等方面展现了大幅提升的能力，使其在复杂任务处理上更加精准和高效。Llama 3的性能评估根据Meta的官方博客，经指令微调后的 Llama 3 8B 模型在MMLU、GPQA、HumanEval、GSM-8K、MATH等数据集基准测试中都优于同等级参数规模的模型（Gemma 7B、Mistral 7B），而微调后的 Llama 3 70B 在 MLLU、HumanEval、GSM-8K 等基准测试中也都优于同等规模的 Gemini Pro 1.5 和 Claude 3 Sonnet 模型。此外，Meta还开发了一套新的高质量人类评估集，包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。通过与Claude Sonnet、Mistral Medium和GPT-3.5等竞争模型的比较，人类评估者基于该评估集进行了偏好排名，结果显示Llama 3在真实世界场景中的性能非常出色，最低都有52.9%的胜出率。Llama 3的技术架构解码器架构：Llama 3采用了解码器（decoder-only）架构，这是一种标准的Transformer模型架构，主要用于处理自然语言生成任务。分词器和词汇量：Llama 3使用了具有128K个token的分词器，这使得模型能够更高效地编码语言，从而显著提升性能。分组查询注意力（Grouped Query Attention, GQA）：为了提高推理效率，Llama 3在8B和70B模型中都采用了GQA技术。这种技术通过将注意力机制中的查询分组，减少了计算量，同时保持了模型的性能。长序列处理：Llama 3支持长达8,192个token的序列，使用掩码（masking）技术确保自注意力（self-attention）不会跨越文档边界，这对于处理长文本尤其重要。预训练数据集：Llama 3在超过15TB的token上进行了预训练，这个数据集不仅规模巨大，而且质量高，为模型提供了丰富的语言信息。多语言数据：为了支持多语言能力，Llama 3的预训练数据集包含了超过5%的非英语高质量数据，涵盖了超过30种语言。数据过滤和质量控制：Llama 3的开发团队开发了一系列数据过滤管道，包括启发式过滤器、NSFW（不适合工作场所）过滤器、语义去重方法和文本分类器，以确保训练数据的高质量。扩展性和并行化：Llama 3的训练过程中采用了数据并行化、模型并行化和流水线并行化，这些技术的应用使得模型能够高效地在大量GPU上进行训练。指令微调（Instruction Fine-Tuning）：Llama 3在预训练模型的基础上，通过指令微调进一步提升了模型在特定任务上的表现，如对话和编程任务。如何使用Llama 3开发人员Meta已在GitHub、Hugging Face、Replicate上开源其Llama 3模型，开发人员可使用torchtune等工具对Llama 3进行定制和微调，以适应特定的用例和需求，感兴趣的开发者可以查看官方的入门指南并前往下载部署。官方模型下载：https://llama.meta.com/llama-downloadsGitHub地址：https://github.com/meta-llama/llama3/Hugging Face地址：https://huggingface.co/meta-llamaReplicate地址：https://replicate.com/meta普通用户不懂技术的普通用户想要体验Llama 3可以通过以下方式使用：访问Meta最新推出的Meta AI聊天助手进行体验（注：Meta.AI会锁区，只有部分国家可使用）访问Replicate提供的Chat with Llama进行体验https://llama3.replicate.dev/使用Hugging Chat（https://huggingface.co/chat/），可手动将模型切换至Llama 3

百度推出的产业级知识增强大模型

模力方舟是什么模力方舟（Gitee AI）是面向开发者、终端用户与产业场景的 AI 应用共创平台。依托 Gitee 全球第二大开发者平台的 DevOps 能力和开源的开发者服务体系，提供高可用的模型服务能力、Serverless 应用构建能力与 API 组合能力。平台汇聚超 70 款主流大模型，覆盖多种任务类型及行业场景，支持 Serverless 部署与私有化交付。AI 模型广场具备极简接入、高性能推理、灵活扩展等亮点，可助力开发者快速构建 AI 应用。平台提供 AI 开发者教育、AI 应用共创、模型定制等服务，是连接创作者与用户、AI 能力与实际场景的共创平台，推动 AI 应用生态建设。模力方舟的主要功能AI 模型广场：提供标准化模型接口，支持私有化部署与 Serverless 调用。可视化应用构建：图形化配置界面，零代码生成应用并上线。算力广泛兼容：适配昇腾、天数、沐曦等主流国产 AI 芯片，同时支持英伟达等国际主流硬件环境。推理成本显著降低：Serverless 架构显著降低开发与部署负担，推理成本最高可降 90%。AI 应用共创：提供覆盖 AI 应用“开发 → 上架 → 展示 → 变现”全流程服务，助力开发者高效实现从创意到产品、从产品到用户的完整闭环。共创 AI 应用生态，链接创意、用户与算力价值链。模型定制：提供包括微调、强化学习、参数插拔等在内的模型定制服务，助力企业客户快速打造专属 AI 能力，适配业务场景，高效落地应用。AI 开发者教育：通过系列 AI 技术活动，包括前沿技术分享、场景化实战训练营等，为开发者打造学习与交流空间。同时为企业提供展示技术能力、产品方案的合作窗口，共建开放共创的 AI 生态。稳定高可用的服务通道：API Token 独立绑定，支持高并发调用。智能推理缓存机制：内置多级缓存与模型复用机制，提升响应效率。多类型模型支持：兼容 Diffusion、多语言、多模态、RAG 等主流模型。LoRA 动态加载：支持运行时热插拔轻量化模型参数，快速实现个性化微调。能力组合和多模型链路：支持多 API 编排与工作流式调用，构建个性化 AI 应用。私有化部署：私有化部署能力覆盖推理服务、Serverless 平台及完整 MaaS 模型管理平台，支持以软硬一体机形式落地企业级场景，提升安全性与部署效率。如何使用模力方舟访问官网：访问模力方舟（Gitee AI）的官方网站。注册账号：使用邮箱或手机号注册账号，也可以通过Gitee账号直接登录。完善信息：根据提示完善个人或企业信息，使用平台的各项服务。浏览模型：在AI模型广场中，查看平台提供的70多款主流大模型，涵盖文本生成、图像生成、语义理解、多模态等任务类型。选择模型：根据你的需求，选择合适的模型进行应用开发。例如，如果你需要开发文本生成类应用，可以选择擅长文本生成的模型。使用API服务获取API Key：在平台中创建应用并获取API Key，这是调用模型接口的必要凭证。阅读文档：查看所选模型的API文档，了解接口的参数、返回值等详细信息。调用API：使用API Key，通过HTTP请求调用模型接口，将你的输入数据发送给模型，并获取模型的输出结果。可视化应用构建进入应用构建界面：在平台中找到可视化应用构建工具。配置应用：通过图形化界面进行应用配置，无需编写代码。你可以设置应用的名称、描述、输入输出等基本信息。连接模型：将所选的AI模型与应用进行连接，配置模型的调用参数。生成应用：完成配置后，点击生成应用按钮，平台将自动生成应用并上线。模力方舟的应用场景智能客服和助理：基于企业知识库、产品文档、使用手册等已有数据训练企业定制化的私有模型，可接入语音模型。政务服务：提供适用于政务工作的综合解决方案，如智能业务办理解决方案、云端法庭解决方案等。电商直播行业：提供智能化内容生成，识别用户兴趣和情感，提供有针对性的营销内容。内容创作：生成高质量的文本、图像、视频等内容，用于广告、媒体、创意等行业。数据分析：通过自然语言处理和数据分析技术，为企业提供智能决策支持。智能办公：自动化办公流程，如文档生成、会议记录整理、任务管理等，提高工作效率。

GPT-4介绍GPT-4（Generative Pre-trained Transformer）是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本，该模型依靠强大的神经网络来理解和生成类似人类的语言。 如何免费使用GPT-4？不开会员的6种方法 目前官方版的GPT-4仅能通过ChatGPT Plus付费会员才能使用，免费版的ChatGPT无法使用最新的GPT-4，而Plus版本需要每个月花费20美元来订阅，并且国内付款非常困... AI教程 2年前 (2023) GPT-4 通过使用被称为「转换器（Transformer）」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲，Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起，使之有意义。之所以采用这样的方法，是因为该模型已经在一个巨大的数据集上进行了训练，其中包括来自不同来源的文本，如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话，并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人，但它远远不是有意识的智能，离通用人工智能还有距离。GPT-4的工作原理GPT-4通过与其前身（GPT-3.5）相同的基本流程工作，但规模更大，以下是其主要的工作原理：Transformer架构： GPT-4是使用一种叫做「Transformer」的设计来构建的，这些转换器就像超级智能机器，能够理解一句话中哪些词是重要的，以及它们之间的关系。大规模的预训练： GPT-4从大量的文本中学习，如书籍、网站和文章，这样一来，它就能更好地理解语言模式、语法和事实。微调（Fine-tuning）： 在从大量文本中学习后，GPT-4会在特定的任务中接受训练，如回答问题或理解文本中的情感，这有助于它在处理这些任务时变得更加出色。分词（Tokenization）： GPT-4将文本分解成更小的部分，称为「tokens」，这些token可以是单词或单词的一部分，这有助于它处理不同的语言并理解词语的含义。上下文窗口（Context window）： GPT-4有一个限制，即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系，但这也意味着它不一定能理解很长的句子或段落。概率分布和抽样： 当GPT-4生成文本时，它根据模型认为每个词的可能性的大小来猜测下一个词。然后，它从这些猜测中挑选出一个词，使其够创造出多样化和有趣的句子。细粒度控制（Fine-grained control）： GPT-4可以通过使用特殊提示或调整其设置等技巧，引导它给出特定类型的答案或文本，以帮助从该模型中获得我们想要的结果。ChatGPT和GPT-4的区别ChatGPT 和 GPT-4 并不是同一回事，ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的，专门为对话式人工智能应用而设计的，比如根据用户输入生成类似人类的文本回复。而GPT-4指的是GPT系列大语言模型的当前版本——驱动ChatGPT的引擎。ChatGPT提供的输出读起来更自然，GPT-4更强大，在输入/输出方面可以处理更多文本。GPT-4可以免费访问吗？这个问题的答案：是也不是。用户可以通过ChatGPT、New Bing等软件访问GPT-4，这些平台使用GPT-4来生成内容并与用户互动。然而，GPT-4只有在ChatGPT Plus付费计划下才能使用，或者作为开发者建立应用程序和服务的API。New Bing（新必应）可以每天免费有限次数使用GPT-4驱动的AI聊天，而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。

Segment Anything Model（SAM）是Meta AI研究院最新推出的图像分割模型，该模型通过点或框等输入提示生成高质量的物体遮罩，并且可以用于为图像中的所有物体和对象生成遮罩。SAM模型在超过1100万张图像和11亿张掩模的数据集上进行了训练，并且在各种图像分割任务上具有强大的零样本性能。

PaLM（Pathways Language Model） 是一种大型语言模型，即 LLM，类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超过了5400亿个训练参数。与其他 LLM 一样，PaLM 是一个灵活的系统，可以执行各种文本生成和编辑任务。例如，你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人，或者你可以将它用于诸如总结文本甚至编写代码等任务。（这类似于谷歌今天也为其 Workspace 应用程序（如 Google Docs 和 Gmail）宣布的功能。）在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成能力。谷歌将为 PaLM 2 提供四种不同大小的版本，从最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调，以更多方式支持整个类别的产品，从而帮助更多人。PaLM 2的特性PaLM 2 是谷歌的下一代大语言模型，具有改进的多语言、推理和编码能力。多语言性： PaLM 2 在多语言文本方面接受了更多的训练，涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力，这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。推理： PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此，它展示了逻辑、常识推理和数学方面的改进能力。编程： PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言，但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。