通义千问

AI模型开发社区

Kimi Chat官网Kimi Chat 是由月之暗面科技有

微软开源的低成本实现类似ChatGPT的模型训练

OpenAI旗下AI代码生成训练模型

PaLM（Pathways Language Model） 是一种大型语言模型，即 LLM，类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超过了5400亿个训练参数。与其他 LLM 一样，PaLM 是一个灵活的系统，可以执行各种文本生成和编辑任务。例如，你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人，或者你可以将它用于诸如总结文本甚至编写代码等任务。（这类似于谷歌今天也为其 Workspace 应用程序（如 Google Docs 和 Gmail）宣布的功能。）在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成能力。谷歌将为 PaLM 2 提供四种不同大小的版本，从最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调，以更多方式支持整个类别的产品，从而帮助更多人。PaLM 2的特性PaLM 2 是谷歌的下一代大语言模型，具有改进的多语言、推理和编码能力。多语言性： PaLM 2 在多语言文本方面接受了更多的训练，涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力，这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。推理： PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此，它展示了逻辑、常识推理和数学方面的改进能力。编程： PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言，但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。

通义法睿是什么通义法睿是阿里推出的免费AI法律顾问助手，利用通义千问的大模型推理技术，提供法律智能对话、文书生成、知识检索和文本阅读等服务。通过自然语言处理能力，通义法睿能够理解并回答法律问题，自动撰写法律文书，快速检索法律知识，以及帮助用户高效理解法律文本，旨在提高法律服务的效率和质量。通义法睿的主要功能智能法律咨询：用户可以直接与系统进行对话，通义法睿将基于法律知识库提供准确的法律解答。文书自动生成：用户只需提供案件描述，通义法睿便能自动撰写出相应的法律文书，如起诉书或答辩状。法律资料检索：该系统能够快速从庞大的法律文档和案例库中检索到相关信息，辅助用户获取所需的法律资料。文本分析与摘要：通义法睿能够帮助用户理解和分析法律文本，提炼关键信息，总结案件要点。案情案件推理：通过逻辑推理，辅助用户推演法律适用情况，提供裁判案例参考。裁判文书撰写：在用户需要撰写法律文书时，通义法睿能够提供定制化模板和内容生成，提高工作效率。通义法睿的适用人群法律专业人士：包括律师、法官、检察官等，他们可以利用通义法睿进行案情分析、文书撰写、法规和案例检索，以提高工作效率和案件处理的准确性。法律服务需求者：需要法律咨询或文书服务的个人或企业，通义法睿可以提供专业的法律建议和文书生成服务，帮助他们解决实际问题。法律学习者和学生：法学院的学生或正在准备法律职业资格考试的学习者，可以通过通义法睿获取法律知识、案例分析和学术研究的辅助。企业法务部门：企业中的法务人员可以使用通义法睿来辅助合同审查、风险评估和合规性检查等工作。政府和公共机构：在处理法律文书、法规解读和公共法律服务方面，通义法睿可以提供技术支持，提高公共服务的效率和质量。

堆友是Alibaba Design打造的设计师全成长周期服务平台，围绕品质、效率、技能、成就、收入五大用户价值布局平台能力，全力服务设计师，旨在成为设计师的好朋友。

Llama 3是什么Llama 3是Meta公司最新开源推出的新一代大型语言模型（LLM），包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为Llama系列的第三代产品，Llama 3不仅继承了前代模型的强大功能，还通过一系列创新和改进，提供了更高效、更可靠的AI解决方案，旨在通过先进的自然语言处理技术，支持广泛的应用场景，包括但不限于编程、问题解决、翻译和对话生成。Llama 3的系列型号Llama 3目前提供了两种型号，分别为8B（80亿参数）和70B（700亿参数）的版本，这两种型号旨在满足不同层次的应用需求，为用户提供了灵活性和选择的自由度。Llama-3-8B：8B参数模型，这是一个相对较小但高效的模型，拥有80亿个参数。专为需要快速推理和较少计算资源的应用场景设计，同时保持了较高的性能标准。Llama-3-70B：70B参数模型，这是一个更大规模的模型，拥有700亿个参数。它能够处理更复杂的任务，提供更深入的语言理解和生成能力，适合对性能要求更高的应用。后续，Llama 3 还会推出 400B 参数规模的模型，目前还在训练中。Meta 还表示等完成 Llama 3 的训练，还将发布一份详细的研究论文。Llama 3的官网入口官方项目主页：https://llama.meta.com/llama3/GitHub模型权重和代码：https://github.com/meta-llama/llama3/Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6Llama 3的改进地方参数规模：Llama 3提供了8B和70B两种参数规模的模型，相比Llama 2，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。训练数据集：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。模型架构：Llama 3采用了更高效的分词器和分组查询注意力（Grouped Query Attention, GQA）技术，提高了模型的推理效率和处理长文本的能力。性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了进步。安全性：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。多语言支持：Llama 3在预训练数据中加入了超过30种语言的高质量非英语数据，为未来的多语言能力打下了基础。推理和代码生成：Llama 3在推理、代码生成和指令跟随等方面展现了大幅提升的能力，使其在复杂任务处理上更加精准和高效。Llama 3的性能评估根据Meta的官方博客，经指令微调后的 Llama 3 8B 模型在MMLU、GPQA、HumanEval、GSM-8K、MATH等数据集基准测试中都优于同等级参数规模的模型（Gemma 7B、Mistral 7B），而微调后的 Llama 3 70B 在 MLLU、HumanEval、GSM-8K 等基准测试中也都优于同等规模的 Gemini Pro 1.5 和 Claude 3 Sonnet 模型。此外，Meta还开发了一套新的高质量人类评估集，包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。通过与Claude Sonnet、Mistral Medium和GPT-3.5等竞争模型的比较，人类评估者基于该评估集进行了偏好排名，结果显示Llama 3在真实世界场景中的性能非常出色，最低都有52.9%的胜出率。Llama 3的技术架构解码器架构：Llama 3采用了解码器（decoder-only）架构，这是一种标准的Transformer模型架构，主要用于处理自然语言生成任务。分词器和词汇量：Llama 3使用了具有128K个token的分词器，这使得模型能够更高效地编码语言，从而显著提升性能。分组查询注意力（Grouped Query Attention, GQA）：为了提高推理效率，Llama 3在8B和70B模型中都采用了GQA技术。这种技术通过将注意力机制中的查询分组，减少了计算量，同时保持了模型的性能。长序列处理：Llama 3支持长达8,192个token的序列，使用掩码（masking）技术确保自注意力（self-attention）不会跨越文档边界，这对于处理长文本尤其重要。预训练数据集：Llama 3在超过15TB的token上进行了预训练，这个数据集不仅规模巨大，而且质量高，为模型提供了丰富的语言信息。多语言数据：为了支持多语言能力，Llama 3的预训练数据集包含了超过5%的非英语高质量数据，涵盖了超过30种语言。数据过滤和质量控制：Llama 3的开发团队开发了一系列数据过滤管道，包括启发式过滤器、NSFW（不适合工作场所）过滤器、语义去重方法和文本分类器，以确保训练数据的高质量。扩展性和并行化：Llama 3的训练过程中采用了数据并行化、模型并行化和流水线并行化，这些技术的应用使得模型能够高效地在大量GPU上进行训练。指令微调（Instruction Fine-Tuning）：Llama 3在预训练模型的基础上，通过指令微调进一步提升了模型在特定任务上的表现，如对话和编程任务。如何使用Llama 3开发人员Meta已在GitHub、Hugging Face、Replicate上开源其Llama 3模型，开发人员可使用torchtune等工具对Llama 3进行定制和微调，以适应特定的用例和需求，感兴趣的开发者可以查看官方的入门指南并前往下载部署。官方模型下载：https://llama.meta.com/llama-downloadsGitHub地址：https://github.com/meta-llama/llama3/Hugging Face地址：https://huggingface.co/meta-llamaReplicate地址：https://replicate.com/meta普通用户不懂技术的普通用户想要体验Llama 3可以通过以下方式使用：访问Meta最新推出的Meta AI聊天助手进行体验（注：Meta.AI会锁区，只有部分国家可使用）访问Replicate提供的Chat with Llama进行体验https://llama3.replicate.dev/使用Hugging Chat（https://huggingface.co/chat/），可手动将模型切换至Llama 3