Vercel AI SDK Vercel AI SDK是前端网站开发和托管平台及Next.js开发团队「Vercel」推出的,用于快速构建AI聊天机器人网站应用程序的开发套件,可以帮助开发人员使用JavaScript和TypeScript构建对话式的AI用户界面。Vercel AI SDK的特性支持React/Next.js、Svelte/SvelteKit和Vue/Nuxt等前端框架,以及Node.js、Serverless和Edge Runtime内置各种AI模型的适配器,支持LangChain、OpenAI、Anthropic和Hugging Face等提供的大语言模型提供交互式在线提示playground(sdk.vercel.ai),其中包含20个开源和云LLM。可以实时展示不同对话模型的聊天界面,并且可以快速生成代码。提供多个AI聊天机器人的模板和示例,你可以克隆/复制Vercel提供的基于不同框架和模型开发的AI聊天机器人的初始模板如何使用Vercel AI SDK前提条件需要在电脑上安装Node.js 18+版本,如果要开发基于OpenAI的GPT聊天机器人,需要获得OpenAI API密钥使用Next.js(pnpm dlx create-next-app my-ai-app)或者Svelte(pnpm create svelte@latest my-ai-app)等框架创建一个全新的项目,并定位到创建好的目录(cd my-ai-app)安装依赖项,pnpm install ai openai-edge配置 OpenAI API 密钥,.env.local在项目根目录中创建一个文件并添加您的 OpenAI API 密钥创建API路由并连接UI,完成后使用pnpm run dev运行启动应用程序
LangChain:开发由语言模型驱动的应用程序的框架 大语言模型(LLM)正在成为一种变革性技术,使开发人员能够构建以前无法构建的应用程序。但是,单独使用这些LLM通常不足以创建一个真正强大的应用程序——当你可以将它们与其他计算或知识来源相结合时,便可能实现其真正的能力。LangChain是一个用于开发由语言模型驱动的应用程序的框架,允许开发人员将语言模型连接到其他数据源并与其环境相交互。LangChain旨在帮助开发者在以下六个主要领域,按照复杂性递增的顺序:📃 LLMs and Prompts: 这包括提示管理、提示优化、适用于所有 LLM 的通用界面以及用于处理 LLM 的通用实用程序。🔗 Chains: 链不仅仅是单个 LLM 调用,而是调用序列(无论是对 LLM 还是对不同的实用程序)。 LangChain 为链提供标准接口、与其他工具的大量集成以及用于常见应用程序的端到端链。📚 Data Augmented Generation: 数据增强生成涉及特定类型的链,这些链首先与外部数据源交互以获取数据以用于生成步骤。 这方面的例子包括对长文本的总结和对特定数据源的问答。🤖 Agents: 代理涉及 LLM 做出关于采取哪些行动的决定,采取该行动,看到一个观察,并重复直到完成。LangChain 为代理提供了一个标准接口,可供选择的代理选择,以及端到端代理的示例。🧠 Memory: 内存是链/代理调用之间持久状态的概念。 LangChain 提供了内存的标准接口、内存实现的集合以及使用内存的链/代理的示例。🧐 Evaluation: [BETA] 众所周知,生成模型很难用传统指标进行评估。 评估它们的一种新方法是使用语言模型本身进行评估,LangChain 提供了一些提示/链来协助这一点。
Infinigence 无问芯穹 无问芯穹是什么Infinigence 无问芯穹是专门大模型应用开发者打造的企业级AI大模型服务平台,专注于AI 2.0时代的解决方案。构建大模型与多种芯片间的高效部署桥梁,推动AGI(通用人工智能)时代的基础设施建设。无问芯穹提供算力推理平台、AI基础设施解决方案以及端上智能一体化解决方案,支持超过20个主流模型和10余种计算卡,实现软硬件联合优化与统一部署。无问芯穹的主要功能智算云平台:提供从算力、模型到应用的一站式服务,包括全面的云管平台、强大的基础云产品、一站式AI开发平台、大模型开发平台、大模型应用开发平台以及行业大模型。国产化AI算力适配和性能优化:对十余种国产AI芯片全面适配,通过算法和编译优化,实现性能提升50%~200%,并实现多源异构国产AI芯片的统一调度和混合精度计算。Megrez-3B-Omni模型:全球首个端侧全模态理解开源模型,能处理图像、音频和文本三种模态数据,支持中文和英文语音输入,实现模态间的自由切换,并提供直观自然的交互体验。一站式AI平台(AIStudio):面向机器学习开发者,提供开发机、任务等功能的企业级开发平台,支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。算力推理平台:提供算力资源的异构纳管、运维和监控能力,以及丰富的算力运营体系。大模型服务平台(模型即服务,Model as a Service):提供数据处理、微调、推理等快速便捷的模型调用API,并集成模型与应用结合的最佳实践,提供专家支持与经验的工具化沉淀。异构芯片混合训练平台:全球首个支持单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。“端模型+端软件+端IP”端上智能一体化解决方案:提供包括软件、IP在内的端上智能一体化解决方案,实现多种大模型算法在多元芯片上的高效、统一部署。无问芯穹的官网地址官网地址:cloud.infini-ai.com无问芯穹的应用场景个人助理:基于语音指令管理日程和提醒,提高生活和工作效率。智能家居控制:通过语音或图像识别技术控制家中的智能设备,如智能灯泡和智能锁。车载语音助手:在驾驶时用语音控制导航、音乐播放和电话,提高驾驶安全。移动设备应用:在手机和平板电脑上提供语音识别和图像识别功能,增强用户体验。教育辅助:基于语音和图像识别技术辅助语言学习和阅读,特别是对视障人士。AI模组与终端融合:通过“端侧算力+通信+API”功能的AI模组产品,将大模型能力带入到各种终端设备。
模力方舟 模力方舟是什么模力方舟(Gitee AI)是面向开发者、终端用户与产业场景的 AI 应用共创平台。依托 Gitee 全球第二大开发者平台的 DevOps 能力和开源的开发者服务体系,提供高可用的模型服务能力、Serverless 应用构建能力与 API 组合能力。平台汇聚超 70 款主流大模型,覆盖多种任务类型及行业场景,支持 Serverless 部署与私有化交付。AI 模型广场具备极简接入、高性能推理、灵活扩展等亮点,可助力开发者快速构建 AI 应用。平台提供 AI 开发者教育、AI 应用共创、模型定制等服务,是连接创作者与用户、AI 能力与实际场景的共创平台,推动 AI 应用生态建设。模力方舟的主要功能AI 模型广场:提供标准化模型接口,支持私有化部署与 Serverless 调用。可视化应用构建:图形化配置界面,零代码生成应用并上线。算力广泛兼容:适配昇腾、天数、沐曦等主流国产 AI 芯片,同时支持英伟达等国际主流硬件环境。推理成本显著降低:Serverless 架构显著降低开发与部署负担,推理成本最高可降 90%。AI 应用共创:提供覆盖 AI 应用“开发 → 上架 → 展示 → 变现”全流程服务,助力开发者高效实现从创意到产品、从产品到用户的完整闭环。共创 AI 应用生态,链接创意、用户与算力价值链。模型定制:提供包括微调、强化学习、参数插拔等在内的模型定制服务,助力企业客户快速打造专属 AI 能力,适配业务场景,高效落地应用。AI 开发者教育:通过系列 AI 技术活动,包括前沿技术分享、场景化实战训练营等,为开发者打造学习与交流空间。同时为企业提供展示技术能力、产品方案的合作窗口,共建开放共创的 AI 生态。稳定高可用的服务通道:API Token 独立绑定,支持高并发调用。智能推理缓存机制:内置多级缓存与模型复用机制,提升响应效率。多类型模型支持:兼容 Diffusion、多语言、多模态、RAG 等主流模型。LoRA 动态加载:支持运行时热插拔轻量化模型参数,快速实现个性化微调。能力组合和多模型链路:支持多 API 编排与工作流式调用,构建个性化 AI 应用。私有化部署:私有化部署能力覆盖推理服务、Serverless 平台及完整 MaaS 模型管理平台,支持以软硬一体机形式落地企业级场景,提升安全性与部署效率。如何使用模力方舟访问官网:访问模力方舟(Gitee AI)的官方网站。注册账号:使用邮箱或手机号注册账号,也可以通过Gitee账号直接登录。完善信息:根据提示完善个人或企业信息,使用平台的各项服务。浏览模型:在AI模型广场中,查看平台提供的70多款主流大模型,涵盖文本生成、图像生成、语义理解、多模态等任务类型。选择模型:根据你的需求,选择合适的模型进行应用开发。例如,如果你需要开发文本生成类应用,可以选择擅长文本生成的模型。使用API服务获取API Key:在平台中创建应用并获取API Key,这是调用模型接口的必要凭证。阅读文档:查看所选模型的API文档,了解接口的参数、返回值等详细信息。调用API:使用API Key,通过HTTP请求调用模型接口,将你的输入数据发送给模型,并获取模型的输出结果。可视化应用构建进入应用构建界面:在平台中找到可视化应用构建工具。配置应用:通过图形化界面进行应用配置,无需编写代码。你可以设置应用的名称、描述、输入输出等基本信息。连接模型:将所选的AI模型与应用进行连接,配置模型的调用参数。生成应用:完成配置后,点击生成应用按钮,平台将自动生成应用并上线。模力方舟的应用场景智能客服和助理:基于企业知识库、产品文档、使用手册等已有数据训练企业定制化的私有模型,可接入语音模型。政务服务:提供适用于政务工作的综合解决方案,如智能业务办理解决方案、云端法庭解决方案等。电商直播行业:提供智能化内容生成,识别用户兴趣和情感,提供有针对性的营销内容。内容创作:生成高质量的文本、图像、视频等内容,用于广告、媒体、创意等行业。数据分析:通过自然语言处理和数据分析技术,为企业提供智能决策支持。智能办公:自动化办公流程,如文档生成、会议记录整理、任务管理等,提高工作效率。
天壤小白 天壤小白是什么?天壤小白是天壤公司开发的一个通用大语言模型,它是一个基于互联网公开数据训练而成的人工智能模型,拥有高达1860亿个参数。这个模型采用了生成式架构,具备强大的语义理解和上下文感知能力,能够精准捕捉文本中的语义关联,并理解用户的指令和意图。天壤小白应用开发平台是一个专为开发者设计的AI应用开发平台,旨在帮助用户轻松构建、管理和运营基于天壤小白大语言模型的AI应用。该平台利用天壤小白大模型,结合Embedding模型,允许用户通过编写自然语言的方式创建可信赖的商业级AI应用。平台提供了多种应用类型和使用方式,以适应不同的业务场景。天壤小白应用开发平台的主要功能应用创建与管理:用户可以创建不同类型的AI应用,包括文本生成型、对话型、搜索型和工作流应用。平台提供了一个直观的界面,让用户能够轻松设置应用的图标、名称和类型。灵活的模型配置:平台提供了多种版本的天壤小白大语言模型,用户可以根据应用需求选择合适的模型。同时,用户还可以配置模型参数,如模型版本、输入输出长度限制等。提示词与上下文管理:用户可以设计提示词来指导AI模型生成特定的输出,同时管理上下文信息,确保AI应用在对话中保持连贯性。敏感词检测:为了确保内容的安全性,平台支持敏感词检测功能,用户可以设置敏感词列表,AI在生成内容时会自动过滤这些词汇。API调用:平台提供了友好的API接口,开发者可以通过API将AI能力集成到自己的应用中,实现后端或前端的直接调用。Web App在线访问:用户可以创建Web App,通过链接直接访问AI应用,无需复杂的部署过程。数据分析:平台提供了应用的数据分析功能,包括用量统计、活跃用户数、用户满意度等,帮助开发者了解应用的表现并进行优化。文档集功能:支持上传和解析多种格式的文档,如Excel、CSV、JSON等,以及图片和PDF文件,通过OCR技术提取文字。这些文档可以作为AI应用的知识库,提高回答的准确性和相关性。结构化文档支持:用户可以上传结构化文档,并设置召回字段,使得AI应用能够更准确地理解和回应基于特定字段的查询。
Caffe:UC伯克利研究推出的深度学习框架 Caffe(Convolutional Architecture for Fast Feature Embedding)(快速特征嵌入的卷积架构)是一个开源的深度学习框架,最初由加州大学伯克利分校的Yangqing Jia开发。2017年4月,Facebook发布了Caffe2,其中包含了递归神经网络(RNN)等新功能。2018年3月底,Caffe2被并入PyTorch。