Jan(Jan.ai) Jan(Jan.ai)是一个免费开源的本地运行大模型并进行AI聊天对话的工具,可帮助用户在本地电脑(Windows、Mac、Linux)上安装、部署、运行并使用开源版本的ChatGPT替代大模型,如LLaMa、Mistral、Phi-2等20多个模型,也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama,该工具提供了对话UI和API服务器,适合开发者、研究人员或AI爱好者本地体验开源的大模型。Jan的主要功能本地运行开源大模型:支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型,可手动导入也可以在模型库下载模型简洁好用的聊天界面:软件界面清爽简洁、直观易用,直接在本地与开源大模型快速进行对话聊天支持多个平台:Jan支持在Windows、Mac(Intel、M1/M2/M3)和Linux等操作系统运行,后续还将推出移动端APP。内置API服务器:与OpenAI API兼容,可通过API获取模型信息、下载、启动、停止模型及聊天等如何使用Jan访问Jan的官网(jan.ai),选择对应的电脑操作系统版本,点击Download进行下载然后安装并打开软件,在软件界面的左下角点击Download your first model进入模型库Hub界面,选择你感兴趣的模型进行下载,下载完成后点击Use使用该模型在对话界面输入你的描述即可与你选择的模型进行对话啦Jan还在持续开发中,后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。
Gradio Gradio是一个开源的Python库,用于构建演示机器学习或数据科学,以及web应用程序。你可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面,让用户可以尝试拖放他们自己的图像、输入文本、录制他们自己的声音,并通过浏览器与你的演示程序进行交互。Google、HuggingFace、亚马逊、Meta、思科、VMware等公司都在使用。Gradio适用于:向客户/合伙人/用户/学生演示您的机器学习模型。通过自动共享链接快速部署您的模型,并获得模型性能反馈。在开发过程中使用内置的操作和解释工具交互式地调试模型。
Open LLM Leaderboard Open LLM Leaderboard 是最大的大模型和数据集社区 HuggingFace 推出的开源大模型排行榜单,基于 Eleuther AI Language Model Evaluation Harness(Eleuther AI语言模型评估框架)封装。由于社区在发布了大量的大型语言模型(LLM)和聊天机器人之后,往往伴随着对其性能的夸大宣传,很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此,Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架,用于在大量不同的评估任务上测试生成式语言模型。Open LLM Leaderboard 的评估基准AI2 推理挑战(25-shot):一组小学科学问题HellaSwag(10-shot):一个测试常识推理的任务,对人类来说很容易(大约95%),但对SOTA模型来说具有挑战性。MMLU(5-shot)- 用于测量文本模型的多任务准确性。测试涵盖57个任务,包括基本数学、美国历史、计算机科学、法律等等。TruthfulQA(0-shot)- 用于测量模型复制在在线常见虚假信息中的倾向性。