HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型,每秒180tokens!

2024-11-06 08:37  10

0
0
免费使用
# HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型,每秒180tokens! ## 主题概述 ### HF与OpenAI“分道扬镳” #### 背景:随着人工智能技术的发展,大型语言模型(LLM)成为推动AI进步的关键力量。然而,由于资源和技术的限制,许多开发者和小型企业难以接触到这些先进的模型。 #### 事件:HF(Hugging Face)与OpenAI等公司在大型语言模型领域的发展方向出现分歧,这促使HF转向开发更轻量级、更适合端侧设备运行的模型。 ### 开源SmolLM2系列端侧135M小模型 #### 目标:为了满足更多用户的需求,尤其是那些无法承担大型云服务成本的用户,HF开源了SmolLM2系列模型。 #### 特点:SmolLM2系列模型包括135M、360M和1.7B参数的版本,能够在各种端侧设备上运行,提供高效的本地化AI解决方案。 ## 发展历程 ### 早期阶段:大型语言模型如GPT-3等引领了AI领域的创新,但其高成本和复杂性限制了广泛的应用。 ### 转折点:随着技术的进步和市场需求的变化,轻量级模型如SmolLM2开始受到关注,它们能够在本地设备上运行,解决了云计算服务的局限性。 ### 最新进展:SmolLM2系列模型的推出,标志着端侧AI应用的新篇章,为更多用户提供可访问的AI能力。 ## 技术细节 ### SmolLM2模型简介 #### 数据集:基于精心整理的高质量数据集,包括Cosmopedia v2、Python-Edu和FineWeb-Edu等,涵盖了广泛的领域知识。 #### 性能:在多种基准测试中表现出色,尤其是在常识性推理和世界知识评测标准上超越了现有模型。 ### SmolLM2模型上手指南 #### Python接口:通过pip install transformers安装必要的库,然后使用AutoModelForCausalLM和AutoTokenizer`加载模型,进行推理预测。 #### 终端运行:利用trl库,通过命令行方式加载模型并执行推理任务。 ## 功能样例展示 ### 文本提示词重写:通过系统提示和用户输入,模型能够重写文本,使其更加专业和友好。 ### 文本总结:提供简洁、客观的文本摘要,聚焦于关键动作和意图。 ### 函数调用:根据给定的问题和可用工具,模型可以做出适当的函数调用,实现特定目的。 ## 性能评估 ### 客观评估指标:在科学与推理、常识推理、基础知识、数学能力等多个方面,SmolLM2模型表现优异,显示出其在轻量级模型中的领先地位。 ## 效果展示 ### 运行速度:SmolLM2 135M的8位模型在iPhone 15 Pro上的运行速度接近180 tokens/秒,展示了其在移动设备上的高效性能。 ### CPU运行演示:在Mac系统的CPU上运行SmolLM2-1.7B模型,证明了其在非GPU环境下的适用性和性能。 ## 结论 ### 未来发展:随着SmolLM2系列模型的开源和广泛应用,预计会有更多的开发者和企业受益于这种轻量级、高性能的AI解决方案,推动AI技术在更多领域的普及和创新。
作者其他创作

    AI脑图#362090

    去主页