HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型,每秒180tokens!
2024-11-06 08:37 10
0
0
免费使用
画布
|
大纲
为你推荐
《CEO说:人人都应该像企业家一样思考(更新版)》: 一本教你如何在日常生活中运用企业家思维,实现个人和职业成功的指南。
《论中国经济:挑战、底气与后劲》: 探讨中国经济发展面临的挑战,分析其内在优势和未来潜力。
《“京极夏彦独门妖怪推理”:百鬼夜行长篇系列(套装共16册)》:探索日本传统妖怪与现代推理交织的神秘世界。
《春风十里不如你》:一段关于青春、爱情与成长的温暖故事。
《IoT开发实战》: 一本深入浅出地讲解物联网技术原理与实践应用的指南。
《七周七并发模型》: 一本深入浅出地讲解并发编程理论与实践的指南。
《喜:一个秦吏和他的世界》: 通过一位普通秦朝官吏的生活,揭示了秦代社会的风貌与历史变迁。
《家乡博物馆》:探索地方文化与历史的宝库。
《她只想逃离》:一位女性在面对生活困境时,勇敢追求自由与自我实现的心路历程。
《春秋车战》:一部描绘春秋时期战车作战历史与战术演变的军事史著作。
《没有个性的人(上下册)》:一部探讨人性与社会伦理的深刻小说。
《品格之路》:探索塑造个人价值观与道德观的成长之旅。
# HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型,每秒180tokens!
## 主题概述
### HF与OpenAI“分道扬镳”
#### 背景:随着人工智能技术的发展,大型语言模型(LLM)成为推动AI进步的关键力量。然而,由于资源和技术的限制,许多开发者和小型企业难以接触到这些先进的模型。
#### 事件:HF(Hugging Face)与OpenAI等公司在大型语言模型领域的发展方向出现分歧,这促使HF转向开发更轻量级、更适合端侧设备运行的模型。
### 开源SmolLM2系列端侧135M小模型
#### 目标:为了满足更多用户的需求,尤其是那些无法承担大型云服务成本的用户,HF开源了SmolLM2系列模型。
#### 特点:SmolLM2系列模型包括135M、360M和1.7B参数的版本,能够在各种端侧设备上运行,提供高效的本地化AI解决方案。
## 发展历程
### 早期阶段:大型语言模型如GPT-3等引领了AI领域的创新,但其高成本和复杂性限制了广泛的应用。
### 转折点:随着技术的进步和市场需求的变化,轻量级模型如SmolLM2开始受到关注,它们能够在本地设备上运行,解决了云计算服务的局限性。
### 最新进展:SmolLM2系列模型的推出,标志着端侧AI应用的新篇章,为更多用户提供可访问的AI能力。
## 技术细节
### SmolLM2模型简介
#### 数据集:基于精心整理的高质量数据集,包括Cosmopedia v2、Python-Edu和FineWeb-Edu等,涵盖了广泛的领域知识。
#### 性能:在多种基准测试中表现出色,尤其是在常识性推理和世界知识评测标准上超越了现有模型。
### SmolLM2模型上手指南
#### Python接口:通过pip install transformers安装必要的库,然后使用AutoModelForCausalLM和AutoTokenizer`加载模型,进行推理预测。
#### 终端运行:利用trl库,通过命令行方式加载模型并执行推理任务。
## 功能样例展示
### 文本提示词重写:通过系统提示和用户输入,模型能够重写文本,使其更加专业和友好。
### 文本总结:提供简洁、客观的文本摘要,聚焦于关键动作和意图。
### 函数调用:根据给定的问题和可用工具,模型可以做出适当的函数调用,实现特定目的。
## 性能评估
### 客观评估指标:在科学与推理、常识推理、基础知识、数学能力等多个方面,SmolLM2模型表现优异,显示出其在轻量级模型中的领先地位。
## 效果展示
### 运行速度:SmolLM2 135M的8位模型在iPhone 15 Pro上的运行速度接近180 tokens/秒,展示了其在移动设备上的高效性能。
### CPU运行演示:在Mac系统的CPU上运行SmolLM2-1.7B模型,证明了其在非GPU环境下的适用性和性能。
## 结论
### 未来发展:随着SmolLM2系列模型的开源和广泛应用,预计会有更多的开发者和企业受益于这种轻量级、高性能的AI解决方案,推动AI技术在更多领域的普及和创新。
作者其他创作