大模型Qwen 2.5 系统和硬件配置要求
Qwen 2.5系统和硬件配置要求
探索阿里巴巴在人工智能领域的最新创新Qwen 2.5模型的开创性功能。从多功能的 Qwen 2.5 到编码、数学、视觉语言和音频方面的专业变体，这些模型在各种任务中提供卓越的性能。Qwen 2.5 模型的大小从 0.5B 到 72B 参数不等，可满足各种计算资源和应用程序需求。了解这些最先进的模型如何突破 AI 的界限，从自然语言处理到多模态理解。
|
规范 |
Qwen 2.5-0.5B |
Qwen 2.5-1.5B |
Qwen 2.5-3B |
Qwen 2.5-7B |
Qwen 2.5-14B |
Qwen 2.5-32B |
Qwen 2.5-72B |
|
GPU内存 |
398MB |
986MB |
1.9GB |
4.7GB |
9.0GB |
20GB |
|
|
GPU内存(BF16) |
|
|
|
|
|
|
134.74GB(2个GPU) |
|
GPU内存(GPTQ-int8) |
|
|
|
|
|
|
71GB(2个GPU) |
|
GPU内存(GPTQ-int4) |
|
|
|
|
|
|
41.8GB(1个GPU) |
|
GPU内存(AWQ) |
|
|
|
|
|
|
41.31GB(1个GPU) |
|
存储空间 |
<1GB |
~2GB |
~4GB |
|
|
|
|
|
最大长度 |
32K tokens |
32K tokens |
32K tokens（估计） |
32K tokens |
32K tokens |
32K tokens（估计） |
32K tokens |
|
工具使用 |
|
支持 |
可能支持 |
支持 |
支持 |
可能支持 |
支持 |
|
预训练令牌 |
2.2T |
|
|
2.4T |
3.0T |
可能3.0T或更多 |
3.0T |
|
最小GPU内存(Q-LoRA微调) |
5.8GB |
|
|
11.5GB |
18.7GB |
|
61.4GB |
|
最小GPU内存(生成2048个令牌，Int4) |
2.9GBGB |
|
|
8.2GB |
13.0GB |
|
48.9GB |
|
许可证 |
Apache 2.0版本 |
Apache 2.0版本 |
Qwen特定许可证 |
Apache 2.0版本 |
Apache 2.0版本 |
Apache 2.0版本 |
|
Qwen2.5 编码器硬件配置要求
模型种类
类别
规范
详细参数
Qwen2.5编码器1.5B
技术规格
模型大小
15亿个参数
GPU内存
约986MB
存储空间
~2GB
最大长度
32K tokens（估计）
预训练令牌
未指定，可能在2.2T tokens左右
主要特点
优化的架构
专为编码任务而设计，在性能和资源效率之间实现良好的平衡
处理效率
能够以适度的计算资源处理编码任务
先进技术
采用flash-attention等技术，以提高效率并减少内存使用
语言的多样性
针对编码进行了优化，但保留了一般的自然语言处理功能
系统要求
Python
3.8或更高版本
PyTorch
1.12或更高版本，推荐 2.0+
CUDA
11.4或更高版本(适用于GPU用户)
理想的应用
为中小型项目提供编码协助
代码生成和基本调试
非常适合计算资源有限的个人开发人员或小型团队
适合在没有高端硬件的情况下寻求帮助的开发人员
Qwen 2.5编码器7B
技术规格
模型大小
70亿个参数
GPU内存
4.7GB
最大长度
32K tokens
预训练令牌
2.4T
最小GPU内存(Q-LoRA微调)
11.5GB
最小GPU内存（生成2048个令牌，Int4）
8.2GB
性能特点
生成速度 （BF16）
37.97个tokens/s（输入长度 1）
生成速度 （GPTQ-int4）
36.17个tokens/s（输入长度 1）
生成速度 （AWQ）
33.08个tokens/s（输入长度 1）
GPU内存使用情况（BF16）
14.92GB（输入长度 1）
GPU内存使用情况GPTQ-int4
6.06GB（输入长度 1）
GPU内存使用情况（AWQ）
5.93GB（输入长度 1）
主要特点
高级编码功能
与1.5B型号相比，在复杂编码任务中的性能显著提高
增强的上下文理解
由于参数数量更多，因此更好地理解上下文和开发人员意图
支持大型项目
能够处理更广泛和复杂的代码库
编程语言的多功能性
可能为更广泛的编程语言和框架提供支持
Qwen2数学要求
模型种类
类别
规范
详细参数
Qwen2-Math 1.5B
技术规格
模型大小
15 亿个参数
非嵌入参数
1.2B
GSM8K性能
58.5%
数学性能
21.7%
MMLU性能
56.5%
C-Eval性能
70.6%
CMMLU性能
70.3%
附加功能
结构
基于Transformer，具有SwiGLU 激活等改进
分词器
针对多种自然语言和代码进行改进和调整
最大上下文
32Ktokens(估计值,基于其他Qwen2模型)
Qwen2-Math 7B
技术规格
模型大小
70 亿个参数
GSM8K 性能
89.9%
数学改进
比其前身高 5.0 分
最大上下文
32K tokens
量化选项
提供BF16、GPTQ-Int8、GPTQ-Int4和AWQ版本
生成速度
BF16型
37.97 个tokens/s（输入长度1）
GPTQ-INT4 的
36.17 个tokens/s（输入长度1）
AWQ
33.08 个tokens/s（输入长度1）
GPU内存使用情况
BF16型
14.92GB（输入长度1）
GPTQ-INT4 的
6.06GB（输入长度1）
AWQ
5.93GB（输入长度1）
Qwen2-Math 72B
技术规格
模型大小
720亿个参数
MATH基准测试
84%
GSM8K性能
96.7%
大学数学成绩
47.8%
MMLU性能
84.2%
GPQA 性能
37.9%
HumanEval 性能
64.6%
BBH 性能
82.4%
附加功能
最大上下文
128K tokens
许可证
特定于Qwen（不像较小的模型那样使用 Apache 2.0）
系统要求 （估计）
GPU内存（BF16）
~134GB（2 个 GPU）
GPU内存（GPTQ-int8）
~71GB（2 个 GPU）
GPU内存（GPTQ-int4）
~42GB（1 个 GPU）
GPU内存（AWQ）
~41GB（1 个 GPU）
Qwen2 VI硬件配置要求
模型种类
类别
规范
详细参数
Qwen2-VL-2B
模型组成
总大小
20亿个参数
Vision 编码器
675M 参数
法学硕士
1.5B 参数
硬件要求
图形处理器
兼容 CUDA，最低 4GB VRAM
中央处理器
4个内核或更多
RAM
最低 8GB，推荐 16GB
软件要求
Python
3.8 或更高版本
PyTorch 插件
1.12 或更高版本
Transformers
4.32.0 或更高版本
存储
磁盘空间
约 4GB
性能
MMMU val
41.1%
DocVQA 测试
90.0%
处理能力
图像
最高 2048×2048 像素
视频
持续时间长达 20 分钟
许可证
Apache 2.0 版本
Qwen2-VL-7B
模型组成
总大小
70 亿个参数
视频编码器
675M 参数
LLM
7.6B 参数
硬件要求
图形处理器
兼容 CUDA，最低 16GB VRAM
中央处理器
8 个内核或更多
RAM
最低 32GB，推荐 64GB
软件要求
Python
3.8 或更高版本
PyTorch 插件
2.0 或更高版本
Transformers
4.37.0 或更高版本
存储
磁盘空间
约14GB
性能
在大多数基准测试中优于 OpenAI GPT-4o mini
处理能力
图像
动态分辨率高达4096×4096像素
视频
持续时间长达20分钟，每秒处理2帧
许可证
Apache 2.0 版本
Qwen2-VL-72B
模型组成
总大小
720亿个参数
视频编码器
675M参数
LLM
72B参数
硬件要求
图形处理器
多个高端GPU,至少2个NVIDIA A100 80GB
中央处理器
32 个内核或更多
RAM
最低 256GB，推荐 512GB
软件要求
Python
3.8 或更高版本
PyTorch 插件
2.0 或更高版本
Transformers
4.37.0 或更高版本
存储
磁盘空间
超过 130GB
性能
MathVista、DocVQA、RealWorldQA 和 MTVQA 的最新技术
处理能力
图像
无理论限制的动态分辨率
视频
持续时间超过20分钟,具有高级帧处理功能
访问
通过官方 API 提供
Qwen2 音频硬件配置要求
模型种类
规范
详细参数
模型组成
总大小
70 亿个参数
视频编码器
675M 参数
LLM
7.6B 参数
硬件要求
图形处理器
兼容CUDA，建议至少 16GB VRAM
中央处理器
8个或更多内核以实现最佳性能
RAM
最低32GB，推荐64GB或更高
存储
至少20GB的可用磁盘空间用于模型和依赖项
软件要求
操作系统
Linux（建议使用 Ubuntu 20.04 或更高版本）、带有 WSL2 的 Windows 10/11 或 macOS 11 或更高版本
Python
3.8或更高版本
PyTorch 插件
2.0或更高版本，使用CUDA支持编译
Transforms
4.37.0或更高版本，建议从 GitHub 安装最新版本：
Librosa
用于音频处理的最新稳定版本
FFmpeg
音频文件作需要
其他依赖项
网络要求
互联网连接
用于模型下载的稳定连接（约 14GB）
推荐带宽
100 Mbps 或更高速度，实现快速下载
处理能力
图像
动态分辨率高达 4096×4096 像素
视频
持续时间长达 20 分钟，每秒处理 2 帧
性能
在大多数基准测试中优于 OpenAI GPT-4o mini
许可证
Apache 2.0 版本
pip install git+https://github.com/huggingface/transformers
市场上唯一---6块5090D水冷静音混合计算GPU工作站王者配置推荐25v1
用中文训练更快-满血版Deepseek R1本地部署服务器/工作站硬件配置精准分析与推荐2025v1
https://www.xasun.com/article/110/2929.html
