هل يمكنني تشغيل هذا النموذج اللغوي الكبير محليًّا؟ — آلة حاسبة مجانية لتقدير الـ VRAM ووحدات معالجة الرسومات

تتساءل إن كانت وحدة معالجة الرسومات الخاصة بك قادرة على تشغيل نموذج لغوي كبير معين محليًّا؟ توفر لك هذه الآلة الحاسبة المجانية تقديرًا للكمية المطلوبة من الـ VRAM لكل نموذج عند مستويات التكميم المختلفة — وتُبيّن لك بدقة أي النماذج يمكنها العمل على وحدتك.

اختر نموذجًا من قائمتنا قاعدة بيانات نماذج الذكاء الاصطناعي (أو أدخل عدد المعاملات المخصص)، واختر وحدة معالجة الرسوميات (GPU) الخاصة بك، وعيّن طول السياق المطلوب، ثم اعرف فورًا ما إذا كان النموذج سيعمل أم لا — وبأي جودة. والتقديرات تعتمد على أوزان النموذج؛ أما السياقات الطويلة فتضيف ذاكرة التخزين المؤقت للقيم المفتاحية (KV-cache) فوق ذلك.

إجابة سريعة: كم كمية الـ VRAM المطلوبة لتشغيل نموذج لغوي كبير (LLM) محليًّا؟

لتشغيل نموذج لغوي كبير محليًّا باستخدام تكميم 4 بت، احسب تقريبًا 0.5–0.6 جيجابايت من ذاكرة الـ GPU VRAM لكل مليار معامل، بالإضافة إلى 1–3 جيجابايت للذاكرة المؤقتة KV cache عند أطوال السياق النموذجية. عمليًّا، يشغل نموذج بحجم 8 مليار معامل (8B) ما يقارب 5–6 جيجابايت (وهو مريح جدًّا على بطاقة RTX 3060 بسعة 12 جيجابايت؛ ويُمكن تشغيله أيضًا على بطاقة RTX 4060 بسعة 8 جيجابايت)، أما نموذج 13 مليار معامل (13B) فيتطلب نحو 8–10 جيجابايت، ونموذج 32 مليار معامل (32B) يحتاج بطاقة بسعة 24 جيجابايت مثل RTX 4090 (حيث تشغل الأوزان نحو 20 جيجابايت)، بينما يتطلب نموذج 70 مليار معامل (70B) نحو 40–48 جيجابايت — أي بطاقة واحدة بسعة 48 جيجابايت أو بطاقتَي GPU بسعة 24 جيجابايت كلٌّ منهما. وباستخدام تكميم 8 بت تتضاعف هذه الأرقام تقريبًا (~1–1.2 جيجابايت لكل مليار معامل)، وفي حالة التمثيل الكامل بـ fp16 تتضاعف تقريبًا أربع مرات (~2 جيجابايت لكل مليار معامل).

قواعد إرشادية سريعة لأحجام أوزان النماذج، قبل إضافة السياق:

• تكميم 4 بت (Q4): ~0.5–0.6 جيجابايت لكل مليار معامل
• تكميم 8 بت (Q8): ~1–1.2 جيجابايت لكل مليار معامل
• fp16 / bf16: ~2 جيجابايت لكل مليار معامل
• الذاكرة المؤقتة KV cache (السياق): أضف ~1–4 جيجابايت عند استخدام 8000–32000 رمز (token)، وتزداد أكثر عند استخدام سياقات أطول جدًّا أو نماذج أكبر

الأسئلة الشائعة

كم كمية الـ VRAM المطلوبة لتشغيل نموذج بحجم 70 مليار معامل؟

يتطلب نموذج بحجم 70 مليار معامل نحو 40–48 جيجابايت من الـ VRAM عند استخدام تكميم 4 بت — أي حوالي 0.5–0.6 جيجابايت لكل مليار معامل للأوزان، بالإضافة إلى الذاكرة المؤقتة KV cache. وهذا يناسب بطاقة واحدة بسعة 48 جيجابايت أو بطاقتَي GPU بسعة 24 جيجابايت مثل زوج من بطاقات RTX 4090. أما عند استخدام تكميم 8 بت فتتضاعف الكمية تقريبًا لتصل إلى ~80 جيجابايت، وفي حالة fp16 تحتاج إلى نحو 140 جيجابايت.

هل يمكن لبطاقتي RTX 4060 أو بطاقة بسعة 12 جيجابايت تشغيل نموذج بحجم 8 مليار أو 7 مليار معامل؟

نعم. يستخدم نموذج بحجم 7–8 مليار معامل عند تكميم 4 بت فقط نحو 4–5 جيجابايت من الـ VRAM، وبالتالي يعمل بسلاسة على بطاقة بسعة 12 جيجابايت مثل RTX 3060، مع هامش واسع جدًّا متاح للسياق. أما بطاقة RTX 4060 فهي بسعة 8 جيجابايت، وهي ما زالت قادرة على تشغيل نموذج بحجم 7–8 مليار معامل بكفاءة — لكنك ستكون لديك مساحة أقل لنوافذ السياق الطويلة.

كم كمية الـ VRAM المطلوبة لتشغيل نموذج بحجم 13 مليار معامل؟

يتطلب نموذج بحجم 13 مليار معامل نحو 8–10 جيجابايت من الـ VRAM عند استخدام تكميم 4 بت. وهو يناسب بطاقة GPU بسعة 12 جيجابايت عند استخدام سياقات قصيرة إلى متوسطة الطول، لكن بطاقة بسعة 16 جيجابايت تكون أكثر أمانًا بمجرد إضافة نافذة سياق أطول وهامش التشغيل الإضافي للمكتبات والبيئة.

هل تستطيع بطاقة GPU بسعة 24 جيجابايت مثل RTX 4090 تشغيل نموذج بحجم 32 مليار أو 70 مليار معامل؟

تستطيع بطاقة GPU بسعة 24 جيجابايت تشغيل نموذج بحجم 32 مليار معامل بكفاءة عند تكميم 4 بت: حيث تشغل الأوزان نحو 20 جيجابايت، وتترك بضعة جيجابايت للذاكرة المؤقتة KV cache. أما نموذج 70 مليار معامل فلا يمكن تحميله بالكامل عند تكميم 4 بت — إذ يحتاج إلى ~40–48 جيجابايت — وبالتالي ستحتاج إما إلى وحدة GPU ثانية، أو إلى تفريغ جزء من المعالجة على وحدة المعالجة المركزية (CPU offloading)، أو إلى استخدام تكميم منخفض الجودة مثل 2–3 بت.

كم كمية ذاكرة GPU المستخدمة من قِبل نموذج لغوي كبير (LLM) لكل مليار معامل؟

كقاعدة عامة، احسب ~0.5–0.6 جيجابايت لكل مليار معامل عند تكميم 4 بت، و~1–1.2 جيجابايت عند تكميم 8 بت، و~2 جيجابايت عند fp16/bf16. وبالتالي فإن نموذجًا بحجم 30 مليار معامل يتطلب تقريبًا 16–18 جيجابايت عند تكميم 4 بت، و~32 جيجابايت عند تكميم 8 بت، و~60 جيجابايت عند fp16 — قبل إضافة الذاكرة المؤقتة KV cache.

كم كمية الـ VRAM الإضافية التي يستهلكها طول السياق (أي الذاكرة المؤقتة KV cache)؟

تنمو الذاكرة المؤقتة KV cache خطيًّا مع طول السياق، وتضيف نحو 3 جيجابايت على نموذج بحجم 8 مليار معامل عند الانتقال من 8000 إلى 32000 رمز (أي من نحو 1 جيجابايت عند 8000 رمز إلى نحو 4 جيجابايت عند 32000 رمز)، وتزداد أكثر مع النماذج الأكبر وأطوال السياق الأطول. أما تكميم الذاكرة المؤقتة KV cache إلى 8 بت فيقلل هذه الزيادة بنحو النصف تقريبًا، ولذلك يُوصى دائمًا بتوفير هامش إضافي قدره 1–4 جيجابايت فوق حجم أوزان النموذج.

ما حجم النموذج الذي يمكنني تشغيله على 8 جيجابايت أو 16 جيجابايت من الـ VRAM؟

على 8 جيجابايت من الـ VRAM يمكنك تشغيل نماذج بحجم 7–8 مليار معامل بسلاسة عند تكميم 4 بت؛ وعلى 16 جيجابايت يمكنك تشغيل نماذج حتى 13 مليار معامل بسلاسة، بل ويمكنك دفع حدود التشغيل لتشمل نموذجًا بحجم 20–24 مليار معامل مع سياق معتدل. أما لتشغيل نموذج بحجم 32 مليار معامل فستحتاج إلى 24 جيجابايت، ولنموذج بحجم 70 مليار معامل فستحتاج إلى نحو 48 جيجابايت.