لتشغيل LLMs المحلية، تتمتع Apple Silicon بقوة خارقة هادئة وهادئة: الذاكرة الموحدة. يمكن لوحدة معالجة الرسومات معالجة المجموعة بأكملها، لذا يمكن لوحدة معالجة الرسومات أن تعالج المجموعة بأكملها، لذا يمكن لجهاز Mac Studio بسعة 128 جيجابايت أو أكثر تحميل نماذج تحتاج إلى عدة وحدات منفصلة لمعالجة الرسومات على جهاز كمبيوتر شخصي. وضمن خط Mac Studio، ينحصر الاختيار بين شريحتين: شريحة M4 ماكس والتدرج التصاعدي M4 ألترا.
الإجابة المختصرة يناسب M4 ماكس معظم مستخدمي الذكاء الاصطناعي المحليين؛ أما M4 Ultra فهو مخصص لأولئك الذين يقومون بتحميل أكبر الطرز أو الذين يريدون أسرع معدلات التشفير.
الوجبات الرئيسية
- كلاهما يعتمد على الذاكرة الموحدة - يمكن لوحدة معالجة الرسومات استخدام مجموعة ذاكرة الوصول العشوائي بأكملها لحفظ النماذج.
- إن M4 Ultra هي في الأساس قالبان M4 ماكس M4 ماكس مدمجان:: ضاعف أنوية وحدة معالجة الرسومات وعرض النطاق الترددي للذاكرة تقريبًا.
- يدعم M4 Ultra ذاكرة قصوى أكبر, مما يجعلها تستوعب موديلات أكبر مما تستوعبه M4 Max.
- بالنسبة لاستدلال LLM، يقدم Ultra رموز أعلى بشكل ملحوظ في الثانية الواحدة لأن توليد الرموز مرتبط بعرض النطاق الترددي.
- اشترِ M4 ماكس للموديلات التي تصل سرعتها إلى 70B كميًا تقريبًا؛ وارتقِ إلى M4 Ultra للموديلات من فئة 100B والسرعة القصوى.
لمحة سريعة
| المواصفات | ماك ستوديو M4 Ultra | ماك ستوديو M4 ماكس |
|---|---|---|
| تصميم الرقاقة | قالبان M4 ماكس M4 ماكس (UltraFusion) | قالب M4 ماكس واحد M4 ماكس |
| أنوية وحدة معالجة الرسومات | حتى 80 نواة تقريباً | حتى 40 نواة تقريباً |
| الذاكرة الموحدة | حد أقصى أعلى | حتى 128 جيجابايت |
| عرض النطاق الترددي للذاكرة | ~2 ضعف M4 ماكس | ~حوالي 546 جيجابايت/ثانية |
| إطار عمل الذكاء الاصطناعي | MLX، llama.cpp (معدني) | MLX، llama.cpp (معدني) |
| سحب الطاقة | أعلى | أقل |
| السعر | بريميوم | أكثر بأسعار معقولة |
الذاكرة الموحدة: ميزة نظام التشغيل Mac
على الكمبيوتر الشخصي، يجب أن يتناسب الطراز مع وحدة معالجة الرسومات المنفصلة VRAM - 16 أو 24 أو 32 جيجابايت. على جهاز Mac، تشارك وحدة معالجة الرسومات مجموعة ذاكرة النظام بالكامل. وبالتالي، يمكن لجهاز Mac Studio بسعة 128 جيجابايت تحميل نماذج تتطلب عدة وحدات معالجة رسومات حاسوبية متطورة. هذا هو السبب الوحيد الذي يجعل Apple Silicon يؤخذ على محمل الجد بالنسبة للذكاء الاصطناعي المحلي: القدرة التي لا تصل إليها أجهزة الكمبيوتر المكتبية إلا من خلال وحدات معالجة رسومات متعددة باهظة الثمن.
يشترك كل من M4 Max و M4 Ultra في هذه البنية. الفرق هو كم الذاكرة التي يمكنك تكوينها و مدى سرعة يمكن لوحدة معالجة الرسومات بثه.
صامتان، مضاعفة عرض النطاق الترددي
صُمم M4 Ultra مع نظام M4 Ultra من Apple ألترا فيوجن التغليف - قالبان M4 ماكس مدمجان في شريحة واحدة. يعني ذلك عمليًا ما يلي تقريبًا مضاعفة أنوية وحدة معالجة الرسومات والأهم من ذلك, مضاعفة عرض النطاق الترددي للذاكرة.
عرض النطاق الترددي هو الرقم الأكثر أهمية لاستدلال LLM. توليد الرمز المميز مرتبط بالذاكرة: تقرأ الشريحة أوزان النموذج بالكامل لكل رمز مميز يتم إنتاجه. وبالتالي فإن مسار ذاكرة M4 Ultra الأوسع في M4 Ultra يُترجم مباشرةً إلى رموز أعلى في الثانية:
| عبء العمل | M4 ألترا | M4 ماكس |
|---|---|---|
| لاما 3 8B 8B (4 بت، MLX) | أسرع | قوي |
| لاما 3 70B 70B (4 بت) | مريحة وأسرع ر/س مريحة | تشغيل (يحتاج إلى 128 جيجابايت)، أبطأ |
| طرازات فئة 100B | يتناسب مع ذاكرة قصوى أعلى | محدودة بسقف 128 جيجابايت |
نتجنب ذكر الرموز الدقيقة للرموز في الثانية هنا لأن النتائج الحقيقية تختلف بشكل كبير باختلاف التكميم وطول السياق وإصدار الإطار - ولكن الاتجاه ثابت: الألترا أسرع بشكل ملموس، وفي النماذج الأكبر هي الوحيدة التي لديها ذاكرة كافية.
MLX مقابل النظام البيئي للكمبيوتر الشخصي
تعمل كلتا الشريحتين بنفس حزمة البرامج: Apple's MLX إطار العمل و لاما.cpp مع الواجهة الخلفية المعدنية. لقد نضجت MLX بسرعة وهي الآن مسار استدلال محلي جيد حقًا على Apple Silicon.
ولكن كن واضحًا بشأن المفاضلة مقابل الكمبيوتر الشخصي. يتفوق جهاز Mac في الاستدلال من الموديلات الكبيرة بفضل سعة الذاكرة. إنها أضعف بالنسبة لـ التدريب والضبط الدقيق, حيث لا يزال النظام البيئي CUDA مهيمنًا والعديد من المكتبات ليس لها مسار معدني. إذا كان هدفك هو تشغيل النماذج الكبيرة محليًا، فإن استوديو Mac Studio ممتاز. أما إذا كان هدفك هو تدريبها، يظل الكمبيوتر الشخصي المزود بوحدات معالجة رسومات NVIDIA هو الأداة الأفضل.
اختر M4 Ultra إذا كان
- تريد تشغيل نماذج فئة 100B محلياً
- تريد أسرع الأسعار الرمزية التي تقدمها Apple Silicon من Apple Silicon
- تقوم بتشغيل سياقات طويلة أو نماذج متعددة في وقت واحد
اختر M4 ماكس إذا كان
- النماذج الخاصة بك تصل إلى 70 مليار تقريبًا - 128 جيجابايت تتعامل معها
- تريد القيمة الأفضل وسحب طاقة أقل
- أنت تريد أيضًا محطة عمل إبداعية قوية للأغراض العامة
أي استوديو Mac Studio يجب أن تشتري؟
حدد أكبر طراز تحتاجه بشكل واقعي. بالنسبة لـ 8ب إلى 70ب كميًا النماذج - التي تغطي الغالبية العظمى من استخدام الذكاء الاصطناعي المحلي - و M4 ماكس مع 128 جيجابايت تتميز بالقدرة والكفاءة والقيمة الأفضل. ارتقِ إلى M4 ألترا فقط إذا كنت تنوي تشغيل طرازات فئة 100B, أو تريد أعلى معدلات رمزية ممكنة، أو تخطط للاحتفاظ بالعديد من الطرازات الكبيرة المقيمة في وقت واحد. جهاز Ultra هو جهاز متخصص؛ أما Max فهو الجهاز الافتراضي المعقول.
الأسئلة الشائعة
هل تستحق M4 Ultra العناء أكثر من M4 Max بالنسبة للذكاء الاصطناعي؟
فقط إذا كنت بحاجة إلى تشغيل نماذج كبيرة جدًا (فئة 100B) أو تريد أقصى سرعة رمزية. بالنسبة للموديلات التي تصل سرعتها إلى 70B تقريبًا، فإن M4 Max مع 128 جيجابايت قادر على ذلك وقيمة أفضل بكثير.
لماذا تُعد الذاكرة الموحدة جيدة لتشغيل الـ LLMs؟
نظرًا لأن وحدة معالجة الرسومات يمكنها استخدام مجموعة ذاكرة الوصول العشوائي للنظام بأكملها لاستيعاب نموذج ما، فإن جهاز Mac يتجنب حد ذاكرة الوصول العشوائي المنفصلة لوحدات معالجة الرسومات الخاصة بالكمبيوتر الشخصي. يقوم استوديو Mac Studio بسعة 128 جيجابايت بتحميل نماذج تحتاج إلى عدة بطاقات NVIDIA متطورة.
هل يمكن لـ Mac Studio تدريب نماذج الذكاء الاصطناعي؟
يمكنها ذلك، ولكن هذه ليست نقطة قوتها. تتفوق Apple Silicon في الاستدلال على النماذج الكبيرة. بالنسبة للتدريب والضبط الدقيق، فإن نظام CUDA الخاص بـ NVIDIA أكثر نضجًا بكثير، وتفتقر العديد من مكتبات التدريب إلى مسار معدني.
M4 ماكس أو M4 ألترا لتشغيل Llama 3 70B؟
يمكن لكليهما تشغيل طراز 70B كمي، شريطة أن يتم تكوين M4 Max بـ 128 جيجابايت. يعمل M4 Ultra بشكل أسرع، بفضل مضاعفة عرض النطاق الترددي للذاكرة تقريبًا.
الحكم
بالنسبة للذكاء الاصطناعي المحلي، فإن جاذبية Mac Studio هي الذاكرة الموحدة - وكلاهما M4 ماكس و M4 ألترا توصيلها إن M4 ماكس مع 128 جيجابايت هو الخيار المناسب لمعظم الناس: فهو يشغل موديلات تصل طاقتها إلى 70 بي، كما أنه يستهلك طاقة أقل، ويتضاعف كمحطة عمل إبداعية رائعة. إن M4 ألترا هو الحل عندما تحتاج حقًا إلى تشغيل أكبر أو أسرع - نماذج من فئة 100B ومعدلات أعلى من الرموز المميزة. اختر حسب حجم النماذج التي تخطط لتشغيلها بالفعل، وليس حسب اسم الشريحة.