- أ مجموعة بيانات Hugging Face هي مجموعة بيانات منظمة مُستضافة على منصة Hugging Face Hub، ويمكن البحث عنها على الموقع huggingface.co/datasets — وتضم أكثر من 300000 مجموعة بيانات عامة حتى عام 2026.
- حمِّل أي مجموعة بيانات في سطر واحد:
from datasets import load_dataset; ds = load_dataset('stanfordnlp/imdb') - وتزود كل مجموعة بيانات بمقسِّمات مُحدَّدة الأنواع (تدريب/تحقق/اختبار)، ومخطط خصائص (نص، صورة، صوت، تسميات)، ودعم اختياري للتدفُّق (streaming) لملفات بحجم التيرابايت.
- انشر بياناتك الخاصة باستخدام الأمر
ds.push_to_hub('اسم-المستخدم-الخاص-بك/اسم-مجموعتك-البيانات')بعد تشغيل الأمرhuggingface-cli login.
تمثل مجموعة بيانات Hugging Face مجموعة بيانات منظمة ومُدارة بالإصدارات، مخزَّنة على منصة Hugging Face Hub، ويتم استهلاكها عبر مكتبة بايثون datasets . وتعرض كل مجموعة بيانات مقسِّمًا واحدًا أو أكثرمقسِّمات (عادةً ما تكون: تدريب، تحقق، واختبار)، ومخططًا مُحدَّد الأنواعالسمات يصف كل عمود فيها، بالإضافة إلى بيانات وصفية تشمل رخصة الاستخدام، والفئة المهمة، وعلامات اللغة. وتتولى المكتبة تنزيل المجموعات، وتخزينها مؤقتًا، وتحويل تنسيقاتها، لذا نادرًا ما تتعامل مباشرةً مع الملفات الأولية.
- البحث عن مجموعات البيانات على المنصة
- التثبيت
- تحميل مجموعة بيانات
- هيكل مجموعة البيانات: المقسِّمات والخصائص
- تدفُّق مجموعات البيانات الكبيرة
- تصفية ومعالجة البيانات
- تحويل التنسيق إلى صيغ أخرى
- نشر مجموعة بياناتك الخاصة على المنصة
- ملاحظات حول المنصة
- استخدام مجموعات البيانات لضبط النماذج وتقدير أدائها
- الأسئلة المتكررة
البحث عن مجموعات البيانات على المنصة
الواجهة الرئيسية لاكتشاف المجموعات هي huggingface.co/datasets. والمرشحات المتاحة في واجهة المستخدم تشمل:
- المهمة — تصنيف النصوص، والإجابة عن الأسئلة، وتجزئة الصور، والترجمة، والتلخيص، وغيرها الكثير
- اللغة — رموز ISO 639-1 (مثل: en، zh، fr، de، إلخ)
- الترخيص — رخصة Apache 2.0، ورخصة MIT، ورخصة CC-BY، ورخصة CC0، ورخصة OpenRAIL، وغيرها
- فئة الحجم — من أقل من 1000 صف إلى أكثر من مليار صف
- النمط — نص، صورة، صوت، فيديو، جداول، متعددة الوسائط
يمكنك أيضًا البحث برمجيًّا عبر عميل بايثون الخاص بالمنصة:
from huggingface_hub import list_datasets
results = list_datasets(filter='task_categories:text-classification', limit=20)
for ds in results:
print(ds.id, ds.downloads)
ويوفِّر واجهة برمجة التطبيقات REST لمخدم مجموعات البيانات (Datasets Server) نقطة نهاية /valid تسرد جميع مجموعات البيانات التي تحتوي على تصدير مسبق بصيغة Parquet، مما يمكِّن من عرض سريع وعينات من الصفوف دون الحاجة لتنزيل المجموعة كاملة.
التثبيت
الـdatasets تعمل هذه المكتبة على بايثون 3.8 فأحدث، وهي مستقلة عن نظام التشغيل.
pip install datasets
لدعم الصور والصوت، ثبِّت الحزم الإضافية ذات الصلة:
pip install datasets[vision]# Pillow
pip install datasets # librosa، soundfile
للمصادقة عند الوصول إلى مجموعات البيانات الخاصة أو لنشر البيانات على المنصة:
pip install huggingface_hub
huggingface-cli login # يطلب إدخال رمز الدخول الخاص بك على Hugging Face
يتم تخزين الرمز في المسار ~/.cache/huggingface/token على أنظمة macOS/Linux، أو في المسار %USERPROFILE%.cachehuggingfacetoken على أنظمة Windows. أو يمكنك تعيين متغير البيئة HF_TOKEN بشكل مباشر.
تحميل مجموعة بيانات
نقطة الدخول الأساسية هي الدالة load_dataset(). وإذا لم تُحدَّد وسيلة إدخال للمعاملsplit فإنها تعيد قائمة بيانات مُنظمة (DatasetDict) تحتوي على جميع التقسيمات المتاحة:
من المكتبة datasets استورد الدالة load_dataset
ds = load_dataset('stanfordnlp/imdb')
print(ds)
# قائمة بيانات مُنظمة (DatasetDict)({
# train: مجموعة بيانات (Dataset)({الميزات: ['text', 'label']، عدد الصفوف: 25000})
# test: مجموعة بيانات (Dataset)({الميزات: ['text', 'label']، عدد الصفوف: 25000})
# })
train = ds['train']
print(train.features)
# {'text': Value(dtype='string')، 'label': ClassLabel(names=['neg', 'pos'])}
print(train[0]['text'][:120])
تحميل تقسيم واحد فقط
train = load_dataset('stanfordnlp/imdb', split='train')
# تُرجع هذه الجملة مباشرةً كائن مجموعة بيانات (Dataset)، وليس قائمة بيانات مُنظمة (DatasetDict)
تحميل تهيئة مُسَمَّاة
تحدد العديد من مجموعات البيانات تهيئةً مُسَمَّاةً لمتغيرات اللغة أو مجموعات المجال أو إصدارات المخطط. ويجري تمرير اسم التهيئة كوسيطة موضعية ثانية:
ds = load_dataset('Helsinki-NLP/opus_books', 'en-fr')
لعرض قائمة بجميع التهيئة المتاحة لمجموعة بيانات ما قبل تحميلها:
من المكتبة datasets استورد الدالة get_dataset_config_names
print(get_dataset_config_names('Helsinki-NLP/opus_books'))
التحميل من ملفات محلية
مرر اسم التنسيق ومسار الملف بدلًا من معرف مجموعة البيانات في Hub. وتشمل التنسيقات المدعومة: CSV، JSON/JSONL، Parquet، Arrow، النص العادي، واتفاقيات ImageFolder/AudioFolder.
ds = load_dataset('csv', data_files='my_data.csv')
ds = load_dataset('json', data_files={'train': 'train.jsonl', 'test': 'test.jsonl'})
ds = load_dataset('imagefolder', data_dir='./photos/')
هيكل مجموعة البيانات: المقسِّمات والخصائص
تحقق من التقسيمات المتاحة لمجموعة البيانات قبل تحميلها:
من المكتبة datasets استورد الدالة get_dataset_split_names
print(get_dataset_split_names('stanfordnlp/imdb'))
# ['train', 'test', 'unsupervised']
الـالسمات القاموس يُطابق أسماء الأعمدة مع واصفات نوعية. وأكثر أنواع الميزات شيوعًا هي:
| نوع الميزة | مثال على ذلك | ملاحظات |
|---|---|---|
القيمة |
Value(dtype='string') |
كمية قياسية — سلسلة نصية (string)، عدد صحيح 32 بت (int32)، عدد عشري 32 بت (float32)، قيمة منطقية (bool)، إلخ. |
ClassLabel |
ClassLabel(names=['neg','pos']) |
يُخزن كعدد صحيح؛ ويُفك ترميزه إلى الاسم عند الوصول إليه |
Sequence |
Sequence(Value('int32')) |
قائمة ذات طول متغير تحتوي على قيمة ذات نوع محدد |
Image |
Image() |
صورة باستخدام مكتبة PIL؛ تُخزن كبايت، ويُفك ترميزها عند الحاجة (بشكل كسول) |
الصوت |
Audio(sampling_rate=16000) |
قاموس يحتوي على array و معدل أخذ العينات (sampling_rate) المفاتيح |
Translation |
Translation(languages=['en','fr']) |
قاموس مفتاحه رمز اللغة |
تدفُّق مجموعات البيانات الكبيرة
لمجموعات البيانات الكبيرة جدًّا التي لا يمكن تنزيلها — مثل Common Crawl وThe Pile وLAION-5B — مرر المعامل streaming=True، فتُستجلَب البيانات وتُفك ترميزها ديناميكيًّا دون امتلاء القرص الصلب لديك:
ds = load_dataset('allenai/c4', 'en', split='train', streaming=True)
for example in ds.take(1000):
print(example['text'][:80])
يُعيد التحميل الديناميكي (Streaming) كائنIterableDataset بدلاً من Dataset. وهو يدعم.map(), .filter(), .shuffle(buffer_size=N)، و .take(N)، لكنه لا يدعم الفهرسة العشوائية أو len(). للحصول على شريحة ثابتة دون بث مجموعة البيانات بأكملها:
ds = load_dataset('allenai/c4', 'en', split='train[:50000]')
يقبل تقسيم الشريحة عدد الصفوف المطلقة ([:50000])، النسب المئوية ([:10%])، والنطاقات المتدرجة ([10%:20%]).
تصفية ومعالجة البيانات
تعمل جميع العمليات في Apache Arrow وتستخدم المعالجة المتعددة بشكل افتراضي. يتم تخزين النتيجة مؤقتاً على القرص؛ تشغيل نفس .map() على نفس البيانات يعيد الذاكرة المؤقتة فوراً.
# تصفية الصفوف
short = train.filter(lambda x: len(x['text']) < 500)
# خريطة دفعية — أسرع بكثير للرمزية
def tokenize(batch):
return tokenizer(batch['text'], truncation=True, padding='max_length')
tokenized = train.map(tokenize, batched=True, batch_size=256, num_proc=4)
# عمليات الأعمدة
tokenized = tokenized.remove_columns(['text'])
ds = ds.rename_column('label', 'labels')
# الخلط والتحديد
ds = ds.shuffle(seed=42).select(range(10000))
تحويل التنسيق إلى صيغ أخرى
| صيغة الهدف | الطريقة |
|---|---|
| إطار عمل Pandas | ds.to_pandas() |
| مجموعة بيانات PyTorch | ds.with_format('torch') |
| مجموعة بيانات TensorFlow | ds.to_tf_dataset(columns=[...], batch_size=32) |
| مصفوفات NumPy | ds.with_format('numpy') |
| ملف Parquet | ds.to_parquet('output.parquet') |
| JSON / JSONL | ds.to_json('output.jsonl') |
| CSV | ds.to_csv('output.csv') |
نشر مجموعة بياناتك الخاصة على المنصة
بعد تشغيل huggingface-cli login، ادفع أيDataset أو قائمة بيانات مُنظمة (DatasetDict) كائن مباشرة:
from datasets import Dataset, DatasetDict
import pandas as pd
df = pd.read_csv('my_data.csv')
ds = Dataset.from_pandas(df)
ds.push_to_hub('your-username/my-dataset', private=False)
لدفع تقسيمات التدريب والاختبار معاً:
split = ds.train_test_split(test_size=0.1)
DatasetDict({'train': split['train'], 'test': split['test']}).push_to_hub('your-username/my-dataset')
يخزن Hub مجموعات البيانات كملفات Parquet مقسمة وينشئ عارض معاينة مجموعة بيانات تلقائياً. أضف README.md (بطاقة مجموعة البيانات) مع بادئة YAML لجعل مجموعة البيانات الخاصة بك قابلة للتصفية حسب المهمة واللغة والترخيص في واجهة بحث Hub.
ملاحظات حول المنصة
مسارات الذاكرة المؤقتة
| المنصة | مسار الذاكرة المؤقتة الافتراضي | تجاوز متغير البيئة |
|---|---|---|
| macOS / Linux | ~/.cache/huggingface/datasets/ |
HF_DATASETS_CACHE |
| ويندوز | %USERPROFILE%\.cache\huggingface\datasets |
HF_DATASETS_CACHE |
ويندوز
يستخدم Windows طريقةspawn للمعالجة المتعددة، والتي تتطلب أن تكون نقطة إدخال البرنامج النصي الخاص بك داخل if __name__ == '__main__': حراسة. بدون هذا،.map(num_proc=4) سيتعليق أو يرفع RuntimeError. إذا كنت تعمل في دفتر Jupyter، فاستخدم إما num_proc=1 أو ثبتmultiprocess إلى جانب datasets، الذي ستفضله المكتبة على مكتبة المعيار multiprocessing .
مساحة التخزين
مجموعات البيانات الكبيرة (Common Crawl و RedPajama و LAION) تستهلك مئات الجيجابايتات عند تخزينها مؤقتًا بالكامل. استخدم streaming=True لتجنب التنزيلات. لمعرفة ما في الذاكرة المؤقتة لديك، قم بتشغيل python -c "from datasets import inspect_dataset; print(inspect_dataset.__doc__)" أو تصفح دليل الذاكرة المؤقتة مباشرة. يتم تخزين مجموعات البيانات المخزنة مؤقتًا كملفات Arrow منظمة حسب اسم مجموعة البيانات والبصمة؛ احذف المجلدات الفرعية يدويًا لاستعادة المساحة.
استخدام مجموعات البيانات لضبط النماذج وتقدير أدائها
خط أنابيب الضبط الدقيق القياسي هو: تحميل مجموعة البيانات → التحويل الرمزي باستخدام.map(batched=True) → تعيين الصيغة إلى 'torch' → تمرير إلىTrainer أو حلقة تدريب مخصصة. مكتبة Hugging Face transformers من Trainer تقبل كائن Dataset مباشرة لـ train_dataset و eval_dataset المعاملات.
عند تقييم النماذج مقابل مجموعات البيانات القياسية، توفر لوحة تصنيف النماذج اللغوية الكبيرة (LLM) نقاطًا عبر مجموعات التقييم الشائعة — سياق مفيد عند تحديد مجموعة البيانات المراد استهدافها لمقياسك الخاص. إذا كنت تزن بين الضبط الدقيق والاستضافة الذاتية مقابل استدعاء واجهة برمجية، يمكن أن self-hosting vs API break-even calculator يمكن نمذجة نقطة التوازن في التكلفة بناءً على حجم الطلبات. إذا كان استدعاء نموذج مستضاف كافياً، فإن Hugging Face Inference API الدليل يغطي كيفية عمل التوجيه والتسعير. للحصول على تكلفة API خام لكل رمز عبر مختلف الموفرين، استخدم حاسبة تكلفة واجهة برمجة التطبيقات (API). وإذا كنت تخطط لتشغيل نموذج تم ضبطه بدقة محليًا، فإن VRAM هو القيد الصعب — حاسبة VRAM يقدر متطلبات ذاكرة GPU من حجم النموذج ودقة التكمية.
الأسئلة المتكررة
ما الفرق بين Dataset و DatasetDict؟
أ Dataset هو انقسام واحد — جدول واحد من الصفوف والأعمدة. قائمة بيانات مُنظمة (DatasetDict) هي حاوية تشبه القاموس تحتوي على عدة انقسامات، وهي نوع الإرجاع الافتراضي لـ load_dataset() عند حذف split المعامل. قم بالوصول إلى الانقسامات الفردية حسب المفتاح: ds['train'], ds['test']وغيرها. إذا مررتsplit='train'تحصل على Dataset مباشرة.
كيف أقوم بتحميل مجموعة بيانات خاصة من Hub؟
تحقق أولاً من خلال huggingface-cli loginأو عيّن HF_TOKEN متغير البيئة لرمز الوصول الخاص بك. ثم استدعِ load_dataset('org/private-dataset', token=True). العلم token=True يخبر المكتبة باستخدام بيانات الاعتماد المخزنة مؤقتًا أو متغير البيئة. لأنابيب CI/CD، عيّن HF_TOKEN كسر وتخطي خطوة تسجيل الدخول التفاعلية.
لماذا يستغرق load_dataset() وقتًا طويلاً عند الاستدعاء الأول؟
يقوم الاستدعاء الأول بتنزيل ملفات البيانات الأولية، وتحويلها إلى صيغة Apache Arrow، ثم كتابتها في الذاكرة المؤقتة على القرص. وقد يستغرق هذا الأمر دقائق أو أكثر لمجموعات البيانات الكبيرة. أما الاستدعاءات اللاحقة على نفس الجهاز فتعيد ملفات Arrow المخبأة فورًا تقريبًا. وإذا كنت تتصل بشبكة بطيئة أو لديك مساحة قرص محدودة، يمكنك تمرير الوسيطة streaming=True لمعالجة البيانات فور حدوثها دون تخزينها مؤقتًا محليًّا.
هل يمكنني استخدام مجموعات بيانات Hugging Face دون اتصالٍ بالإنترنت؟
نعم. وبمجرد تخزين مجموعة البيانات مؤقتًا، عيّن متغير البيئة HF_DATASETS_OFFLINE=1 وload_dataset() فستقرأ المكتبة من الذاكرة المؤقتة المحلية دون إجراء أي طلبات شبكية. وهذه الميزة مفيدة في الخوادم المعزولة تمامًا (air-gapped servers)، أو التشغيلات غير المتصلة بالإنترنت مع ضمان إعادة الإنتاج، أو مجموعات الحوسبة عالية الأداء (HPC clusters) حيث لا تمتلك عُقد العمال اتصالاً بالإنترنت لكنها تتشارك في نظام ملفات شبكي مع دليل الذاكرة المؤقتة.
ما الصيغة الملفية التي يستخدمها المحور (Hub) داخليًّا؟
تُقدَّم مجموعات البيانات المخزَّنة على المحور بصيغة Apache Parquet، مقسَّمة إلى أجزاء (shards). وتقوم المكتبة datasets بتنزيل هذه الأجزاء وتحويلها إلى ملفات Apache Arrow (.arrow) لتخزينها مؤقتًا محليًّا. ويمكنك تجاوز المكتبة تمامًا والوصول إلى أجزاء Parquet مباشرةً عبر مستعرض الملفات في المحور أو باستخدام الدالة huggingface_hub.hf_hub_download().
ما الحد الأقصى لحجم مجموعة بيانات Hugging Face؟
لا يوجد حدٌّ صارمٌ لحجم المجموعة، بل توجد على المحور مجموعات بيانات تبلغ أحجامها تيرابايتات عديدة (مثل أزواج الصور-النصوص في مجموعة LAION-5B، أو لقطات كبيرة من Common Crawl). أما لمجموعات البيانات التي تتجاوز بضعة غيغابايتات، فيخزن المحور بياناتها على هيئة أجزاء متعددة من ملفات Parquet بدلًا من ملفٍ واحدٍ. ويمكنك استخدام streaming=True في المكتبة datasets للتعامل مع هذه المجموعات دون تنزيلها كاملةً، أو تنزيل أجزاء محددة منها عبر وسيطة data_files .
