كيف تجمع بيانات YouTube: الفيديوهات والنصوص المفرّغة

YouTube أكبر مكتبة فيديو على الويب، وهو في كثير من الموضوعات أفضل مصدر أوّلي متاح: مراجعات المنتجات، والمحاضرات، والمقابلات، ومكالمات الإعلان عن الأرباح. وفي أعمال البحث والذكاء الاصطناعي، كثيرًا ما تكون النصوص المفرّغة أثمن من الفيديوهات نفسها. يشرح هذا الدليل كيف تسحب بيانات YouTube العامة (القنوات والفيديوهات وShorts والتعليقات وقوائم التشغيل ومنشورات المجتمع والنصوص المفرّغة) بطلبات HTTPS عادية، مع أمثلة عملية بـ cURL وJavaScript وPython.

لماذا يصعب الحصول على بيانات YouTube أكثر مما يبدو؟

لدى YouTube واجهة API رسمية، وهذا يجعله أسهل من معظم المنصات. لكن العقبات تظهر حين تبدأ البناء عليها:

• حصة، لا مجرد مفاتيح. تحتاج YouTube Data API إلى مشروع على Google Cloud، وتحتسب الاستخدام بوحدات حصة يومية. بعض الطلبات، والبحث تحديدًا، يستهلك وحدات أكثر بكثير من غيره، فيصل المنتج الذي يعتمد على البحث إلى السقف بسرعة.
• النصوص المفرّغة ليست متاحة فعليًا. نقاط نهاية الترجمة المصاحبة مصمَّمة للفيديوهات التي تديرها أنت. أما الحصول على الكلام المنطوق في فيديو يملكه غيرك فليس طلب API بسيطًا.
• بعض الأقسام غائبة أو مربكة. Shorts ومنشورات المجتمع والبث المباشر إما غائبة عن الواجهة الرسمية أو مختلطة بكل شيء آخر.

يمكنك جمع بيانات YouTube بنفسك، لكن بيانات الصفحة كتلة ضخمة شديدة التداخل تتغير باستمرار، ومع الحجم الكبير ستصطدم بصفحات الموافقة واختبارات كشف الروبوتات.

ما بيانات YouTube التي يمكنك الحصول عليها؟

كل الطلبات أدناه تعمل على crawlfeed اليوم. الجدول مولَّد من فهرس الواجهة نفسها، فنقاط النهاية والأسعار هي بالضبط ما ستُحاسَب عليه:

كل شيء يعود بالأنواع الموحّدة في crawlfeed (Profile وPost وComment وغيرها)، وهي نفسها في المنصات كلها، وعددها 26. القناة Profile، والفيديو أو Short أو منشور المجتمع Post.

احصل على قناة YouTube

تحتاج إلى مفتاح API (تحصل الحسابات الجديدة على 100 من الرصيد المجاني) وإلى معرّف القناة من دون @:

curl -G https://api.crawlfeed.dev/v1/youtube/profile \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "handle=MrBeast"

الاستجابة Profile داخل الغلاف المعتاد. الحقل followers هو عدد المشتركين، وposts_count عدد الفيديوهات. بعد الاختصار، وبأرقام توضيحية، تبدو هكذا:

{
  "data": {
    "platform": "youtube",
    "handle": "MrBeast",
    "display_name": "MrBeast",
    "verified": true,
    "followers": 1234567,
    "posts_count": 1234,
    "bio": "…",
    "country": "…",
    "links": ["…"]
  },
  "meta": { "credits_used": 1, "credits_remaining": 99, "cache": "MISS", "data_age_s": 0 }
}

تكلّف القناة رصيد واحد. أما الحقل الذي لا يكشفه YouTube، مثل following، فيعود بالقيمة null بدلًا من أن يختفي.

اعرض فيديوهات قناة

تعيد /v1/youtube/posts ما رفعته القناة، الأحدث أولًا، صفحةً واحدة في كل طلب:

curl -G https://api.crawlfeed.dev/v1/youtube/posts \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "handle=MrBeast"

كل عنصر Post يضم العنوان والوصف في text، وcreated_at، وmedia (رابط الفيديو url وthumbnail_url وduration_s)، وengagement (views وlikes وcomments)، وhashtags وmentions.

للحصول على الصفحة التالية، مرّر meta.next_cursor مرة أخرى في cursor. وإذا غاب next_cursor فقد وصلت إلى نهاية القناة. كل صفحة تُحتسب، فتوقّف حين يكفيك ما جمعته:

import os, requests

videos, cursor = [], None
while True:
    params = {"handle": "MrBeast", **({"cursor": cursor} if cursor else {})}
    res = requests.get(
        "https://api.crawlfeed.dev/v1/youtube/posts",
        params=params,
        headers={"Authorization": f"Bearer {os.environ['CRAWLFEED_KEY']}"},
    )
    body = res.json()
    videos.extend(body["data"])
    cursor = body["meta"].get("next_cursor")
    if not cursor or len(videos) >= 150:
        break

ولفيديو واحد تعرفه مسبقًا، مرّر معرّفه (قيمة v= في الرابط) إلى /v1/youtube/post.

احصل على تعليقات فيديو

مرّر معرّف الفيديو في post_id:

curl -G https://api.crawlfeed.dev/v1/youtube/comments \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "post_id=<post_id>"

لكل Comment الحقول text وauthor وlikes وcreated_at وreply_to_id. وتتنقل بين صفحات التعليقات عبر cursor كما في الفيديوهات. وفي أبحاث الجمهور، تكون سلاسل التعليقات عادةً موطن الإشارات المفيدة.

احصل على النص المفرّغ لفيديو YouTube

هذا هو الطلب الذي يأتي من أجله معظم الناس. مرّر معرّف الفيديو أو رابطه:

curl -G https://api.crawlfeed.dev/v1/youtube/transcript \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "id=<id>"

يكلّف النص المفرّغ رصيد واحد ويتضمن التوقيتات متى توفرت، فتستطيع ربط أي اقتباس باللحظة الدقيقة في الفيديو. وهو المُدخل الطبيعي للملخصات وفهارس البحث ومسارات الاسترجاع التي تغذّي نموذجًا لغويًا كبيرًا.

Shorts والبث المباشر وقوائم التشغيل ومنشورات المجتمع

قناة YouTube أكثر من مجرد قائمة ما رفعته، ولكل قسم طلبه الخاص:

• Shorts: تعرض /v1/youtube/reels?handle=… مقاطع Shorts الخاصة بالقناة وحدها.
• البث المباشر: تعرض /v1/youtube/live/videos?handle=… البث المباشر الحالي والسابق للقناة.
• قوائم التشغيل: تعرض /v1/youtube/collections?handle=… قوائم تشغيل القناة، وتصف /v1/youtube/collection?id=… قائمة واحدة، وتعيد /v1/youtube/collection/posts?id=… الفيديوهات التي فيها.
• منشورات المجتمع: تأخذ /v1/youtube/community/posts?id=… معرّف القناة وتعيد تبويب المجتمع فيها؛ وتجلب /v1/youtube/community/post?id=… منشورًا واحدًا عبر رابطه.

curl -G https://api.crawlfeed.dev/v1/youtube/collection/posts \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "id=<id>"

البحث والوسوم والرائج

لاكتشاف فيديوهات بدلًا من قراءة قناة تعرفها:

• البحث: تشغّل /v1/youtube/search?q=… بحث YouTube نفسه، وتعيد /v1/youtube/search/posts?q=… الفيديوهات المطابقة بصيغة منشورات.
• الوسوم: تعيد /v1/youtube/hashtag?tag=… الفيديوهات التي تستخدم وسمًا معيّنًا، من دون #.
• الرائج: تعيد /v1/youtube/trending ما هو رائج الآن، مع مُعامل country اختياري.

curl -G https://api.crawlfeed.dev/v1/youtube/search/posts \
  -H "Authorization: Bearer $CRAWLFEED_KEY" \
  --data-urlencode "q=coffee"

لا يمسّ أيٌّ منها حصة Google Cloud: فالبحث يكلّف رصيد واحد مثل أي طلب آخر.

تعامل مع الأخطاء وحدّ الطلبات

الأخطاء بصيغة problem details وفق RFC 9457 مع code ثابت، فابنِ منطقك على الرمز لا على الرسالة:

تُستردّ قيمة الطلب الفاشل تلقائيًا، فإعادة المحاولة لا تحاسبك مرتين أبدًا.

أضف تحليل المشاعر واللهجة العربية

إذا كان جمهورك يعلّق بالعربية، فأضف enrich=arabic إلى طلب القناة أو الفيديو أو التعليقات. يحصل كل عنصر على حقل enrichment فيه اللهجة والمشاعر والكيانات والموضوعات، مقابل 3 أرصدة إضافية لكل طلب.

استخدم بيانات YouTube من Claude أو Cursor

إذا كنت تفضّل السؤال على كتابة الكود، فاربط خادم MCP من crawlfeed ليحصل مساعدك على الطلبات نفسها بصفتها أدوات:

claude mcp add --transport http crawlfeed https://mcp.crawlfeed.dev/mcp \
  --header "Authorization: Bearer $CRAWLFEED_KEY"

ثم اسأل شيئًا مثل: «لخّص النص المفرّغ لأحدث فيديو لـ MrBeast واذكر أبرز الموضوعات في تعليقاته». وتجد خطوات الإعداد لكل عميل في دليلنا إلى MCP.

الخلاصة

تؤدي YouTube Data API الغرض ضمن حصتها، لكن واجهة API لجمع البيانات تمنحك النصوص المفرّغة وShorts وقوائم التشغيل ومنشورات المجتمع بلا مشروع Cloud ولا تخطيط للحصة. مع crawlfeed، يكلّف كل طلب على YouTube رصيدًا واحدًا، والكود نفسه يعمل مع TikTok وInstagram وX وLinkedIn. وتجد المرجع الكامل في /docs/platforms/youtube.