كيف تعمل نماذج اللغة الكبيرة فعلياً

ما هو LLM (وما ليس)

نموذج اللغة الكبير شبكة عصبية مدرّبة على كميات هائلة من النص لنمذجة احتمال الرمز التالي بعد الرموز السابقة. «كبير» يعني مليارات المعاملات (الأوزان) ومجموعات تدريب قد تمتد على شطر كبير من الويب العام والكتب ومجموعات مرخّصة. النموذج لا يخزّن جملاً في جدول بحث؛ يضغط انتظامات اللغة — وكثيراً من الارتباطات الواقعية التي تظهر فيها — في تلك الأوزان.

تسمية ذلك «فهماً» استعارة. حرفياً، النظام يحسب توزيعاً على الرموز المحتملة التالية ويختار واحداً (أو يأخذ عينة من التوزيع). سلوكيات تشبه التفكير والتعاطف والتخطيط تظهر حين كانت أنماط مفيدة للتقليد في بيانات التدريب. ذلك قوي للصياغة والشرح؛ ليس ضماناً للحقيقة أو للمنطق المتسق.

بيانات التدريب تشكّل السلوك

قبل تفاصيل البنية، فكّر في «الحمية». التدريب المسبق يعرض النموذج نصاً متنوعاً: نثر موسوعي، منتديات، مستودعات شفرة، أخبار، خيال، وأكثر. النموذج لا «يقرأ» بنية؛ يرى تسلسلات رموز ويتعلم التنبؤ بالتتمات. ما يظهر كثيراً — واجهات API شائعة، تواريخ مشهورة، تعابير برمجية — يصبح إحصائياً سهلاً لإعادة إنتاجه. حقائق نادرة أو خاصة أو حديثة قد لا تظهر بقوة كافية في الأوزان لاسترجاع موثوق دون أدوات خارجية.

التقطيع: من النص إلى معرّفات الرموز

الشبكات العصبية تعمل على أرقام لا على سلاسل Unicode. المُقسّم يقطّع النص إلى رموز — قد تكون كلمات كاملة أو subwords أو علامات ترقيم — ويربط كل قطعة بمعرّف integer من مفردات ثابتة (غالباً عشرات الآلاف). كلمات إنجليزية شائعة مثل the قد تكون رمزاً واحداً؛ الكلمات النادرة أو الأخطاء المطبعية تنقسم لأجزاء أصغر حتى يتعامل النموذج معها دون مفردات لا نهائية.

الرموز مقابل الكلمات

واجهات المنتجات غالباً تعرض «كلمات» أو حدود أحرف، بينما يُفوتر النموذج ويُقصّ بالرموز. طلب قصير بالإنجليزية قد يكون ~1.3 رمز لكل كلمة في المتوسط، لكن الشفرة وURL والنصوص غير اللاتينية قد تستهلك رموزاً أكثر لكل حرف ظاهر. هذا عدم التطابق يفسّر لماذا «مقال 2000 كلمة» يدخل منتجاً ويفيض آخر، ولماذا كتلة JSON تستهلك سياقاً بسرعة رغم صغره على الشاشة.

حين تحتاج عدّاً دقيقاً للمسودات أو الحدود، استخدم عدّاد كلمات SmartKitio وعدّاد الأحرف على النص الفعلي. عدّ الرموز الداخلي للنموذج هو المرجع للنموذج — لكنه غير شفاف في معظم واجهات الدردشة.

التضمينات: الرموز كمتجهات

كل معرّف رمز يُحوَّل إلى متجه عالي الأبعاد (embedding). مبكراً في الشبكة، الرموز القريبة في اتجاهات متشابهة: جمع قريب من مفرد، كلمات برمجية قريبة من بعضها، وهكذا. هذه المتجهات تُتعلَّم أثناء التدريب لا تُكتب يدوياً. تتيح للنموذج التعميم: إن تشارك json وJSON سياقات إحصائية، قد تتقارب تمثيلاتهما حتى لو تعامل المُقسّم معهما بشكل مختلف.

المحوّل والانتباه الذاتي

LLM الحديثة تسيطر عليها بنية المحوّل التي قدّمها Vaswani et al. (2017). طبقات متراصة تطبّق self-attention: تمثيل كل رمز يُحدَّث بتركيبات موزونة من كل الرموز الأخرى في السياق الحالي. أوزان الانتباه تُحسب من إسقاطات متعلّمة — تقريباً «كم يجب أن يؤثر الرمز B على الرمز A لهذه المهمة؟» — لا من قواعد نحو ثابتة.

لماذا يهمّ الانتباه

نماذج التسلسل الأقدم عانت من تبعيات بعيدة لأن المعلومات مرّت بخطوات متتابعة كثيرة. الانتباه يتيح للرموز البعيدة التفاعل مباشرة ضمن طبقة، ما يساعد في الإحالة («Alice … she»)، كتل شفرة طويلة، وتعليمات متعددة الخطوات في طلب واحد. العمق (طبقات كثيرة) والعرض (أحجام مخفية كبيرة) يبنيان سمات هرمية: بنية محلية في طبقات مبكرة، وتركيب الخطاب وموضوع أوسع في متأخرة.

نافذة السياق: الماضي المرئي

وقت الاستنتاج، النموذج ينتبه فقط للرموز المحمّلة في نافذة السياق — حد أقصى ثابت يختلف حسب المنتج (آلاف إلى ملايين الرموز في أنظمة متخصصة). كل ما خارج النافذة غير مرئي ما لم تلخّصه في مكان آخر أو تستخدم الاسترجاع لحقن مقتطفات. المحادثات الطويلة إذن تحتاج ضغطاً أو نوافذ منزلقة أو ذاكرة خارجية؛ وإلا «ينسى» النموذج التعليمات الافتتاحية حرفياً.

التنبؤ بالرمز التالي كهدف جوهر

أثناء التدريب المسبق يرى النموذج تسلسلاً ويتعلم التنبؤ بكل رمز تالي. التخمينات الخاطئة تنتج إشارة خسارة؛ التحسين يعدّل الأوزان لتقليلها عبر مليارات الأمثلة. النحو والأسلوب ومقتطفات واقعية وأنماط برمجية كلها آثار جانبية لأداء هذه المهمة جيداً على نص متنوع. لا وحدة منفصلة «حقائق» أو «أخلاق» ما لم تضف مراحل لاحقة أهدافاً صريحة (مثلاً ضبط تفضيلات على مخرجات مُقيّمة بشرية).

الاستنتاج، درجة الحرارة، وفك الترميز

التدريب يعلّم احتمالات؛ الاستنتاج يستخدمها لإنتاج نص. فك الترميز الجشع يختار دائماً أعلى احتمال — حتمي لكن أحياناً متكرر. أخذ العينات يسحب من التوزيع فيضيف تنوعاً. درجة الحرارة تُعدّل مقياس اللوغيت قبل softmax: درجة حرارة منخفضة تشحذ التوزيع (تتمات أكثر أماناً وأكثر جفافاً)؛ عالية تسطّحه (أكثر إبداعاً وأكثر عشوائية). أخذ العينات top-p (nucleus) يقطع ذيل الرموز منخفضة الاحتمال لتقليل هراء دون تجميد المخرجات.

حجم نافذة السياق يحدّ كم رمزاً سابقاً يدخل الانتباه في كل خطوة. طلب system طويل + مستندات مُسترجَعة + سجل دردشة تتنافس على نفس الميزانية؛ حين تمتلئ النافذة، تسقط أقدم الرموز من الرؤية ما لم يلخّصها المنتج. فك الترميز ذاتي التسلسل: كل رمز مُولَّد يُلحق ويُعاد إدخاله، فخطأ مبكر قد يوجّه بقية الإكمال — لا لأن النموذج «غيّر رأيه»، بل لأن الخطوات اللاحقة تُشترط على الخطأ.

التدريب مقابل الاستنتاج

لماذا قد تبدو النماذج ذكية

اللغة البشرية تُرمّز خطوات تفكير وتحفظات وحواراً. نموذج مدرّب على التنبؤ بمثل هذا النص قد يُصدِر شرحاً خطوة بخطوة لأن تلك الأنماط قلّلت خطأ التنبؤ في مستندات التدريب. الحجم يزيد أمانة الأنماط: معاملات أكثر تخزّن ارتباطات أدق. قد يشعرك ذلك بمعلّم أو شريك برمجة. يبقى إكمال أنماط ما لم تُقرن بأدوات تؤسّس المخرجات — مترجمات، حاسبات، استرجاع، قواعد بيانات.

الهلوسات والحدود (معاينة)

حين يفتقر النموذج لدليل، الآلية نفسها ما زالت تنتج رموزاً سلسة — ومن هنا الهلوسات. يرث أيضاً انحيازات ونقاط عمى من التدريب، قد يُسيء في افتراضات مضادة للواقع، وقد يختلق مكتبات أو URL تبدو معقولة. حدود السياق، غرائب التقطيع، وعشوائية أخذ العينات تضيف أنماط فشل. هذه عواقب بنيوية لا أعطال عارضة؛ التخفيف في تصميم العملية (استرجاع، تحقق، مراجعة بشرية) لا في تمنّي أن النموذج قاعدة بيانات.

مثال عمل مبسّط

التعامل مع نص منظّم

LLM قد تقترح أشكال JSON وتعيد تنسيق payloads فوضوية، لكنها قد تحذف فواصل أو تكرّر مفاتيح أو ت invent حقولاً. للمخرجات machine-readable، عامل النموذج كمساعد مسودة ومرّر النتيجة عبر formatter أو validator. JSON formatter في SmartKitio يساعد على فحص البنية محلياً؛ لا ي replace التحقق من schema مقابل عقد API الحقيقي.

الضبط الإضافي والمواءمة (باختصار)

بعد التدريب المسبق، كثير من المنتجات تطبّق مراحل: ضبط إشرافي على حوارات منقّحة، تحسين تفضيلات من تقييمات بشرية، أو تدريب استخدام أدوات يعلّم استدعاء البحث أو مفسّرات شفرة. هذه المراحل تغيّر النبرة ورفض السلامة والاستعداد للاعتراف بعدم اليقين — لا تستبدل آلية التنبؤ بالرمز التالي الجوهرية. مساعدون معزّزون بأدوات يبدون أكثر موثوقية لأن برامج خارجية تجلب حقائق أو تنفّذ حسابات، لا لأن المحوّل الأساسي اكتسب ضميراً.