قائمة لأبرز ثغرات نماذج اللغات الضخمة وتطبيقات الدردشة العاملة بالذكاء الصنعي
00:15 GMT 22.12.2025 (تم التحديث: 17:40 GMT 25.12.2025)
© guvendemir
تابعنا عبر
بمراجعة الدراسات حول ثغرات استخدام نماذج اللغات الضخمة الحديثة العاملة بالذكاء الصنعي (LLMs)، نجد أنه بالرغم من الفوائد التي تقدمها، إلأ أن لها ثغرات وجوانب سلبية كبيرة، على مستوى الدول والمؤسسات والأفراد، يتوجب الانتباه لها، وقد تجعل هذه الثغرات فائدة استخدامنا غير الواعي لهذه النماذج أقل من الفائدة، التي تستحصل عليها هذه النماذج من استخدامنا لها.
كذلك تبين لنا بما لايدع مجالا للشك، بالنسبة للعاملين في المؤسسات والشركات، والمطوّرين خصوصا، بأنه يتوجب التعامل مع هذه النماذج بحذر، ويفضل الاعتماد على نماذج لغات ضخمة محلية ومدربة محليا، في وضع عدم اتصال "OFFLINE"، بدلا من النماذج المجانية المتوفرة على شبكة الإنترنت، واستضافتها في أجهزة و"سيرفرات" وتجهيزات محلية، غير متصلة بشبكة الإنترنت العالمية حاليا، ولن تتصل به مستقبلا.
وتعد قائمة "OWASP" لأبرز 10 ثغرات أمنية لنماذج اللغة الكبيرة (LLMs) مرجعا أساسيا، تم تحديثها لعام 2025، وتتناول التهديدات المتطورة من أنظمة RAG، والوكلاء المستقلين، والهجمات المتقدمة، تستغل هذه الثغرات خصائص نماذج اللغة الكبيرة الفريدة، مثل معالجة اللغة الطبيعية والقدرات التوليدية، والقدرة على فهم المشاعر، ومحاكاة الأصوات، وتزييف الحقائق والأشكال، ما يؤدي إلى عواقب وخيمة عند الاستخدام غير الواعي لهذه التقنيات، أو عند عدم فهم مخاطرها.
تساعد هذه القائمة المطورين، وخبراء الأمن السيبراني، والمؤسسات، على تحديد الثغرات الأمنية في أنظمة نماذج اللغة الضخمة، وفهمها، والتخفيف من آثارها، ويُغطي إصدار 2025 التغييرات الهامة في مشهد التهديدات، بما في ذلك مخاطر جديدة مثل تسريب موجه النظام ونقاط ضعف المتجهات والتضمين.
ويضع تصنيف OWASP لأهم عشرة مخاطر لعام 2025 ثغرة حقن التعليمات (LLM01) كأخطر تهديد، حيث يتجاوز المهاجمون التعليمات عبر مطالبات مباشرة أو غير مباشرة، تليها ثغرة كشف المعلومات الحساسة (LLM02) التي تكشف بيانات التعريف الشخصية وبيانات الاعتماد، والتي احتلت المرتبة الثانية بسبب تسريبات البيانات.
وصعدت ثغرة سلسلة التوريد (LLM03) إلى المرتبة الثالثة نتيجة اختراقات جهات خارجية، بينما تشمل المخاطر الجديدة ثغرة تسريب التعليمات من النظام (LLM07) التي تكشف أسرارا في التعليمات، وثغرة نقاط الضعف في المتجهات/التضمين (LLM08) التي تستهدف أنظمة RAG.
وتشمل المخاطر الأخرى تسميم البيانات/النماذج (LLM04)، ومعالجة المخرجات غير السليمة (LLM05)، والوكالة المفرطة (LLM06) التي تمكن البرامج من الوصول إلى الكاميرات/الميكروفونات دون رقابة، والمعلومات المضللة (LLM09)، والاستهلاك غير المحدود (LLM10).
قائمة OWASP لأهم 10 ثغرات أمنية لتطبيقات نماذج اللغة الكبيرة:
تُحدد القائمة أهم المخاطر، ويجب على المطورين إعطاء الأولوية لتدابير التخفيف لضمان تأمين تطبيقات نماذج اللغة الكبيرة بفعالية.
1.
حقن المطالبات (LLM01):يقوم المهاجمون بتصميم مدخلات للتلاعب بنماذج اللغة الكبيرة، متجاوزين موجهات النظام لتنفيذ إجراءات غير مقصودة، مثل تسريب البيانات أو الهندسة الاجتماعية. تستبدل عمليات الحقن المباشر الموجهات، بينما تستغل عمليات الحقن غير المباشر السياق عبر مصادر خارجية، مثل صفحات الويب. يمكن الوقاية من ذلك من خلال تطبيق ضوابط الصلاحيات، وإشراك المستخدم في عملية الموافقة، وفصل مطالبات المستخدم عن المحتوى الخارجي، وتحديد حدود الثقة.
2.
معالجة المخرجات غير الآمنة (LLM02)يؤدي قبول مخرجات نماذج (LLM) دون التحقق من صحتها إلى تعريض أنظمة الواجهة الخلفية لثغرات أمنية مثل XSS و CSRF وSSRF، أو تنفيذ التعليمات البرمجية عن بُعد. ومن الأمثلة على ذلك تمرير استجابات غير مدققة إلى واجهات سطر الأوامر أو المتصفحات. يمكن التخفيف من هذه المخاطر من خلال التحقق من صحة مدخلات استجابات النموذج، وتشفير المخرجات.
3.
تسميم بيانات التدريب (LLM03)تُدخل التعديلات الضارة على بيانات التدريب أبوابا خلفية، أو تحيزات، أو ثغرات أمنية، ما يُضعف أمان النموذج وأخلاقياته. يستهدف المهاجمون مجموعات البيانات ذات المحتوى المُزيف، والذي ينعكس في مخرجات ضارة. يمكن مواجهة ذلك من خلال التحقق من مصدر البيانات، وتطبيق فلاتر تدقيق صارمة، وفصل النماذج لحالات الاستخدام المختلفة، واكتشاف الحالات الشاذة.
4.
هجمات حجب الخدمة على النماذج (LLM04)تُرهق الاستعلامات كثيفة الاستخدام للموارد نماذج التعلم الآلي، ما يؤدي إلى تدهور الخدمة، وارتفاع التكاليف، أو توقفها عن العمل بسبب متطلباتها الحسابية. تشمل الأساليب المستخدمة تجاوزات نافذة السياق أو المهام الثقيلة المُتراكمة في قائمة الانتظار. يُنصح بتطبيق حدود الإدخال، وتحديد معدل الطلبات، ووضع حدود قصوى للموارد لكل طلب، وإدارة قوائم الانتظار.
5.
ثغرات سلسلة التوريد (LLM05)تُشكل مجموعات البيانات الخارجية، والنماذج المُدربة مسبقا، أو الإضافات، مخاطر محتملة، مثل البيانات المُلوثة أو المكونات القديمة، ما يُتيح حدوث اختراقات. تشمل الأمثلة المكتبات المُعرّضة للاختراق أو البيانات المُجمّعة من مصادر جماعية والتي تم التلاعب بها. يُنصح باعتماد مصادر موثوقة، وممارسات MLOps، وتوقيع النماذج، ومراقبة الثغرات الأمنية، وعمليات تدقيق الموردين.
6.
الكشف عن المعلومات الحساسة (LLM06)تُسرّب نماذج التعلم الآلي بيانات سرية من التدريب أو المطالبات، ما يُعرّض الخصوصية لخطر الانتهاكات والوصول غير المصرح به. يُؤدي الإفراط في التخصيص أو ضعف التصفية إلى كشف معلومات التعريف الشخصية أو الأسرار. لذا استخدم تنقية البيانات، والتحقق من صحة المدخلات، وتدريب أقل الامتيازات، وتقييد الوصول إلى البيانات الخارجية.
7.
تصميم إضافات غير آمنة (LLM07)تسمح الإضافات ذات معالجة المدخلات الضعيفة وضوابط الوصول الضعيفة باستغلال الثغرات الأمنية مثل تنفيذ التعليمات البرمجية أو تسريب البيانات. تنشأ المشكلات من المدخلات غير المُعَلمة أو غياب الصلاحيات. لذا استخدام المدخلات المُعَلمة، واختبارات SAST/DAST، ومفاتيح API، والموافقات اليدوية للإجراءات الحساسة.
8.
صلاحيات مفرطة (LLM08)تنفذ أنظمة الللغات الضخمة المتساهلة للغاية إجراءات غير مقصودة بسبب وظائفها الواسعة أو استقلاليتها، وتزيد الإضافات ذات الصلاحيات الزائدة من المخاطر. ينصح بتقييد الأدوات والوظائف، واشتراط موافقة بشرية، وتتبع الصلاحيات، وتسجيل الأنشطة، وتطبيق تحديد معدل الوصول.
9.
الاعتماد المفرط (LLM09)يؤدي الاعتماد الأعمى على مخرجات أنظمة إدارة التعلم إلى معلومات مضللة، أو تعليمات برمجية غير آمنة، أو مشكلات قانونية في غياب الرقابة. ومن الأمثلة على ذلك الاقتراحات غير المُتحقق منها التي تُسبب ثغرات أمنية. لذا راقب المخرجات، وتحقق منها بالرجوع إلى مصادر موثوقة، وحسّن النماذج، ووضّح القيود بوضوح.
10.
سرقة النماذج (LLM10)يؤدي استخراج النماذج الخاصة دون إذن إلى فقدان الملكية الفكرية والإضرار بالمنافسة. تشمل الأساليب الاستعلام عبر واجهة برمجة التطبيقات (API) أو التسريبات الداخلية. لذا، طبّق ضوابط وصول قوية، وحدّد معدل الوصول، واستخدم العلامات المائية، وراجع الحسابات، وطبّق حوكمة آمنة للعمليات (MLOps).
