AI بالعربي – متابعات
يعيش الذكاء الاصطناعي لحظة توسّع غير مسبوقة، مدفوعًا بوعد جذّاب مفاده أن البرمجة لم تعد حكرًا على المتخصصين، إذ يكفي توجيه نموذج لغوي ضخم أو روبوت محادثة بجملة طبيعية ليؤدي مهمة معقّدة، غير أن هذا التبسيط نفسه فتح بابًا واسعًا لمخاطر أمنية لم تكن محسوبة بدقة.
النماذج اللغوية لا تفرّق بطبيعتها بين السؤال والأمر، فهي تتعامل مع النص كسلسلة واحدة، وتبني استجابتها عبر توقع الكلمة التالية، فإذا بدا المحتوى كتعليمات، تعاملت معه كذلك، حتى وإن كان يحمل نية خبيثة.
كيف تتحول الأوامر النصية إلى تهديد أمني؟
تكمن الإشكالية في أن النموذج لا يملك وعيًا سياقيًا حقيقيًا، بل يقرأ المحتوى حرفيًا، فإذا طُلب منه تلخيص مستند خارجي، قد يلتزم بما يحويه ذلك المستند من تعليمات مخفية، حتى لو تعارضت مع مصلحة المستخدم.
في سيناريو افتراضي بسيط، قد يحتوي ملف خارجي على جملة تطلب نسخ بيانات حساسة وإرسالها إلى جهة خارجية، ومع امتلاك النموذج صلاحيات الوصول والتنفيذ، يصبح الخطر حقيقيًا.
الثالوث القاتل في بنية الأنظمة الذكية
وصف الباحث المستقل سيمون ويليسون هذه المشكلة بمفهوم “الثالوث القاتل”، وهو اجتماع ثلاثة عناصر في نظام واحد دون ضوابط صارمة.
العنصر الأول يتمثل في تعرّض النموذج لمحتوى خارجي غير موثوق.
العنصر الثاني يتمثل في امتلاكه وصولًا إلى بيانات خاصة أو حساسة.
العنصر الثالث يتمثل في قدرته على التواصل مع العالم الخارجي.
عند اجتماع هذه العناصر، تتحول طاعة النموذج إلى نقطة ضعف خطرة.
Copilot كنموذج واقعي للمشكلة
في يونيو الماضي، عالجت مايكروسوفت بهدوء ثغرة من هذا النوع في Copilot، وأكدت أن الثغرة لم تُستغل، إلا أن الواقعة كشفت هشاشة بنية بعض الأنظمة المتقدمة.
اللافت أن المشكلة لم تنشأ عن هجوم متعمد، بل ظهرت نتيجة تداخل غير محسوب للصلاحيات، ما يعزز مخاوف الباحثين من أن السيناريو الأخطر لم يقع بعد.
حقن الأوامر ظاهرة أقدم من ChatGPT
رُصدت قابلية النماذج اللغوية للخداع قبل إطلاق ChatGPT للعامة، حيث ظهر مصطلح “حقن الأوامر” لوصف قدرة المستخدم على تجاوز القيود عبر نصوص ذكية.
وفي يناير 2024، اضطرت شركة الخدمات اللوجستية DPD إلى إيقاف روبوت خدمة العملاء بعد أن استجاب لأوامر المستخدمين بلغة بذيئة، في حادثة بدت طريفة ظاهريًا لكنها كشفت عمق المشكلة.
لماذا لم تتحرك الصناعة بالسرعة الكافية؟
يرى ويليسون أن غياب الخسائر المالية الكبرى حتى الآن خلق شعورًا زائفًا بالأمان، مؤكدًا أن الأمر مسألة وقت فقط قبل وقوع حادث واسع النطاق.
المفارقة أن بعض الشركات تطرح أدوات جديدة أكثر قوة، بينما تحمل في بنيتها العناصر الثلاثة نفسها، ما يزيد من احتمالات الاستغلال بدل تقليصها.
الموجّهات النظامية ليست حلًا نهائيًا
تحاول شركات مثل Anthropic معالجة المشكلة عبر ما يُعرف بالموجّهات النظامية، وهي تعليمات داخلية تمنح أولوية أعلى لبعض القواعد، مثل تجنب السلوك الضار أو رصد الإشارات الخطرة.
لكن خبراء الأمن يؤكدون أن هذا النهج غير محكم، إذ قد يفشل الهجوم عشرات المرات، ثم ينجح مرة واحدة، وهي مرة كافية لإحداث ضرر جسيم.
لماذا يقلق خبراء الأمن السيبراني؟
يحذّر الباحث بروس شناير من أن نشر وكلاء ذكاء اصطناعي يمتلكون هذه الصلاحيات يجب أن يدفع المطورين إلى التوقف وإعادة التفكير، لأن الاعتماد على التدريب وحده لا يوفر ضمانًا كافيًا. فالثغرات الاحتمالية بطبيعتها لا يمكن القضاء عليها بالكامل عبر الأمثلة التدريبية.
استراتيجيات التخفيف الممكنة
أبسط الحلول وأكثرها أمانًا يتمثل في منع اجتماع عناصر الثالوث من الأساس، إذ يكفي تعطيل عنصر واحد لتقليل الخطر بشكل كبير.
فإذا كان النظام يتعامل فقط مع بيانات داخلية موثوقة، يختفي عنصر المحتوى الخارجي، وإذا حُرم من الوصول إلى البيانات الحساسة، تقل فرص التسريب، وإذا عُزل عن قنوات الاتصال، يصبح الضرر محدودًا.
لماذا يصعب تطبيق هذه الحلول عمليًا؟
تكمن المشكلة في أن العديد من مهام الذكاء الاصطناعي تعتمد بطبيعتها على محتوى خارجي، مثل أنظمة إدارة البريد الإلكتروني، ما يجعل العزل الكامل شبه مستحيل.
كما أن البريد نفسه يجمع بين كونه خاصًا وغير موثوق في الوقت ذاته، ما يضع أي نموذج يتعامل معه على مسافة قريبة من الخطر.
قنوات الاتصال أخطر مما تبدو
حتى لو مُنع النموذج من إرسال بريد إلكتروني، فإن السماح له بالوصول إلى الإنترنت يفتح مسارات بديلة للتسريب، مثل تضمين البيانات المسروقة داخل طلبات URL تظهر في سجلات الخوادم. وهنا يصبح المنع التقني أكثر تعقيدًا مما يتصوره كثيرون.
Apple وتأجيل الميزات الذكية
في عام 2024، أجّلت آبل إطلاق مزايا ذكاء اصطناعي كانت قد وعدت بها، رغم الترويج لها إعلانيًا، ويُعتقد أن سبب التأجيل يعود إلى مخاوف تتعلق بتكوين هذا الثالوث داخل النظام.
فحتى الأوامر الصوتية البسيطة قد تخلق تداخلًا خطيرًا بين المحتوى الخارجي والبيانات الخاصة وقنوات التنفيذ.
بروتوكولات جديدة ومخاطر جديدة
ظهور تقنيات مثل Model Context Protocol يمنح المستخدمين مرونة أكبر، لكنه يضاعف المخاطر إذا استُخدم دون وعي، لأن الجمع بين تطبيقات آمنة منفردة قد ينتج نظامًا غير آمن كليًا.
هل التدريب وحده يكفي؟
تعتمد الصناعة حتى الآن على تحسين التدريب بوصفه خط الدفاع الأول، عبر تعليم النماذج رفض الأوامر الخطرة، لكن هذا النهج لا يعالج جذور المشكلة البنيوية.
حلول هندسية بديلة
اقترح باحثون في جوجل نظام CaMeL الذي يفصل بين نموذج يتعامل مع البيانات غير الموثوقة وآخر يمتلك الصلاحيات الحساسة، ما يقلل المخاطر لكنه يقيّد مرونة الاستخدام. هذا الحل يعكس مفاضلة واضحة بين الأمان والقدرة.
هل نحتاج إلى تغيير فلسفة البرمجيات؟
يرى بعض المراقبين أن الحل الأعمق يكمن في التخلي عن وهم الحتمية المطلقة، واعتماد منطق هندسي يقبل بالخطأ ويبني هوامش أمان للتعامل مع أسوأ السيناريوهات.
فالذكاء الاصطناعي بطبيعته احتمالي، وربما يفرض هذا الواقع على مهندسي البرمجيات مراجعة أسسهم القديمة.
مستقبل مفتوح على القلق
حتى الآن، لا يبدو أن هناك حلًا سهلًا أو سريعًا، إذ ما زالت المزايا المتقدمة غائبة عن بعض الأنظمة رغم الوعود المتكررة، بينما تركز الشركات على تحسينات شكلية أقل حساسية.
ويبقى السؤال المطروح أمام المستخدمين والمطورين معًا، هل يمكن الاستفادة من قوة الذكاء الاصطناعي دون الوقوع في فخ الثقة المفرطة.
