مسار تعلّم

أمن الذكاء الاصطناعي والفريق الأحمر

ارسم نموذج تهديد لميزات LLM، وادفع ضد حقن الـprompts، وهاجم وكيلك بنفسك قبل غيرك، وابنِ حواجز الحماية وخطة الاستجابة التي تحوّل «اختراق الذكاء الاصطناعي» من كارثة إلى حادث.

٤ مراحلنحو ٨ ساعات
تبقّى ٤ مراحل، نحو ٨ ساعات من العمل المركّز. يمكنك إنجاز المراحل بأي ترتيب، لكن التسلسل يجعلها تبني بعضها على بعض — جرّب من الأعلى إلى الأسفل في المرة الأولى.
  1. ستتعلّم:

    untrusted input surface، tool privilege boundary، assets and adversaries، data flow map، owasp llm top ten

    مهمة الورشة

    ابنِ "لوحة نموذج التهديد": مخطط ميزة تُسقط عليه شارات أصول (بيانات المستخدم، بيانات الدخول، الأدوات، المحافظ) على المكوّنات، وترسم تدفقات البيانات، وتوسم كل تدفق بدرجة ثقته — وتدفقات حمراء تفرض شرط دفاع.

    ابنِها في الورشة
    علامة الاجتياز

    ميزتك لها نموذج تهديد من صفحة واحدة يستطيع مراجع أمني مهاجمته سطرًا سطرًا.

ما الذي ستتمكن من فعله في النهاية
  • تكتب نموذج التهديد لميزة LLM: الأصول، والخصوم، والتدفقات التي تحرّك البيانات.
  • تراكم دفاعات حقيقية ضد حقن الـprompts المباشر وغير المباشر — وتعرف أيّها يفشل بصمت.
  • تشغّل مجموعة فريق أحمر مجدولة تهاجم وكيلك بمحاولات تجاوز وسرقة بيانات.
  • تستجيب لحادث أمني بخطة كُتبت قبل الحادث.