چرا حاکمیت، شرط عبور به تولید است
بیشتر پروژههای هوش مصنوعی در مرحلهٔ امنیت و انطباق متوقف میشوند. اگر حاکمیت از ابتدا در معماری نباشد، افزودن بعدی آن تقریباً همیشه شکست میخورد.
✓
چرخهٔ عمر تعریفشدهٔ هر عامل: پیشنویس، آزمون، تأیید، انتشار، تعلیق و بازنشستگی.
✓
هر عامل دارای مالک، هدف، منابع داده، ابزارهای مجاز، کاربران هدف و ردهٔ ریسک مشخص است.
✓
محیطهای مجزا برای توسعه، آزمون، پذیرش و تولید، با دروازهٔ کیفیت میان آنها.
✓
ارزیابی پیوسته با مجموعههای آزمون، بازخورد کاربر و بازبینی خروجیها.
✓
همسویی با چارچوبهای شناختهشدهٔ مدیریت ریسک و امنیت هوش مصنوعی.
ستونهای چارچوب حاکمیت
شش کنترل بنیادی که روی همهٔ عاملها و یوزکیسها اعمال میشود.
🙋
تأیید انسانی
گرهٔ تأیید با مسئول، مهلت پاسخ و مسیر تشدید روی هر اقدام دارای اثر واقعی.
🚧
گاردریل و سیاست
کنترل محتوا، سیاست و اقدام؛ قابل پیکربندی و آگاه به زبان فارسی و انگلیسی.
🔐
کنترل دسترسی
دسترسی نقشمحور و ویژگیمحور با ورود یکپارچه و همگامسازی با دایرکتوری سازمان.
📜
لاگ ممیزی
ثبت تغییرناپذیر هر پرسش، پاسخ، فراخوانی ابزار، تأیید و دسترسی به داده.
📡
رصدپذیری
پایش زندهٔ اجرا، کارایی، خطا و مصرف، همراه با تخصیص هزینه به واحدها.
🗄️
حاکمیت داده
اقامت داده، رمزنگاری در انتقال و سکون، سیاست نگهداشت و منع آموزش بیرونی.
کنترل ریسکهای اختصاصی هوش مصنوعی عاملمحور
عاملهای هوش مصنوعی ریسکهایی دارند که کنترلهای سنتی امنیت پوشش نمیدهند. هر ریسک، کنترل متناظر خود را دارد.
| ریسک | محل بروز | کنترل در پلتفرم |
|---|---|---|
| تزریق دستور (Prompt Injection) | ورودی کاربر به عامل | جداسازی دستور سامانه از ورودی، پاکسازی ورودی و پالایش خروجی |
| خروجی ناامن | خروجی عامل پیش از استفاده | اعتبارسنجی و ایمنسازی خروجی پیش از نمایش یا اجرا |
| افشای دادهٔ حساس | دانش و پاسخها | تشخیص و پوشاندن اطلاعات هویتی و سیاست منع افشا برای هر عامل |
| اختیار بیش از حد | اقدامات پرمخاطره | سفیدفهرست ابزارهای مجاز، محدودسازی پارامتر و تأیید انسانی اجباری |
| اتکای بیش از حد | تصمیمهای خودکار | اجباری بودن تأیید انسانی در تصمیمهای حساس و رد ممیزی کامل |
حاکمیت داده و اقامت اطلاعات
مکانیزمهای مشخصی که داده، مدل و اجرا را درون محیط سازمان نگه میدارند.
بدون خروج داده
تمام وضعیت سامانه شامل پیکربندی، لاگ ممیزی، بردارهای دانش، حافظهٔ نهان و فایلها درون محیط سازمان باقی میماند.
خروجی کنترلشده یا صفر
هر تماس خروجی از کد اجراشدهٔ عامل از یک مرز کنترلشده عبور میکند و برای محیط کاملاً ایزوله میتواند روی صفر قفل شود.
اجرای مدل محلی
لایهٔ اجرای مدل، مدلهای محلی و فارسیتوان را درون محیط سازمان سرویس میدهد؛ بدون وابستگی به استنتاج بیرونی.
اجرای ایزوله
کد عامل در محیط ایزوله و بدون مسیر شبکهٔ مستقیم اجرا میشود؛ تنها راه خروج، همان مرز کنترلشده است.
هویت درونسازمانی
ورود یکپارچه و کنترل دسترسی درون محیط اجرا میشود و هویت کاربران با دایرکتوری سازمان همگام میگردد.
منع آموزش بیرونی
دادهٔ سازمان تنها مبنای پاسخگویی است و هرگز برای آموزش مدلهای بیرونی استفاده نمیشود.
حاکمیت و امنیت، لایهٔ پایهای است که همهٔ لایههای دیگر روی آن اجرا میشوند.
چرخهٔ عمر حاکمیتشدهٔ هر عامل
هیچ عاملی بدون عبور از این مسیر وارد محیط تولید نمیشود.
1
پیشنویس
تعریف هدف و دامنه
2
آزمون
در محیط ایزوله
3
تأیید
بازبینی و ردهٔ ریسک
4
انتشار
ورود کنترلشده به تولید
5
پایش
رصد و ارزیابی پیوسته
6
بازنشستگی
تعلیق یا کنارگذاری امن
سؤالات متداول
پاسخ پرسشهای رایج دربارهٔ چارچوب حاکمیت هوش مصنوعی هفتسین
تأیید انسانی دقیقاً کجا اعمال میشود؟+
روی هر اقدامی که اثر واقعی دارد؛ مانند پرداخت، تصمیم استخدام، تخصیص قرارداد، ارسال مکاتبهٔ رسمی و تغییر در سامانههای عملیاتی. گرهٔ تأیید دارای مسئول، مهلت پاسخ و مسیر تشدید است.
لاگ ممیزی چه چیزی را ثبت میکند و چقدر نگهداری میشود؟+
هر پرسش، پاسخ، فراخوانی ابزار، تأیید، دسترسی به داده و اقدام مدیریتی بهصورت تغییرناپذیر ثبت میشود. مدت نگهداشت بر اساس الزامات سازمان پیکربندی میشود و خروجی آن قابل استخراج است.
آیا سامانه با استانداردهای بینالمللی همسو است؟+
چارچوب حاکمیت بر پایهٔ استانداردهای شناختهشدهٔ مدیریت سامانههای هوش مصنوعی، مدیریت ریسک و فهرست ریسکهای امنیتی مدلهای زبانی طراحی شده و شواهد انطباق در قالب مستندات ممیزی ارائه میشود.
چطور از تزریق دستور و سوءاستفاده از ابزارها جلوگیری میشود؟+
دستور سامانه از ورودی کاربر جدا نگه داشته میشود، ورودی پاکسازی و خروجی پالایش میگردد، ابزارهای مجاز هر عامل سفیدفهرست و پارامترها محدود میشوند و آزمونهای تهاجمی امنیتی بهصورت دورهای اجرا میشود.
مالکیت داده و خروجیها با کیست؟+
سازمان مالک تمام دادهها، دستورها، خروجیها و پیکربندیهاست. خروجیگیری در قالبهای باز فراهم است تا وابستگی به تأمینکننده ایجاد نشود.
پیش از استقرار، چارچوب حاکمیت را تثبیت کنید
کارشناسان هفتسین چارچوب حاکمیت، گاردریل و ردهٔ ریسک عاملهای سازمان شما را طراحی میکنند.
تماس با کارشناسان هفتسین ←