پرش به محتوای اصلی
واژه‌نامه اخلاق هوش مصنوعی

نظارت انسانی

Human Oversight

نظارت انسانی به مجموعه‌ای از سازوکارها و اختیاراتی گفته می‌شود که امکان پایش عملکرد سامانه هوش مصنوعی، ارزیابی خروجی‌های آن و مداخلۀ انسان در صورت خطا، خطر یا پیامد نامطلوب را فراهم می‌کنند.

آخرین بازبینی تحریریه: ۲۳ مرداد ۱۴۰۵

تعریف در بافت اخلاق هوش مصنوعی

در اخلاق هوش مصنوعی، نظارت انسانی به این معناست که واگذاری بخشی از تحلیل یا تصمیم‌سازی به سامانه هوشمند نباید امکان ارزیابی و مداخلۀ انسانی را از میان ببرد. فرد یا نهاد مسئول باید بتواند عملکرد سامانه را پایش کند، محدودیت‌ها و خطاهای آن را تشخیص دهد، خروجی را در بافت واقعی ارزیابی کند و در صورت لزوم تصمیم سامانه را نپذیرد یا استفاده از آن را متوقف کند. صرف حضور صوری یک انسان کافی نیست؛ نظارت زمانی مؤثر است که ناظر اطلاعات، صلاحیت و اختیار واقعی برای مداخله داشته باشد.

نکته کاربردی

این مفهوم به‌ویژه در سامانه‌های پرخطر مانند پزشکی، استخدام، اعتبارسنجی، آموزش و تصمیم‌های اداری اهمیت دارد. هنگام ارزیابی یک سامانه باید پرسید چه کسی بر آن نظارت می‌کند، چه اطلاعاتی در اختیار دارد و آیا واقعاً می‌تواند خروجی را رد یا فرایند را متوقف کند.

خاستگاه اصطلاح

اخلاق و حکمرانی هوش مصنوعی؛ مدیریت ریسک و تنظیم‌گری سامانه‌های پرخطر

نظارت انسانی صرفاً به حضور یک انسان در فرایند تصمیم‌گیری اشاره ندارد. نظارت زمانی مؤثر است که فرد ناظر بتواند محدودیت‌ها و خطاهای سامانه را تشخیص دهد، خروجی آن را مستقلاً ارزیابی کند و در صورت لزوم آن را رد، اصلاح یا متوقف کند. ازاین‌رو، «نظارت انسانی» با مفهوم «کنترل انسانی معنادار» ارتباط نزدیکی دارد، هرچند نظارت انسانی اصطلاحی عام‌تر در ادبیات حکمرانی و مدیریت ریسک هوش مصنوعی است.