🔸 شرکت انتروپیک برای حل چالش کندی و خطای انسانی در ممیزی ایمنی مدلها، «عاملهای ممیز» مبتنی بر AI ساخته تا این فرآیند را خودکار کنند.
🔸 این عاملها سه وظیفه دارند: یافتن ریشه خطاها، ارزیابی رفتارهای نامطلوب و شناسایی پرامپتهای خطرناک (Red-Teaming).
🔸 نتایج اولیه موفقیتآمیز بود، اما این عاملها هنوز در تشخیص خطاهای بسیار نامحسوس یا رفتارهایی که بهسختی تحریک میشوند، محدودیت دارند.
#هوش_مصنوعی #انتروپیک #ایمنی_AI