وابستگی خطرناک به هوش مصنوعی در تصمیمهای نظامی آمریکا
به گزارش خط بازار؛ بهار امسال، در میانه جنگ با ایران، ارزیابی اطلاعاتیای در سراسر ارتش آمریکا دستبهدست شد که یک جملهاش کافی بود تا زنگهای خطر یکییکی به صدا درآیند: کشتیای چینی در خاورمیانه قطعات یک برنامه تسلیحات هستهای را جابهجا میکند. به روایت چهار منبع آگاه که با سیانان گفتوگو کردهاند، ارتش برای رهگیری کشتی وارد عمل شد؛ به گفته دو منبع، نیروهای مسلح در آستانه سوار شدن به آن بودند و به گفته منابعی مطلع، هواپیماهای نظامی از پیش در آسمان. یکی از منابع، ارزیابی را یکسره نادرست خوانده و گفته است نزدیک بود جنگی به راه بیندازد.
منشأ ماجرا تحلیلگری در فرماندهی عملیات ویژه بود که دادههای مربوط به فهرست بار کشتی را به یک چتبات سپرده بود. مدل، منابع باز را با اطلاعات سیگنالیِ طبقهبندیشده درآمیخت و به نتیجهای رسید که با واقعیت نمیخواند. بدتر آنکه تحلیلگر بار دیگر به هوش مصنوعی رو آورد تا یافتهها را به قالب استاندارد یک گزارش اطلاعاتی درآورد. حرفی که هنوز کسی نسنجیده بود، با لباس رسمی سند، پلهپله در سلسلهمراتب نظامی بالا رفت و اعتباری وام گرفت که هرگز کسب نکرده بود.
توهم مدل زبانی خبر نیست. این سامانهها برای تولید متنی باورپذیر طراحی شدهاند، نه برای تشخیص درست از نادرست، و هنوز یاد نگرفتهاند که در برابر پرسشی بیپاسخ صادقانه بگویند نمیدانم. خبر این است که نهادی که کارش جدا کردن واقعیت از شایعه است، شایعهای ماشینی را از صافی خود گذراند و تا آستانه عملیات رساند.
هنوز روشن نیست چتبات بهکاررفته محصولی تجاری بوده یا ساخته دولت آمریکا. یک مقام ارشد پیشین آمریکا که با ابزارهای هوش مصنوعی تحلیلگران آشناست، به این شبکه گفته است ابزارهای داخلی بیشتر همان مدلهای بازارند با آرایشی تازه. اگر چنین باشد، «نسخه نظامی» تنها یک برچسب است و کاستیها، همراه مدل، از بازار به پایگاه میروند.
اما نگرانکنندهترین بخش ماجرا خطای ماشین نیست، رفتار سازمان است. سندی که میبایست چندین بازبینی را پشت سر میگذاشت، بیمانع پیش رفت تا آنکه مقامها، به روایت همین گزارش، اندکی پیش از عملیات متن را دقیقتر بررسی کردند و فهمیدند مدل محموله را اشتباه تشخیص داده است. وارسی باید دم در انجام میشد، آنجا که ادعا وارد سامانه میشود؛ نه وقتی هواپیماها در هوا بودند.
ریشه چنین سهلانگاریای را باید در انگیزههای نهادی جست. در نهادها و وزارتخانههایی که آبرو و بودجهشان به وعده هوش مصنوعی گره خورده، تردید در ماشین بهسادگی به تردید در پروژه ترجمه میشود و منتقدِ پروژه جایگاه خودش را در خطر میبیند. مقامهای آمریکایی میکوشند این فناوری را تقریباً در همه بخشهای کار بگنجانند، از تحلیل حجم عظیم اطلاعات خام تا گزینش اهداف حمله. در جنگ، سرعت هم امتیاز است و هم بهانه؛ و ماشین دقیقاً همان چیزی را میفروشد که فرمانده در آن لحظه بیش از همه میخواهد: پاسخی فوری، با لحنی مطمئن.
ارسطو برای آنچه اینجا غایب بود نامی داشت: فرونسیس یا حکمت عملی؛ توانایی سنجیدن وضعیتی مشخص با تکیه بر تجربه و شناخت پیامدها. مدل زبانی داده دارد و فرونسیس ندارد؛ بدتر آنکه مرز نادانستههایش را هم نمیشناسد. این کاستی را میشد پیشبینی کرد. آنچه نباید رخ میداد، غیبت داوری انسانی بود: از روایتها برمیآید تحلیلگر هم پرسش را به ماشین واگذار کرد و هم بستهبندی پاسخ را، و از داور به پیک بدل شد.
و اگر کسی این مسیر را تا آخر میرفت؟ هر اقدام نظامی علیه یک کشتی چینی خطر آن را داشت که به درگیری مسلحانه میان دو کشور بکشد، آن هم بر پایه چیزی که در اصل خیالبافی یک مدل زبانی بود. در رقابت فزاینده قدرتهای بزرگ بر سر فناوریهای نوظهور، دیگر لازم نیست کسی جنگ بخواهد؛ کافی است ماشینی قاطعانه حرف بزند و انسانی نپرسد.
این بار، کسی پیش از دیر شدن دوباره نگاه کرد. اما راهبردی که امنیتش به «این بار» بسته باشد، راهبرد نیست؛ قمار است. مگر آنکه وارسی انسانی جزئی از طراحی سامانه شود، هر ادعا از ماشین تا فرمانده قابل ردگیری باشد و برای هر خطای الگوریتمی انسانی مشخص پاسخگو بماند. در غیر این صورت، دفعه بعد شاید هیچکس نگاه دوم را نیندازد.
کامران مشفق آرانی، آیندهپژوه حوزه فناوری و هوش مصنوعی
منبع: خط بازار
