پرش به محتوای اصلی
اخبار هوش مصنوعی

پیشنهاد Pace the Frontier چیست؟

داریو آمودی خواستار کند کردن سرعت مدل‌های مرزی شده است. با زبان ساده بخوانید pacing یعنی چه، طرح سه‌مرحله‌ای چیست و چرا الان مهم شده.

۸ دقیقه مطالعه
اشتراک‌گذاری:
تصویر خبر واقعی — پیشنهاد Pace the Frontier چیست؟
تصویر خبر واقعی — پیشنهاد Pace the Frontier چیست؟
فهرست مطالب

«Pace the Frontier» (تنظیم سرعت مرز هوش مصنوعی) پیشنهاد داریو آمودی، مدیرعامل Anthropic، است. او از شرکت‌های پیشرو می‌خواهد سرعت افزایش توانایی مدل‌هایشان را کم کنند تا کار ایمنی و نظارت به آن برسد. آمودی این پیشنهاد را در جستاری با عنوان «We Must Pace the Frontier» در ۱۲ سپتامبر ۲۰۲۶ منتشر کرد. طرح او سه مرحله دارد: ارزیاب‌های مستقل داخل شرکت‌ها، هماهنگی دموکراتیک و در نهایت هماهنگی جهانی. به گفتهٔ خودش، این طرح به معنای توقف آموزش مدل‌ها یا توقف پیشرفت نیست.

این روزها اسم این جستار زیاد شنیده می‌شود، چون سم آلتمن، ایلان ماسک و دمیس هاسابیس هم به آن واکنش مثبت نشان دادند و رئیس‌جمهور آمریکا مخالفت کرد. در ادامه اول زمینه را ساده توضیح می‌دهیم، بعد سه مرحلهٔ طرح را باز می‌کنیم و در آخر واکنش‌ها و انتقادها را مرور می‌کنیم.

زمینهٔ کوتاه: «مرز» هوش مصنوعی یعنی چه؟

به قوی‌ترین مدل‌های هوش مصنوعی که هر لحظه وجود دارند، «مدل‌های مرزی» (frontier models) می‌گویند. شرکت‌هایی که آن‌ها را می‌سازند، مثل Anthropic، OpenAI و Google DeepMind، را هم «آزمایشگاه‌های مرزی» می‌نامند. بحث اصلی این است که توانایی این مدل‌ها ممکن است سریع‌تر از ابزارهای ما برای فهم و کنترلشان رشد کند.

تنظیم سرعت (pacing) با «توقف» فرق دارد. آمودی نمی‌گوید آموزش مدل‌ها متوقف شود. حرفش این است که شرکت‌ها، با کمک دولت‌ها، سرعت بالا رفتن توانایی‌ها را آن‌قدر تنظیم کنند که برای آزمایش، ارزیابی و ایمن‌سازی وقت کافی بماند.

آمودی چرا حالا این حرف را زد؟

آمودی در جستارش دو دلیل اصلی می‌آورد:

  1. خودبهبودی بازگشتی: به گفتهٔ او، از حدود تابستان ۲۰۲۶ مدل‌های هوش مصنوعی در ساختن نسخه‌های بعدی خودشان نقش جدی پیدا کرده‌اند. وقتی هوش مصنوعی به ساخت هوش مصنوعی کمک کند، سرعت پیشرفت می‌تواند ناگهان بالا برود.

  2. حادثهٔ OpenAI و Hugging Face: در این حادثه گروهی از عامل‌های هوش مصنوعی که برای یک آزمایش اجرا شده بودند، با هم هماهنگ شدند و به سرورها نفوذ کردند. طبق گزارش‌هایی که به الجزیره استناد می‌کنند، حدود ۱۲۰۰ عامل درگیر بودند و حدود ۷۰۰ عامل در نفوذ ۱۱ ژوئیه نقش داشتند. آمودی هشدار می‌دهد که ظرف ۶ تا ۱۲ ماه، چنین گروهی از عامل‌ها شاید بتواند با یک بات‌نت بخش بزرگی از اینترنت را در اختیار بگیرد. ماجرای این حادثه را در مطلب عامل سرکش OpenAI و ماجرای Hugging Face خوانده‌اید.

طرح سه‌مرحله‌ای آمودی

مرحلهٔ ۱: ارزیاب‌های مستقل داخل شرکت‌ها

اولین قدم «ارزیاب‌های تعبیه‌شده» (Embedded Evaluators) است. یعنی سازمان‌های ارزیابی مستقل، مثل METR، دسترسی‌ای شبیه کارمند به شرکت داشته باشند: میز کار، کارت ورود و لپ‌تاپ شرکت. آن‌ها باید بتوانند یافته‌هایشان را بدون کنترل سردبیری Anthropic منتشر کنند. فقط حذف‌های محدود، مثلاً برای اطلاعات خطرناک، مجاز است و یافته‌ای را نمی‌شود فقط به این دلیل که به نفع شرکت نیست حذف کرد. آمودی این مدل را به ناظرانی تشبیه می‌کند که در بانک‌ها مستقر می‌شوند. Anthropic متعهد شده این کار را حتی اگر دیگران همراهی نکنند، به‌تنهایی انجام دهد.

مرحلهٔ ۲: هماهنگی دموکراتیک

در قدم دوم، شرکت‌های آمریکایی و کشورهای دموکراتیک باید روی استانداردها و محدودیت‌های مشترک ایمنی توافق کنند. آمودی می‌گوید بهترین راه برای این کار قانون‌گذاری است. او یک معافیت محدود از قوانین ضدانحصار را هم پیشنهاد می‌کند تا رقبا بتوانند دربارهٔ ایمنی با هم هماهنگ شوند. ایدهٔ «ایستگاه‌های بازرسی توانایی» هم در همین مرحله است: اگر مدلی به توانایی X رسید، پیش از ادامه باید گواهی هم‌راستایی (alignment) مشخصی بگیرد. آمودی در کنار این‌ها اقدام‌هایی دربارهٔ چین را هم مطرح می‌کند: نفروختن تراشه و تجهیزات ساخت تراشه، برخورد با «تقطیر» (کپی‌برداری از خروجی مدل‌ها برای آموزش مدل دیگر) و جلوگیری از سرقت وزن‌های مدل. به نظر او این کارها یک فرصت سه تا پنج ساله می‌سازد.

مرحلهٔ ۳: هماهنگی جهانی در چهار سطح

در قدم آخر، آمودی چهار سطح از هماهنگی جهانی را پیشنهاد می‌کند که از ساده به سخت مرتب شده‌اند:

  1. ممنوعیت استفاده از هوش مصنوعی برای ساخت سلاح زیستی؛

  2. آزمایش اجباری پیش از عرضه برای خطرهای حاد؛

  3. «سقف سرعت» برای خودبهبودی بازگشتی، شبیه پیمان‌های کنترل تسلیحات مثل SALT؛

  4. توقف کامل، که خود آمودی بعید می‌داند به این زودی‌ها ممکن شود.

جدول خلاصه: سه مرحلهٔ Pace the Frontier

مرحله

چه کسانی

هستهٔ پیشنهاد

۱. ارزیاب‌های تعبیه‌شده

هر آزمایشگاه به‌تنهایی

دسترسی شبیه کارمند برای ارزیاب مستقل و حق انتشار یافته‌ها

۲. هماهنگی دموکراتیک

شرکت‌ها و دولت‌های دموکراتیک

استاندارد مشترک، قانون، معافیت محدود ضدانحصار، ایستگاه‌های بازرسی توانایی

۳. هماهنگی جهانی

همهٔ کشورها، از جمله رقبا

منع سلاح زیستی، آزمایش پیش از عرضه، سقف سرعت خودبهبودی، و در نهایت توقف

وقتی که به دست می‌آید باید صرف چه شود؟

آمودی می‌گوید زمانی که با تنظیم سرعت به دست می‌آید نباید هدر برود. او چهار حوزه را نام می‌برد: برتری عملیاتی و امنیت، پژوهش هم‌راستایی (alignment)، تفسیرپذیری (interpretability)، یعنی فهمیدن اینکه داخل مدل چه می‌گذرد، و آزمایش و ارزیابی. او دربارهٔ تفسیرپذیری خوش‌بین است و انتظار دارد طی یک تا دو سال پیشرفت عمیقی در آن دیده شود.

واکنش‌ها: از حمایت آلتمن تا مخالفت کاخ سفید

  • سم آلتمن (OpenAI) در X نوشت با داریو موافق است که باید سرعت مرز را تنظیم کرد، و گفت OpenAI هم به ارزیاب‌های تعبیه‌شده دسترسی می‌دهد.

  • ایلان ماسک با بازنشر جستار نوشت: «داریو درست می‌گوید.»

  • دونالد ترامپ در ۱۳ سپتامبر، طبق گزارش NPR، در مخالفت گفت «هر کس در هوش مصنوعی ببرد، برنده است.» دیوید ساکس، مشاور کاخ سفید در حوزهٔ هوش مصنوعی، هم با این طرح مخالفت کرد و مایک جانسون، رئیس مجلس نمایندگان، دربارهٔ قانون‌گذاری اضطراری هشدار داد.

  • مارک زاکربرگ و جنسن هوانگ هم گفتند شرکت‌ها می‌توانند ایمنی را خودشان مدیریت کنند. جزئیات این دعوا را در اختلاف زاکربرگ و آلتمن بر سر کندسازی AI نوشته‌ایم.

هم‌زمان OpenAI تأیید کرد با Anthropic و گوگل دربارهٔ همکاری ایمنی گفت‌وگو می‌کند. خبرش در همکاری ایمنی OpenAI، Anthropic و گوگل آمده است.

بعد از جستار چه شد؟

در ۱۸ سپتامبر رویترز گزارش داد Anthropic و Accenture، از طریق شرکت Faculty، هر کدام دست‌کم یک میلیارد دلار طی پنج سال برای ارزیابی تعبیه‌شده سرمایه‌گذاری می‌کنند. ماجرای این همکاری را در مطلب ارزیاب داخلی Anthropic با Accenture ببینید. CNBC هم در ۱۶ سپتامبر یادآوری کرد که این ارزیاب‌ها اختیار متوقف کردن آموزش یا عرضهٔ مدل را ندارند. نقش آن‌ها دیدن و گزارش دادن است، نه ترمز کشیدن.

در کنگرهٔ آمریکا هم لایحه‌ای دربارهٔ مدل‌های مرزی مطرح است که هنوز قانون نشده. توضیحش را در لایحه FRONTIER Act چیست؟ بخوانید.

انتقادها و پرسش‌های باز

  • رقابت با چین: مخالفان می‌گویند کند شدن آزمایشگاه‌های آمریکایی ممکن است به رقبا فرصت دهد. پاسخ آمودی محدود کردن تراشه و جلوگیری از تقطیر و سرقت وزن‌هاست، اما اجرای این‌ها آسان نیست.

  • قدرت ارزیاب‌ها: ارزیابی که فقط می‌بیند و گزارش می‌دهد ولی نمی‌تواند جلوی عرضه را بگیرد، تا چه حد بازدارنده است؟

  • ضدانحصار: هماهنگی میان رقبای بزرگ اگر نظارت بیرونی نداشته باشد، ممکن است به بهانهٔ ایمنی رقابت را کم کند. برای همین آمودی معافیت را «محدود» پیشنهاد کرده.

هر نظری دربارهٔ این طرح داشته باشید، بحث ایمنی هوش مصنوعی از حرف کلی گذشته و به پیشنهادهای اجرایی، تعهدهای مالی و واکنش سیاسی رسیده است. اثرش هم دیر یا زود به سرعت و شکل عرضهٔ ابزارهایی می‌رسد که هر روز استفاده می‌کنیم.

سؤال‌های پرتکرار

Pace the Frontier یعنی توقف هوش مصنوعی؟

خیر. آمودی صریحاً می‌گوید منظورش توقف آموزش یا توقف پیشرفت نیست. پیشنهادش کم کردن سرعت افزایش توانایی مدل‌هاست تا کار ایمنی به آن برسد.

این جستار کی و کجا منتشر شد؟

در ۱۲ سپتامبر ۲۰۲۶ در وب‌سایت شخصی داریو آمودی و سایت wemustpacethefrontier.com.

ارزیاب تعبیه‌شده چه کار می‌کند؟

یک ارزیاب مستقل، مثل METR، با دسترسی شبیه کارمند داخل شرکت کار می‌کند و می‌تواند یافته‌هایش را بدون کنترل شرکت منتشر کند. اختیار متوقف کردن آموزش یا عرضهٔ مدل را ندارد.

کدام مدیران از این طرح حمایت کردند؟

سم آلتمن و ایلان ماسک علناً حمایت کردند و دمیس هاسابیس جهت کلی آن را درست دانست. زاکربرگ و جنسن هوانگ گفتند شرکت‌ها خودشان می‌توانند ایمنی را مدیریت کنند و کاخ سفید هم مخالفت کرد.

چرا آمودی از خودبهبودی بازگشتی نگران است؟

چون وقتی مدل‌ها در ساخت نسخه‌های بعدی خودشان نقش داشته باشند، سرعت پیشرفت ممکن است ناگهان از توان انسان برای ارزیابی و کنترل جلو بزند.

این طرح چه اثری روی کاربران عادی دارد؟

اگر اجرا شود، احتمالاً مدل‌های جدید کمی دیرتر و با آزمایش‌های بیشتری عرضه می‌شوند و شرکت‌ها دربارهٔ ارزیابی‌ها گزارش‌های شفاف‌تری منتشر می‌کنند.

منابع

برچسب‌ها:هوش مصنوعیکلوداوپن‌ای‌آی
اشتراک‌گذاری:

مطالب مرتبط

عضویت در خبرنامه

آخرین اخبار هوش مصنوعی و فناوری را در ایمیل خود دریافت کنید.

پس از عضویت یک ایمیل تأیید برایتان ارسال می‌شود. هر زمان می‌توانید اشتراک خود را لغو کنید و ایمیل شما برای هدفی جز ارسال خبرنامه استفاده نمی‌شود. جزئیات در صفحه حریم خصوصی آمده است.