فهرست مطالب
از ۸ آبان ۱۴۰۵ (۳۰ اکتبر ۲۰۲۶) صاحبان سایت راه تازهای برای گفتن «محتوای مرا برای آموزش هوش مصنوعی برندارید» دارند. جواب کوتاه این است: OpenAI، گوگل، مایکروسافت و آنثروپیک اعلام کردهاند به یک سیگنال مشترک در فایل robots.txt احترام میگذارند. این سیگنال یک نام ثابت دارد: __usage_ai-training. کافی است سایت یک گروه ساده با این نام در robots.txt بنویسد. از آن به بعد لازم نیست ربات هر شرکت را جداگانه نام ببرد.
اما این تغییر هنوز همهجا اجرا نمیشود. آنثروپیک میگوید پیادهسازی را شروع کرده است. OpenAI از «چند ماه آینده» حرف میزند. گوگل و مایکروسافت هم سال ۲۰۲۷ را هدف گرفتهاند. خودِ متن فنی هم فعلاً فقط یک پیشنویس است و هنوز استاندارد رسمی نشده. در ادامه با زبان ساده توضیح میدهیم این سیگنال چیست، چطور کار میکند، چه کاری از آن برنمیآید و اگر سایت دارید، الان چه باید بکنید.
خلاصهٔ خبر در چند خط
چه اتفاقی افتاد؟ چهار شرکت بزرگ هوش مصنوعی روز ۳۰ اکتبر ۲۰۲۶ گفتند یک علامت مشترک را در robots.txt به معنای «مخالفت با آموزش مدل» میخوانند.
اسم سیگنال: __usage_ai-training که در خط User-Agent نوشته میشود و با دو زیرخط (__) شروع میشود.
از کجا آمده؟ از پیشنویس اینترنتی draft-kelley-aipref-training-preference-signal-00 که کوین کلی (Kevin Kelley) از آنثروپیک همان روز در IETF منتشر کرد.
زمان اجرا: آنثروپیک شروع کرده، OpenAI «در ماههای آینده»، گوگل در ۲۰۲۷ و مایکروسافت از ۱ فوریهٔ ۲۰۲۷.
اثر روی جستوجو: گوگل و مایکروسافت میگویند این انتخاب روی دیدهشدن سایت در نتایج معمولی جستوجو اثری ندارد.
محدودیت مهم: این فقط یک «ترجیح» است، نه قفل. جلوی ورود ربات را نمیگیرد و روی دادههایی که قبلاً جمع شده هم اثری ندارد.
اول چند مفهوم ساده
این خبر چند اصطلاح فنی دارد. پیش از جزئیات، معنی هر کدام را در یکی دو جمله مرور کنیم.
robots.txt چیست؟
یک فایل متنی کوچک در ریشهٔ هر سایت است؛ مثلاً در آدرس example.com/robots.txt. صاحب سایت در آن مینویسد کدام رباتها به کدام بخشها سر بزنند و کدام نه. این قاعده از دههٔ ۱۹۹۰ رایج بوده و در سال ۲۰۲۲ با شمارهٔ RFC 9309 رسماً استاندارد شد.
خزنده (Crawler) چیست؟
برنامهای است که خودکار صفحههای وب را باز میکند و محتوایشان را برمیدارد. موتورهای جستوجو با خزنده سایتها را فهرست میکنند. شرکتهای هوش مصنوعی هم با خزندههای خودشان متن جمع میکنند تا مدل بسازند.
«آموزش مدل» دقیقاً یعنی چه؟
کارگروه AIPREF در IETF آن را اینطور تعریف کرده است: استفاده از یک محتوا برای تغییر «پارامترهای آموختهشدهٔ» یک مدل هوش مصنوعی مولد. پارامترها همان عددهاییاند که دانش مدل در آنها ذخیره میشود. طبق همین تعریف، آموزش مدلهایی که فقط کار غیرمولد میکنند، مثل دستهبندی یا رتبهبندی، شامل این سیگنال نمیشود.
گراندینگ (Grounding) چیست؟
وقتی چتباتی مثل Copilot یا Gemini برای جواب دادن به یک سؤال، همان لحظه یک صفحهٔ وب را میخواند و از آن نقل میکند، به آن گراندینگ میگویند. این با آموزش فرق دارد. در آموزش، محتوا وارد خودِ مدل میشود. در گراندینگ، مدل فقط موقع جواب دادن به صفحه نگاه میکند و معمولاً لینکش را هم میدهد.
IETF و «توکن سیاستی» چیست؟
IETF (کارگروه مهندسی اینترنت) نهادی است که بسیاری از استانداردهای پایهٔ اینترنت را مینویسد. «توکن سیاستی» (Policy Token) اصطلاحی است که این پیشنویس ساخته: نامی که در خط User-Agent میآید، اما اسم هیچ ربات واقعی نیست. فقط نشان میدهد صاحب سایت دربارهٔ یک «نوع استفاده» از محتوایش چه نظری دارد.
تا امروز چطور جلوی آموزش را میگرفتند؟
تا پیش از این خبر، هر شرکت نام یا روش جداگانهای داشت. صاحب سایت باید فهرست را خودش پیدا میکرد و بهروز نگه میداشت. چند نمونهٔ رایج:
OpenAI: خزندهٔ GPTBot برای جمعآوری دادهٔ آموزشی.
آنثروپیک: ClaudeBot. طبق مرکز حریم خصوصی آنثروپیک، بستن ClaudeBot یعنی محتوای آیندهٔ سایت از دادهٔ آموزشی کنار گذاشته شود.
گوگل: Google-Extended که از ۲۰۲۳ وجود دارد. این یک نام کنترلی است، نه یک ربات جدا.
مایکروسافت: برچسبهای قدیمیتر NoCache و NoArchive در خودِ صفحه.
مشکل روشن بود. اگر یک نام را از قلم میانداختید، محتوایتان وارد آموزش آن شرکت میشد. هر شرکت تازهای هم که ربات میساخت، باید دوباره به فهرست اضافه میشد. به گفتهٔ OpenAI در اطلاعیهاش، سایتها مجبور بودند «برای تکتک ارائهدهندگان قاعدهٔ جداگانه نگه دارند».
توکن __usage_ai-training چطور کار میکند؟
ایدهٔ اصلی ساده است: هیچ دستور تازهای به robots.txt اضافه نمیشود. همان ساختار قدیمی به کار میرود. فقط بهجای نام یک ربات، نام این توکن در خط User-Agent میآید.
نمونهٔ اصلی پیشنویس
این سه خط عیناً در متن پیشنویس آمده است:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
معنیاش این است: صاحب سایت با استفاده از همهٔ صفحهها برای آموزش هوش مصنوعی مخالف است، بهجز پوشهٔ press-kit که با آموزش روی آن موافق است. اگر فقط دو خط اول را بنویسید، ترجیح «نه به آموزش» برای کل سایت ثبت میشود.
قاعدهٔ ستاره حساب نمیشود
بیشتر سایتها گروهی با User-Agent: * دارند که برای همهٔ رباتها نوشته شده. پیشنویس صریحاً میگوید این گروه عمومی نباید بهعنوان ترجیح آموزشی خوانده شود. کوین کلی در ایمیلش به کارگروه توضیح داده که این کار عمدی بوده است. نتیجهاش این است که هیچ robots.txt موجودی، تا وقتی صاحبش این گروه تازه را اضافه نکند، هیچ ترجیحی ابراز نکرده است. پس اگر کاری نکنید، چیزی برای شما عوض نمیشود.
بستن یک پوشه یعنی موافقت با بقیه
این نکته کمتر دیده شده، اما مهم است. پیشنویس میگوید اگر طبق قواعد robots.txt مسیری «مجاز» باشد، یعنی صاحب سایت با آموزش روی آن موافق است. پس اگر در گروه این توکن فقط یک پوشه، مثلاً /archive/، را ببندید، در عمل برای بقیهٔ سایت «بله» گفتهاید، نه «نظری ندارم». اگر نمیخواهید دربارهٔ بقیهٔ صفحهها موضع بگیرید، بهتر است این نکته را پیش از نوشتن قاعده در نظر بگیرید.
نام شرکتها همچنان کار میکند
کنترلهای اختصاصی هر شرکت حذف نمیشوند. پیشنویس به آنها «توکن سیاستی اختصاصی» میگوید و اجازه میدهد شرکتها آنها را دقیقتر از سیگنال عمومی حساب کنند. یعنی میتوانید با توکن مشترک به همه «نه» بگویید و با نام یک شرکت خاص، مثل Google-Extended، فقط به همان یکی «بله» بگویید.
چه شرکتهایی از آن پشتیبانی میکنند و از کی؟
هر چهار شرکت قول دادهاند، اما زمانبندیشان یکی نیست. این جدول بر اساس اطلاعیههای رسمی خودشان است:
شرکت | وضعیت اعلامشده | زمان اجرا | نکتهٔ مهم |
|---|---|---|---|
آنثروپیک | پیادهسازی شروع شده | تدریجی؛ تاریخ کامل اعلام نشده | نویسندهٔ پیشنویس از آنثروپیک است؛ میگوید پوشش همهٔ سرویسها «زمان میبرد» |
OpenAI | قول احترام به سیگنال | «در ماههای آینده» | کنترلهای فعلی، مثل GPTBot، همچنان معتبر میمانند |
گوگل | برنامهٔ پشتیبانی | سال ۲۰۲۷ | «نه» با توکن مشترک، اگر Google-Extended جداگانه ذکر نشده باشد، مثل بستن Google-Extended خوانده میشود |
مایکروسافت | برنامهٔ پشتیبانی همراه با تنظیم جدید گراندینگ | از ۱ فوریهٔ ۲۰۲۷، همزمان با خزیدن دوبارهٔ Bing | NoCache و NoArchive از ۱ مارس ۲۰۲۷ دیگر ترجیح آموزشی حساب نمیشوند |
متا | حمایت لفظی | اعلام نشده | اندی استون، مسئول ارتباطات متا، از ایده حمایت کرد اما نگفت متا به آن عمل میکند |
اپل، آمازون و xAI تا عصر جمعه ۳۰ اکتبر حمایتی اعلام نکرده بودند. پس فعلاً برای این شرکتها باید همان روشهای اختصاصی خودشان را به کار برد.
گوگل و مایکروسافت چه جزئیات بیشتری گفتهاند؟
گوگل: توکن مشترک بهجای Google-Extended
جان مولر (John Mueller) در وبلاگ Google Search Central نوشته است: اگر سایتی با این توکن مخالفتش را با آموزش اعلام کند و Google-Extended را جداگانه نام نبرده باشد، گوگل آن را مثل بستن Google-Extended تفسیر میکند. گوگل یک نکتهٔ مهم دیگر هم گفته است: سایتهایی که Google-Extended را صریحاً مجاز میکنند، میتوانند در پاسخهای مبتنی بر وب اپلیکیشن Gemini ظاهر شوند و از آنجا کلیک بگیرند.
به گفتهٔ گوگل، این پیشنهاد با «آییننامهٔ رفتاری اتحادیهٔ اروپا برای مدلهای هوش مصنوعی همهمنظوره» هم سازگار است. این آییننامه ذیل قانون هوش مصنوعی اروپا (EU AI Act) نوشته شده و robots.txt را یکی از روشهای اصلی ابراز ترجیح ناشران میداند.
مایکروسافت: آموزش و گراندینگ را جدا کنید
مایکروسافت در وبلاگ Bing یک گام جلوتر رفته است. طبق این اطلاعیه، از ۱ فوریهٔ ۲۰۲۷ دو ترجیح مستقل خوانده میشود:
آموزش (AI Training): برای کل سایت یا یک مسیر، با همان توکن مشترک در robots.txt. برای یک صفحهٔ تکی هم میشود از برچسب متا استفاده کرد، مثل <meta name="Bingbot" content="ai-training:disallow">. تنظیم صفحه بر robots.txt مقدم است.
گراندینگ (AI Grounding): فقط در سطح صفحه، با سه گزینه: مجاز، ممنوع (ai-grounding:disallow)، یا «فقط محصولات خود مایکروسافت» (ai-grounding:disallowextended). گزینهٔ آخر استفاده در Copilot و AI Mode و Microsoft 365 را مجاز میکند، اما سرویسهای گراندینگی که مایکروسافت به شرکتهای دیگر میفروشد را نه.
مایکروسافت هشدار داده که بستن گراندینگ، دیدهشدن برند شما را در پاسخهای هوش مصنوعی کم میکند. اما هیچکدام از این دو انتخاب روی جایگاه سایت در نتایج معمولی Bing اثر ندارد. پیشفرض هر دو هم «مجاز» است.
تاریخهای مهم برای کاربران فعلی Bing
۱۵ دسامبر ۲۰۲۶ (۲۴ آذر ۱۴۰۵): فقط سایتهایی که تا این روز از NoCache یا NoArchive استفاده میکنند، میتوانند از گزینهٔ انتقالی موقت در Bing Webmaster Tools استفاده کنند.
۱ فوریهٔ ۲۰۲۷ (۱۲ بهمن ۱۴۰۵): ترجیحهای جدید همزمان با خزیدن دوبارهٔ صفحهها اجرا میشوند.
۱ مارس ۲۰۲۷ (۱۰ اسفند ۱۴۰۵): مهلت انتشار ترجیحهای جدید. بعد از آن NoCache و NoArchive دیگر ترجیح آموزش یا گراندینگ حساب نمیشوند.
۳۰ سپتامبر ۲۰۲۷: پایان اعتبار تنظیمهای موقت گراندینگ.
این سیگنال چه کاری نمیکند؟
برای اینکه انتظار درستی داشته باشید، محدودیتها را هم بدانید. همهٔ موارد زیر در متن خودِ پیشنویس یا اطلاعیههای رسمی آمده است:
جلوی ورود ربات را نمیگیرد. پیشنویس صریحاً میگوید این توکن «دستوری برای رفتار خزیدن نیست». اگر میخواهید رباتی اصلاً وارد سایت نشود، باید همچنان آن ربات را با نام خودش ببندید.
داوطلبانه است. فقط شرکتهایی که پذیرفتهاند به آن عمل میکنند. رباتهایی که robots.txt را نادیده میگیرند، این سیگنال را هم نادیده میگیرند.
به گذشته برنمیگردد. طبق پیشنویس، ترجیحی ملاک است که هنگام برداشتن محتوا در robots.txt بوده. پس روی دادههایی که قبلاً جمع شده اثری ندارد.
گراندینگ و جستوجو را پوشش نمیدهد. این توکن فقط دربارهٔ آموزش است. خواندن صفحه برای جواب لحظهای چتبات یا فهرست شدن در موتور جستوجو موضوع جداگانهای است.
قرارداد خصوصی مقدم است. پیشنویس میگوید توافقهای خصوصی، مثل قرارداد مجوز بین یک ناشر و یک شرکت هوش مصنوعی، میتوانند این ترجیح را کنار بگذارند.
هنوز استاندارد نیست. این یک پیشنویس فردی است. صفحهٔ IETF میگوید چنین سندی «هیچ جایگاه رسمی» در روند استاندارد ندارد. اعتبارش هم ۳ مه ۲۰۲۷ تمام میشود، مگر اینکه بهروز شود. خود کلی هم نوشته که شیوهٔ تفسیر آنثروپیک ممکن است با پیشرفت کار «تغییر کند».
اگر سایت دارید، الان چه کنید؟
اگر یک وبلاگ یا سایت خبری فارسی دارید، این چند قدم کافی است:
اول تصمیم بگیرید. میخواهید محتوایتان در آموزش مدلها استفاده شود یا نه؟ این تصمیم با دیده شدن در جستوجو فرق دارد و روی رتبهٔ گوگل یا Bing اثری ندارد.
اگر جوابتان «نه» است، این دو خط را بهصورت یک گروه جدا به robots.txt اضافه کنید: User-Agent: __usage_ai-training و زیر آن Disallow: /.
قاعدههای فعلی را پاک نکنید. تا وقتی همهٔ شرکتها اجرا را شروع نکردهاند، GPTBot و ClaudeBot و Google-Extended را هم مثل قبل نگه دارید.
مراقب گروه ستاره باشید. به گروه User-Agent: * دست نزنید. بستن آن ممکن است موتورهای جستوجو را هم از سایت دور کند.
اگر از NoCache یا NoArchive برای Bing استفاده میکنید، تا ۱ مارس ۲۰۲۷ ترجیحهای جدید مایکروسافت را منتشر کنید.
بعد از تغییر، فایل را آزمایش کنید. یک اشتباه کوچک در robots.txt میتواند صفحههای مهم را از جستوجو هم پنهان کند. ابزار گزارش robots.txt در Google Search Console برای همین کار است.
چرا این خبر مهم است؟
دعوای ناشران و شرکتهای هوش مصنوعی سر محتوای وب چند سال است ادامه دارد. ناشران میگویند متنهایشان بیاجازه و بیپول برای ساختن مدلها برداشته میشود. در این مدت راهحلهای پراکندهای هم پیدا شد. مثلاً Cloudflare رباتهای هوش مصنوعی را بهطور پیشفرض میبندد و استاندارد RSL (Really Simple Licensing) به سایتها اجازه میدهد از خزندهها پول بگیرند.
تازگی این خبر در این است که برای اولین بار چهار سازندهٔ بزرگ مدل روی یک کلید واحد توافق کردهاند. این برای سایتهای کوچک مهم است که وقت و دانش دنبال کردن دهها نام ربات را ندارند. البته این قدم داوطلبانه است و هنوز به استاندارد رسمی تبدیل نشده. شبیه همکاریهای داوطلبانهٔ دیگری که پیشتر در همکاری ایمنی OpenAI و آنثروپیک و گوگل دیدیم، ارزش واقعی آن به اجرای دقیق و پیوستن شرکتهای دیگر بستگی دارد.
این خبر در هفتهای آمده که شرکتهای هوش مصنوعی زیر ذرهبین بیشتری هستند. OpenAI همین هفته قواعد رفتاری مدلهایش را بهروز کرد و آنثروپیک هم پروندهٔ ورود به بورس را ثبت کرد. هرچه این شرکتها بزرگتر میشوند، فشار برای شفافیت دربارهٔ دادهٔ آموزشی هم بیشتر میشود.
چه چیزی قطعی است و چه چیزی نه؟
تأییدشده
متن پیشنویس و نام دقیق توکن، __usage_ai-training، در سایت IETF منتشر شده است.
OpenAI، گوگل و مایکروسافت در وبلاگهای رسمی خود قول پشتیبانی دادهاند. آنثروپیک هم از زبان نویسندهٔ پیشنویس در فهرست ایمیل رسمی IETF اعلام کرده که پیادهسازی را شروع کرده است.
تاریخهای مایکروسافت (۱ فوریه و ۱ مارس ۲۰۲۷) در اطلاعیهٔ رسمی Bing آمده است.
هنوز نامعلوم
تاریخ دقیق اجرای OpenAI و گوگل.
اینکه این روش در نهایت در کارگروه AIPREF به استاندارد رسمی تبدیل شود یا تغییر کند.
اینکه شرکتهایی مثل متا، اپل، آمازون و xAI به آن عمل کنند یا نه.
اینکه شرکتها اجرای آن را چطور بهطور مستقل قابل بررسی میکنند.
جمعبندی
سیگنال __usage_ai-training کار صاحبان سایت را خیلی سادهتر میکند. بهجای فهرست بلند نام رباتها، با دو خط در robots.txt میشود به چهار شرکت بزرگ گفت «محتوای مرا برای آموزش برندارید». اما این سیگنال قفل نیست، به گذشته برنمیگردد و جلوی خواندن صفحه برای جواب چتباتها را هم نمیگیرد. بهترین کار فعلاً این است: اگر مخالف آموزش هستید، گروه جدید را اضافه کنید و قاعدههای قدیمی را هم نگه دارید تا اجرای کامل در ۲۰۲۷ برسد.
سؤالهای پرتکرار
سیگنال __usage_ai-training چیست؟
یک نام مشترک برای خط User-Agent در robots.txt است. با آن صاحب سایت به همهٔ شرکتهای پذیرنده میگوید با استفاده از محتوایش برای آموزش هوش مصنوعی مولد موافق است یا مخالف.
برای منع آموزش هوش مصنوعی چه چیزی در robots.txt بنویسم؟
یک گروه جدا با دو خط: User-Agent: __usage_ai-training و Disallow: /. قاعدههای قبلی، مثل بستن GPTBot، را هم فعلاً نگه دارید.
آیا این کار رتبهٔ سایتم را در گوگل یا Bing پایین میآورد؟
نه. گوگل و مایکروسافت هر دو میگویند این ترجیح روی دیده شدن در نتایج معمولی جستوجو اثری ندارد. فقط بستن گراندینگ در Bing ممکن است حضور شما را در پاسخهای هوش مصنوعی کم کند.
کدام شرکتها به این سیگنال عمل میکنند؟
آنثروپیک، OpenAI، گوگل و مایکروسافت قول دادهاند. آنثروپیک شروع کرده، OpenAI در ماههای آینده و گوگل و مایکروسافت در ۲۰۲۷ اجرا میکنند. متا فقط حمایت لفظی کرده است.
آیا محتوایی که قبلاً برداشته شده هم حذف میشود؟
نه. طبق پیشنویس، ترجیحی ملاک است که هنگام برداشتن محتوا در robots.txt بوده. این سیگنال فقط برای آینده است.
آیا User-Agent: * هم ترجیح آموزشی حساب میشود؟
نه. پیشنویس صریحاً میگوید گروه ستاره نباید با این توکن تطبیق داده شود. تا وقتی گروه جدید را اضافه نکنید، هیچ ترجیحی ثبت نشده است.
آیا این سیگنال جلوی ورود رباتها به سایت را میگیرد؟
نه. این فقط ترجیحی دربارهٔ نوع استفاده است. برای بستن ورود یک ربات، باید همچنان آن را با نام خودش در robots.txt ببندید.
منابع
Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)؛ IETF، کوین کلی (Anthropic)، ۳۰ اکتبر ۲۰۲۶
New draft: draft-kelley-aipref-training-preference-signal-00؛ فهرست ایمیل کارگروه AIPREF در IETF، ۳۰ اکتبر ۲۰۲۶
Making it easier for websites to express AI training preferences؛ وبلاگ رسمی OpenAI، ۳۰ اکتبر ۲۰۲۶
Supporting a shared AI training control for websites؛ وبلاگ Google Search Central، جان مولر، ۳۰ اکتبر ۲۰۲۶
Your content, your choice: clearer preferences for training and grounding؛ وبلاگ Microsoft Bing، کریشنا مادهاوان، اکتبر ۲۰۲۶
The biggest names in AI are backing a new way to opt out of scraping؛ The Verge، ۳۰ اکتبر ۲۰۲۶
RFC 9309: Robots Exclusion Protocol؛ IETF، سپتامبر ۲۰۲۲



