فهرست مطالب
گوگل دیپمایند و Artificial Analysis در ۱۰ نوامبر ۲۰۲۶ معیار تازهای به نام Multimodal Knowledge Agent یا MKA معرفی کردند که توانایی عاملهای هوش مصنوعی را در انجام کارهای حرفهای با فایلهای تصویری پیچیده میسنجد. در نتایج اولیه، Claude Fable 5.2 امتیاز بالاتری گرفت و Gemini 4 Carbon با هزینه متوسط کمتر در رتبه بعدی قرار گرفت. این نتیجه به شرایط همین آزمون وابسته است و به معنی برتری قطعی یک مدل در تمام کارها نیست.
MKA چه چیزی را آزمایش میکند؟
این ارزیابی برای کارهایی طراحی شده که اطلاعات ضروری آنها فقط در متن ساده نیست. عامل ممکن است نقشه معماری، نمودار، اسکن یا شماتیک مهندسی دریافت کند و بر اساس آن گزارش، اسلاید یا صفحهگسترده بسازد. برای نمونه، در یکی از تمرینهای عمومی، عامل باید نقشههای طبقات را با نماها و برشهای ساختمان مقایسه و موارد ناسازگار را در یک ارائه ثبت کند.
گوگل میگوید کارشناسان ۱۰ حوزه و ۸۳ شغل در طراحی مجموعه ۲۰۰ وظیفهای مشارکت داشتهاند. هر وظیفه یک پروژه چندمرحلهای است که به گفته سازندگان، انجام آن برای فرد باتجربه سه تا هشت ساعت طول میکشد. این زمان توصیف سطح دشواری وظیفه است و به معنی مقایسه مستقیم سرعت انسان و مدل نیست.
امتیازها چطور محاسبه میشوند؟
برای هر کار، متخصصان حدود ۷۰ معیار بررسی نوشتهاند. طبق توضیح گوگل، معیارها از نظر محتوایی بهطور کلی ۷۵ درصد به صحت و ۲۵ درصد به طراحی بصری وزن میدهند. Artificial Analysis معیارها را به دو گروه پایه و دشوار تقسیم میکند و امتیاز اصلی، میانگین سهم وزنی معیارهای دشوار برآوردهشده در هر کار است. بنابراین امتیاز ۵۷ درصد به این معنا نیست که مدل ۵۷ درصد شغلها را میتواند بهطور کامل انجام دهد.
عاملها در محیط متنباز Stirrup با ابزارهای مشابه، از جمله اجرای کد، جستوجوی وب و مشاهده تصویر، و سقف ۲۵۰ نوبت اجرا میشوند. خروجیها را یک عامل ارزیاب مبتنی بر GPT-6 Luna با استفاده از دستورالعملهای کارشناسی بررسی میکند. گوگل گزارش میدهد ارزیابی این داور و متخصصان در بررسی انجامشده ۹۶ درصد همخوانی داشته است؛ جزئیات روش را باید همراه با همین رقم خواند.
نتایج اولیه Claude و Gemini چه میگویند؟
در جدول اعلامشده در زمان معرفی، Claude Fable 5.2 با تنظیم Max به امتیاز ۵۷ درصد در شاخص اصلی رسید. Gemini 4 Carbon با تنظیم High امتیاز ۵۴ درصد و Claude Opus 5.5 با تنظیم Max امتیاز ۵۳ درصد گرفتند. این نتایج به نسخه مدل، تنظیمات و ابزارهای مورد استفاده وابستهاند و جدول ممکن است بعداً تغییر کند.
Artificial Analysis هزینه متوسط هر وظیفه را برای Fable حدود ۳۱٫۹۷ دلار و برای Carbon حدود ۶٫۲۹ دلار گزارش کرده است. اختلاف سه واحد درصدی در امتیاز، کنار تفاوت هزینه نشان میدهد انتخاب برای یک پروژه واقعی فقط به رتبه اول بستگی ندارد. هزینههای گزارششده مختص اجرای این ارزیابیاند و هزینه یک پروژه واقعی به ورودی، تعداد مراحل و تعرفه وابسته است.
برای شناخت شرایط دسترسی و تعرفه خود مدل، گزارش عرضه Gemini 4 Carbon در فناوری کده را بخوانید. آن مطلب به دسترسی مدل میپردازد و MKA موضوعی جداگانه درباره شیوه سنجش عاملهاست.
محدودیتها و دسترسی به نمونهها
مجموعه اصلی ۲۰۰ وظیفهای نزد Artificial Analysis خصوصی نگه داشته میشود تا احتمال ورود پاسخها به دادههای آموزش کمتر شود. در مقابل، ۱۰ وظیفه نمونه بهصورت عمومی منتشر شدهاند. خصوصی بودن مجموعه اصلی از آلودگی داده کم میکند، اما بازبینی مستقل تمام موارد آزمون را هم محدود میکند.
این سنجش فقط بخشی از کار حرفهای را پوشش میدهد و داوری خودکار نیز ممکن است خطا کند. نتیجه بالا جای بررسی متخصص، کنترل امنیت اطلاعات یا آزمون روی دادههای واقعی سازمان را نمیگیرد. برای انتخاب مدل، بهتر است چند وظیفه نماینده خودتان را با معیار روشن دقت، هزینه و نیاز به بازبینی انسانی مقایسه کنید.
منابع



