آزمون مدل‌های هوش مصنوعی محلی: کیفیت، سرعت و قابل‌اعتماد بودن

#

مدتی است با LM Studio و چند مدل محلی کار می‌کنم. داشتن یک دستیار هوش مصنوعی که بدون فرستادن داده‌ها به بیرون از رایانه، کنار شما کار کند، واقعاً مزیت بزرگی است؛ اما پیش از تکیه‌کردن به چنین مدلی، چند نکته را باید بررسی کرد. برای مقایسه مدل‌ها در انواع مختلف وظایف، شش آزمون طراحی کردم.

این امتیازها ارزیابی من از پاسخ‌هایی هستند که دریافت کردم، نه ادعایی درباره توانایی کلی هر مدل. هر آزمون را فقط یک بار و با LM Studio Bionic 1.1.9-6 اجرا کردم و تنظیمات را روی حالت پیش‌فرض گذاشتم. نتایج ممکن است با تغییر پرامپت، تنظیمات نمونه‌گیری یا پیکربندی اجرا فرق کنند؛ بنابراین این بررسی مقایسه‌ای عملی است، نه یک بنچمارک علمیِ کنترل‌شده.

سخت‌افزار مورد استفاده در این آزمایش ASUS Creator Q540VJ بود:

مدل‌ها را از دو جهت ارزیابی کردم: کیفیت عملکرد در هر آزمون و مدت‌زمان لازم برای پاسخ‌گویی. ممکن است مدلی مسئله‌ای را خوب حل کند، اما آن‌قدر زمان ببرد که برای استفادهٔ روزمره مناسب نباشد. از طرف دیگر، پاسخ سریع وقتی استدلال یا علم پشت آن نادرست باشد، ارزش چندانی ندارد.

۱. نتایج کلی

#

برای هر آزمون، امتیازی ذهنی از ۱۰ در نظر گرفتم. میانگین‌ها میانگین سادهٔ شش امتیاز هستند؛ در مواردی که مدل نتوانسته به پرسش تعیین‌شده پاسخ دهد، امتیاز صفر نیز در محاسبه باقی مانده است.

میانگین‌ها برای داشتن یک تصویر کلی مفیدند، اما تفاوت‌های مهم را پنهان می‌کنند. ممکن است مدلی در نگارش و منطق خوب عمل کند، اما در شیمی قابل‌اعتماد نباشد؛ یا مدلی پاسخ علمی خوبی بدهد، ولی به پرسشی کاملاً متفاوت جواب دهد. این امتیازها را نباید اندازه‌گیری‌های دقیق یا رتبه‌بندی جهان‌شمول در نظر گرفت.

۲. شش آزمون چه چیزی نشان دادند؟

#

آزمون ۱ — منطق و استدلال

#

در این آزمون باید برچسب سه جعبهٔ میوه را، با این شرط که هر سه برچسب اشتباه‌اند، و تنها با برداشتن یک نمونه اصلاح می‌کردند. بیشتر مدل‌ها مسئله را درست حل کردند. Qwen3.5 9B، Gemma 4 E4B، Gemma 4 12B، Gemma 4 12B QAT و Gemma 4 E2B توضیح‌هایی روشن و از نظر منطقی سازگار ارائه دادند. Bonsai 27B ایدهٔ اصلی را فهمید، اما در بیان نتیجه‌گیری نهایی به‌اندازهٔ کافی صریح نبود.

Nemotron 3 Nano 4B کار را درست شروع کرد، اما در مثال خود با فرض اصلی تناقض پیدا کرد: برچسب‌گذاری پیشنهادی‌اش باعث می‌شد یکی از برچسب‌های اولیه درست از آب دربیاید. این معما ساده است، اما نکته‌ای مهم را نشان می‌دهد: توضیح روان می‌تواند یک خطای منطقی پایه‌ای را پنهان کند.

آزمون ۲ — کیفیت نگارش

#

از مدل‌ها خواستم مقاله‌ای حدوداً ۴۰۰ کلمه‌ای و سنجیده بنویسند دربارهٔ اینکه فناوری انسان را توانمندتر می‌کند یا وابسته‌تر. نتیجه تقریباً مساوی بود. هر هفت مدل متنی قابل‌قبول و منظم تولید کردند و تفاوت‌ها بیشتر به سبک و نوع استدلال مربوط بود.

Qwen3.5 9B بحثی متعادل ارائه داد؛ Bonsai 27B تمایز میان توانمندی و وابستگی را خوب بررسی کرد؛ و مدل‌های Gemma عموماً منسجم و خوش‌خوان بودند. Nemotron 3 Nano 4B از مثال‌های ملموس استفاده کرد، اما استدلال مخالف و نتیجه‌گیری آن به‌اندازهٔ برخی پاسخ‌های بهتر پرورده نبود. بعضی پاسخ‌ها نیز ادعاهای پرطمطراقی داشتند که پشتوانهٔ کافی برایشان ارائه نشده بود.

در آزمون نگارش برندهٔ روشنی مشخص نشد. مهم‌تر اینکه، نثر خوب پیش‌بینی‌کنندهٔ قابل‌اعتمادی برای دقت علمی در آزمون‌های بعدی نبود.

آزمون ۳ — پیروی از دستورها

#

در این آزمون، مدل باید توضیح زنگ‌زدگی را در دقیقاً ۱۵۰ کلمه و سه بند می‌نوشت، از واژگان تعیین‌شده استفاده می‌کرد، در بند دوم معادله‌ای شیمیایی می‌آورد و در بند سوم از یک تشبیه استفاده می‌کرد.

هیچ مدلی تمام خواسته‌ها را بی‌نقص برآورده نکرد. Gemma 4 12B QAT نسبتاً خوب از محدودیت‌ها پیروی کرد و واکنش کلیِ موازنه‌شده‌ای نوشت. Bonsai 27B تعداد کلمات را رعایت کرد، اما معادله‌اش موازنه نبود. Gemma 4 E4B پاسخی خوش‌خوان تولید کرد که به‌طور محسوسی از محدودیت طول فراتر رفت؛ چند مدل دیگر نیز از تعداد کلمات خواسته‌شده عبور کردند یا در توضیح شیمیایی اشتباه داشتند.

این آزمون تفاوت میان روان‌نویسی و رعایت دقیق محدودیت‌ها را آشکار کرد. وقتی قالب یا یک شرط فنی قابل‌بررسی اهمیت دارد، توضیح قانع‌کننده به‌تنهایی کافی نیست.

آزمون ۴ — شیمی رادیکال‌ها و حالت‌های اسپینی

#

این یکی از آموزنده‌ترین آزمون‌ها بود. مدل‌ها باید بازترکیب رادیکال‌ها، جفت‌شدن الکترون‌ها، حالت‌های سینگلت و تریپلت، محدودیت‌های اسپینی و سازوکاری برای امکان‌پذیر شدن تحول اسپین را توضیح می‌دادند.

تمایز اصلی این است که یک رادیکال منفرد با یک الکترون جفت‌نشده معمولاً گونه‌ای با حالت دوتایی (doublet) است؛ درحالی‌که یک جفت متشکل از دو رادیکال می‌تواند حالت اسپینی ترکیبی سینگلت یا تریپلت داشته باشد. برخی پاسخ‌ها تفاوت میان حالت اسپینی یک رادیکال منفرد و حالت جفت رادیکالی را از دست دادند.

Gemma 4 12B با امتیاز ۸ از ۱۰ بهترین عملکرد را داشت. پاسخ آن اوربیتال‌های مربوط و توابع اسپینی را پوشش داد، هرچند ادعاهایش دربارهٔ حالت‌های تریپلت و تشکیل پیوند نیاز به دقت بیشتری داشت. Qwen3.5 9B و Bonsai 27B مبانی را نسبتاً خوب توضیح دادند، اما محدودیت‌های اسپینی را بیش از حد ساده کردند. Gemma 4 12B QAT خطای مهمی مرتکب شد و چندگانگی یک حالت تریپلت را ۴ اعلام کرد؛ درحالی‌که برای \(S=1\)، چندگانگی درست از رابطهٔ \(2S+1=3\) به دست می‌آید. Nemotron 3 Nano 4B و Gemma 4 E2B نیز اشتباه‌های مفهومی قابل‌توجهی داشتند.

در شیمی تخصصی، این‌ها خطاهای ظاهری نیستند. اشتباه‌گرفتن چندگانگی یا حالت اسپینی جفت رادیکالی می‌تواند کل توضیح را زیر سؤال ببرد، حتی اگر پاسخ بسیار تخصصی به نظر برسد.

آزمون ۵ — حل مسئله

#

وظیفه این بود که از میان ۱۰۰۰ بطری، بطری مسموم را با استفاده از ده آزمودنی و در یک نوبت آزمایش شناسایی کنند. راه‌حل استاندارد این است که به هر بطری یک کد دودویی ۱۰ بیتی منحصربه‌فرد اختصاص دهیم؛ الگوی آزمودنی‌هایی که می‌میرند، بطری را مشخص می‌کند. ده آزمودنی کافی است، چون \(2^{10}=1024\).

Nemotron 3 Nano 4B، Gemma 4 E4B و Gemma 4 12B QAT بهترین پاسخ‌ها را ارائه کردند. Qwen3.5 9B روش درستی به کار برد، اما در مثال دودویی خود ناسازگاری داشت؛ Gemma 4 E2B نیز در شماره‌گذاری بطری‌ها اشتباه کرد.

Bonsai 27B و Gemma 4 12B در این آزمون به‌شدت شکست خوردند: پاسخ‌های ثبت‌شدهٔ آن‌ها راه‌حل درستی برای مسئلهٔ تعیین‌شده ارائه نکرد. این موضوع جدی‌تر از یک اشتباه محاسباتی کوچک است. از این آزمون به‌تنهایی نمی‌توان فهمید که علت، آلودگی پرامپت، مدیریت زمینهٔ گفتگو یا مسئله‌ای دیگر در فرایند استنتاج بوده است؛ اما در همین اجرا، خروجی آن‌ها قابل‌اتکا نبود. برای نتیجه‌گیری کلی‌تر دربارهٔ هر یک، باید آزمون را در گفتگویی تازه تکرار کرد.

آزمون ۶ — اثرات میدان مغناطیسی بر سامانه‌های شیمیایی

#

این مهم‌ترین آزمون برای ارزیابی کاربرد علمی مدل‌ها بود. پرسش این نبود که آیا مدل می‌تواند نام معادلهٔ لیوویل–فون نویمان، برهم‌کنش زیمان یا سینتیک آرنیوس را ذکر کند؛ مسئله این بود که آیا می‌تواند با تکیه بر این مفاهیم، طرحی از نظر فیزیکی قابل‌دفاع برای بررسی اثرات میدان مغناطیسی بسازد یا نه.

یک چارچوب مفید باید شیمی جفت رادیکالیِ وابسته به اسپین، سینتیک معمولِ وابسته به دما، اثر میدان مغناطیسی بر تحول اسپین و آرتیفکت‌های آزمایشی‌ای را که ممکن است شبیه اثر واقعی به نظر برسند، از هم متمایز کند. همچنین نباید یک ویژگی منفرد—مثلاً پاسخ غیرخطی به میدان یا ناهمسانگردی—را به‌تنهایی اثبات یک سازوکار بداند.

Bonsai 27B با امتیاز ۸ از ۱۰ بالاترین امتیاز را گرفت. این مدل تحول ماتریس چگالی، یک هامیلتونی اسپینی شامل برهم‌کنش‌های زیمان، فوق‌ریز و تبادلی، و بررسی پارامترها در شدت‌های مختلف میدان، جهت میدان و دما را پیشنهاد کرد. این‌ها عناصر امیدوارکننده‌ای برای شروع یک بررسی هستند. بااین‌حال، برخی نشانه‌های مورد انتظار را بیش از حد قطعی بیان کرد و چارچوب پیشنهادی پیش از پیاده‌سازی همچنان به بررسی دقیق نیاز داشت.

Qwen3.5 9B و Gemma 4 12B هر دو امتیاز ۷ از ۱۰ گرفتند. هر دو طرح‌های مفیدی ارائه دادند، اما معادلات و تمایزهای سازوکاری آن‌ها به اصلاح نیاز داشت. Gemma 4 E4B و E2B نقطهٔ شروع معقولی پیشنهاد کردند، ولی جزئیات کافی برای ساخت مدلی آمادهٔ شبیه‌سازی نداشتند. Gemma 4 12B QAT چند ادعای کلی یا فاقد توجیه کافی مطرح کرد. پاسخ Nemotron 3 Nano 4B ضعیف‌ترین بود: رابطه‌های مشکوکی میان کوپلینگ تبادلی و شدت میدان مطرح کرد، کدی ارائه داد که مدل ادعاشده را به‌درستی پیاده‌سازی نمی‌کرد و دربارهٔ وابستگی اثر به میدان ادعاهای متناقضی داشت.

درس اصلی این آزمون این است که معادلات و واژگان علمی به‌تنهایی پاسخ یک مدل را از نظر علمی معتبر نمی‌کنند. هامیلتونی، طرح واکنش، فرض‌ها، پیاده‌سازی عددی و کمیت قابل‌اندازه‌گیریِ پیش‌بینی‌شده باید با یکدیگر سازگار باشند.

۳. سرعت هم اهمیت دارد

#

جدول زیر زمان‌های ثبت‌شده برای شش آزمون را نشان می‌دهد. این زمان‌ها به همین سخت‌افزار و همین مجموعه وظایف مربوط‌اند و رتبه‌بندی ذاتی سرعت مدل‌ها روی همهٔ رایانه‌ها یا تنظیمات نیستند.

اختلاف‌ها بسیار زیادند. Gemma 4 E2B هر شش آزمون را در ۲ دقیقه و ۳۹ ثانیه تمام کرد. Qwen3.5 9B کمی کمتر از ۱۴ دقیقه زمان برد. Bonsai 27B در مجموع بیش از دو ساعت وقت گرفت؛ از جمله ۴۳ دقیقه و ۳۷ ثانیه برای آزمون حل مسئله‌ای که در آن شکست خورد.

آزمون پیروی از دستورها این تفاوت را به‌خوبی نشان می‌دهد. Bonsai برای پاسخ به یک درخواست دقیق با محدودیت ۱۵۰ کلمه، ۴۲ دقیقه و ۱۳ ثانیه زمان صرف کرد، اما معادلهٔ شیمیایی آن موازنه نبود. Gemma 4 12B QAT نیز بیش از ۳۳ دقیقه برای همان آزمون زمان برد. در مقابل، Gemma 4 E2B در ۱۱ ثانیه پاسخ داد، هرچند تمام محدودیت‌ها را رعایت نکرد.

این نتایج ثابت نمی‌کنند که مدل‌های بزرگ‌تر ذاتاً ناکارآمدند. تنظیمات استدلال، طول خروجی، پردازش پرامپت، کوانتش، واگذاری محاسبات به GPU و رفتار زمان اجرای مدل همگی می‌توانند بر زمان نهایی اثر بگذارند. آزمایش نشان می‌دهد که با تنظیمات استفاده‌شده چه اتفاقی افتاده است، نه اینکه علت تمام تأخیرها چه بوده.

۴. نتیجه‌گیری کاربردی

#

برای این سیستم، کار را با سه مدل شروع می‌کنم و مدل چهارم را به‌عنوان گزینه‌ای اختیاری نگه می‌دارم:

Gemma 4 E2B قهرمان سرعت است. Gemma 4 E4B جایگزینی متعادل از نظر کیفیت و سرعت به شمار می‌رود و Qwen3.5 9B در مجموع این شش آزمون بهترین توازن را ارائه می‌دهد. نگه‌داشتن Nemotron فقط وقتی منطقی است که سرعت و عملکرد خوبش در بعضی وظایف ساختاریافته، در کار روزمره واقعاً مفید باشد.

Bonsai 27B مورد خاص و جالبی است. پاسخ آن دربارهٔ اثرات میدان مغناطیسی در این نمونه بهترین بود، اما زمان طولانی و شکست در آزمون حل مسئله باعث می‌شوند نتوانم آن را به‌عنوان مدل پیش‌فرض توصیه کنم. تکرار آزمون در یک گفتگوی تازه ممکن است ارزیابی را تغییر دهد. صرفاً بزرگ‌تر بودن مدل‌های 12B نیز دلیلی برای ترجیح خودکار آن‌ها نیست.

برای عکس‌ها، صفحات اسکن‌شده و اسکرین‌شات‌ها، بهتر است درک تصویر و OCR را جداگانه بسنجیم. یک مدل چندوجهی می‌تواند در تفسیر تصویر کمک کند، اما ابزار اختصاصی OCR ممکن است در استخراج متن بهتر عمل کند. شش آزمون حاضر برای رتبه‌بندی مدل‌ها در این وظایف کافی نیستند.

نتیجهٔ نهایی

#

مهم‌ترین یافته این نیست که کدام مدل اول شد. نکته این است که نثر قانع‌کننده با استدلال قابل‌اعتماد یکسان نیست و تعداد پارامترهای بیشتر نیز عملکرد عملی بهتر را تضمین نمی‌کند. بعضی مدل‌ها خوب می‌نوشتند اما محدودیت‌های صریح را رعایت نمی‌کردند؛ بعضی دیگر از اصطلاحات علمی استفاده می‌کردند، بی‌آنکه معادلاتشان را به یک مدل فیزیکی قابل‌دفاع پیوند دهند. پاسخ‌های کندتر هم لزوماً بهتر نبودند.

برای استفادهٔ روزمرهٔ محلی، ترکیب Gemma 4 E2B + Gemma 4 E4B + Qwen3.5 9B انتخاب اولیهٔ من است. Nemotron 3 Nano 4B را فقط وقتی اضافه کنید که در وظایف تکرارشونده نقش مشخصی داشته باشد. تا زمانی که تأخیر و شکست‌های مدل‌های بزرگ‌تر بررسی نشده‌اند، آن‌ها را در اولویت قرار نمی‌دهم.

برای کار علمی جدی، دور بعدی آزمون باید از پرامپت‌های کلی پژوهشی فراتر برود. به همهٔ مدل‌ها یک هامیلتونی اسپینی کوچک و حالت اولیه‌ای یکسان بدهید، از آن‌ها بخواهید احتمال سینگلتِ قابل‌بررسی را محاسبه کنند و نتیجه را با یک محاسبهٔ مستقل در Python مقایسه کنید. چنین آزمونی روشن می‌کند که مدل فقط می‌تواند فیزیک را توصیف کند یا واقعاً محاسبه‌ای پیشنهاد می‌دهد که بتوان آن را بررسی و بازتولید کرد.

یک مدل محلی لازم نیست همه‌چیز را انجام دهد. ارزش آن در خصوصی‌بودن، در دسترس بودن و پاسخ‌گویی سریع برای کارهایی است که از عهده‌شان برمی‌آید. مدل مناسب، مدلی است که برای کار موردنظر مفید باشد؛ نه لزوماً مدلی که بیشترین پارامترها را دارد.