مقالات

[Video] اجرای Xiaomi MiMo V2.6 Qwen 9b Distill با ظرفیت 16 گیگابایت مگابایت


این سومین ویدیو از مجموعه ای است که در این ماه شروع کردم. من سعی می‌کنم آزمایش‌هایم را در مورد اجرای مدل‌های نسبتاً کوچک – اما قدرتمند – روی یک ماشین سطح پایه، M1 MacBookPro 16 گیگابایتی خود به اشتراک بگذارم. هفته گذشته Google Gemma 4 E4B را روی همان مک بوک پرو 16 گیگابایتی M1 آزمایش کردم و هفته قبل از آن ترناری بونسای 2، نسخه 2 بیتی Qwen 3.8 27B بود.

اگر می‌خواهید به ویدیو بروید، ادامه دهید:

https://www.youtube.com/watch?v=oW3GbqfsTec

اگر ترجیح می دهید بخوانید، بیایید برویم.

هیچ چیز در روش تغییر نکرده است، من هنوز از همان سؤالات و چالش های کدنویسی استفاده می کنم و ضبط های صفحه به هیچ وجه تسریع یا ویرایش نمی شوند، بنابراین شما دقیقاً همان چیزی را که می توانید به طور واقع بینانه روی یک ماشین سطح ابتدایی اجرا کنید، با سرعت واقعی – با وای فای خاموش اگر بخواهید آن را خاموش کنید، به دست می آورید.

مدل امروزی MiMo V2.6 شیائومی است که تقطیر Qwen با 9 میلیارد پارامتر است. شیائومی Qwen 9B را گرفت، آن را در مسیرهای خود آموزش داد و آن را به عنوان یک نقطه کنترل عامل معرفی کرد. روی کاغذ، در کارهای طولانی و کدنویسی که به ابزار نیاز دارد بهتر است.

هشدار منصفانه من یک چیز را در تنظیمات تغییر دادم. در ویدیوی بونسای از ترمینال استفاده کردم. این بار همه چیز را در MLX Core منتشر کردم، یک برنامه بومی مک که در بالای MLX قرار دارد، پیوند در انتهای این پست وبلاگ. کمی شبیه ChatGPT یا Codex Desktop است که پیگیری ضبط را آسان‌تر می‌کند. همچنین مقداری سربار حافظه اضافه می کند، بنابراین توکن ها کمی کندتر از اجرای CLI خام تولید می شوند.

اولین سوال این بود: “دلفین چیست؟” و پاسخ پس از حدود 30 ثانیه، تقریباً 12 توکن در ثانیه برگشت. پاسخ کاملتر از جما و بونسای بود. گونه های بیشتر، ساختار بیشتر، شبیه مدلی بود که دوست دارد فکر را تمام کند.

دومین درخواست، ابزار کوچکی است که من به عنوان آزمایش از آن استفاده می‌کنم: “یک اسکریپت پایتون بنویسید که کلمات موجود در هر فایل را در یک پوشه خاص شمارش کند.” MiMo کاری کرد که دیگران انجام ندادند: حتی قبل از نوشتن یک خط کد، از من خواست که ابزارها را فعال کنم. او از قبل می دانست که می خواهد چیزی را روی دیسک ذخیره کند. سپس حدود چهار دقیقه فکر کرد و ظاهر شد word_count.py. اسکریپت به خوبی کار می کند، اما مقداری زباله در خروجی چاپ شده وجود دارد – یک خط “mojibake in files” که از هیچ جا ظاهر شد، اما کار انجام شد.

من MiMo 2 را بین Gemma 4B و Trinary Bonsai 2 قرار می دهم. شاید در همان قفسه بونسای. شاید کمی کندتر. به اندازه کافی برای تعمیم و نوع کمک سریعی که می توانید به مدل 9B پرتاب کنید و انتظار داشته باشید با یک فایل از آنجا خارج شوید، خوب است. من یک جلسه طولانی کدنویسی عامل در این دستگاه را با این ایست بازرسی شروع نمی کنم.

و سپس بخشی که هنوز از تعداد توکن‌ها در ثانیه مهم‌تر است: رایگان است، برای هر کلمه هزینه‌ای از شما دریافت نمی‌کند و زمانی که لپ‌تاپ آفلاین است به کار خود ادامه می‌دهد.

اگر مدل دیگری دارید که می‌خواهید روی همین 16 گیگابایت M1 آزمایش شود، در زیر ویدیو نظر بدهید. من اکنون سه کامنت بعدی را از آخرین دور نظرات دارم.

چند لینک اگر می خواهید همین کار را اجرا کنید:

از تماشا و انتشار این خبر سپاسگزاریم. هر اشتراک گذاری، هوش مصنوعی محلی و مستقل را کمی کمتر از یک اسباب بازی آزمایشگاهی می کند.


Source link

نوشته های مشابه

دیدگاهتان را بنویسید

دکمه بازگشت به بالا