مقالات

[ Video ] نحوه تنظیم هوش مصنوعی محلی در مک بوک 16 گیگابایتی


یکی از مشترکین یوتیوب من در یک نظر پرسید که چگونه یک مک بوک پرو 16 گیگابایتی M1 را برای اجرای مدل ها به روشی راحت تر، نه لزوماً در ترمینال، تنظیم کنید. این به عنوان واکنشی به ویدیوهای دمو مدل محلی من بود که به نظر می رسد اخیراً محبوبیت پیدا کرده است. مردم از این محتوا لذت می برند، اما چیزی بصری تر برای بازی با آنها می خواهند.

بنابراین، من یک ویدیوی جدید به طور خاص برای این کار ساختم. اگر از نوع بصری هستید، فقط آن را در زیر تماشا کنید.

https://www.youtube.com/watch?v=B74e3qaNTvI

اگر نه، برای تفصیل جزئیات نحوه انجام آن به ادامه مطلب بروید.

راه اندازی بنیاد هوش مصنوعی بومی در مک بوک

درک اساسی از اجرای یک هوش مصنوعی محلی این است که ابتدا باید مدل را “سرویس” کنید و این معمولاً در ترمینال انجام می شود. پس از این مرحله، می توانید از طریق یک رابط وب یا حتی یک برنامه دسکتاپ شروع به “مصرف” مدل کنید.

تعمیر و نگهداری مدل در مک با ابزاری به نام انجام می شود mlx-serve. این یک ابزار خط فرمان مستحکم است، با استدلال های زیادی که گاهی اوقات می تواند بسیار زیاد باشد. اما TLDR در اینجا این است که شما فقط باید 2 دستور را به خاطر بسپارید:

mlx-serve run

mlx-serve serve

بسته به اینکه آیا مدل از قبل محلی است یا نه، مدل را نیز در دستگاه شما دانلود می کند. ما از ollama یا سایر باینری های معتبرتر استفاده نمی کنیم زیرا mlx به طور خاص برای معماری فلزی مک شما بهینه شده است. به بیان ساده، مدل‌ها سریع‌تر و با منابع کمتری اجرا می‌شوند.

تعمیر و نگهداری مدل در حال حاضر 50 درصد از کار است.

از آنجا من 3 راه برای مصرف آن را بررسی می کنم.

استفاده از هوش مصنوعی محلی با Grok Build

Grok Build CLI پیش‌فرض من این روزها است – می‌دانم من یکپارچهسازی با سیستمعامل هستم و 90٪ از وقتم را در ترمینال می‌گذرانم. من قبلاً در مورد نحوه تنظیم الگوهای رایگان (چه محلی و چه از راه دور، در OpenRouter) در این پست صحبت کردم. این ویدیو فقط یک نسخه بسیار کوتاه از این است.

TLDR این است که شما Grok’s را ویرایش خواهید کرد config.toml با افزودن ویژگی های مدل و سپس انتخاب مدل در اواسط جلسه با /models داخل ساختمان گروک اگر بخواهید در ترمینال بمانید، پیچیده نیست، و همانطور که گفتم، این رویکرد من برای استفاده از هوش مصنوعی به طور کلی است.

استفاده از هوش مصنوعی بومی با رابط کاربری OpenWeb

OpenWeb UI یک بسته چت بر روی مدل محلی است، اما تجربه نسبتاً غنی را ارائه می دهد. نصب آن بسیار آسان است و یک رابط کاربری آشنا به سبک ChatGPT را به شما ارائه می دهد. می‌توانید مدل‌ها را تغییر دهید یا پارامترهای مدل را تنظیم کنید و به طور کلی کاری را که با یک رابط استاندارد ChatGPT انجام می‌دهید، انجام دهید، فقط از یک مدل محلی استفاده می‌کند. اگر بیشتر وقت خود را صرف مرور می کنید از آن استفاده کنید.

استفاده از هوش مصنوعی محلی با MLX-Serve (برنامه دسکتاپ)

پیچیده‌ترین و غنی‌ترین تجربه از MLX-Serve می‌آید، که یک برنامه کاربردی تأیید شده توسط اپل است که بر روی ابزار خط فرمان ذکر شده در ابتدای این مقاله ساخته شده است. این بهترین و زیباترین راه برای اجرای هوش مصنوعی بومی بر روی دستگاه شما است، و همه امکانات برای تبدیل شدن به یک برنامه معتبرتر برای کارهای روزمره هوش مصنوعی را دارد. علاوه بر تجربه چت، می‌توانید تصاویر، صدا (متن به گفتار)، موسیقی و حتی ویدیو نیز تولید کنید. پشتیبانی کاملی برای تعریف عوامل نیز وجود دارد و کارهای تکراری نیز دریافت می کنید.

این توصیه من برای کسانی است که می خواهند هوش مصنوعی بومی را در مک امتحان کنند.

تمامی لینک های برنامه های فوق در ویدیو موجود است، لطفاً آن را مشاهده کنید.

طبق معمول، اگر این نوع محتوا را دوست دارید، لایک کنید، به اشتراک بگذارید و در کانال YouTube من مشترک شوید، به رشد هوش مصنوعی بومی کمک خواهید کرد.


Source link

نوشته های مشابه

دیدگاهتان را بنویسید

دکمه بازگشت به بالا