3 نوامبر 2026 9 نوامبر 2026 03-11-2026
چه خبر بودید، این آزمایش‌ها برای 16 گیگابایت مک‌بوک پرو وجود دارد. مدل‌های دیاپازون 4B–9B می‌توانند از سه تایی بونسای 2، به 27B (на тежко количество) استفاده کنند. آیا می‌توانید مدل را با یک عدد چند پارامتری در حافظه داخلی: Raspberry Pi 4 با رم 4 گیگابایتی انتخاب کنید.
من LFM3 1.7B را از Liquid Foundation Models انتخاب کردم. Достатъчно малък е، برای این منظور، اما همه چیز به دست می آید. این مدل را می‌سازد، کدی که در پیش‌بینی می‌شود، چه مدلی در بروشور، با کارکنانی که در وبGPU ساخته می‌شوند. صفحه نمایش صفحه نمایش در من و شروع به فعالیت در این صفحه — بدون SSH، این کار را نمی کند.
Optimization idva от настройка на پارامترها و پرسنل شناسایی на llama.cpp
راه اندازی آسان بود، اما نیاز به کمی اصلاح داشت. Instalirah llama.cpp, poigramh si malko با پارامترها, به طور عمده در زمینه های متنا و broya на нишките, مجموعه ای از کارکنان ترکیبی از فایل های دوگانه, استفاده از صفحه نمایش برای ARM flagove برای پردازنده های Pi. Персонализираното изграждане увеличи скоростта на генериране от около 2 токена در ثانیه تا приблизително 3 токена در ثانیه. این یک پیشرفت 50 درصدی است. При 3 tok/s той все още е бавен بر اساس استانداردهای استاندارد، اما ارائه می شود تا نزدیک به chetene، بنابراین че почти започва да احساس می کنم برای درمان وظایف. تقریبا
من همان دو تستی را انجام دادم که معمولا انجام می دهم. پاسخ‌ها برای تولید متن (“کد است”) پاسخ‌هایی را ارائه می‌کند – تنها از پاسخ‌های اصلی، که از چند مدل در این تست استفاده می‌کنند. وظیفه کدنویسی یک اسکریپت ساده شمارش کلمات در پایتون بود. مدل کد کاری تولید می کند و شامل دستورالعمل های اساسی برای اجرای آن است. هر دو تست کاملاً روی Pi باقی ماندند. برای من وصننادا، وظایفی که برای کدگذاری انجام می‌شود، برای تولید در متن، اما پیشنهاد می‌شود، برای این‌که متن برای بخش‌های مختلف بود، ارائه شد و فقط تولید شد.
Raspberry Pi 4 4 گیگابایتی یک دستگاه ارزان قیمت است. استفاده از آن به عنوان موتور رمزگذاری اصلی واقع بینانه نیست. برنامه میان مدت من این است که مانند یک ارکستراتور با آن رفتار کنم: می تواند وظایف با پیچیدگی متوسط یا کم را به تنهایی انجام دهد و کارهای سنگین تر را به ماشین های قدرتمندتر منتقل کند. در 3 توکن در ثانیه سرعت آن کند است، اما برای این نقش ممکن است کافی باشد.
من به آزمایش بهینه سازی های بیشتر و مدل های مختلف این راه اندازی ادامه خواهم داد. اگر Pi بتواند وظایف کوچکی به سبک عامل را بدون نیاز به هر بار فراخوانی به طور قابل اعتماد انجام دهد، به بخشی مفید از یک پشته محلی بزرگتر تبدیل می شود.
اگر از مطالبی مانند این لذت می برید، لطفاً لایک کنید، به اشتراک بگذارید و در کانال یوتیوب من مشترک شوید!
من 15 سال است که مستقل از موقعیت مکانی هستم
و من طرحم را رایگان به اشتراک می گذارم. چارچوب مستقل موقعیت مکانی بدون کرک و بدون پروانه که در واقع کار می کند.
به علاوه: بینش هفتگی در مورد بهره وری، پایداری مالی و روابط معنادار.
🎉 موفق باشید! ایمیل خود را بررسی کنید تا اشتراک خود را تأیید کنید.
به صورت رایگان مثل آبجو رایگان.
