Qwen від Alibaba запускаємо на домашньому ПК: інструкція, вимоги та несподівані результати тесту

В цій статті:

• Що таке Qwen3.8-27B і звідки вона взялася

• Архітектура: чому 27 млрд параметрів уміщуються в одну відеокарту

• Бенчмарки: заяви Alibaba та незалежні вимірювання

• Режими міркувань: головна особливість і головна пастка

• Яке залізо потрібне для локального запуску

• Практика: запуск моделі на комп’ютері через Ollama

• Тест: сцена в Blender одним скриптом

• Обмеження та нюанси

• Кому підійде Qwen3.8-27B

Бриф статті Поділитися Потужна AI-модель Alibaba тепер може працювати прямо на вашому комп’ютері — без хмари та платних підписок. Розповідаємо, як встановити Qwen, яке залізо знадобиться і як прискорити її роботу в 5,5 раза.

Модель Qwen3.8-27B від Alibaba на 27 млрд параметрів у таблиці розробників набирає на SWE-bench Pro 61,7%. При цьому у 4-бітній версії вона займає близько 17 ГБ і працює на домашньому комп’ютері з однією відеокартою. Ваги моделі відкриті за ліцензією Apache 2.0, що допускає комерційне використання.

Поєднання виявилося затребуваним. Модель подолала 1 млн завантажень на Hugging Face за кілька днів, а в спільноті за нею закріпилося прізвисько «локальний Opus». У LM Studio кількість завантажень моделі перевищила 1,6 млн.

Для користувачів головне в іншому: Qwen3.8-27B — одна з небагатьох моделей із результатами рівня закритих флагманів минулого покоління, яку можна запустити на комп’ютері з відеокартою на 24 ГБ або на Mac із 32 ГБ пам’яті. Дані при цьому не залишають пристрій — це важливо для роботи з фінансовими даними та внутрішньою документацією проєктів.

Редакція Incrypted розібралася, як влаштована Qwen3.8-27B, що показують бенчмарки розробників і незалежних платформ та яке залізо потрібне для локального запуску. У практичній частині — запуск моделі через Ollama на комп’ютері з відеокартою на 12 ГБ, налаштування, яке прискорило генерацію у 5,5 раза, і тест: генерація анімованої 3D-сцени в Blender одним скриптом.

• Ваги Qwen3.8-27B опубліковані на Hugging Face і ModelScope за ліцензією Apache 2.0; модель також доступна в Ollama, LM Studio і через API Alibaba Cloud.
• Характеристики: архітектура на 27,78 млрд параметрів, прийом тексту, зображень і відео, нативний контекст 262 144 токени з розширенням до 1 млн.
• За замовчуванням увімкнено максимальний рівень міркувань xhigh: модель витрачає в рази більше токенів, ніж аналоги. Для повсякденних завдань рівень варто знижувати.
• У 4-бітній квантизації модель займає 17-18 ГБ і працює на відеокарті з 24 ГБ відеопам’яті або на Mac із 32 ГБ пам’яті й більше.

Що таке Qwen3.8-27B і звідки вона взялася

Qwen — сімейство мовних моделей Alibaba Cloud. Міжнародну відомість команда здобула у 2025 році з гібридним сімейством Qwen3.

Alibaba представила сімейство гібридних ШІ-моделей Qwen3 29.04.2025 Читати

Відтоді компанія дотримується дворівневої стратегії: ваги малих і середніх моделей публікуються відкрито, а флагмани класу Max і Plus доступні через API.

Моделі на 27 млрд параметрів зайняли в цій лінійці окрему нішу. Це максимальний розмір щільної моделі, який після квантизації вміщується в одну споживчу відеокарту. Qwen3.8-27B, за описом Alibaba Cloud, побудована на її основі з поліпшеннями в програмуванні та офісних завданнях.

Модель вийшла в парі з флагманом Qwen3.8-Max на 2,4 трлн параметрів. Разом із 27B у відкритий доступ вийшла модель Qwen3.8-2.4T-A95B із 95 млрд активних параметрів на токен.

Meet Qwen3.8-Max — our most capable model to date.
Next week, the open weights of Qwen3.8-Max will be released, and Qwen3.8-27B is also going open-weights to meet you all!
Qwen3.8-Max, a new bar for coding and cowork at 2.4T parameters:
– Autonomous coding: 10+ days of… pic.twitter.com/e3YFj2hqcT

— Qwen (@Alibaba_Qwen) August 3, 2026

Для домашнього запуску старша модель недоступна: її ваги займають 4,9 ТБ, а в екстремальній 1-бітній квантизації — близько 397 ГБ. Тому основна увага спільноти дісталася саме 27B.

Архітектура: чому 27 млрд параметрів уміщуються в одну відеокарту

Qwen3.8-27B — щільна модель: під час генерації кожного токена задіяні всі параметри. Це відрізняє її від MoE-моделей на кшталт DeepSeek V4 або Kimi K3, де на токен активується лише невелика частина мережі. Щільна архітектура простіша в розгортанні та донавчанні, але потребує високої пропускної здатності пам’яті — цим пояснюються обмеження за швидкістю, про які йтиметься нижче.

Згідно з карткою моделі, мережа складається з 64 шарів із розмірністю 5 120. Ключова особливість — гібридна увага. На практиці це означає економію пам’яті на довгому контексті. Відеокарта на 24 ГБ із 4-бітною версією моделі витримує контекст 64 000–96 000 токенів.

Контекст. Нативно — 262 144 токени. За допомогою масштабування вікно розширюється до 1 млн токенів, але розробники попереджають, що це може погіршувати якість на коротких запитах.

Мультимодальність. Вбудований візуальний енкодер приймає зображення та відео, включно з роликами тривалістю в кілька годин. Відповіді модель видає лише текстом.

Дані та рецепт навчання, обсяг навчального корпусу й дата відсікання знань не розкриті. Тому термін «повністю відкрита модель» до релізу застосовний із застереженням: відкриті ваги та код інференсу, але не процес створення.

Бенчмарки: заяви Alibaba та незалежні вимірювання

В офіційній таблиці Qwen3.8-27B порівнюється з попередницею Qwen3.6-27B, закритою Qwen3.7-Plus, моделлю Muse Glimmer-30B і Claude Opus 4.6 Max від Anthropic.

Найбільший приріст відносно Qwen3.6-27B — в агентних завданнях. На DeepSWE 1.1 результат зріс із 13,3 до 42,2, на OSWorld-Verified, де модель керує комп’ютером через інтерфейс, — із 63,9 до 84,3. На внутрішньому бенчмарку QwenSWEBench показник збільшився з 49,3 до 79,0.

До цифр варто ставитися з поправкою. Усі результати в анонсі отримані самим розробником, частина тестів — внутрішні (QwenSWEBench, CoWorkBench, RecreationBench), а результат Opus 4.6 Max на SWE-bench Pro взято з офіційних даних Anthropic, а не отримано за тих самих умов.

Незалежні вимірювання малюють стриманішу картину. На агрегаторі BenchLM модель посідає 80-те місце з 216 із загальним балом 54,3 зі 100. Найсильніші категорії — міркування (7-ме місце з 26) та агентні завдання (20-те з 135), найслабша — загальні знання (88-ме з 179). Це очікувано для моделі такого розміру: фактичні знання про світ масштабуються з кількістю параметрів, і тут 27B поступається великим MoE-системам.

В індексі Vals AI модель набрала 48,5 бала, зокрема 86,0% на SWE-bench, 84,0% на LiveCodeBench і 67,8% на CyberBench v1.1 — останній показник актуальний для завдань аудиту коду. Окремо Runpod наводить результати юридичного дослідження Harvey та Engram: на 250 завданнях модель показала середню точність 67%.

Режими міркувань: головна особливість і головна пастка

Qwen3.8-27B ― гібридна модель: режим міркувань увімкнено за замовчуванням, але його глибину можна регулювати або повністю вимкнути. Для цього передбачено два параметри:

1. reasoning_effort ― рівень міркувань: xhigh (за замовчуванням, для складних завдань), medium (баланс) і low (найшвидший і найдешевший).
2. preserve_thinking ― за замовчуванням зберігає ланцюжки міркувань з усіх попередніх ходів діалогу: якщо вимкнути, модель враховуватиме лише міркування до останнього запиту.

Повне вимкнення міркувань виконується параметром enable_thinking: false. Для двох режимів розробники рекомендують різні налаштування генерації: у режимі міркувань ― temperature 1,0, top_p 0,95, top_k 20; без міркувань ― temperature 0,7, top_p 0,8, top_k 20 і presence_penalty 1,5.

Значення за замовчуванням виявилося головним предметом критики. Розробник Саймон Віллісон протестував модель на MacBook Pro з чипом M5 Max і 128 ГБ пам’яті. Його стандартний тест ― SVG-зображення пелікана на велосипеді ― на рівні xhigh зайняв близько 21 хвилини: 22 276 токенів міркувань і 3 223 токени відповіді. З вимкненими міркуваннями те саме завдання зайняло 137 секунд за помітно простішого результату. На запит намалювати звичайне коло модель після кількох хвилин роздумів видала анімовану композицію, яку Віллісон назвав «зовсім не тим, що я просив».

Його рекомендація ― ігнорувати значення за замовчуванням і починати з рівня low або з вимкнених міркувань.

Яке залізо потрібне для локального запуску

Вимоги до пам’яті залежать від рівня квантизації — стиснення ваг із втратою частини точності.

Відповідні конфігурації:

• ПК із відеокартою на 24 ГБ (RTX 3090, RTX 4090) або 32 ГБ (RTX 5090) — версія Q4_K_M з контекстом 32 000–64 000 токенів;
• Mac на Apple Silicon із 32 ГБ пам’яті й більше — GGUF- або MLX-версія у 4 біти: що більше об’єднаної пам’яті, то довший доступний контекст;
• відеокарта на 12–16 ГБ і 32 ГБ оперативної пам’яті або більше — версія Q4_K_M із частковим вивантаженням шарів в оперативну пам’ять: якість зберігається, але швидкість падає в кілька разів.

Головне обмеження — швидкість. Вузьке місце — пропускна здатність пам’яті: щільна модель зчитує всі 27 млрд параметрів на кожен токен.

Практика: запуск моделі на комп’ютері через Ollama

Для запуску редакція використовувала Ollama — безплатний інструмент для Windows, macOS і Linux. Він завантажує моделі однією командою, сам розподіляє їх між відеокартою та оперативною пам’яттю і працює як із термінала, так і у фоновому режимі як локальний сервер у форматі OpenAI API.

Тестовий комп’ютер — середнього класу: відеокарта NVIDIA GeForce RTX 3060 з 12 ГБ відеопам’яті та 64 ГБ оперативної пам’яті DDR4-2400. Версія Q4_K_M обсягом близько 17 ГБ у відеокарту повністю не вміщується, тому частину шарів Ollama вивантажує в оперативну пам’ять. Така схема повільніша, ніж повне завантаження у відеопам’ять, зате зберігає якість 4-бітної версії.

Крок 1: Встановіть Ollama і завантажте модель

Завантажте інсталятор з ollama.com і встановіть його. Потім відкрийте термінал (у Windows — PowerShell) і виконайте команду:

Copy

ollama pull qwen3.8:27b

Ollama завантажить версію обсягом близько 18 ГБ із контекстом до 256 000 токенів і підтримкою зображень. На Mac можна використовувати тег qwen3.8:27b-mlx, оптимізований під Apple Silicon. Після завантаження перевірте точну назву моделі командою:

Copy

ollama list

Крок 2: Задайте розмір контекстного вікна

Це найважливіший крок для власників відеокарт із 12–16 ГБ. Якщо не обмежити контекст, Ollama може виділити моделі повне вікно у 262 144 токени. Кеш для такого вікна займає близько 11 ГБ, модель разом із ним розростається до 28 ГБ, і більша частина обчислень переходить на процесор. Саме так сталося в тесті редакції: 73% обчислень виконував процесор і лише 27% — відеокарта.

Перевірити, який контекст фактично застосовано, можна командою ollama ps під час роботи моделі. У колонці CONTEXT відображається розмір вікна, у колонці SIZE — обсяг моделі в пам’яті, а в колонці PROCESSOR — частка обчислень на процесорі та відеокарті.

У налаштуваннях Ollama є повзунок Context length, а також змінна середовища OLLAMA_CONTEXT_LENGTH. Але надійніше створити власну версію моделі із «зашитим» розміром контексту через файл Modelfile. У PowerShell це дві команди:

Copy

"FROM qwen3.8:27b`nPARAMETER num_ctx 16384" | Out-File -Encoding ascii Modelfile ollama create qwen3.8-16k -f Modelfile 

Модель повторно не завантажується: Ollama за кілька секунд створює над нею «обгортку» з новими параметрами. Значення 16 384 підходить для роботи в чаті. Для роботи з довгими документами можна створити варіант на 32 768 токенів, замінивши число в першій команді та назву в другій, але на картах із 12 ГБ це знизить швидкість.

Різниця на комп’ютері редакції з RTX 3060 на 12 ГБ і 64 ГБ оперативної пам’яті:

Обмеження контексту прискорило генерацію у 5,5 раза. Крім того, перед запуском варто закрити програми, що займають багато оперативної пам’яті. На Windows також варто виконати команду wsl –shutdown, якщо підсистема Linux не використовується: вона може резервувати кілька гігабайтів пам’яті.

Крок 3: Перевірте роботу

Запустіть короткий діалог у терміналі:

Copy

ollama run qwen3.8-16k --verbose --think=false

Прапорець –think=false вимикає міркування — для перевірки швидкості вони не потрібні, а прапорець –verbose виводить статистику після відповіді. Головний показник — eval rate, швидкість генерації в токенах за секунду. Орієнтир для відеокарти на 24 ГБ, де модель уміщується повністю, — 15–30 токенів за секунду. На картах із 12 ГБ частина моделі працює на процесорі: у тесті редакції на RTX 3060 швидкість становила 6,7 токена за секунду.

Якщо вам зручніший графічний інтерфейс, замість Ollama можна використовувати LM Studio: модель завантажується через вбудований пошук за запитом qwen3.8-27b, а контекст задається полем Context Length під час завантаження.

Тест: сцена в Blender одним скриптом

Blender — безплатний пакет для 3D-моделювання й анімації з вбудованим інтерпретатором Python. За допомогою скрипту в ньому можна створити будь-яку сцену: геометрію, матеріали, світло, камеру й анімацію. Для мовної моделі це складне завдання: потрібно знати актуальний API Blender, розрахувати координати об’єктів і зібрати процедурні матеріали з вузлів, не бачачи результату.

Редакція дала моделі опис нічної сцени з маяком і перевірила, що вийде без жодної правки. Тест проводився на комп’ютері, описаному вище, у версії qwen3.8-16k з вимкненими міркуваннями. Скрипт запускався в Blender 5.1.1.

Крок 1: Підготуйте промпт

Довгий промпт зручніше зберегти в текстовий файл prompt.txt, щоб не вводити його в терміналі вручну.

Промпт

Англомовний:

Copy

Write a single Python script for Blender that builds an animated scene from scratch: a lighthouse on a rocky cliff above the sea at night. Requirements: delete all default objects first; model the lighthouse as a white tower with red stripes, a gallery with a railing and a glass lantern room on top; the rock is a displaced mesh with a procedural stone material; the sea is a plane with an animated procedural wave displacement; a light source inside the lantern room rotates 360 degrees over 240 frames and casts a visible beam (use a spot light and a volumetric cone); add a starry night sky through the world shader, a camera with a slow push-in and render settings for Eevee. Use only built-in Blender features, no external files. Add comments for each section. Output only the complete script in one code block.

Переклад:

Copy

Напиши один Python-скрипт для Blender, який з нуля створює анімовану сцену: маяк на скелястому урвищі над морем уночі. Вимоги: спочатку видали всі об’єкти за замовчуванням; маяк — біла вежа з червоними смугами, галерея з перилами та скляний ліхтар угорі; скеля — меш із displacement і процедурним матеріалом каменю; море — площина з анімованими процедурними хвилями; джерело світла в ліхтарі робить повний оберт за 240 кадрів і дає видимий промінь (використай spot light і об’ємний конус); додай зоряне нічне небо через шейдер світу, камеру з повільним наїздом і налаштування рендера для Eevee. Використовуй лише вбудовані можливості Blender, без зовнішніх файлів. Додай коментарі до кожного розділу. Виведи лише повний скрипт одним блоком коду.

Крок 2: Надішліть промпт моделі

У PowerShell перейдіть до папки з файлом і передайте його вміст моделі. Відповідь збережеться у файл lighthouse_answer.md:

Copy

Get-Content prompt.txt -Raw | ollama run qwen3.8-16k --verbose --think=false > lighthouse_answer.md

Генерація тривала 31 хвилину 38 секунд, із яких майже 3 хвилини пішло на завантаження моделі в пам’ять. Модель видала 9 021 токен зі швидкістю 5,24 токена за секунду — скрипт на 866 рядків, розбитий на 16 розділів із коментарями.

Для порівняння: за рівня міркувань xhigh до цього часу додалися б тисячі токенів роздумів. За швидкості 5 токенів за секунду кожні 10 000 токенів міркувань — це ще близько 33 хвилин очікування.

Крок 3: Запустіть скрипт у Blender

Скопіюйте код із відповіді, відкрийте в Blender вкладку Scripting, створіть новий текст кнопкою New, вставте код і натисніть Run Script.

Скрипт без правок зупинився на 20-му рядку. Модель спробувала очистити сцену, присвоївши лічильнику користувачів block.users значення 0. Це поле в Blender доступне лише для читання, тому скрипт встиг видалити об’єкти сцени за замовчуванням і завершився помилкою. Підсумок першого запуску — порожня сцена.

Крок 4: Оцініть, що побудувала модель

Щоб побачити решту роботи моделі, редакція вимкнула рядки з помилками, не виправляючи й не дописуючи код. Загалом потрібно було вимкнути 13 рядків із 866 — близько 1,5%.

Після вимкнення цих рядків скрипт виконався до кінця й створив 31 об’єкт: вежу, галерею з перилами на 16 стійках, ліхтар із куполом, конус променя, скелю, море, камеру, джерела світла та зоряне небо. Анімація обертання променя на 240 кадрів працює.

Водночас композицію сцени зібрано з помилками.

Головна проблема — камера. Модель поставила її за 60 метрів від маяка й повернула так, що в кадр потрапляють лише море, скеля на горизонті та зорі. Фінальний рендер через камеру зі скрипта маяка взагалі не показує.

Підсумок тесту неоднозначний. Модель на 27 млрд параметрів на домашньому комп’ютері за пів години написала структурований скрипт на 866 рядків, у якому більша частина коду коректна, а ключові елементи сцени — маяк, промінь і його анімація — упізнавані. Але без правок скрипт не запускається, а просторові розрахунки — взаємне розташування об’єктів і напрям камери — виявилися слабким місцем. Для доведення сцени знадобилося б кілька ітерацій із передаванням помилок моделі, і на цій конфігурації кожна повна перегенерація займала б близько пів години.

Обмеження та нюанси

Qwen3.8-27B — одна з найдоступніших моделей свого класу для локального запуску, але на домашньому залізі вона має низку обмежень. Частина з них пов’язана із самою моделлю, частина — з інструментами для запуску та налаштуваннями за замовчуванням.

Швидкість на споживчому залізі. 15–30 токенів за секунду у стандартній конфігурації та довгі міркування на рівні xhigh перетворюють складні завдання на багатохвилинне очікування.

Надмірні міркування за замовчуванням. Рівень xhigh варто вмикати лише для завдань, де він виправданий. В інших випадках він збільшує час відповіді та витрату токенів в API.

Обмежені фактичні знання. Для запитань про свіжі події та маловідомі проєкти без підключення вебпошуку модель може видавати неточні відомості.

Бенчмарки від розробника. Усі цифри в анонсі отримані Alibaba, а порівняння проведено з моделями минулого покоління. Незалежні вимірювання розміщують модель у середині загального рейтингу.

Довгий контекст потребує пам’яті. Заявлений 1 млн токенів доступний через API Alibaba Cloud. Локально повне нативне вікно у 262 000 токенів потребуватиме 34 ГБ і більше навіть у 4-бітній версії.

Застарілий API та вигадані атрибути. У тесті з Blender модель використовувала назви з минулих версій програми й зверталася до неіснуючих параметрів. Код для конкретних програм варто перевіряти та вказувати в промпті потрібну версію.

Закритий процес навчання. Дані, рецепт навчання та дату відсічення знань не розкрито.

Більшість обмежень пов’язана не з якістю моделі, а з ресурсами домашнього заліза. На серверних GPU або в хмарних провайдерів на кшталт Cerebras швидкість зростає на порядок.

Кому підійде Qwen3.8-27B

Qwen3.8-27B закріплює тренд 2026 року: відкриті моделі середнього розміру досягають показників, які рік тому були доступні лише закритим флагманам.

Для розробників модель корисна як локальний помічник у програмуванні, який не надсилає код за межі комп’ютера. Для дослідників і аналітиків — як спосіб розбирати документи, схеми та зображення без хмарних сервісів. Для команд, що створюють власні продукти, — як основа під ліцензією Apache 2.0, яку можна донавчити й розгорнути на своїй інфраструктурі без ліцензійних відрахувань.

Головна практична порада — не залишати рівень міркувань за замовчуванням. Режими low і medium підходять для більшості повсякденних завдань, а xhigh варто вмикати для генерації коду та багатокрокових завдань, де точність важливіша за швидкість. На комп’ютерах із відеокартою менш ніж 24 ГБ це особливо помітно: різниця між рівнями вимірюється не секундами, а десятками хвилин.

FAQ

Що таке Qwen3.8-27B і чим ця AI-модель відрізняється від ChatGPT? Qwen3.8-27B ― відкрита щільна модель Alibaba на 27,78 млрд параметрів, що вийшла у серпні 2026 року разом із флагманом Qwen3.8-Max. Вона приймає текст, зображення та відео, а нативний контекст становить 262 144 токени з розширенням до 1 млн. Головна відмінність від ChatGPT ― ваги опубліковані на Hugging Face і ModelScope під ліцензією Apache 2.0: модель можна завантажити, запустити на своєму комп’ютері та використовувати в комерційних продуктах без відрахувань, а дані не залишають пристрій. У 4-бітній версії вона займає близько 17 ГБ. У таблиці розробника модель набирає 61,7% на SWE-bench Pro, але на незалежному агрегаторі BenchLM посідає 80-те місце з 216 із балом 54,3, а найслабше проявляє себе в загальних знаннях. Які характеристики комп’ютера потрібні для запуску Qwen локально? Вимоги залежать від квантизації: популярна 4-бітна версія Q4_K_M займає 17–18 ГБ. Повністю модель поміщається у відеокарту на 24 ГБ (RTX 3090, RTX 4090) або 32 ГБ (RTX 5090) — там орієнтир швидкості 15–30 токенів за секунду. На Mac з Apple Silicon потрібно від 32 ГБ об’єднаної пам’яті, підходять версії GGUF або MLX у 4 біти. Відеокарта на 12–16 ГБ теж підійде за наявності 32 ГБ оперативної пам’яті й більше: частина шарів піде в ОЗП, якість збережеться, але швидкість впаде в кілька разів. Головне вузьке місце — пропускна здатність пам’яті, оскільки щільна модель зчитує всі 27 млрд параметрів на кожен токен. Чи можна запустити Qwen3.8-27B на відеокарті з 12 ГБ відеопам’яті? Так, редакція Incrypted запускала модель на RTX 3060 із 12 ГБ і 64 ГБ оперативної пам’яті DDR4-2400. Версія Q4_K_M обсягом близько 17 ГБ у відеокарту не вміщується, і Ollama вивантажує частину шарів в ОЗП. Із налаштуваннями за замовчуванням Ollama виділила повне вікно 262 144 токени: модель розрослася до 28 ГБ, 73% обчислень пішло на процесор, завантаження зайняло 4 хвилини 14 секунд, а генерація йшла зі швидкістю 1,22 токена за секунду. Після обмеження контексту до 16 384 токенів завантаження скоротилося до 13 секунд, а генерація зросла до 6,7 токена за секунду. У тесті з Blender модель на цій машині видала скрипт у 9 021 токен за 31 хвилину 38 секунд. Як встановити та запустити Qwen через Ollama на Windows? Завантажте інсталятор з ollama.com, відкрийте PowerShell і виконайте ollama pull qwen3.8:27b — завантажиться версія близько 18 ГБ, точну назву перевіряють командою ollama list. Потім створіть версію моделі з обмеженим контекстом через Modelfile з параметром num_ctx 16384 і командою ollama create qwen3.8-16k -f Modelfile: повторно модель не завантажується, обгортка створюється за кілька секунд. Запустіть її командою ollama run qwen3.8-16k —verbose —think=false і дивіться на eval rate — швидкість генерації в токенах за секунду. Команда ollama ps під час роботи показує фактичний контекст, обсяг моделі в пам’яті та частку обчислень на процесорі й відеокарті. Тим, кому зручніший графічний інтерфейс, підійде LM Studio: модель шукається за запитом qwen3.8-27b, а контекст задається полем Context Length. Чи можна використовувати Qwen на Mac без дискретної відеокарти? Так, на Mac з Apple Silicon модель працює на об’єднаній пам’яті: потрібно від 32 ГБ, і що більше пам’яті, то довший доступний контекст. Підходять 4-бітні версії GGUF або MLX, в Ollama для Mac є окремий тег qwen3.8:27b-mlx, оптимізований під Apple Silicon. Розробник Саймон Віллісон тестував модель на MacBook Pro з M5 Max і 128 ГБ пам’яті. На рівні міркувань xhigh його тестове SVG-зображення пелікана на велосипеді зайняло близько 21 хвилини: 22 276 токенів міркувань і 3 223 токени відповіді. Із вимкненими міркуваннями те саме завдання зайняло 137 секунд, тож на Mac варто починати з рівня low або без міркувань. Як прискорити роботу Qwen на домашньому комп’ютері та зменшити споживання оперативної пам’яті? Головне — обмежити контекстне вікно: за замовчуванням Ollama може виділити всі 262 144 токени, і кеш для них займає близько 11 ГБ. У тесті Incrypted на RTX 3060 обмеження до 16 384 токенів через Modelfile підвищило швидкість генерації з 1,22 до 6,7 токена за секунду, тобто у 5,5 раза, а обробку запиту — з 0,68 до 15,5 токена за секунду. Перед запуском варто закрити програми, які займають багато оперативної пам’яті, а на Windows виконати wsl —shutdown, якщо підсистема Linux не потрібна: вона може резервувати кілька гігабайтів. Другий важіль — рівень міркувань: за замовчуванням стоїть xhigh, а за швидкості 5 токенів за секунду кожні 10 000 токенів міркувань додають близько 33 хвилин очікування. Для повсякденних завдань достатньо low або medium, міркування можна вимкнути прапорцем —think=false або параметром enable_thinking: false.

Сообщение Qwen від Alibaba запускаємо на домашньому ПК: інструкція, вимоги та несподівані результати тесту появились сначала на INCRYPTED.