Din cand in cand apare pe GitHub un proiect care te face sa citesti descrierea de doua ori. Colibri e unul dintre ele: un motor de inferenta scris in C pur, fara nicio dependenta, care ruleaza GLM 5.2 local, adica un model de 744 de miliarde de parametri, pe un calculator obisnuit cu aproximativ 25 GB de RAM. Fara GPU. Fara Python la rulare. Fara nici macar o biblioteca BLAS.
Proiectul, publicat de dezvoltatorul JustVugg sub licenta Apache 2.0, a explodat in comunitatea tech si la inceputul lui noiembrie 2026 a trecut de 46.000 de stele pe GitHub. Numele nu e intamplator: pasarea colibri cantareste cativa grame, dar viziteaza sute de flori pe zi. Motor minuscul, model imens.
Mi-am petrecut o seara intreaga pe repository si pe documentatie. In ghidul asta iti explic cum functioneaza trucul, cat de mare e modelul de fapt, cum il instalezi pas cu pas (evitand greseala care pacaleste jumatate din comunitate) si, cu cifrele reale pe masa, pentru cine are sens sa rulezi GLM 5.2 local cu Colibri.
Actualizare 4 noiembrie 2026. Din iulie Colibri s-a schimbat mult, iar o parte din ghid trebuia corectata:
- Modelul de descarcat nu mai e acelasi. Pentru GLM 5.2 proiectul recomanda containerul int4 cu scale pe grupuri (gs64) si cap MTP int8, de circa 429 GB. Containerele mai vechi, cu o scala pe rand, inclusiv cel recomandat aici initial, pierd circa 9 puncte la testele de calitate si provoaca raspunsuri care intra in bucla.
- Merge si cu GLM 5.3, modelul lansat de Z.ai pe 18 august pe aceeasi baza ca GLM 5.2: exista un container dedicat de circa 419 GB, fara cap MTP.
- Nu mai e doar GLM. Acelasi motor ruleaza acum si Qwen3.6, DeepSeek V4.1 Flash, Kimi K3 si alte modele, cu instalare intr-un singur pas si pe Windows.
- Cifrele au crescut: pana la circa 9 tokeni pe secunda cu sase RTX 5090 si circa 1,8 pe un mini PC Ryzen AI Max+ 395 cu 128 GB.
Ce este Colibri si de ce vorbeste toata lumea despre el
Colibri este un runtime pentru modele Mixture-of-Experts (MoE) care trateaza VRAM-ul, RAM-ul si discul ca pe o singura ierarhie de memorie. Motorul e un fisier C pentru fiecare familie de modele (pentru GLM 5.2 e c/colibri.c) plus cateva headere comune. Se compileaza cu gcc si OpenMP, iar la rulare nu mai ai nevoie de nimic altceva.
Modelul de referinta este GLM 5.2 de la Z.ai, cu greutatile publicate sub licenta MIT. Din 18 august 2026 exista si GLM 5.3: aceeasi baza, post-training imbunatatit mai ales la programare si o licenta derivata din MIT, care cere o verificare de securitate de la Z.ai doar celor care vand inferenta ca serviciu cu venituri de peste 10 miliarde de dolari pe an. Colibri le incarca pe amandoua cu acelasi motor.
Daca urmaresti valul de modele open din China, l-am pus in context si in ghidul despre cele mai bune modele AI chinezesti open source.
In mod normal, un model de clasa frontier ca asta cere un cluster de GPU-uri de zeci de mii de euro. Colibri il transforma in GLM 5.2 local: raspunde incet, dar corect, pe o masina care, cum scrie chiar autorul, costa mai putin decat un ventilator de H100.
Cat de mare e GLM 5.2 si de ce nu incape in RAM
Una dintre cele mai cautate intrebari e "glm 5.2 size". Raspunsul scurt: foarte mare. Checkpoint-ul oficial in FP8 are aproximativ 756 GB. Containerul int4 recomandat azi de Colibri pentru GLM 5.2 local are circa 429 GB pe disc, iar cel pentru GLM 5.3 circa 419 GB. Niciun PC de acasa nu are atata memorie, iar un setup clasic cu GPU-uri ar avea nevoie de sute de GB de VRAM.
Aici intervine arhitectura MoE. Din cei 744 de miliarde de parametri, doar aproximativ 40 de miliarde se activeaza pentru fiecare token. Si din acestia, doar in jur de 11 GB se schimba efectiv de la un token la altul: sunt "expertii" alesi de router-ul modelului.
Cum functioneaza trucul: expertii stau pe disc
Colibri profita de aceasta raritate si imparte modelul in doua:
- Partea densa (attention, expertii comuni, embedding-urile, circa 17 miliarde de parametri) ramane permanent in RAM, cuantizata la int4, si ocupa doar 9,9 GB;
- Cei 19.456 experti rutati (circa 19 MB fiecare la int4) stau pe disc, adica aproape tot containerul de circa 429 GB, si sunt incarcati in streaming doar cand router-ul ii cere, cu un cache LRU pe fiecare strat si cu page cache-ul sistemului de operare ca al doilea nivel, gratuit.
Pe scurt: ca sa ai GLM 5.2 local nu cumperi 400 GB de VRAM, folosesti NVMe-ul ca memorie lenta si platesti pretul in viteza. E acelasi principiu care face modelele MoE atat de interesante pentru uz local, despre care am scris si in articolul despre Qwen 3.8 Flash Next, un MoE de 125B pentru AI local.
Mai sunt doua detalii care fac motorul mai destept decat pare. Learning cache-ul inregistreaza ce experti foloseste de fapt munca ta (fisierul .coli_usage) si la pornire ii blocheaza in RAM pe cei mai folositi: Colibri devine literalmente mai rapid cu cat il folosesti mai mult. Iar persistenta KV-cache (.coli_kv) redeschide conversatiile "calde" si dupa un restart, fara re-prefill, cu rezultat identic byte cu byte fata de o sesiune neintrerupta.
Cerinte hardware: de ce ai nevoie ca sa rulezi GLM 5.2 local
Inainte sa te apuci de GLM 5.2 local, lista cinstita:
- Sistem de operare: Linux, macOS sau Windows, si fara compilare: exista arhive gata facute cu motorul, iar pe Windows un instalator cu dublu clic;
- Procesor: x86-64 cu AVX2 sau Apple Silicon. Placa video e optionala, dar daca o ai motorul o foloseste prin CUDA, Vulkan sau Metal;
- RAM: pentru GLM 5.2 minim 16 GB, recomandat 24 GB sau mai mult. Cu cat ai mai mult, cu atat mai multi experti raman in cache;
- Disc: aproximativ 430 GB liberi pe un NVMe local (ext4 sau NTFS, niciodata un disc de retea);
- Toolchain: gcc cu OpenMP. Python iti trebuie doar pentru conversia unica a modelului.
Pentru modelele obisnuite, care incap complet in memorie, am facut separat calculul in ghidul cata RAM iti trebuie pentru un LLM local.
O veste linistitoare despre SSD: streaming-ul Colibri e doar citire, iar citirile nu uzeaza semnificativ discul.
Riscurile reale sunt swap-ul (daca depasesti RAM-ul) si temperaturile pe SSD-uri ieftine sub sarcina prelungita, asa ca urmareste-le. Daca iti alegi acum hardware-ul, am comparat configuratiile in ghidul despre cel mai bun computer pentru AI in 2026, in functie de buget si in analiza despre mini PC-ul cu Ryzen AI Max 395 si 128 GB pentru LLM local.
GLM 5.2 e gratis? Ce platesti de fapt
Alta intrebare frecventa: "glm 5.2 free". Da, in sensul ca greutatile modelului sunt sub licenta MIT, iar Colibri e sub Apache 2.0: nu platesti licente si nu platesti tokeni. Costul real pentru GLM 5.2 local e altul: hardware-ul (mai ales un NVMe incapator si cat mai mult RAM), curentul consumat si, mai ales, timpul. Un raspuns lung poate dura minute, nu secunde.
Daca vrei sa faci calculul complet intre abonamente cloud si hardware propriu, l-am facut pas cu pas in articolul AI local: cat costa si cand merita in 2026.
Cum instalezi Colibri pas cu pas
Ai doua drumuri: conversia facuta de tine sau modelul deja convertit. Iti recomand a doua varianta, cu un avertisment important pe care il gasesti imediat.
Daca vrei sa mergi mai repede, acum exista si o instalare intr-un singur pas: pe Linux si macOS clonezi repository-ul si rulezi ./start-here.sh, pe Windows descarci arhiva ZIP si dai dublu clic pe START-HERE.bat. Scriptul verifica masina si iti propune cel mai capabil model care incape. Pentru GLM 5.2 merita totusi sa stii ce se intampla dedesubt, asa ca mai jos ai pasii manuali.
1. Compileaza motorul
Cloneaza repository-ul si ruleaza setup-ul, care verifica gcc si OpenMP, compileaza si face self-test-ul:
git clone https://github.com/JustVugg/colibri && cd colibri/c && ./setup.sh
2. Descarca modelul corect (atentie la container)
Aici se impotmolesc cei mai multi, si e punctul pe care a trebuit sa il corectez in acest ghid. Pe Hugging Face exista mai multe versiuni int4 deja convertite ale GLM 5.2, si nu sunt echivalente.
Azi proiectul recomanda containerul mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp, de circa 429 GB. Are doua caracteristici care conteaza:
- Scale pe grupuri (gs64). Containerele mai vechi folosesc o scala pe rand: dupa masuratorile proiectului pierd circa 9 puncte la testele de calitate si sunt cauza raspunsurilor in bucla raportate de utilizatori. Mirror-ul mateogrgic recomandat in prima versiune a ghidului e unul dintre ele, la fel ca originalul jlnsrk.
- Cap MTP pe int8. Colibri foloseste speculative decoding-ul nativ al GLM 5.2 (capul MTP, multi-token prediction) ca sa genereze 2,2-2,8 tokeni per forward in loc de unul. Cu capul pe int4 acceptarea draft-urilor scade la zero si speculatia nu porneste.
Pentru GLM 5.3 exista containerul Justvugg/GLM-5.3-colibri-int4-g64, de circa 419 GB, fara cap MTP: speculative decoding-ul ramane oprit.
Descarca-l pe un NVMe rapid si seteaza variabila de mediu:
COLI_MODEL=/nvme/glm52_i4 ./coli chat
3. Alternativa: conversia facuta de tine
Daca preferi sa pornesti de la zero, o singura comanda descarca GLM 5.2 in FP8 shard cu shard, il converteste la int4 si corecteaza capul MTP. Checkpoint-ul FP8 de 756 GB nu trebuie sa existe niciodata intreg pe disc, iar procesul poate fi reluat daca se intrerupe. Rezultatul este acelasi container gs64 recomandat:
./coli convert --model /nvme/glm52_i4
4. Verificare si prima pornire
Inainte sa incarci modelul, doua comenzi de diagnostic iti spun daca configuratia tine: coli plan arata ierarhia de memorie planificata (disc, RAM, VRAM), iar coli doctor face o verificare de pregatire doar in citire. Cu coli tune masori masina si salvezi cele mai rapide setari care raman sigure. Apoi pornesti: incarcarea dureaza aproximativ 30 de secunde, cu 9,9 GB rezidenti si un varf de circa 20 GB in timpul chat-ului, limitat automat ca sa nu trezeasca niciodata OOM killer-ul.
API compatibil OpenAI si dashboard web
Colibri nu e doar un chat in terminal. Cu coli serve expui un API HTTP compatibil cu protocolul OpenAI (chat completions, streaming SSE, coada FIFO pentru cereri): orice unealta care vorbeste cu OpenAI poate vorbi si cu GLM 5.2 local, de la agenti la scripturi interne. Daca ai deja fluxuri n8n care cheama API-ul OpenAI, schimbi endpoint-ul si merg mai departe.
Daca vrei sa legi GLM 5.2 local de fluxurile tale, pentru genul asta de integrari am o pagina dedicata la automatizari n8n.
Cu coli web primesti un dashboard in browser cu metrici live (tokeni pe secunda, time-to-first-token, coada) si pagina Brain: expertii modelului afisati ca un cortex viu, unde culoarea arata nivelul de memorie si fiecare expert rutat clipeste alb. Te uiti literalmente la model cum gandeste. Ca dezvoltator, e cel mai frumos demo pe care l-am vazut anul asta.
Benchmark GLM 5.2 local: cat de rapid e de fapt
Autorul e primul care o spune: GLM 5.2 local pe Colibri nu e rapid. Pe masina lui de dezvoltare (12 nuclee, 25 GB RAM, NVMe de circa 1 GB/s prin WSL2), un token "la rece" costa circa 11 GB de citiri de pe disc, deci 0,05-0,1 tokeni pe secunda. Benchmark-urile comunitatii pe hardware mai bun arata insa o scara interesanta:
| Configuratie | Viteza (decode) |
|---|---|
| Laptop dezvoltator, 25 GB RAM, NVMe lent | 0,05-0,1 tok/s |
| MacBook M5 Max, 128 GB unificati | 1,06 tok/s, pana la 2,06 tok/s cu Metal si experti fixati in RAM |
| EPYC cu 430 GB RAM (98% cache hit) | 1,00 tok/s |
| Ryzen 9950X3D2 + NVMe PCIe 5.0 | 1,23 tok/s |
| Mini PC Ryzen AI Max+ 395, 128 GB | circa 1,83 tok/s dupa optimizari |
| Server EPYC cu 504 GB RAM si patru NVMe | 2,83 tok/s, pana la 6,91 tok/s cu toti expertii in memorie |
| 6 x RTX 5090, toti expertii rezidenti | circa 6,8-7,7 tok/s, pana la 9,0-9,2 tok/s cu interleave NUMA selectiv |
Doua parghii gratuite de stiut: --topp 0.85 citeste mai putini experti de pe disc fara pierdere de calitate, dupa documentatia proiectului (cu 0.7 merge si mai repede, dar calitatea trebuie verificata pe cazul tau), iar learning cache-ul imbunatateste cifrele de la o sesiune la alta (pe un Framework 13, comunitatea a urcat de la 0,29 la 0,40 tok/s doar incalzind cache-ul).
Despre calitate: o prima masuratoare din comunitate da containerului int4 o medie de 62,5% pe HellaSwag, ARC si MMLU, sub scorul full-precision. Masuratoarea e insa distorsionata de scoring-ul 0-shot, care penalizeaza modelele de tip reasoning, asa ca deocamdata e un dat, nu un verdict. Ulterior proiectul a masurat ca scalele pe rand afecteaza tocmai intrebarile cele mai grele, si de aceea recomanda acum containerul gs64.
Colibri vs alte variante de AI local
Ca sa fiu cinstit: la 0,1-2 tokeni pe secunda, GLM 5.2 local nu inlocuieste ChatGPT pentru chat-ul de zi cu zi.
Daca vrei raspunsuri rapide pe hardware de acasa, un model mai mic ruleaza mult mai fluid. Am comparat optiunile in ghidul cele mai bune LLM locale in 2026: ce model alegi. Colibri joaca in alta liga: nu castiga la viteza, ci iti da acces la un model de clasa frontier pe care altfel nu l-ai putea rula deloc.
Pentru cine are sens Colibri (si pentru cine nu)
Are sens concret in urmatoarele cazuri:
- Confidentialitate totala: date medicale, juridice sau de firma care nu au voie sa iasa din masina. Un model frontier care raspunde fara niciun apel in retea, util si cand te gandesti la GDPR;
- Procesari batch peste noapte: rezumate de documente, analize, extragere structurata (exista chiar suport pentru gramatici GBNF, pentru output JSON constrans), pornite seara si gata dimineata;
- Experimente si cercetare: sa intelegi arhitecturile MoE pe un cod C lizibil, cate un fisier pentru fiecare familie de modele, e aur curat, iar proiectul primeste benchmark-uri de pe hardware diferit;
- Plan B fata de preturile cloud: un model local pe hardware pe care il ai deja iti da putere de negociere fata de furnizorii de API.
Nu are sens daca ai nevoie de reactie imediata, de mai multi utilizatori simultan sau de un asistent pentru toata echipa. Acolo castiga un model mai mic sau un serviciu cloud bine ales.
Colibri dincolo de GLM: alte modele si modele de decizie
Nascut pentru un singur model, Colibri e azi un motor general pentru MoE mari: ruleaza si GLM 5.3 Flash, Qwen3.6, Qwen3.8 Flash Next, DeepSeek V4.1 Flash, Kimi K3 si altele, isi alege singur motorul citind configuratia modelului si, pe o masina cu 8 GB de RAM, porneste de la modelele mici.
Exista si un endpoint /v1/systemone pentru modelele de decizie, cele care in loc sa scrie text aleg intre raspunsuri predefinite cu o probabilitate. E schema facuta cunoscuta de Jev de la TypeSafe AI si preluata de CLM-8B de la Stanford si NVIDIA: daca vrei sa clasifici tichete sau emailuri fara sa trimiti datele in afara firmei, asta e partea proiectului de urmarit.
Parerea mea de dezvoltator
Colibri a pornit ca proiectul unui singur om, pe un laptop cu 25 GB de RAM, si demonstreaza ceva important: raritatea modelelor MoE face posibil ce parea imposibil.
Cand doar in jur de 5% din parametri sunt activi pentru fiecare token, nu ai nevoie de tot modelul in memorie rapida, ai nevoie de o ierarhie inteligenta. Iar cu NVMe-urile PCIe 5.0 care trec de 10 GB/s, abordarea asta nu poate decat sa se imbunatateasca.
Mai e si o lectie de inginerie: fara framework-uri, fara dependente, un fisier C pentru fiecare familie de modele, pe care il poate citi si intelege oricine. Intr-un ecosistem in care fiecare proiect AI trage dupa el gigaocteti de biblioteci Python, e o gura de aer proaspat.
Colibri nu va castiga nicio cursa de viteza, dar muta o granita: GLM 5.2 local, un model de 744 de miliarde de parametri care raspunde corect pe PC-ul tau, gratis, dupa un git clone si o seara de download.
Daca te gandesti sa rulezi AI local in firma ta, pentru confidentialitate, costuri sau independenta fata de furnizori, si vrei sa afli daca un model self-hosted tine pentru cazul tau, scrie-mi: ma uit eu la hardware, volume si alternative si iti spun sincer ce merita.
