LOCAL AI VRAM CALCULATOR
Hardware Fit, KV Cache & Speed Estimator (2026)
Επίλεξε την κάρτα γραφικών σου (NVIDIA RTX, Apple Silicon Mac, AMD Radeon) ή όρισε χειροκίνητα τη VRAM σου. Υπολόγισε σε πραγματικό χρόνο ποια ανοιχτά AI μοντέλα (Llama 3.3, DeepSeek-R1, Qwen 2.5, Mistral κ.ά.) χωράνε στη μνήμη σου, σε ποιο quantization (Q4_K_M, Q8, FP16) και πάρε έτοιμη εντολή εκτέλεσης για Ollama και vLLM.
1. Επιλογή Hardware & VRAM
2. Ανάλυση Μνήμης & Bandwidth HUD
NVIDIA RTX 4090
Διαθέσιμη VRAM: 22.5 GB
OS & System: 1.5 GB
Βάρη Μοντέλου: --
KV Cache: --
Ελεύθερη VRAM: --
MEMORY BANDWIDTH
1,008 GB/s
Καθορίζει την τελική ταχύτητα tokens/sec.
OFFLOAD STATUS
100% GPU VRAM
Μηδενικό CPU bottleneck.
Τι είναι το KV Cache; Όσο μεγαλώνει το Context (π.χ. 32k ή 128k tokens), η GPU δεσμεύει επιπλέον GB VRAM για να θυμάται το ιστορικό της συνομιλίας. Σε μεγάλα μοντέλα, το KV cache μπορεί να ξεπεράσει τα 6-10 GB!
3. Αποτελέσματα Καταλληλότητας Μοντέλων (Model Fit Matrix)
Τεχνική Σημείωση Υπολογισμών: Οι απαιτήσεις μνήμης υπολογίζονται με βάση τον αριθμό παραμέτρων ($P$), τα bits ανά παράμετρο ($b$), το μέγεθος του KV Cache ($2 \times layers \times heads \times dim \times context$) και ένα σταθερό buffer 600MB για CUDA contexts και PyTorch runtime. Σε Apple Silicon Mac, το 75-80% της συνολικής μνήμης μπορεί να διατεθεί σε Metal VRAM (`sysctl iogpu.wired_mem_limit`).