inferwire
/
KI·3 Min. Lesezeit

Llama-modchip führt 284B-DeepSeek-Modell auf 64 GB RAM CPUs aus

Llama-modchip ermöglicht die lokale Inferenz von 284B-MoE-Modellen auf 64-GB-CPU-Systemen ohne GPU durch individuelle Komprimierung und Memory Tiling.

TL;DR

  • Llama-modchip ermöglicht das Ausführen des 284B-DeepSeek-V4-Flash-Modells auf einer CPU-Workstation mit 64 GB RAM ganz ohne GPU [^1].
  • Das Framework nutzt SwiGLU-H2-Komprimierung und maßgeschneidertes Memory Tiling, um Decode-Geschwindigkeiten von bis zu 14,7 Tokens pro Sekunde zu erreichen [^1].

Hintergrund

Große Sprachmodelle, die auf Mixture-of-Experts-Architekturen basieren, erfordern traditionell erheblichen GPU-Speicher, um hunderte Milliarden von Parametern zu hosten. Das Ausführen dieser großen Modelle auf Standard-Desktop-CPUs führt in der Regel zu Out-of-Memory-Abstürzen oder drosselt die Leistung aufgrund von Speicherbandbreitenbegrenzungen erheblich. Um Hardware-Engpässe zu überwinden, erforschen Entwickler Modellquantisierung, Parameter-Pruning und CPU-Cache-Optimierungen, um riesige Frontier-Modelle ohne dedizierte Grafikprozessoren in den Standard-Arbeitsspeicher von Workstations einzupassen.

Was passiert ist

Das Open-Source-Projekt llama-modchip hat Version v2.4.0 veröffentlicht, mit der Workstations mit 64 GB CPU-RAM und ohne GPUs Frontier-Mixture-of-Experts (MoE)-Modelle wie DeepSeek-V4-Flash 284B ausführen können [^1]. Ungepatchte Releases von Standard-IQ2_XXS-Quantisierungen benötigen 76,87 GiB RAM und stürzen auf Linux-Geräten mit 64 GB aufgrund von Out-of-Memory-Fehlern ab [^1]. Die neue Version komprimiert das 284,33B-Parameter-Modell auf 56,56 GiB auf der Festplatte und hält die maximale Speicherbelegung bei einem vollständigen 256K-Kontextfenster bei 57,61–58,9 GiB VmRSS [^1].

Um den Speicherverbrauch zu senken und die Geschwindigkeit zu erhöhen, setzt llama-modchip auf Analytical SwiGLU-H2 Second-Order Hessian Compression, Fractal-64 Multi-Head Latent Attention Transcoding sowie Register- und Cache-Tiling des gesamten Modells über L1-, L2- und L3-CPU-Caches hinweg [^1]. Auf einer 16-Core AMD Zen 5 CPU ohne GPU liefert das 284B-Modell Prefill-Geschwindigkeiten von 44,36 Tokens pro Sekunde und reine CPU-Decode-Geschwindigkeiten von 9,1 bis 14,7 Tokens pro Sekunde bei Verwendung von Stockfish-PVS Speculative Drafting [^1].

Das Release optimiert auch 30B-MoE-Modelle wie NVIDIA-Nemotron-3.5-30B-A3B und führt sie in 14,35 GiB RAM mit 25,0 bis 60,4 Tokens pro Sekunde auf Zen 5 CPUs und bis zu 111,6 Tokens pro Sekunde auf AMD Threadripper-Prozessoren aus [^1]. Zudem führt llama-modchip eine Zero-API Claude Code CLI-Integration (./modchip claude) ein, die die CPU-Prompt-Re-Evaluation mittels /dev/shm Slot-0 KV Warm Restore umgeht und die Warm-Turn-Latenz bei Nemotron-30B auf 18,9 ms und bei DeepSeek-284B auf 13,1–32,6 ms reduziert [^1]. Da die Engine auf Block-64-Gray-codierten Tensoren beruht (GGML_TYPE_Q2_0, Typ-ID 40), schlägt das Ausführen dieser Modelle in ungepatchtem llama.cpp oder Ollama mit einem Fehler wegen eines unbekannten Tensor-Typs fehl [^1].

Warum es wichtig ist

Das Ausführen von MoE-Modellen mit 284 Milliarden Parametern vollständig auf handelsüblichen CPUs stellt die Hardware-Annahmen rund um die lokale Inferenz künstlicher Intelligenz auf den Kopf [^1]. Entwickler und Organisationen können Frontier-Klasse-Modelle mit praktischen Decoding-Geschwindigkeiten auf bestehenden Workstations mit 64 GB RAM ausführen, was die Abhängigkeit von teuren Multi-GPU-Clustern oder Enterprise-Cloud-APIs verringert [^1].

Darüber hinaus zeigt die Kombination von Komprimierung zweiter Ordnung mit mehrstufigem CPU-Cache-Tiling, dass Optimierungen der Speicherhierarchie Speicherschnittstellenengpässe kompensieren können [^1]. Funktionen wie warme KV-Cache-Wiederherstellungen über Shared Memory (/dev/shm) lösen hohe Latenzen bei mehrstufigen Entwickler-Agenten-Aufgaben und eröffnen lokale Zero-API-Coding-Workflows ohne GPU-Hardware [^1].

Ein Beispiel aus der Praxis

Nimm an, Sam ist ein Softwareentwickler, der große Coding-Modelle lokal auf einem Desktop-PC ausführen möchte, der mit 64 GB DDR5-RAM und ohne dedizierte Grafikkarte ausgestattet ist [^1].

Bisher erforderte der Versuch, eine Standardquantisierung von DeepSeek-V4-Flash 284B zu laden, 76,87 GiB Speicher, was dazu führte, dass Sams Linux-System keinen Arbeitsspeicher mehr hatte und abstürzte [^1].

Mit llama-modchip v2.4.0 lädt Sam die vorkompilierte Binärdatei und den Fractal-64-GGUF-Checkpoint herunter [^1]. Die Engine komprimiert das 284B-Parameter-Modell auf der Festplatte auf 56,56 GiB und begrenzt die maximale RAM-Nutzung bei vollständigem 256K-Kontext auf unter 59 GiB [^1]. Wenn Sam einen Prompt ausführt, erreicht das reine CPU-Setup eine Prefill-Geschwindigkeit von 44,4 tok/s und dekodiert Antworten mit 9,1 bis 14,7 tok/s unter Verwendung von Stockfish-PVS [^1].

Wenn Sam lokale Coding-Agenten-Workflows mit ./modchip claude startet, reaktiviert /dev/shm Slot-0 KV Warm Restore den Kontext in 13,1 bis 32,6 ms, anstatt 45-sekündige CPU-Prompt-Re-Evaluierungen abzuwarten [^1]. Wenn Sam versucht, die benutzerdefinierte Block-64-Tensordatei direkt in standardmäßiges, ungepatchtes Ollama zu laden, gibt die Anwendung einen Fehler bezüglich des unbekannten Tensor-Typs 40 zurück, sodass Sam die llama-modchip-Binärdatei verwenden muss [^1].

Passende Produkte

Wir empfehlen dieses Lehrbuch wegen seiner tiefgehenden mathematischen Abdeckung von Deep-Learning-Architekturen, Matrixoperationen und Optimierungsalgorithmen, die der modernen Modellkomprimierung zugrunde liegen.

WerbungAmazon

Deep Learning

Quellen

  1. [1]GitHub — GitHub - synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB C
  2. [2]Hacker News — Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU