Package: llama.cpp (5882+dfsg-3)

Links for llama.cpp

Debian Resources:

Download Source Package llama.cpp:

Maintainers:

External Resources:

Homepage [github.com]

Similar packages:

LLM-inferens i C/C++ - metapakke

Hovedformålet med llama.cpp er at gøre LLM-inferens mulig med minimal opsætning og moderne ydelse på en bred vifte af udstyr - lokalt og i skyen.

 * Ren C/C++-implementering uden nogen afhængigheder
 * Apple silicon er en førsteklasses borger - optimeret via ARM NEON,
   Accelerate og Metal-rammer
 * Understøttelse af AVX, AVX2, AVX512 og AMX for x86-arkitekturer
 * 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit og 8-bit heltalskvantisering
   for hurtigere inferens og reduceret hukommelsesforbrug
 * Egne CUDA-kerne til afvikling af LLM'er på NVIDIA GPU'er (understøttelse
   for AMD GPU'er via HIP og Moore Threads MiT GPU'er via MUSA)
 * Understøttelse for Vulkan- og SYCL-motor
 * CPU+GPU hybrid-inferens til delvist at accelerere modeller større end
   den samlede VRAM-kapacitet

Beregningsfunktionaliteten er tilbudt af ggml. Som standard installeres Ggmls' cpu-motor, men der er mange andre motorer for cpu'er og gpu'er.

Dette er en metapakke, der afhænger af alle de relevante binære pakker.

Other Packages Related to llama.cpp

depends

recommends

suggests

enhances

dep: llama.cpp-tools

LLM inference in C/C++ - main utilities

rec: llama.cpp-tools-extra

LLM inference in C/C++ - extra utilities
rec: python3-gguf

Python library for working with GGUF files

sug: llama.cpp-examples

LLM inference in C/C++ - example programs

Download llama.cpp

Download for all available architectures
Architecture	Package Size	Installed Size	Files
all	6.7 kB	21.0 kB	[list of files]