Package: llama.cpp-examples (5882+dfsg-4)

Links for llama.cpp-examples

Debian Resources:

Download Source Package llama.cpp:

Maintainers:

External Resources:

Homepage [github.com]

Similar packages:

LLM-inferens i C/C++ - eksempelprogrammer

Hovedformålet med llama.cpp er at gøre LLM-inferens mulig med minimal opsætning og moderne ydelse på en bred vifte af udstyr - lokalt og i skyen.

 * Ren C/C++-implementering uden nogen afhængigheder
 * Apple silicon er en førsteklasses borger - optimeret via ARM NEON,
   Accelerate og Metal-rammer
 * Understøttelse af AVX, AVX2, AVX512 og AMX for x86-arkitekturer
 * 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit og 8-bit heltalskvantisering
   for hurtigere inferens og reduceret hukommelsesforbrug
 * Egne CUDA-kerne til afvikling af LLM'er på NVIDIA GPU'er (understøttelse
   for AMD GPU'er via HIP og Moore Threads MiT GPU'er via MUSA)
 * Understøttelse for Vulkan- og SYCL-motor
 * CPU+GPU hybrid-inferens til delvist at accelerere modeller større end
   den samlede VRAM-kapacitet

Beregningsfunktionaliteten er tilbudt af ggml. Som standard installeres Ggmls' cpu-motor, men der er mange andre motorer for cpu'er og gpu'er.

Denne pakke indeholder redskaber, som opstrøm sender som eksempler.

Other Packages Related to llama.cpp-examples

depends

recommends

suggests

enhances

dep: libc6 (>= 2.38) [not loong64]

GNU C-bibliotek: Delte biblioteker
also a virtual package provided by libc6-udeb

dep: libc6 (>= 2.41) [loong64]
dep: libcurl4t64 (>= 7.16.2)

nemt at bruge adresseoverførelsesbibliotek for klientsiden (OpenSSL-variant)
dep: libgcc-s1 (>= 3.0) [not ppc64, riscv64]

GCC støttebibliotek

dep: libgcc-s1 (>= 3.4.4) [ppc64]

dep: libgcc-s1 (>= 4.3) [riscv64]
dep: libggml0 (>= 0.0~git20250712.d62df60)

Tensor library for machine learning - libraries
dep: libllama0 (>= 5882+dfsg)

LLM inference in C/C++ - libraries
dep: libstdc++6 (>= 14)

GNU Standard C++ bibliotek v3
dep: llama.cpp-tools (= 5882+dfsg-4)

LLM inference in C/C++ - main utilities

Download llama.cpp-examples

Download for all available architectures
Architecture	Package Size	Installed Size	Files
amd64	3,117.0 kB	30,633.0 kB	[list of files]
arm64	2,656.2 kB	28,489.0 kB	[list of files]
loong64 (unofficial port)	2,482.9 kB	27,209.0 kB	[list of files]
ppc64 (unofficial port)	2,595.1 kB	33,481.0 kB	[list of files]
ppc64el	2,563.0 kB	31,369.0 kB	[list of files]
riscv64	2,738.3 kB	24,037.0 kB	[list of files]
s390x	2,552.5 kB	28,473.0 kB	[list of files]