Librepup: Fixed Page Title from "Ollama/de" to "Ollama"

2026-07-18T23:40:03Z

Fixed Page Title from "Ollama/de" to "Ollama"

← Older revision		Revision as of 23:40, 18 July 2026
Line 1:		Line 1:
			{{DISPLAYTITLE:Ollama}}
	[https://ollama.ai Ollama] ist ein Open-Source Framework, entwickelt um die Nutzung und Bereitstellung von Large Language Models (LLMs) in einer lokalen Umgebung zu ermöglichen. Es zielt darauf ab, die Komplexität beim Ausführen und Verwalten dieser Modelle zu reduzieren, und bietet eine nahtlose Erfahrung für Nutzer auf verschiedensten Betriebssystemen.		[https://ollama.ai Ollama] ist ein Open-Source Framework, entwickelt um die Nutzung und Bereitstellung von Large Language Models (LLMs) in einer lokalen Umgebung zu ermöglichen. Es zielt darauf ab, die Komplexität beim Ausführen und Verwalten dieser Modelle zu reduzieren, und bietet eine nahtlose Erfahrung für Nutzer auf verschiedensten Betriebssystemen.

Librepup: Added German Translation/Version of the Ollama Wiki Page

2026-07-18T23:35:28Z

Added German Translation/Version of the Ollama Wiki Page

New page

[https://ollama.ai Ollama] ist ein Open-Source Framework, entwickelt um die Nutzung und Bereitstellung von Large Language Models (LLMs) in einer lokalen Umgebung zu ermöglichen. Es zielt darauf ab, die Komplexität beim Ausführen und Verwalten dieser Modelle zu reduzieren, und bietet eine nahtlose Erfahrung für Nutzer auf verschiedensten Betriebssystemen.

== Einrichtung ==
Ollama kann auf zwei Wege in deine Systemkonfiguration integriert werden.

Als eigenständiges Paket:
<syntaxhighlight lang="nix">
environment.systemPackages = [ pkgs.ollama ];
</syntaxhighlight>

Oder als systemd-Dienst:
<syntaxhighlight lang="nix">
services.ollama = {
enable = true;
# Optional: Modelle vorladen, siehe https://ollama.com/library
loadModels = [ "llama3.2:3b" "deepseek-r1:1.5b"];
};
</syntaxhighlight>

== Konfiguration für GPU-Beschleunigung ==
Die GPU-Beschleunigung wird mit der Auswahl eines zugehörigen Paketes konfiguriert:
* ollama-cpu: GPU deaktiviert, nur CPU wird genutzt
* ollama-rocm: unterstützt die meisten modernen AMD-GPUs
* ollama-cuda: unterstützt die meisten modernen NVIDIA-GPUs
* ollama-vulkan: unterstützt die meisten modernen GPUs unter Linux

'''Hinweis:''' Bei der Verwendung des ollama-cuda Paketes, solltest du in Betracht ziehen, den [https://cache.nixos-cuda.org/ CUDA Substitute Binary Cache] hinzuzufügen, da das Kompilieren von CUDA aus dem Quellcode sehr lange dauern kann. (Siehe den [[CUDA]] Wiki Eintrag für weitere Informationen)

Beispiel: GPU-Beschleunigung für NVIDIA-Grafikkarten aktivieren

Als eigenständiges Paket:
<syntaxhighlight lang="nix">
environment.systemPackages = [
(pkgs.ollama.override {
acceleration = "cuda";
})
];
</syntaxhighlight>

Oder als systemd-Dienst:
<syntaxhighlight lang="nix">
services.ollama = {
enable = true;
package = pkgs.ollama-cuda;
};
</syntaxhighlight>

Um herauszufinden, ob ein Modell auf deiner CPU, oder der GPU läuft, kannst du entweder die Logs von
<syntaxhighlight lang="bash">
$ ollama serve
</syntaxhighlight>
abrufen, und nach "looking for compatible GPUs" oder "new model will fit in available VRAM in single GPU, loading" durchsuchen

oder während ein Modell aktiv läuft, und in einem Terminal antwortet, folgenden Befehl in einem separaten Terminal ausführen
<syntaxhighlight lang="bash">
$ ollama ps
NAME ID SIZE PROCESSOR UNTIL
gemma3:4b c0494fe00251 4.7 GB 100% GPU 4 minutes from now
</syntaxhighlight>
In diesem Beispiel siehst du "100% GPU".

== Nutzung über die Kommandozeile (CLI) ==
=== Modell herunterladen und eine interaktive Prompt starten ===
Beispiel: Lade ein Mistral Modell herunter, und starte die interaktive Nutzung <syntaxhighlight lang="bash">
$ ollama run mistral
</syntaxhighlight>Für weitere Modelle, siehe die [https://ollama.ai/library Ollama Bibliothek].

=== Prompt an Ollama senden ===
Beispiel: Codellama (13B, instruct-Variante) herunterladen, und eine Prompt senden:
<syntaxhighlight lang="bash">
$ ollama run codellama:13b-instruct "Schreibe ein erweitertes Python Programm in einer üblichen Struktur. Dieses Programm soll die Nummern 1 bis 10 in die Standardausgabe schreiben.Write an extended Python program with a typical structure."
</syntaxhighlight>

=== Nutzungs- und Geschwindigkeitsstatistiken einsehen ===
Füge die Flag/Option "--verbose" zu deinem Ollama Befehl hinzu, um die Statistiken nach jeder Prompt zu sehen:
<syntaxhighlight lang="bash">
$ ollama run codellama:13b-instruct --verbose "Schreibe ein erweitertes Python Programm..."
...
total duration: 50.302071991s
load duration: 50.912267ms
prompt eval count: 49 token(s)
prompt eval duration: 4.654s
prompt eval rate: 10.53 tokens/s <- wie schnell es deinen eingegebenen Prompt verarbeitet hat
eval count: 182 token(s)
eval duration: 45.595s
eval rate: 3.99 tokens/s <- wie schnell es eine Antwort gesendet hat
</syntaxhighlight>

== Nutzung über die Web-API ==
Andere Programme können die Web-API (standardmäßig unter: http://localhost:11434) nutzen, um Ollama zu nutzen und abzufragen. Dies funktioniert beispielsweise gut in der Intellij Entwicklungsumgebung (IDE), mit den "ProxyAI" und "Ollama Commit Summarizer" Erweiterungen.

Alternativ kannst du auch den "open-webui" Dienst aktivieren, das ein Web-Portal unter http://localhost:8080/ bereitstellt:
services.open-webui.enable = true;

== Fehlersuche ==
=== AMD Grafikkarte mit Open-Source-Treibern ===

Verwende das ollama-rocm Nix-Paket:

<syntaxhighlight lang="nix">
environment.systemPackages = [ pkgs.ollama-rocm ];
</syntaxhighlight>

Und stelle sicher, dass der Kernel den amdgpu Treiber lädt:

<syntaxhighlight lang="nix">
boot.initrd.kernelModules = [ "amdgpu" ];
</syntaxhighlight>

In manchen Fällen erlaubt Ollama allerdings die GPU-Beschleunigung nicht, wenn es sich nicht sicher über die Kompatibilität von Grafikkarte (GPU) und Treiber ist.

Allerdings kannst du jedoch versuchen, die GPU-Nutzung zu erzwingen, indem du das LLVM-Target überschreibst. <ref>https://github.com/ollama/ollama/blob/main/docs/gpu.mdx#overrides-on-linux</ref>

So findest du die für dich richtige Version für deine Grafikkarte über die Logs für klassische NixOS Konfigurationen und Nix Flakes heraus:

<syntaxhighlight lang="bash">
# Klassisch
$ nix-shell -p "rocmPackages.rocminfo" --run "rocminfo" | grep "gfx"
Name: gfx1031

# Flakes
$ nix run nixpkgs#"rocmPackages.rocminfo" -- --run "rocminfo" | grep "gfx"
Name: gfx1031
</syntaxhighlight>

In diesem Beispiel heißt das richtige LLVM-Target "gfx1031", was Version "10.3.1" entspricht. Du kannst diesen Ollama Wert dann wie folgt für den systemd-Dienst überschreiben:
<syntaxhighlight lang="nix">
services.ollama = {
enable = true;
package = pkgs.ollama-rocm;
environmentVariables = {
HCC_AMDGPU_TARGET = "gfx1031"; # war eine Zeit lang nötig, doch scheinbar nun nicht mehr
};
# resultiert in der Umgebungsvariable "HSA_OVERRIDE_GFX_VERSION=10.3.0"
rocmOverrideGfx = "10.3.0";
};
</syntaxhighlight>

Oder mit einer Umgebungsvariable direkt vor dem Standalone-Aufruf:
<syntaxhighlight lang="bash">
HSA_OVERRIDE_GFX_VERSION=10.3.0 ollama serve
</syntaxhighlight>

Bei weiteren Fehlern kannst du versuchen, ähnliche Werte auszuprobieren, welche du [https://github.com/ollama/ollama/blob/main/docs/gpu.md#overrides hier] finden kannst.

[[Category:Server]]
[[Category:Applications]]
[[Category:CLI Applications]]

Ollama/de - Revision history

Librepup: Fixed Page Title from "Ollama/de" to "Ollama"

Librepup: Added German Translation/Version of the Ollama Wiki Page