INFORMATICS

The Best

Przełącznik języka

Zaproś mnie na KAWE

Jeżeli podoba Ci się strona i chcesz wspomóc projekt!

Postaw mi kawę na buycoffee.to

This Site

Płatnik

CMS

Hardware

Uncategorised

Emulators

Powershell

Storage Array

DNS

Antivirus program

Licznik

3.png6.png6.png4.png3.png3.png2.png
Today576
Yesterday748
This week6376
This month6376
Total3664332

Visitor Info

  • IP: 216.73.216.4
  • Browser: Unknown
  • Browser Version:
  • Operating System: Unknown

Who Is Online

7
Online

sobota, 08 sierpień 2026 14:20

Najprostszy i najlepszy sposób na uruchomienie lokalnego AI na Rocky Linux to Ollama.

Gwiazdka nieaktywnaGwiazdka nieaktywnaGwiazdka nieaktywnaGwiazdka nieaktywnaGwiazdka nieaktywna

Najprostszy i najlepszy sposób na uruchomienie lokalnego AI na Rocky Linux to Ollama.

Ollama pozwala szybko odpalać modele językowe (Llama, Gemma, Qwen, DeepSeek, Mistral itd.) lokalnie, bez chmury. Działa na CPU (wolniej) i automatycznie wykrywa GPU NVIDIA/AMD, jeśli masz sterowniki.

1. Instalacja Ollamy (1 komenda)

Bash
 
# Zaktualizuj system (opcjonalnie, ale zalecane)
sudo dnf update -y

# Na Rocky Linux 10 czasem potrzebne zstd
sudo dnf install -y zstd curl

# Instalacja oficjalna
curl -fsSL https://ollama.com/install.sh | sh
 
 

Po instalacji usługa startuje automatycznie. Sprawdź:

Bash
 
ollama --version
systemctl status ollama
 
 

2. Uruchomienie pierwszego modelu

Bash
 
# Mały i szybki model (dobry na start, nawet na CPU)
ollama run gemma3:4b

# albo inne popularne:
ollama run llama3.2          # 3B
ollama run qwen2.5:7b
ollama run deepseek-r1:8b    # dobre rozumowanie
ollama run llama3.1:8b
 
 

Przy pierwszym uruchomieniu model się pobierze. Potem możesz z nim normalnie rozmawiać w terminalu. Wyjście: /bye lub Ctrl+D.

3. Przydatne komendy

Bash
 
ollama list                  # lista zainstalowanych modeli
ollama pull nazwa_modelu     # tylko pobierz, bez uruchamiania
ollama rm nazwa_modelu       # usuń model
ollama serve                 # jeśli chcesz ręcznie odpalić serwer
 
 

API działa na http://127.0.0.1:11434 (kompatybilne z OpenAI).

4. GPU (NVIDIA) – opcjonalnie, ale mocno przyspiesza

Jeśli masz kartę NVIDIA:

Bash
 
# EPEL + CRB
sudo dnf install -y epel-release
sudo dnf config-manager --set-enabled crb

# Repo NVIDIA (dostosuj do swojej wersji Rocky – 9 lub 10)
# Dla Rocky 9:
sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo

# Dla Rocky 10:
# sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/cuda-rhel10.repo

sudo dnf install -y kernel-devel-matched kernel-headers
sudo dnf install -y nvidia-open   # lub cuda-drivers
sudo reboot
 
 

Po restarcie sprawdź:

Bash
 
nvidia-smi
 
 

Ollama powinna sama wykryć GPU.

Alternatywy

NarzędziePoziom trudnościKiedy wybrać
Ollama Najłatwiejsze Szybki start, chat, API
LM Studio Łatwe (GUI) Preferujesz graficzny interfejs
llama.cpp Średnie Maksymalna optymalizacja na CPU
vLLM / TGI Zaawansowane Produkcja, wiele użytkowników

Search