📌 Hızlı Özet:
Şirketinizin gizli kodlarını veya kişisel notlarınızı bulut sağlayıcılara göndermek istemiyorsanız çözüm yerel (local) açık kaynak modellerdir. Ollama ile dakikalar içinde kendi makinenizde LLM çalıştırabilirsiniz.


Ollama ve DeepSeek Yerel Kurulum

3 Adımda Yerel Model Kurulumu

Ollama’yı sisteminize kurduktan sonra terminalden tek satırla (Linux terminal ipuçlarımızdan yararlanarak) son teknoloji modelleri indirebilirsiniz:

# DeepSeek veya Llama modelini çekin ve başlatın
ollama run deepseek-r1:8b

VS Code Entegrasyonu

Continue.dev veya benzeri açık kaynak eklentilerle Ollama’yı yerel GitHub Copilot muadili haline getirebilirsiniz. Üstelik sıfır abonelik ücreti ve tam veri gizliliği ile!


📌 Sıradaki İlgili Rehber: AI Ajanları ve Function Calling: Modeller Araçları Nasıl Kullanıyor?
Yerel modelleri fonksiyon ve araç çağırma yeteneğiyle donatın.

Neden Yerel LLM? Gizlilik, Maliyet ve Çevrimdışı Güvenlik

Bulut tabanlı API’ler (OpenAI, Claude) her istek için dış sunuculara veri gönderir. Yerel LLM çalıştırmak üç temel avantaj sunar:

  • Mutlak Veri Gizliliği: Tıbbi veriler, şirket içi finansal tablolar ve tescilli kaynak kodları yerel ağdan dışarı çıkmaz.
  • Sıfır API Maliyeti: Milyonlarca token’lık testler ve toplu veri işleme işleri token ücreti ödemeden GPU/CPU üzerinde çalışır.
  • İnternetsiz Çalışma: Sahada, gemide veya hava boşluklu (air-gapped) güvenlik ağlarında kesintisiz akıl yürütme sağlar.

Model Kuantizasyonu (Quantization): GGUF ve Bellek Gereksinimleri

Büyük modeller FP16 (16-bit float) formatında devasa VRAM gerektirir. Model ağırlıklarını 4-bite veya 8-bite sıkıştırmak doğruluğu neredeyse hiç bozmadan bellek ihtiyacını üçte bire düşürür:

Model ve Boyut FP16 VRAM İhtiyacı Q4_K_M (4-bit) VRAM İhtiyacı Önerilen Donanım
DeepSeek-R1 7B / Llama-3 8B 16 GB 5.5 GB RTX 3060 (12GB) veya Apple M1/M2 16GB
DeepSeek-R1 14B / Qwen-2.5 14B 28 GB 9.5 GB RTX 4070 (12GB) veya Apple Silicon 24GB
DeepSeek-R1 32B / Llama-3 33B 65 GB 20.5 GB RTX 3090/4090 (24GB) veya M3 Max 36GB
DeepSeek-R1 70B 140 GB 42 GB Çift RTX 3090/4090 veya M2/M3 Ultra 64GB

Ollama ile Adım Adım Kurulum ve Modelfile Yapılandırması

# 1. Ollama Kurulumu (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 2. DeepSeek-R1 Düşünme Modelini İndirme ve Çalıştırma
ollama run deepseek-r1:8b

# 3. Özel Parametrelerle Modelfile Hazırlama
cat << 'EOF' > Modelfile
FROM deepseek-r1:8b
PARAMETER temperature 0.2
PARAMETER top_p 0.95
PARAMETER num_ctx 8192
SYSTEM "Sen bir sistem mimari ve kidemli C++/Python muhendisisin. Yanitlarini net, dogrudan ve uretime hazir kod ornekleriyle ver."
EOF

ollama create kod-mimari -f Modelfile
ollama run kod-mimari

Python API ve REST Entegrasyonu

Ollama, OpenAI uyumlu /v1/chat/completions uç noktası sunar. Mevcut kodlarınızı hiçbir mimari değişikliği yapmadan yerel modele bağlayabilirsiniz:

import openai

client = openai.OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama" # Zorunlu değil, dummy değer
)

response = client.chat.completions.create(
    model="deepseek-r1:8b",
    messages=[
        {"role": "system", "content": "Sen yardımcı bir kod denetleyicisisin."},
        {"role": "user", "content": "Python asyncio kütüphanesinde race condition nasıl önlenir?"}
    ]
)

print(response.choices[0].message.content)

vLLM ve PagedAttention ile Yüksek Eşzamanlı Dağıtım

Ollama bireysel geliştirici için harika bir yerel araçken, bir şirkette 50 kişinin aynı anda sorgu attığı bir sunucuda yetersiz kalır.

vLLM, işletim sistemlerindeki sanal bellek sayfalamasını (Virtual Memory Paging) GPU KV-Cache belleğine uyarlayan PagedAttention algoritmasını kullanır. Bu sayede GPU VRAM’indeki bellek parçalanmasını sıfırlayarak aynı anda onlarca paralel kullanıcıya tek bir GPU üzerinden 100+ token/saniye hızla yanıt verebilir.

Sıkça Karşılaşılan Sorular ve Sahadan Uzman Yanıtları (FAQ)

1. Bu mimariyi uygularken ilk aşamada en çok yapılan hata nedir?

En sık karşılaşılan tuzak, konfigürasyon parametrelerini ve sistem sınırlarını test etmeden doğrudan varsayılan değerlerle (default values) üretime almaktır. Özellikle yüksek eşzamanlılık (concurrency) ve bellek kısıtlı ortamlarda varsayılan ayarlar ani gecikme artışlarına ve soket tükenmesine (socket exhaustion) yol açar. Sistem her zaman kademeli yük testleriyle doğrulanmalıdır.

2. Performansı optimize ederken hangi metrikler izlenmelidir?

Sistemin sağlığını izlerken tek başına CPU kullanımına bakmak yanıltıcıdır. P95 ve P99 gecikme süreleri (latency percentiles), bellek tahsis hızları (heap allocation rate), I/O bekleme süreleri (iowait) ve hata oranları (error rate) birincil göstergeler olmalıdır. Grafana veya Prometheus gibi araçlarla bu metrikler anlık olarak takip edilmelidir.

3. Geriye dönük uyumluluk (Backward Compatibility) nasıl garanti edilir?

API ve veri formatı güncellemelerinde anlamsal sürümleme (SemVer) kurallarına sıkı sıkıya bağlı kalınmalıdır. Protokol veya şema değişikliklerinde eski versiyon en az iki ara sürüm boyunca desteklenmeli ve geçiş köprüleri (adapter layer) tanımlanmalıdır.

Üretime Alma ve Güvenlik Doğrulama Kontrol Listesi

Sistemi canlıya almadan veya sahaya çıkarmadan önce şu adımları tamamlayın:

  • Hata Yakalama ve Loglama: Tüm kritik akışlarda yapılandırılmış loglama (JSON formatında) ve panik/crash kurtarma mekanizmaları kuruldu.
  • Giriş Doğrulama (Sanitization): Dış dünyadan veya istemciden gelen tüm parametreler sıkı tip ve sınır denetiminden geçirildi.
  • Kaynak Sınırları (Resource Limits): Süreç bazında bellek (cgroups/RAM) ve dosya tanımlayıcı (ulimit -n) sınırları tanımlandı.
  • Otomatik Yedekleme ve Kurtarma: Sistem çökmesi durumunda otomatik yeniden başlama (systemd / restart: always) politikası test edildi.