📌 Hızlı Özet:
Şirketinizin gizli kodlarını veya kişisel notlarınızı bulut sağlayıcılara göndermek istemiyorsanız çözüm yerel (local) açık kaynak modellerdir. Ollama ile dakikalar içinde kendi makinenizde LLM çalıştırabilirsiniz.

3 Adımda Yerel Model Kurulumu
Ollama’yı sisteminize kurduktan sonra terminalden tek satırla (Linux terminal ipuçlarımızdan yararlanarak) son teknoloji modelleri indirebilirsiniz:
# DeepSeek veya Llama modelini çekin ve başlatın
ollama run deepseek-r1:8b
VS Code Entegrasyonu
Continue.dev veya benzeri açık kaynak eklentilerle Ollama’yı yerel GitHub Copilot muadili haline getirebilirsiniz. Üstelik sıfır abonelik ücreti ve tam veri gizliliği ile!
📌 Sıradaki İlgili Rehber: AI Ajanları ve Function Calling: Modeller Araçları Nasıl Kullanıyor?
Yerel modelleri fonksiyon ve araç çağırma yeteneğiyle donatın.
Neden Yerel LLM? Gizlilik, Maliyet ve Çevrimdışı Güvenlik
Bulut tabanlı API’ler (OpenAI, Claude) her istek için dış sunuculara veri gönderir. Yerel LLM çalıştırmak üç temel avantaj sunar:
- Mutlak Veri Gizliliği: Tıbbi veriler, şirket içi finansal tablolar ve tescilli kaynak kodları yerel ağdan dışarı çıkmaz.
- Sıfır API Maliyeti: Milyonlarca token’lık testler ve toplu veri işleme işleri token ücreti ödemeden GPU/CPU üzerinde çalışır.
- İnternetsiz Çalışma: Sahada, gemide veya hava boşluklu (air-gapped) güvenlik ağlarında kesintisiz akıl yürütme sağlar.
Model Kuantizasyonu (Quantization): GGUF ve Bellek Gereksinimleri
Büyük modeller FP16 (16-bit float) formatında devasa VRAM gerektirir. Model ağırlıklarını 4-bite veya 8-bite sıkıştırmak doğruluğu neredeyse hiç bozmadan bellek ihtiyacını üçte bire düşürür:
| Model ve Boyut | FP16 VRAM İhtiyacı | Q4_K_M (4-bit) VRAM İhtiyacı | Önerilen Donanım |
|---|---|---|---|
| DeepSeek-R1 7B / Llama-3 8B | 16 GB | 5.5 GB | RTX 3060 (12GB) veya Apple M1/M2 16GB |
| DeepSeek-R1 14B / Qwen-2.5 14B | 28 GB | 9.5 GB | RTX 4070 (12GB) veya Apple Silicon 24GB |
| DeepSeek-R1 32B / Llama-3 33B | 65 GB | 20.5 GB | RTX 3090/4090 (24GB) veya M3 Max 36GB |
| DeepSeek-R1 70B | 140 GB | 42 GB | Çift RTX 3090/4090 veya M2/M3 Ultra 64GB |
Ollama ile Adım Adım Kurulum ve Modelfile Yapılandırması
# 1. Ollama Kurulumu (Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 2. DeepSeek-R1 Düşünme Modelini İndirme ve Çalıştırma
ollama run deepseek-r1:8b
# 3. Özel Parametrelerle Modelfile Hazırlama
cat << 'EOF' > Modelfile
FROM deepseek-r1:8b
PARAMETER temperature 0.2
PARAMETER top_p 0.95
PARAMETER num_ctx 8192
SYSTEM "Sen bir sistem mimari ve kidemli C++/Python muhendisisin. Yanitlarini net, dogrudan ve uretime hazir kod ornekleriyle ver."
EOF
ollama create kod-mimari -f Modelfile
ollama run kod-mimari
Python API ve REST Entegrasyonu
Ollama, OpenAI uyumlu /v1/chat/completions uç noktası sunar. Mevcut kodlarınızı hiçbir mimari değişikliği yapmadan yerel modele bağlayabilirsiniz:
import openai
client = openai.OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # Zorunlu değil, dummy değer
)
response = client.chat.completions.create(
model="deepseek-r1:8b",
messages=[
{"role": "system", "content": "Sen yardımcı bir kod denetleyicisisin."},
{"role": "user", "content": "Python asyncio kütüphanesinde race condition nasıl önlenir?"}
]
)
print(response.choices[0].message.content)
vLLM ve PagedAttention ile Yüksek Eşzamanlı Dağıtım
Ollama bireysel geliştirici için harika bir yerel araçken, bir şirkette 50 kişinin aynı anda sorgu attığı bir sunucuda yetersiz kalır.
vLLM, işletim sistemlerindeki sanal bellek sayfalamasını (Virtual Memory Paging) GPU KV-Cache belleğine uyarlayan PagedAttention algoritmasını kullanır. Bu sayede GPU VRAM’indeki bellek parçalanmasını sıfırlayarak aynı anda onlarca paralel kullanıcıya tek bir GPU üzerinden 100+ token/saniye hızla yanıt verebilir.
Sıkça Karşılaşılan Sorular ve Sahadan Uzman Yanıtları (FAQ)
1. Bu mimariyi uygularken ilk aşamada en çok yapılan hata nedir?
En sık karşılaşılan tuzak, konfigürasyon parametrelerini ve sistem sınırlarını test etmeden doğrudan varsayılan değerlerle (default values) üretime almaktır. Özellikle yüksek eşzamanlılık (concurrency) ve bellek kısıtlı ortamlarda varsayılan ayarlar ani gecikme artışlarına ve soket tükenmesine (socket exhaustion) yol açar. Sistem her zaman kademeli yük testleriyle doğrulanmalıdır.
2. Performansı optimize ederken hangi metrikler izlenmelidir?
Sistemin sağlığını izlerken tek başına CPU kullanımına bakmak yanıltıcıdır. P95 ve P99 gecikme süreleri (latency percentiles), bellek tahsis hızları (heap allocation rate), I/O bekleme süreleri (iowait) ve hata oranları (error rate) birincil göstergeler olmalıdır. Grafana veya Prometheus gibi araçlarla bu metrikler anlık olarak takip edilmelidir.
3. Geriye dönük uyumluluk (Backward Compatibility) nasıl garanti edilir?
API ve veri formatı güncellemelerinde anlamsal sürümleme (SemVer) kurallarına sıkı sıkıya bağlı kalınmalıdır. Protokol veya şema değişikliklerinde eski versiyon en az iki ara sürüm boyunca desteklenmeli ve geçiş köprüleri (adapter layer) tanımlanmalıdır.
Üretime Alma ve Güvenlik Doğrulama Kontrol Listesi
Sistemi canlıya almadan veya sahaya çıkarmadan önce şu adımları tamamlayın:
- Hata Yakalama ve Loglama: Tüm kritik akışlarda yapılandırılmış loglama (JSON formatında) ve panik/crash kurtarma mekanizmaları kuruldu.
- Giriş Doğrulama (Sanitization): Dış dünyadan veya istemciden gelen tüm parametreler sıkı tip ve sınır denetiminden geçirildi.
- Kaynak Sınırları (Resource Limits): Süreç bazında bellek (cgroups/RAM) ve dosya tanımlayıcı (
ulimit -n) sınırları tanımlandı. - Otomatik Yedekleme ve Kurtarma: Sistem çökmesi durumunda otomatik yeniden başlama (
systemd / restart: always) politikası test edildi.