Demoyu Herkes Yapıyor; Biz Üretimde Ayakta Kalanı Kuruyoruz
Bir dil modeline soru sorup makul bir cevap almak artık kolay. Zor olan; o cevabın kurumsal veriye dayandığını, yanlış olduğunda fark edildiğini ve yetkisiz bir işlem tetiklemediğini garanti altına almak. Yapay zeka projelerinin büyük kısmı demoda etkileyici görünüp üretimde takılıyor, çünkü eksik olan model değil modelin etrafındaki mühendislik.
Biz bu katmana harness engineering diyoruz: modele neyin gireceğini kuran bağlam katmanı, önerilen eylemi süzen politika kapısı, sınırlandırılmış araç çalıştırma, çıktının doğrulanması ve her aşamayı izleyen gözlemlenebilirlik. Model değişse de bu katman yerinde kalır; böylece tek bir sağlayıcıya kilitlenmezsiniz.
Yapay zekayı ayrı bir ürün olarak satmıyoruz. Kurumsal yazılım, web ve mobil tarafta zaten uçtan uca geliştirme yapıyoruz; model de bu yığının bir katmanı olarak, mevcut veritabanınızın ve yetkilendirmenizin üzerine oturuyor. Aşağıdaki hizmetlerin tamamı üretimde çalışan kendi sistemlerimizde uyguladığımız yöntemler.
- Kurumsal RAG: doküman alma hattı, hibrit arama, yeniden sıralama ve kaynak gösterimi
- AI agent geliştirme: araç kullanımı, planlama ve doğrulama katmanlı mimariler
- MCP sunucularıyla kurumsal sistemlerin modele denetimli açılması
- Model ince ayarı (LoRA/QLoRA) ve açık kaynak modellerin şirket içinde çalıştırılması
- Guardrails, değerlendirme (eval) setleri ve uçtan uca gözlemlenebilirlik
Neler Geliştiriyoruz?
-
Kurumsal RAG Sistemleri
Şirketinizin dokümanları, sözleşmeleri, mevzuatı ve ürün bilgisiyle konuşan asistanlar kuruyoruz. İş, metni bir vektör veritabanına atmakla bitmiyor: doküman parçalama stratejisi, gömme (embedding) modeli seçimi, anahtar kelime ve vektör aramasını birleştiren hibrit arama, yeniden sıralama (reranking) ve her cevabın kaynağını gösterme birlikte kurulduğunda sistem güvenilir hale geliyor.
-
Model İnce Ayarı (Fine-Tuning)
İnce ayar her sorunun cevabı değildir; modelin bilgisini değil biçimini ve davranışını değiştirir. Sabit bir çıktı formatı, kuruma özgü terminoloji ya da yüksek hacimli tekrar eden bir sınıflandırma işi varsa LoRA/QLoRA ile ince ayar yapıyoruz. Öncesinde veri setini, değerlendirme ölçütlerini ve yeniden eğitim maliyetini birlikte netleştiriyoruz.
-
AI Agent Geliştirme
Tek seferlik soru-cevabın ötesinde araç kullanan, çok adımlı iş yürüten sistemler. İhtiyaca göre ReAct döngüsü, planlayıcı-yürütücü ayrımı, kendi çıktısını eleştiren refleksif desen ya da yüksek riskli işlemlerde bağımsız doğrulayıcı katman kuruyoruz. Desen seçimi işin riskine ve karmaşıklığına göre yapılır, modaya göre değil.
-
MCP Sunucuları ve Araç Entegrasyonu
Model Context Protocol (MCP), kurumsal sistemlerinizi modele araç olarak açmanın standartlaşmış yolu. ERP, CRM, veri ambarı ya da kendi servisleriniz için MCP sunucuları geliştiriyoruz; her aracı yetki sınırı, oran sınırı ve denetim kaydıyla birlikte tanımlıyoruz — model ancak izin verilen işlemi çağırabiliyor.
-
Harness Engineering: Güvenilirlik Katmanı
Bağlam kurucu, politika kapısı, sınırlandırılmış araç çalıştırma ve doğrulama adımlarını modelin etrafına yerleştiriyoruz. Amaç modelin hiç hata yapmamasını ummak değil; hata yaptığında bunun sistem tarafından yakalanmasını, kaydedilmesini ve gerektiğinde insana devredilmesini sağlamak.
-
Değerlendirme (Eval) ve Gözlemlenebilirlik
Yapay zeka sistemlerinde «çalışıyor mu» sorusunun cevabı bir his değil ölçüm olmalı. Gerçek örneklerden değerlendirme setleri kuruyor; doğruluk, gecikme ve maliyet metriklerini izliyor, her isteğin izini kayıt altına alıyoruz. Model ya da istem değiştiğinde neyin bozulduğunu görebiliyorsunuz.
-
Veri Güvenliği ve Yerinde Çalıştırma
Verinin şirket dışına çıkmaması gerektiğinde açık kaynak modelleri kendi altyapınızda çalıştırıyoruz. Kişisel verilerin maskelenmesi, modele hangi verinin gittiğinin kaydı ve erişim yetkilendirmesi sonradan eklenen bir önlem değil, tasarımın parçası.
-
Mevcut Sistemlere Entegrasyon
Yapay zekayı ayrı bir ürün olarak değil, çalışan sürecinizin içine yerleştiriyoruz. Kurumsal Java, Spring Boot ve SAP geçmişimiz sayesinde modeli mevcut iş akışına, yetkilendirmeye ve raporlamaya bağlamak bizim için yeni bir alan değil.
GümrükBilge Mevzuat AI
Gümrük mevzuatı, doğru cevabın kaynağıyla birlikte verilmesi gereken bir alan; «muhtemelen şudur» diyen bir asistanın kıymeti yok. gumrukbilge.com portalının üzerine, mevcut PostgreSQL veritabanını bozmadan bir RAG katmanı kurduk: ürün tanımından GTİP kodu öneren sınıflandırma servisi, GTİP üzerinden vergi sorgulama ve mevzuat belgelerinde anlamsal arama.
- 300.000+indekslenmiş vektör
- 11.500+mevzuat belgesinde anlamsal arama
- 7 adımlısınıflandırma hattı
- 16vergi türünde sorgulama
Sistemin farkı tek bir vektör aramasından ibaret olmaması: sorgu önce tarife terminolojisine normalize ediliyor, hem özgün hem yeniden yazılmış sorguyla çift arama yapılıyor, bulunan pozisyonların izahname ve fasıl notları bağlama ekleniyor, sonuçlar puanlanıp gruplanıyor ve model kararı ile puanlama ağırlıklı olarak harmanlanıyor. Her öneri; kaynağı (bağlayıcı tarife bilgisi, tarife kararı, eşya fihristi), benzerlik skoru ve güven derecesiyle birlikte dönüyor. Model emin değilse uydurmuyor, netleştirici soru soruyor.
Gömme modeli kurum içinde (Ollama üzerinde çok dilli bge-m3) çalışıyor, sohbet modeli sıfır sıcaklıkla kullanılıyor ve veritabanında karşılığı olmayan durumlar için ayrı bir yedek akış devreye giriyor. Vaka çalışmasının tamamını okuyun ›
RAG mı, İnce Ayar mı, Agent mı?
Bu üçü birbirinin alternatifi gibi anlatılıyor ama farklı problemleri çözüyorlar. Aşağıdaki tablo, bir işe başlarken hangisinin uygun olduğunu konuşurken kullandığımız çerçeve.
| Yaklaşım | Ne zaman uygun? | Güçlü yanı | Dikkat edilmesi gereken |
|---|---|---|---|
| İstem mühendisliği prompt engineering |
Problem sınırlı, gereken bilgi modelde zaten var | En hızlı ve en ucuz yol; altyapı gerektirmez | İş karmaşıklaştıkça çıktı tutarsızlaşır |
| RAG retrieval-augmented generation |
Cevap şirket verisine dayanmalı, veri sık değişiyor | Güncel kalır, kaynak gösterir, yeniden eğitim istemez | Arama kalitesi kötüyse cevap da kötü olur |
| İnce ayar fine-tuning |
Biçim, ton veya terminoloji sabitlenmeli; görev tekrar ediyor | Kısa istemle tutarlı çıktı, düşük gecikme ve maliyet | Bilgiyi güncellemez; veri seti ve yeniden eğitim maliyeti var |
| AI agent | İş çok adımlı; araç, API veya veritabanı kullanımı gerekiyor | Uçtan uca iş yürütür, dinamik durumlara uyum sağlar | Gecikme ve maliyet artar; guardrails olmadan riskli |
Üretimdeki sistemlerin çoğu bunların birleşimidir: kaynağı RAG ile getirip, çıktı biçimini ince ayarla sabitleyip, işi bir agent akışında yürütmek yaygın bir kurgudur. Doğru soru «hangisi» değil, «hangi katmanda hangisi» sorusudur.
Kullandığımız Agent Desenleri
Bunlar birbirini dışlayan agent türleri değil, ihtiyaca göre birleştirilen mimari desenler. Seçim ilkemiz sade: problemi çözen en basit deseni kur, riski yükselten yere doğrulama ekle.
-
Tek Atışlı
Tek model çağrısı, döngü yok. Sınıflandırma, bilgi çıkarımı ve özetleme gibi belirlenmiş işler için en düşük gecikme ve maliyet.
-
ReAct Döngüsü
Düşün, araç çağır, sonucu gözlemle, tekrarla. Web araştırması, veri sorgulama ve sorun giderme gibi adım sayısı önceden bilinmeyen işler.
-
Planlayıcı-Yürütücü
Önce yapılacaklar planı çıkarılır, sonra alt görevler ayrı yürütücülere dağıtılır. Uzun soluklu analiz ve raporlama akışlarında izlenebilirlik sağlar.
-
Refleksif
Model kendi çıktısını eleştirip düzeltir. Metin ve kod üretiminde yüzeysel hataları belirgin şekilde azaltır; tek başına doğruluk garantisi vermez.
-
Doğrulayıcı Kapılı
Bağımsız bir doğrulama katmanı çıktıyı kurallara, şemaya veya dış sisteme karşı denetler. Ödeme, mevzuat ve geri alınamaz işlemler için.
Nasıl Başlıyoruz?
-
01
Keşif ve Fizibilite
Hangi işin yapay zekayla gerçekten hızlanacağını, hangisinin klasik yazılımla daha ucuz çözüleceğini birlikte belirliyoruz. Başarı ölçütü bu aşamada yazılıyor.
-
02
Kavram Kanıtı (PoC)
Dar kapsamlı, gerçek verinizle çalışan bir örnek kuruyoruz. Amaç etkileyici bir demo değil, ölçülebilir bir sonuç ve maliyet tahmini.
-
03
Üretime Alma
Guardrails, yetkilendirme, hata yönetimi ve izleme eklenerek sistem mevcut süreçlerinize bağlanır. Dokümantasyon teslimin parçasıdır.
-
04
İzleme ve İyileştirme
Değerlendirme setleri, doğruluk ve maliyet metrikleri düzenli takip edilir. Model veya istem değiştiğinde etkisi ölçülerek yayına alınır.
Çalıştığımız Araçlar
- Java 21
- Spring Boot 3
- Spring AI
- Angular
- Next.js
- PostgreSQL
- pgvector (HNSW)
- Ollama
- bge-m3
- Gemini
- Claude
- OpenAI
- Qwen
- MCP
- Docker
