Prompt Caching Optimizer

Anthropic prompt caching API'siyle LLM girdi maliyetlerini %85-90 düşürmek için eksiksiz bir disiplin; dört katmanlı önbellek katmanlaması, cache_control kesme noktası yerleşimi, hit/miss telemetrisi ve başabaş maliyet analizi içerir.

Prompt'u statik önek ve dinamik sonek olarak yeniden yapılandırır; böylece tekrarlanan system prompt'lar, araç tanımları ve skill içeriği maliyetin küçük bir kısmına önbellekten okunur. Ayrıca önbellek isabetlerini sessizce yok eden tuzaklara ve kişisel verinin önbelleklenmesine karşı koruma sağlar.

₺369 tek seferlik
Bir kit içine ekle →

Fiyatlara KDV (%20) dahildir. · Gerçek ajans işinden çıkarıldı · tek seferlik, kilit yok

  • Tür Skill
  • Kategori Yapay Zeka & LLM
  • Teslimat E-posta · anında
  • Lisans Tek seferlik
Çalışma önizlemesi
forgehouse, prompt-caching-optimizer

Çalışmanın içinden · kara kutu yok

Satın almadan önce işin kendisini gör.

Skill'in tekrarlanan LLM girdi maliyetini Anthropic prompt caching ile yüzde 85-90 düşürmek için koştuğu birebir maliyet mühendisliği döngüsü. Kara kutu yok, yaptığı iş bu:

  1. Hiçbir şeye dokunmadan önce cache'lemenin değip değmediğini ölçer: statik prefix 1024 token minimumunu aşmalı (daha küçük breakpoint API tarafından sessizce yok sayılır) ve break-even hesaplayıcısı çağrı sıklığını kontrol eder, çünkü 5 dakikalık ephemeral cache TTL penceresi içindeki ikinci istekten itibaren kendini amorti eder.
  2. Prompt'u en sabitten en değişkene katı sırayla 4 katmana ayırır: system prompt (yılda bir değişir), tool tanımları (haftalık), skill veya doküman içeriği (günlük), kullanıcı bağlamı (her dispatch'te). Her katman sınırına bir cache_control breakpoint konur, API maksimumu olan 4 tanesi.
  3. Hit oranını belirleyen tutarlılık kuralını uygular: dinamik hiçbir şey statik prefix'e sızmaz. System prompt'taki bir timestamp veya rastgele ID her çağrıda parmak izini değiştirir ve yüzde 90 tasarrufu yüzde 25 ek maliyete çevirir.
  4. Herhangi bir blok cache'lenmeden önce kişisel veriyi temizler: regex koruması TC kimlik, email, telefon, IBAN, kart numarası ve API anahtarlarını ayıklar, tenant kimliğini breakpoint'in önüne sabitler ki iki müşteri asla aynı cache kaydında çakışamasın.
  5. Her dispatch'i API usage alanlarından JSONL telemetriye loglar: cache yazma token'ları, cache okuma token'ları, cache'siz token'lar, hit oranı ve cache'siz varsayımsal koşuya karşı dolar farkı. Tasarruf varsayılmaz, ölçülür.
  6. Telemetriyi haftalık inceler ve Pareto uygular: 7 günlük hit oranı yüzde 50 altına düşen şablonlar prompt yeniden yapılandırması için işaretlenir, cache yatırımı token hacminin çoğunu taşıyan az sayıda şablonda yoğunlaşır.
Kullanım senaryoları · taktığında neler oluyor

Tek güç kaynağı. 6 hat dışarı.

prompt-caching-optimizer · çekirdek

çekirdek aktif · 6 hat

  1. Yüksek hacimli ajan çağrılarında girdi token maliyetini düşürme

    ✓ yüksek hacimli ajan çağr…
  2. Uzun system prompt'ları ve araç tanımlarını önbellekleme

    ✓ uzun system prompt'ları
  3. Ortak şablonlarla rapor ve özet hatlarını hızlandırma

    ✓ ortak şablonlarla rapor
  4. Ardışık sorgular için RAG bağlamı önbellekleme

    ✓ ardışık sorgular için rag
  5. Belirli bir prompt'un önbelleklemeye değip değmediğine karar verme

    ✓ belirli bir prompt'un ön…
  6. Kişisel veriyi temizleyen gizlilik güvenli önbellekleme

    ✓ kişisel veriyi temizleyen
Kazanımlar · elinde kalanlar

Aldıkların sende kalır.

Zamanı ileri sar. Ne kaldığını izle.

Sonsuza dek

Sahip olmak tam olarak bu.

Kiralık yığın

yapay zekâ yazım aracı: abonelik

süresi doldu · erişim gitti

analiz paketi: abonelik

süresi doldu · erişim gitti

tasarım platformu: abonelik

süresi doldu · erişim gitti

(geriye bir şey kalmadı)

Senin ocağın

  1. Önbellekten okumalarda %90'a varan daha düşük girdi maliyeti

    lisans: kalıcı
  2. Önbellekli okumalarla ilk token süresinde büyük düşüş

    lisans: kalıcı
  3. Tahmin değil, başabaş hesabına dayalı veri odaklı önbellek kararları

    lisans: kalıcı
  4. Tasarım gereği kiracılar arası sızıntı ve kişisel veri önbelleklemesinin engellenmesi

    lisans: kalıcı

abonelikler biter · tapular bitmez

Ne içerir · eksiksiz manifest

Kutudaki her şey.

Bir parçayı eline al. Çalışırken izle.

system, tools ve messages için kanonik cache_control başlık deseni

parça 01 / 06 · kutuda

6 parça · tek çalışan sistem · e-postayla anında teslim

Sahadan · yaşanmış vaka

Bu, masa başında yazılmadı.

Sorun

Müdahale

Sonuç

Kimler için

Bu herkes için dövülmedi.

  • Araç kiralamayı sahip olmaya tercih ediyorsan, sana göre değil.
  • Yığınını senin yerine başkası yönetsin istiyorsan, sana göre değil.
  • Tahmin etmekten memnunsan, sana göre değil.
Hâlâ burada mısın? Güzel.

Token harcamasını ve gecikmeyi gizlilikten ödün vermeden düşürmesi gereken, tekrarlı ve yüksek hacimli LLM çağrıları yürüten yapay zeka mühendisleri ve platform sahipleri için.

o zaman bu senin için dövüldü.

Hangi AI ile çalışır

Tasarımı gereği evrensel: her yapay zekada çalışır. Açık Agent Skills + MCP biçiminde gelir (Claude’da yerleşik); ChatGPT, Gemini, Cursor ve Copilot aynı dosyaları kendine uyarlar.

  • Claude Yerleşik biçim
  • ChatGPT Açık standartla uyarlanır
  • Gemini Açık standartla uyarlanır
  • Cursor Açık standartla uyarlanır
  • Copilot Açık standartla uyarlanır
Sorular · hâlâ havada

Aklındakini yakala.

hava temizlendi. seninle ocak arasında hiçbir şey kalmadı.
bir kıvılcım yakala: ocak cevaplar

  1. Çağrı hacmim düşük, önbellekleme kurmaya değer mi?

    Belki değmez ve set bunu dürüstçe söyler: başabaş maliyet hesaplayıcısı, taahhüt etmeden önce önbellek yazma ek yükünü okuma tasarrufuyla tartar. Önbellekleme statik önek paylaşan tekrarlı, yüksek hacimli çağrılarda kazandırır; tek seferlik prompt önbellekli halde daha pahalıya bile gelebilir.

  2. Yüzde birkaç değil de %85-90 tasarrufa gerçekten nasıl ulaşıyor?

    Prompt'u statik önek ve dinamik sonek olarak yeniden yapılandırır; önbelleklenebilir kısmı dört katmana ayırır: system, araçlar, skill içeriği ve kullanıcı bağlamı. Her sınıra cache_control kesme noktası koyar. JSONL hit/miss telemetrisi önbelleğin gerçekten okunup okunmadığını gösterir; çünkü belgelenmiş on iki anti-desen isabetleri sessizce öldürebilir.

  3. Müşteri kişisel verisi içeren prompt'ları önbellekleyebilir miyim?

    Hayır. Kişisel veri filtresi ve kiracılar arası çakışma koruması önbellek bloklarını tasarım gereği sarar; kişisel veri ve bir kiracının bağlamı asla başkasına sunulmaz. Filtreden geçmeyen blok dinamik kalır, önbelleklenmez.

  4. Nasıl teslim edilir?

    Satın alımdan hemen sonra e-posta ile iletilir, kuruluma hazır, anında indirilir; bekleme yok.

  5. Tek seferlik mi, abonelik mi?

    Tek seferlik alımdır; abonelik veya gizli ücret yoktur. Fiyata KDV (%20) dahildir.

  6. İade alabilir miyim?

    Dijital ürün olduğu için indirildikten sonra iade yapılmaz. Bu yüzden ne içerdiğini ve kime uygun olduğunu burada açıkça paylaşıyoruz.