कभी error न लौटाएँ

← कुकबुक

circuit-breaker failover के साथ अपने-आप Krutrim → Sarvam → global मॉडल तक गिरें।

Collections + circuit breakersविश्वसनीयतामध्यम10 min

कोई एक provider ज़रूर पाँच बुरे मिनट देखेगा। एक Collection {model, provider} कदमों की क्रमित, versioned chain है; gateway इसे ऊपर-से-नीचे चलाकर पहला healthy कदम serve करता है, और विफल कदमों पर circuit breaker गिरा देता है।

आप इस्तेमाल करेंगे: सहेजी गई fallback chains (Collections) + अपने-आप circuit-breaker failover. संदर्भ: Collections।

chain परिभाषित करें

dashboard में (या API से) एक Collection बनाएँ, फिर उसे slug से बुलाएँ। नीचे की chain India-resident routes को तरजीह देती है और global मॉडल सिर्फ़ आख़िरी सहारे के रूप में छूती है:

from openai import OpenAI

client = OpenAI(base_url="https://api.bharatrouter.com/v1", api_key="br-...")

r = client.chat.completions.create(
    model="@my-org/resilient-chat",   # your Collection slug
    messages=[{"role": "user", "content": "namaste"}],
)
# x-br-provider tells you which step actually served the request

failover कैसे काम करता है

• जो कदम error या timeout दे उसे छोड़ दिया जाता है; अगला कदम उसी request में आज़माया जाता है — आपका client एक response देखता है, error नहीं।
• बार-बार विफलता उस route का circuit breaker खोल देती है, इसलिए ठीक होने तक उसे तेज़ी से छोड़ा जाता है, हर कॉल में latency जोड़े बिना।
• Collections versioned और shareable हैं — किसी को fork करें, क्रम बदलें, वापस publish करें।

और मज़बूत करें: अपना endpoint ₹0 आख़िरी कदम के रूप में जोड़ें (BYOE), और chain को canary करें ताकि उपयोगकर्ताओं से पहले आपको अलर्ट मिले।

और रेसिपी कुकबुक में, या पूराAPI reference देखें।