Esc to close · ⌘K / Ctrl-K opens search anywhere
कन्सेंसस routers को हाइप करना आसान और निष्पक्ष रूप से तुलना करना कठिन है। यहां बताया गया है कि हम Sangam को OpenRouter Fusion के मुकाबले कैसे रखते हैं — एक वास्तविक, पैसे-खर्च करने वाले benchmark harness के साथ, एक ब्लाइंड LLM जज, और एक लागत मॉडल जिसकी सभी मान्यताएं मेज पर हैं। हम ऐसा कोई नंबर उद्धृत नहीं करते जो हमने मापा नहीं। जहां हमारे पास केवल एक अनुमान है, हम ऐसा कहते हैं।
शुरू में ही ईमानदार: open-sangam एक ओपन-वेट, BYOK-ready panel है — पारदर्शी और पुनरुत्पादनीय, आपकी अपनी provider keys पर चलता है — और डिज़ाइन से raw frontier गुणवत्ता पर Fusion के नीचे बैठता है; sangam एक समकक्ष frontier panel का उपयोग करता है और Fusion के लगभग बराबर उतरना चाहिए। हम सीमा पर Fusion से नहीं लड़ते — हम उन धुरियों पर जीतते हैं जिनका वह अनुसरण नहीं कर सकता: खुलापन, पुनरुत्पादनीयता, लागत, और BYOK।
हर रन वही प्रॉम्प्ट तीन कन्सेंसस इंजनों के माध्यम से भेजता है। दो हमारे हैं; एक वह router है जिसके मुकाबले हम माप रहे हैं। लागत स्तंभ एक rate-card अनुमान है (मान्यताएं नीचे) — harness इसे सटीक बिल की गई लागत से बदल देता है।
| इंजन | Panel | निवास | खुलापन | अनुमानित ₹/req |
|---|---|---|---|---|
bharatrouter/open-sangamhero | open-weight · BYOK-ready gpt-oss · Qwen3 · Llama 3.1 — ओपन-वेट, आपकी अपनी keys पर (BYOK) | 🇮🇳 India available | ✓ open-weight | आपकी अपनी ओपन-वेट दर |
bharatrouter/sangam | full frontier gpt-5 · gemini-2.5-flash · claude-haiku-4.5 → gpt-5-mini | 🌐 global | closed frontier | between — frontier panel, INR catalog rates |
openrouter/fusion | full frontier Opus · GPT · Gemini + a fuser | 🌐 global | closed frontier | ≈ ₹1.5–2.0 / req |
bharatrouter/sangam समकक्ष Fusion प्रतिस्पर्धी है: एक समान-श्रेणी का frontier panel, लेकिन हमारी INR catalog दरों पर बिल किया गया — आपकी अपनी keys पर (BYOK)।bharatrouter/open-sangam ओपन-वेट, BYOK-ready route है — पारदर्शी और पुनरुत्पादनीय, data_policy के ज़रिए India residency उपलब्ध — पहले इसे आज़माएं।
Raw benchmark गुणवत्ता एक धुरी है, एकमात्र नहीं। एक कठिन reasoning leaderboard पर, Fusion का frontier panel मात देना मुश्किल है — इसलिए हम स्पष्ट रूप से ऐसा कहते हैं। लेकिन खुलापन, पुनरुत्पादनीयता, लागत, BYOK, और VPC-तैनाती-योग्यता ऐसी धुरियाँ हैं जिनका एक closed frontier router अनुसरण नहीं कर सकता। वह इंजन चुनें जो आपकी बाधाएं मांगती हैं।
open-sangam | sangam | Fusion | |
|---|---|---|---|
भारत डेटा-निवास उपलब्ध (data_policy के ज़रिए) | ✓ हाँ | नहीं — frontier panel | नहीं — विदेश-तैनात providers |
| ओपन-वेट panel (self-hostable) | ✓ हाँ | नहीं | नहीं |
| BYOK — अपनी keys लाएं | ✓ हाँ | ✓ हाँ | नहीं |
| लूप में विदेश-तैनात frontier मॉडल | ✓ कोई नहीं | हाँ — डिज़ाइन से | हाँ — यही उसका panel है |
| पुनरुत्पादनीय (panel संरचना प्रकाशित) | ✓ प्रकाशित | ✓ प्रकाशित | उजागर नहीं किया गया |
| आपके अपने VPC के अंदर चलता है (engine-mode) | roadmap पर — ओपन वेट इसे संभव बनाते हैं | नहीं — closed panel | नहीं — closed वेट |
| अनुमानित लागत / request | आपकी अपनी ओपन-वेट दर (BYOK) | बीच में — INR catalog दरें | ≈ ₹1.5–2.0 |
| Raw frontier-गुणवत्ता सीमा | कम — ओपन-वेट panel, डिज़ाइन से | ≈ Fusion — समान-श्रेणी panel | सर्वोच्च — frontier panel |
अंतिम दो पंक्तियों को बाकी के साथ मिलाकर पढ़ें। यदि प्रश्न है "सर्वोत्तम संभव उत्तर, लागत और निवास कोई बाधा नहीं," तो Fusion एक उचित विकल्प है — और हमारा अपना sangam भी, INR दरों पर। यदि यह है "सर्वश्रेष्ठ उत्तर ऐसे ओपन वेट पर जिन्हें मैं ऑडिट कर सकूं, पुनरुत्पादित कर सकूं और अंततः खुद चला सकूं — अपनी provider keys पर (BYOK), और जब ज़रूरत हो तब India residency के साथ," तो वह open-sangam है।
Rate-card अनुमानकोई मापा गया परिणाम नहीं। बताई गई मान्यताओं के तहत प्रकाशित प्रति-टोकन दरों से गणना — harness यहां के हर आँकड़े को OpenRouter की सटीक बिल की गई लागत से बदल देता है।
समान workload के तहत, open-sangam Fusion की तुलना में प्रति request लगभगएक क्रम-परिमाण सस्ता उतरता है।
open-sangam — आपकी अपनी ओपन-वेट दर (BYOK) — panel पूरी तरह ओपन-वेट है, इसलिए आप इसे अपनी provider keys (जैसे Groq) पर चलाते हैं और अपने provider की ओपन-वेट प्रति-टोकन दर देते हैं, जो frontier दरों से काफ़ी कम है।bharatrouter/sangam बीच में बैठता है — Fusion जैसा एक frontier panel, लेकिन raw frontier-provider दरों के बजाय हमारी INR catalog दरों पर बिल किया गया।मान्यताएं: प्रति panel सदस्य ≈400 input + ≈400 output टोकन; USD→INR ~₹86/$ पर; लेखन के समय प्रकाशित प्रति-टोकन दरें। टोकन संख्या, मॉडल मिश्रण, और FX आँकड़े को बदल देते हैं — ये परिमाण-क्रम के हैं, कोई कोटेशन नहीं।
जब आप harness चलाते हैं, तो लागत स्तंभ अनुमान रहना बंद कर देते हैं: यह हर कॉल के लिए OpenRouter द्वारा रिपोर्ट की गई वास्तविक बिल की गई लागत दर्ज करता है, ताकि आप देखें कि इन इंजनों नेआपके प्रॉम्प्ट पर वास्तव में क्या शुल्क लिया।
benchmark कोई स्लाइड नहीं है; यह repo में चलने योग्य कोड है:bench/sangam-vs-fusion.mjs। यह वही प्रॉम्प्ट सेट तीनों इंजनों के माध्यम से चलाता है, एक ब्लाइंड LLM जज से सर्वश्रेष्ठ उत्तर चुनवाता है, और latency, टोकन, और मापी गई लागत दर्ज करता है। यह कुंजियों के बिना चलने से इनकार करता है — क्योंकि यह वास्तविक provider कॉल पर वास्तविक पैसा खर्च करता है, इसमें कोई नकली-डेटा मोड नहीं है।
एक निश्चित सेट जो reasoning, भारत-कर, हिंदी, कोड, और संक्षेपण में फैला है — ताकि हर इंजन एक समान कार्य का उत्तर दे, कोई क्यूरेट किया गया home-field चयन नहीं।
एक LLM जज तीनों उत्तरों को यादृच्छिक, अनामी क्रम में पढ़ता है और सर्वश्रेष्ठ चुनता है। उसे कभी पता नहीं चलता कि किस इंजन ने कौन सा उत्तर बनाया — कोई house पूर्वाग्रह नहीं।
हर प्रॉम्प्ट कई ROUNDS पर चलता है ताकि एक अकेला भाग्यशाली या अभागा जनरेशन परिणाम तय न करे। एक जज कॉल कभी फैसला नहीं होती — परिणाम समेकित किए जाते हैं।
हर कॉल के लिए यह wall-clock latency, टोकन usage, और वह लागत लॉग करता है जो provider ने वास्तव में बिल की — वे नंबर जो इस पेज के अनुमानों की जगह लेते हैं।
खुद इसे चलाएं — अपनी ही कुंजियां दें (यह वास्तविक पैसा खर्च करेगा):
BR_KEY=… OPENROUTER_API_KEY=… node bench/sangam-vs-fusion.mjsएक जज मॉडल अंतिम शब्द नहीं है — एक अकेले जज की अपनी प्राथमिकताएं होती हैं। harness को नियंत्रित स्थितियों में तुलनीय नंबर पाने की एक विधि के रूप में मानें, और इसके आउटपुट को प्रॉम्प्ट और राउंड के पार एक वितरण के रूप में पढ़ें, एक अकेले स्कोर के रूप में नहीं।
harness के माध्यम से पहला पास — 6 प्रॉम्प्ट (reasoning, India-tax, हिंदी, code, summarization), 1 राउंड, ब्लाइंड best-of-3 जज (gpt-5)। एक छोटा, दिशासूचक sample, leaderboard नहीं — पर असली नंबर, कुछ भी गढ़ा हुआ नहीं।
| इंजन | मध्य latency | लागत / request | ब्लाइंड गुणवत्ता |
|---|---|---|---|
bharatrouter/open-sangam | ~17 s | आपकी अपनी ओपन-वेट दर (BYOK — आपके provider की ओपन-वेट प्रति-टोकन दर) | tie 6/6 |
bharatrouter/sangam | ~22 s | ≈ ₹8–13 (अनुमान — frontier panel, मुफ़्त नहीं) | tie 6/6 |
| OpenRouter Fusion | ~55 s | ≈ ₹13 (मापी गई — $0.89 / 6 calls) | tie 6/6 |
तीन ईमानदार निष्कर्ष: open-sangam सबसे तेज़ रहा (Fusion से ~3× तेज़),आपकी अपनी ओपन-वेट दर पर चला — इसका panel पूरी तरह open-weight है, इसलिए आप इसे अपनी provider keys (BYOK) पर चलाते हैं और अपने provider की ओपन-वेट दर देते हैं, जो Fusion के ~₹13/request से काफ़ी कम है — और जज ने हर प्रॉम्प्ट को tie दिया — इन सामान्य सवालों पर open-weight कन्सेंसस frontier panel के सामने टिका रहा। sangam frontier-panel रूट है, इसलिए यह मुफ़्त नहीं — इसकी लागत Fusion के बराबर (~₹13) है, बस हमारे INR catalog दरों पर बिल होती है।
ईमानदार चेतावनियाँ: एक राउंड, छह प्रॉम्प्ट, एक ही जज — ties कुछ हद तक जज की सतर्कता दर्शा सकते हैं, और कठिन reasoning पर फ़र्क संभवतः बढ़ेगा। latency max_tokens 700 के साथ wall-clock है। लागत पर: इस run में केवल Fusion (OpenRouter-बिल्ड) सीधे मापा गया; open-sangam आपकी अपनी BYOK keys पर चलता है, इसलिए इसकी लागत आपके provider की ओपन-वेट दर है, औरsangam का आँकड़ा rate-card अनुमान है (BR responses में cost field नहीं आता), frontier-class और स्पष्टतः open-sangam की ओपन-वेट दर जैसा नहीं। बड़े axes — residency, openness, पुनरुत्पाद्यता — ऊपर श्रेणीगत जीतें हैं। खुद चलाएँ: node bench/sangam-vs-fusion.mjs.