W&B Inference

BharatRouter च्या माध्यमातून W&B Inference वापरणे

W&B Inference तुमच्या स्वतःच्या key (BYOK) द्वारे route होते — हे unlock करण्यासाठीAccount Settings मध्ये तुमची key सेव्ह करणे आवश्यक आहे, आणि requests तुमच्या स्वतःच्या account व तुमच्या negotiated rates वर चालतील. KeyW&B Inference कडून live verify केली जाते, rest वर AES-256-GCM ने encrypt होते, फक्त in-flight वापरली जाते, आणि पुन्हा कधीही दाखवली जात नाही.

Key सेव्ह केल्यावर model discovery देखील चालते: BharatRouter W&B Inference ला विचारते की तुमची key काय serve करू शकते आणि त्या सर्व models नाwandb/<model> स्वरूपात routable बनवते — public catalog च्या पलीकडेही, फक्त तुमच्या organisation ला दिसतात. Beta दरम्यान BYOK requests मोफत आहेत.

W&B Inference वर route होणारे catalog models

Gateway कडून live — public catalog मध्ये W&B Inference route असलेले models. तुमचे स्वतःचे discovered wandb/<model> routes तुमच्याaccount मध्ये दिसतील.