NVIDIA NIM

BharatRouter च्या माध्यमातून NVIDIA NIM वापरणे

NVIDIA NIM तुमच्या स्वतःच्या key (BYOK) द्वारे route होते — हे unlock करण्यासाठीAccount Settings मध्ये तुमची key सेव्ह करणे आवश्यक आहे, आणि requests तुमच्या स्वतःच्या account व तुमच्या negotiated rates वर चालतील. KeyNVIDIA NIM कडून live verify केली जाते, rest वर AES-256-GCM ने encrypt होते, फक्त in-flight वापरली जाते, आणि पुन्हा कधीही दाखवली जात नाही.

Key सेव्ह केल्यावर model discovery देखील चालते: BharatRouter NVIDIA NIM ला विचारते की तुमची key काय serve करू शकते आणि त्या सर्व models नाnvidia/<model> स्वरूपात routable बनवते — public catalog च्या पलीकडेही, फक्त तुमच्या organisation ला दिसतात. Beta दरम्यान BYOK requests मोफत आहेत.

NVIDIA NIM वर route होणारे catalog models

Gateway कडून live — public catalog मध्ये NVIDIA NIM route असलेले models. तुमचे स्वतःचे discovered nvidia/<model> routes तुमच्याaccount मध्ये दिसतील.