NVIDIA NIM

BharatRouter के ज़रिए NVIDIA NIM का उपयोग

NVIDIA NIM आपकी अपनी key (BYOK) से route होता है — इसे unlock करने के लिएAccount Settings में अपनी key सेव करना ज़रूरी है, और requests आपके अपने account व आपकी negotiated rates पर चलेंगी। Key कोNVIDIA NIM से live verify किया जाता है, rest पर AES-256-GCM से encrypt होती है, केवल in-flight उपयोग होती है, और दोबारा कभी नहीं दिखाई जाती।

Key सेव करने पर model discovery भी चलती है: BharatRouter NVIDIA NIM से पूछता है कि आपकी key क्या serve कर सकती है और उन सभी models कोnvidia/<model> के रूप में routable बना देता है — public catalog से परे भी, केवल आपके organisation को दिखाई देते हैं। Beta के दौरान BYOK requests निःशुल्क हैं।

NVIDIA NIM पर route होने वाले catalog models

Gateway से live — public catalog में NVIDIA NIM route वाले models। आपके खुद के discovered nvidia/<model> routes आपकेaccount में दिखेंगे।