llama.cpp 1.0.0 अपडेट: पुराने API, FP8 KV कैश और सर्वर सुरक्षा

llama.cpp और ggml को 1.0.0 पर अपडेट करने से पहले हटाए गए C API, --defrag-thold और llama-server की सुरक्षा सेटिंग जाँचें। FP16 और FP8 KV कैश की मेमोरी तथा गुणवत्ता की तुलना करें, GPU पर MoE विशेषज्ञ कैश को ट्यून करें और Claude Code या OpenCode जैसे कोडिंग एजेंट के साथ स्थानीय API की पुष्टि करें। सेमांटिक वर्ज़निंग और Ollama व LM Studio पर पड़ने वाले प्रभाव भी समझें।

विषय-सूची
llama.cpp 1.0.0 अपडेट: पुराने API, FP8 KV कैश और सर्वर सुरक्षा

llama.cpp 1.0.0 पर अपडेट करने से पहले अपने C बाइंडिंग, लॉन्च पैरामीटर और llama-server की सुरक्षा सेटिंग जाँचें। 13 नवंबर 2026 को जारी इस संस्करण में पुराने API हटाए गए हैं, FP8 KV कैश और नए MoE विशेषज्ञ कैश नियंत्रण जोड़े गए हैं। यदि आपका कोडिंग एजेंट स्थानीय llama-server से जुड़ता है, तो पहले परीक्षण सर्वर अपडेट करें और सामान्य उत्तरों के साथ टूल कॉल भी जाँचें।

इस रिलीज़ में libllama और libggml के लिए वर्ज़निंग का नया नियम भी लागू हुआ है। आगे सार्वजनिक C API में असंगत बदलाव होने पर MAJOR संस्करण बढ़ाना होगा।

इससे लाइब्रेरी अपडेट का जोखिम समझना आसान होता है। हालाँकि, मॉडल के उत्तर, गति, GPU बैकएंड या सभी सर्वर एंडपॉइंट का व्यवहार एक जैसा रहने की गारंटी नहीं मिलती।

llama.cpp 1.0.0 में क्या बदला है?

इस अपडेट का सीधा असर llama.cpp को अपने ऐप में जोड़ने वाले डेवलपर, llama-server चलाने वाले ऑपरेटर और स्थानीय मॉडल की मेमोरी कम करने वाले डेवलपर पर पड़ता है।

क्षेत्र1.0.0 में बदलावआपको क्या करना चाहिए
वर्ज़निंगसार्वजनिक C API और ABI के असंगत बदलाव MAJOR संस्करण में आएँगेप्रोडक्शन में रिलीज़ या कमिट पिन करें
C API35 पुराने फ़ंक्शन और llama_set_warmup हटाए गएबाइंडिंग बदलकर दोबारा बिल्ड करें
कॉन्टेक्स्ट सेटिंगdefrag_thold और --defrag-thold हटाए गएपुरानी सेटिंग हटाएँ
स्पेक्युलेटिव डिकोडिंगNextN API अब llama.h में है; एक फ़ंक्शन का नाम बदलाइन्क्लूड और फ़ंक्शन कॉल सुधारें
KV कैशK और V के लिए f8_e4m3 समर्थनमेमोरी, गुणवत्ता और बैकएंड जाँचें
MoE इन्फ़रेंसGPU विशेषज्ञ कैश में कुछ कैश मिस CPU पर प्रोसेस हो सकते हैंGPU उपलब्धता और कैश सेटिंग जाँचें
सर्वर सुरक्षाटूल एक्सेस और निजी मीडिया URL पर नियंत्रणनेटवर्क एक्सेस और प्रमाणीकरण जाँचें
मॉडल समर्थनKimi-K3.1-Pro, Ripple, xing4_0 तथा मल्टीमॉडल सुविधाएँमॉडल लोडिंग की शर्तें जाँचें
स्पीच APIOpenAI-संगत /v1/audio/speech एंडपॉइंटसमर्थित स्पीच मॉडल से जाँचें

पूरी जानकारी v1.0.0 रिलीज़ नोट्स और परियोजना की आधिकारिक वर्ज़निंग घोषणा में दी गई है।

परियोजना के अनुसार, अब 150 से अधिक मॉडल आर्किटेक्चर वेरिएंट समर्थित हैं। इसका अर्थ यह नहीं है कि प्रत्येक चेकपॉइंट या उसकी हर सुविधा सभी बैकएंड पर काम करेगी।

आगे से सेमांटिक वर्ज़निंग का क्या अर्थ है?

नया वर्ज़निंग नियम ./include में परिभाषित सार्वजनिक C इंटरफ़ेस पर लागू होता है। इनमें llama.cpp और ggml की लाइब्रेरी के इंटरफ़ेस शामिल हैं।

डेवलपर ने संस्करण बदलने के तीन नियम तय किए हैं:

संस्करणकब बढ़ेगाउदाहरण
MAJORसार्वजनिक C API में असंगत बदलाव होने पर1.x.x से 2.0.0
MINORसंगत नई सुविधा, बैकएंड, मॉडल या API जोड़ने पर1.0.0 से 1.1.0
PATCHAPI बदले बिना बग ठीक करने पर1.0.0 से 1.0.1

ये वर्ज़निंग नियमों के उदाहरण हैं, घोषित आगामी रिलीज़ नहीं।

यदि आपका एप्लिकेशन libllama से बिल्ड होता है, तो एक ही MAJOR संस्करण में सार्वजनिक फ़ंक्शन सिग्नेचर अचानक बदलने का जोखिम कम होता है।

लेकिन अंदरूनी हेडर, दस्तावेज़ में न दिए गए सिंबल, CLI पैरामीटर, HTTP प्रतिक्रिया की बारीकियाँ और मॉडल का व्यवहार इसी गारंटी में शामिल नहीं हैं।

llama.cpp का संस्करण कैसे पिन करें?

अपने एप्लिकेशन में llama.cpp के सोर्स कोड को बिल्ड करते समय किसी निश्चित रिलीज़ टैग या अपरिवर्तनीय कमिट का उपयोग करें।

आधिकारिक बिल्ड गाइड में Git से सोर्स लेने और CMake से बिल्ड करने की प्रक्रिया है। उसमें v1.0.0 टैग चुनने का चरण जोड़ें।

Bash में चलाएँ:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch --tags
git checkout v1.0.0

cmake -B build
cmake --build build --config Release

ये परियोजना के दस्तावेज़ में दिए गए CPU बिल्ड कमांड हैं। प्लेटफ़ॉर्म के डिफ़ॉल्ट के अनुसार अन्य बैकएंड भी शामिल हो सकते हैं। किसी विशेष डिवाइस का उपयोग मान लेने से पहले बिल्ड कॉन्फ़िगरेशन देखें।

सामान्य बिल्ड के लिए सर्वर बाइनरी का दस्तावेज़ित पथ ./build/bin/llama-server है। कुछ प्लेटफ़ॉर्म और CMake जनरेटर में आउटपुट का पथ अलग हो सकता है।

GPU चाहिए तो अपने बैकएंड के लिए आधिकारिक गाइड में बताए गए CMake विकल्प जोड़ें।

प्रोडक्शन के लिए टैग, Git कमिट हैश, बिल्ड विकल्प और रनटाइम बैकएंड सुरक्षित रखें। चालू बाइनरी बदलने से पहले नई बिल्ड की जाँच करें।

यदि आपका ऐप llama.cpp का अपना बंडल उपयोग करता है, तो उस ऐप या रैपर का संस्करण भी पिन करें। उसका संस्करण और अंदर मौजूद llama.cpp का संस्करण अलग हो सकते हैं।

कौन-से API और कमांड-लाइन पैरामीटर हटाए गए?

अपग्रेड में सबसे पहले पुराने C फ़ंक्शन और डीफ़्रैगमेंटेशन थ्रेशोल्ड की सेटिंग सुधारें।

PR #30565 में किए गए API बदलाव के अंतर्गत 35 पुराने फ़ंक्शन, llama_set_warmup और डीफ़्रैगमेंटेशन थ्रेशोल्ड का कॉन्फ़िगरेशन हटाया गया है।

माइग्रेशन के लिए ये बदलाव देखें:

  • llama_set_warmup के कॉल हटाएँ।
  • कॉन्टेक्स्ट कॉन्फ़िगरेशन से defrag_thold हटाएँ।
  • लॉन्च स्क्रिप्ट से --defrag-thold हटाएँ।
  • जहाँ लागू हो, llama_set_embd_state_src को llama_set_ctx_state_src से बदलें।
  • NextN API के इन्क्लूड और घोषणाएँ अपडेट करें, जो अब llama.h में उपलब्ध हैं।

हटाए गए 35 फ़ंक्शन की हर स्थिति में सीधी जगह लेने वाला नया फ़ंक्शन होना आवश्यक नहीं है। अपनी बाइंडिंग में प्रयुक्त सिंबल को v1.0.0 के हेडर बदलावों से मिलाएँ।

स्क्रिप्ट से —defrag-thold कैसे हटाएँ?

पुराने संस्करण में सर्वर इस प्रकार शुरू किया गया हो सकता है:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --defrag-thold 0.1

नए संस्करण में पुराना पैरामीटर हटाकर चलाएँ:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768

थ्रेशोल्ड के लिए कोई दूसरा मान खोजने की आवश्यकता नहीं है। पैरामीटर ही हट चुका है। बिना प्रमाण उसका कोई विकल्प न जोड़ें।

शेल स्क्रिप्ट, Docker कॉन्फ़िगरेशन, सर्विस फ़ाइल और सोर्स कोड में पुराने नाम खोजें:

grep -RInE \
  'defrag[_-]thold|llama_set_warmup|llama_set_embd_state_src' \
  ./scripts ./config ./src

अपने प्रोजेक्ट के अनुसार खोज वाले फ़ोल्डर बदलें। यदि कोई फ़ोल्डर मौजूद नहीं है, तो उसे कमांड से निकाल दें।

ऐसे एनवायरनमेंट वेरिएबल और रैपर भी देखें जो अपने आप पुराने CLI पैरामीटर बनाते हैं।

C और Python बाइंडिंग कैसे अपडेट करें?

यदि आपका एप्लिकेशन सीधे llama.h उपयोग करता है, तो पुनः बिल्ड करने से पहले उसके फ़ंक्शन और स्ट्रक्चर को v1.0.0 के हेडर से मिलाएँ।

CMake आधारित एप्लिकेशन को नई लाइब्रेरी के साथ दोबारा बिल्ड करें। कंपाइलर और लिंकर की त्रुटियाँ जाँचें।

Python रैपर के लिए पहले पता करें कि उसका संस्करण llama.cpp 1.0.0 को स्पष्ट रूप से सपोर्ट करता है या नहीं।

सिर्फ llama.cpp की बाइनरी बदलने से Python बाइंडिंग में पहले से कंपाइल की गई फ़ंक्शन परिभाषाएँ नहीं बदलतीं।

यदि रैपर के अंदर llama.cpp की अपनी सोर्स कॉपी है, तो उसके अनुरूप आधिकारिक अपडेट प्रक्रिया अपनाएँ। बिना संगतता जाँचे साझा लाइब्रेरी को हाथ से न बदलें।

केवल सफल import पर्याप्त परीक्षण नहीं है। मॉडल लोड करें, आउटपुट बनाएँ और अपने ऐप में उपयोग होने वाले कॉन्टेक्स्ट स्टेट तथा स्पेक्युलेटिव डिकोडिंग ऑपरेशन जाँचें।

llama.cpp 1.0.0 में FP8 KV कैश कैसे चालू करें?

Attention की key और value कैश को FP8 में रखने के लिए -ctk f8_e4m3 -ctv f8_e4m3 उपयोग करें।

KV कैश पहले से प्रोसेस किए गए टोकन की जानकारी रखता है। इससे आगे के टोकन बनाते समय मॉडल को पूरा पिछला कॉन्टेक्स्ट फिर से गणना नहीं करना पड़ता।

बड़ा कॉन्टेक्स्ट आम तौर पर अधिक KV कैश मेमोरी लेता है।

FP8 प्रत्येक मान के लिए 8 बिट लेता है, जबकि FP16 में 16 बिट लगते हैं। समान टेंसर आकार के लिए मूल K/V डेटा का आकार सैद्धांतिक रूप से लगभग आधा हो सकता है।

इस अनुमान में मॉडल वेट, स्केलिंग डेटा, मेटाडेटा, मेमोरी एलाइनमेंट या कंप्यूट बफ़र शामिल नहीं हैं। इसलिए कुल VRAM आधी होने का दावा सही नहीं होगा।

पहले FP16 को आधार बनाकर मापें

दोनों परीक्षणों में एक ही मॉडल और समान कॉन्टेक्स्ट आकार रखें।

पहला रन FP16 के साथ करें:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  -ctk f16 \
  -ctv f16

लॉग से KV बफ़र का आकार लिखें। उपलब्ध डिवाइस मेमोरी, प्रॉम्प्ट प्रोसेसिंग गति और जनरेशन गति भी दर्ज करें।

सर्वर बंद करके FP8 के साथ फिर शुरू करें:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  -ctk f8_e4m3 \
  -ctv f8_e4m3

इस रिलीज़ में FP8 KV कैश के लिए वैकल्पिक स्थिर per-tensor scale का समर्थन भी जोड़ा गया है।

लॉग में वास्तविक कैश टाइप और आवंटित मेमोरी देखें। CLI पैरामीटर स्वीकार हो जाना इस बात का प्रमाण नहीं है कि GPU बैकएंड हर अनुकूलित FP8 गणना का समर्थन करता है।

क्या FP8 से कॉन्टेक्स्ट दोगुना हो जाएगा?

ज़रूरी नहीं। FP8 KV टेंसर की स्टोरेज घटाता है, लेकिन मॉडल की समर्थित कॉन्टेक्स्ट सीमा और उपलब्ध मेमोरी की सीमा बनी रहती है।

उदाहरण के लिए, यदि किसी काल्पनिक कॉन्फ़िगरेशन में FP16 KV कैश 8 GiB लेता है, तो उसी टेंसर का मूल FP8 डेटा लगभग 4 GiB हो सकता है।

यह सैद्धांतिक गणना है, llama.cpp पर किया गया वास्तविक बेंचमार्क नहीं।

बची मेमोरी से बड़ा कॉन्टेक्स्ट या अधिक एक साथ चलने वाले अनुरोध संभव हो सकते हैं। लेकिन इससे मॉडल की प्रभावी कॉन्टेक्स्ट क्षमता उसकी समर्थित सीमा से आगे नहीं बढ़ती।

FP8 की सटीकता कम होती है। आधिकारिक रिलीज़ दस्तावेज़ कोडिंग की गुणवत्ता या टूल कॉल की विश्वसनीयता पर कोई सार्वभौमिक FP8 परिणाम नहीं देते।

इसलिए अपने कोडिंग एजेंट पर FP16 और FP8 की तुलना समान कामों से करें:

  1. लंबी सोर्स फ़ाइल में आवश्यक सिंबल खोजें।
  2. कई फ़ाइलों में बदलाव तैयार करें।
  3. संरचित टूल कॉल बनवाएँ।
  4. लंबे संवाद के कई चरणों के बाद काम जारी रखें।

सिर्फ टोकन प्रति सेकंड न देखें। कोड की शुद्धता और टूल कॉल के तर्क तथा फ़ॉर्मैट की भी जाँच करें।

नया MoE विशेषज्ञ कैश कैसे काम करता है?

Mixture-of-Experts मॉडल के कुछ विशेषज्ञ वेट सिस्टम RAM में होने पर MoE कैश उपयोगी हो सकता है।

MoE मॉडल हर टोकन पर चुनिंदा विशेषज्ञों का उपयोग करता है। यदि उनके वेट RAM में हैं, तो बार-बार GPU तक डेटा भेजने से डिकोडिंग धीमी हो सकती है।

यह कैश बार-बार काम आने वाले CPU-निवासी विशेषज्ञों को GPU मेमोरी में रखता है। कैश मिस होने पर कुछ गणनाएँ CPU पर हो सकती हैं।

यह FP8 KV कैश से अलग है। MoE कैश विशेषज्ञ वेट संभालता है, जबकि KV कैश attention की पिछली स्थिति रखता है।

आधिकारिक MoE कैश गाइड में ये नियंत्रण दिए गए हैं:

विकल्पकामडिफ़ॉल्ट
-cmoeसभी MoE विशेषज्ञ वेट CPU मेमोरी में रखेंचुने बिना बंद
--moe-cache-mib NRAM में रखे विशेषज्ञों के लिए N MiB GPU कैश आवंटित करें0, बंद
--moe-cache-cpu-share Fकैश भरने के बाद मिस का हिस्सा F CPU पर प्रोसेस करें0

CPU share की समर्थित सीमा 0 से 1 है।

कैश की कार्यप्रणाली समझें:

  • कैश हिट GPU पर प्रोसेस होते हैं।
  • कैश पूरा भरने से पहले मिस हुए विशेषज्ञ GPU पर अपलोड होते हैं।
  • कैश भरने के बाद CPU तय हिस्से के मिस प्रोसेस करता है।
  • बाकी मिस GPU पर प्रोसेस करने के लिए अपलोड होते हैं।
  • बड़े बैच में आवश्यक विशेषज्ञों को फिर भी अपलोड करना पड़ सकता है।

यदि CPU पर RAM से विशेषज्ञ वेट पढ़ना, GPU तक भेजने से तेज़ है, तो CPU पर गणना मदद कर सकती है।

Pinned host memory में डेटा GPU तक तेज़ी से पहुँच सकता है। ऐसी स्थिति में CPU share बढ़ाने से लाभ कम हो सकता है या गति घट सकती है।

RAM में रखे MoE विशेषज्ञों को कैश करने का उदाहरण

इस सेटअप के लिए समर्थित GPU बैकएंड और विशेषज्ञ कैश के लिए पर्याप्त खाली GPU मेमोरी चाहिए।

केवल CPU वाली बिल्ड इस GPU विशेषज्ञ कैश को उपलब्ध नहीं करा सकती।

NVIDIA सिस्टम में आवश्यक CUDA डेवलपमेंट टूल होने पर आधिकारिक CUDA बिल्ड निर्देश के अनुसार चलाएँ:

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

दूसरे समर्थित GPU के लिए उसके बैकएंड की दस्तावेज़ित बिल्ड प्रक्रिया अपनाएँ।

संगत MoE मॉडल और GPU सक्षम बिल्ड का उदाहरण:

./build/bin/llama-server \
  -m /path/to/moe-model.gguf \
  -cmoe \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  --moe-cache-mib 2048 \
  --moe-cache-cpu-share 0.5

यहाँ -cmoe विशेषज्ञ वेट CPU मेमोरी में रखता है। --moe-cache-mib 2048 चुनिंदा विशेषज्ञों के लिए 2,048 MiB GPU कैश माँगता है।

0.5 का अर्थ है कि कैश भरने के बाद 50% कैश मिस CPU को दिए जाएँगे।

कैश भरने तक मिस हुए वेट GPU पर अपलोड होते रहेंगे। कैश हिट भी GPU पर ही प्रोसेस होंगे।

यह केवल कॉन्फ़िगरेशन उदाहरण है। हर GPU के लिए यही सेटिंग सर्वोत्तम नहीं होगी।

GPU में विशेषज्ञ कैश के साथ मॉडल की लेयर, KV कैश और कंप्यूट बफ़र के लिए भी स्थान चाहिए।

यदि आवंटन संभव न हो, तो कैश का आकार घटाएँ या वेट कहाँ रखे जाएँ, यह बदलें। MoE कैश से बहुत बड़ा मॉडल अपने आप फिट नहीं हो जाता।

ट्यूनिंग स्क्रिप्ट से सेटिंग कैसे चुनें?

परियोजना में वास्तविक मशीन के लिए उपयुक्त कैश सेटिंग खोजने की एक स्क्रिप्ट दी गई है।

llama.cpp रिपॉज़िटरी के अंदर चलाएँ:

python3 scripts/moe-cache-tune.py -- \
  ./build/bin/llama-server \
  -m /path/to/moe-model.gguf \
  -cmoe \
  -t 8 \
  -c 32768

आधिकारिक ट्यूनिंग स्क्रिप्ट कई कैश आकार और CPU share पर सर्वर चलाती है।

गाइड में छह परीक्षण बताए गए हैं। इनमें दो कैश आकार और CPU share के 0, 0.5 तथा 0.95 मान शामिल हैं।

इन मापों के आधार पर स्क्रिप्ट अन्य कॉन्फ़िगरेशन का अनुमान लगाती है। यह मापी गई गति, अनुमानित थ्रूपुट और सुझाए गए पैरामीटर दिखाती है।

अपने वास्तविक मॉडल, CPU थ्रेड, कॉन्टेक्स्ट आकार और विशेषज्ञ वेट की स्थिति के विकल्प बनाए रखें। ये मेमोरी तथा गति दोनों पर असर डालते हैं।

कैश मुख्यतः छोटे बैच की डिकोडिंग के लिए है। बड़े बैच को अब भी विशेषज्ञ वेट GPU पर भेजने पड़ सकते हैं।

यदि मॉडल dense है या उसके सभी विशेषज्ञ पहले से GPU में फिट होते हैं, तो होस्ट-मेमोरी विशेषज्ञ कैश से लाभ की संभावना कम है। ऐसी स्थिति में इसे डिफ़ॉल्ट रूप से बंद रखें।

llama-server की सुरक्षा में क्या बदला है?

संस्करण 1.0.0 दो सुरक्षा-संबंधी अनुमतियाँ स्पष्ट रूप से चालू करने का विकल्प देता है: बिना प्रमाणीकरण वाले सर्वर टूल और निजी नेटवर्क के मीडिया URL।

इसका विशेष महत्व तब है जब सर्वर को दूसरे कंप्यूटर से एक्सेस किया जा सकता है।

—allow-unauthenticated-tools

--allow-unauthenticated-tools बिना API key के गैर-loopback पते पर सर्वर टूल, MCP सर्वर या MCP प्रॉक्सी उपयोग करने की अनुमति देता है।

आधिकारिक सर्वर पैरामीटर संदर्भ में यह अनुमति डिफ़ॉल्ट रूप से बंद है। इसे केवल विश्वसनीय नेटवर्क के लिए बताया गया है।

127.0.0.1 पर सुनने वाला सर्वर उसी मशीन तक सीमित होता है। 0.0.0.0 पर सुनने वाला सर्वर अन्य नेटवर्क इंटरफ़ेस से भी पहुँचा जा सकता है।

इसलिए गैर-loopback एक्सेस, चालू सर्वर टूल या MCP और बिना API key वाले संयोजन की सुरक्षा जाँच आवश्यक है।

स्पष्ट अनुमति देने वाला फ़्लैग:

--allow-unauthenticated-tools

अपग्रेड करते समय इसे बिना सोचे न जोड़ें। इससे संवेदनशील सर्वर क्षमताएँ बिना प्रमाणीकरण उपलब्ध हो सकती हैं।

यह सर्वर-साइड टूल और MCP के बारे में है। मॉडल का संरचित tool_calls आउटपुट लौटाना एजेंट प्रक्रिया का अलग भाग है।

यदि विकास का काम उसी मशीन पर चल रहा है, तो स्थानीय इंटरफ़ेस चुनें:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  --host 127.0.0.1 \
  --port 8080 \
  --jinja

दूसरे कंप्यूटर से उपयोग के लिए दस्तावेज़ित --api-key प्रमाणीकरण और उपयुक्त नेटवर्क पाबंदी लगाएँ।

Bash में बिना इनपुट दिखाए API key दर्ज करें:

read -rs LLAMA_SERVER_API_KEY && export LLAMA_SERVER_API_KEY

इसके बाद उसी एनवायरनमेंट वेरिएबल का उपयोग करें:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  --jinja \
  --api-key "$LLAMA_SERVER_API_KEY"

सर्वर को उपयुक्त नेटवर्क सुरक्षा के पीछे रखें। केवल API key होने से किसी भी सार्वजनिक सर्वर कॉन्फ़िगरेशन की सुरक्षा सुनिश्चित नहीं होती।

—media-allow-private-urls

दूसरा बदलाव उन HTTP(S) मीडिया URL से जुड़ा है जो क्लाइंट सर्वर को भेजता है। उदाहरण के लिए, तस्वीर का URL।

डिफ़ॉल्ट रूप से सर्वर स्थानीय या निजी नेटवर्क पते वाले मीडिया URL को एक्सेस करने की अनुमति नहीं देता।

वैकल्पिक फ़्लैग:

--media-allow-private-urls

इसे चालू करने पर सर्वर स्थानीय या निजी पते से HTTP(S) मीडिया संसाधन ले सकता है।

यदि विश्वसनीय एप्लिकेशन तस्वीरें किसी निजी सर्वर पर रखता है, तो यह सुविधा काम आ सकती है।

लेकिन उपयोगकर्ता द्वारा नियंत्रित URL के कारण SSRF का खतरा बढ़ता है। इस हमले में सर्वर से ऐसे नेटवर्क संसाधन मँगवाए जा सकते हैं जिन तक क्लाइंट की सीधी पहुँच नहीं होनी चाहिए।

जहाँ संभव हो, समर्थित फ़ॉर्मैट में इमेज डेटा सीधे भेजें या नियंत्रित मीडिया होस्टिंग उपयोग करें।

निजी URL आवश्यक हों, तो अनुरोध भेजने वाले उपयोगकर्ता और सर्वर से पहुँचने योग्य पते सीमित करें। किसी अविश्वसनीय URL को चलाने के लिए फ़्लैग चालू न करें।

सुरक्षा से जुड़े अन्य सुधार

रिलीज़ में ये बदलाव भी शामिल हैं:

  • --cors-origins का सत्यापन और अनुरोध के origin की जाँच।
  • DNS rebinding से सुरक्षा।
  • CORS प्रॉक्सी के ज़रिए SSRF को रोकने वाले सुधार।
  • चाइल्ड सर्वर इंस्टेंस तक सीधे ब्राउज़र एक्सेस का नियंत्रण।
  • HF_TOKEN भेजे जाने वाले होस्ट पर पाबंदी।
  • क्लाइंट डिस्कनेक्ट या टाइमआउट के बाद MCP टूल कॉल रद्द करना।

अब HF_TOKEN केवल huggingface.co होस्ट को भेजने तक सीमित है।

कोडिंग एजेंट के लिए MCP कॉल रद्द होना उपयोगी है। क्लाइंट डिस्कनेक्ट होने के बाद गैर-ज़रूरी टूल ऑपरेशन चलते नहीं रहने चाहिए।

फिर भी रद्द करने की सूचना का अर्थ यह नहीं है कि बाहरी टूल पहले से किए गए बदलाव अपने आप वापस ले लेगा।

संबंधित बदलाव PR #32113, PR #32115 और v1.0.0 रिलीज़ नोट्स में दिए गए हैं।

अपग्रेड के बाद स्थानीय कोडिंग एजेंट का बैकएंड कैसे जाँचें?

Claude Code, OpenCode या अन्य क्लाइंट जोड़ने से पहले llama-server पर मॉडल जनरेशन जाँचें।

टूल कॉल समझने के लिए उपयुक्त इंस्ट्रक्शन मॉडल के साथ केवल लोकल इंटरफ़ेस पर सर्वर शुरू करें:

./build/bin/llama-server \
  -m /path/to/coding-model.gguf \
  --alias local-coder \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  --jinja

मॉडल को आपके क्लाइंट के अपेक्षित टूल कॉल फ़ॉर्मैट का समर्थन करना चाहिए।

--jinja चैट टेम्पलेट प्रोसेसिंग सक्षम करता है। यह ऐसे मॉडल में टूल उपयोग की क्षमता नहीं जोड़ता जिसमें वह क्षमता उपलब्ध नहीं है।

curl से मॉडल सूची देखें:

curl --fail-with-body \
  http://127.0.0.1:8080/v1/models

उत्तर में कॉन्फ़िगर किया गया मॉडल alias दिखाई देना चाहिए।

इसके बाद सामान्य चैट अनुरोध भेजें:

curl --fail-with-body \
  http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "local-coder",
    "messages": [
      {
        "role": "user",
        "content": "Explain what a Git diff shows in one sentence."
      }
    ],
    "max_tokens": 100
  }'

प्रतिक्रिया में choices के अंदर मॉडल का उत्तर जाँचें।

इसके बाद अपने कोडिंग क्लाइंट में दस्तावेज़ित custom-provider विकल्प उपयोग करें। स्थानीय OpenAI-संगत API का Base URL है:

http://127.0.0.1:8080/v1

OpenAI Chat Completions से संगत होने का अर्थ पूर्ण Anthropic Messages API या OpenAI Responses API संगतता नहीं है।

Claude Code को स्थानीय सर्वर से जोड़ने के लिए प्रोटोकॉल एडाप्टर या दूसरा समर्थित रास्ता आवश्यक हो सकता है। OpenCode में संगत custom provider उपयोग किया जा सकता है, बशर्ते मॉडल और API सेटिंग सही हों।

वास्तविक रिपॉज़िटरी पर काम शुरू करने से पहले फ़ाइल पढ़ने, बदलाव सुझाने और एक टूल कॉल करने की जाँच करें।

एक सामान्य उत्तर सफल होने से लंबी बातचीत, संरचित टूल आर्ग्युमेंट या फ़ाइल बदलाव की विश्वसनीयता सिद्ध नहीं होती।

यदि आप Kimi मॉडल पर विचार कर रहे हैं, तो Claude Code और Codex के साथ Kimi K3.1 Pro सेटअप गाइड देखें। Kimi K3.1 Pro के ओपन वेट और लाइसेंस की गाइड स्थानीय हार्डवेयर और होस्टेड API के अलग-अलग उपयोग समझने में मदद करती है।

क्या Ollama और LM Studio उपयोगकर्ताओं को अभी अपडेट करना चाहिए?

यदि आप Ollama या LM Studio का तैयार एप्लिकेशन उपयोग करते हैं, तो उसमें शामिल llama.cpp लाइब्रेरी स्वयं न बदलें।

ये एप्लिकेशन अपना रनटाइम संस्करण, पैकेजिंग और संगतता परीक्षण खुद संभालते हैं।

llama.cpp 1.0.0 आने का अर्थ यह नहीं है कि उस पर निर्भर हर ऐप ने उसी समय नया संस्करण शामिल कर लिया है।

वास्तविक इंजन संस्करण के लिए संबंधित ऐप के रिलीज़ नोट्स और अपडेट प्रक्रिया देखें।

अपने ऐप के नए संस्करण में इन बदलावों पर ध्यान दें:

  • रिलीज़ में llama.cpp 1.0.0 या उससे संबंधित इंजन बदलाव का उल्लेख हो।
  • नए KV कैश फ़ॉर्मैट या MoE कैश विकल्प दिखाई दें।
  • सर्वर टूल या MCP प्रमाणीकरण के नियम बदलें।
  • अपडेट के बाद मॉडल लोडिंग या टूल कॉल व्यवहार बदल जाए।

यदि आप केवल डेस्कटॉप पर मॉडल से चैट करते हैं, तो विशेष सुधार की आवश्यकता न होने पर मौजूदा कार्यशील समर्थित संस्करण उपयोग कर सकते हैं।

लेकिन Ollama या LM Studio को एजेंट बैकएंड की तरह उपयोग करने पर प्रत्येक ऐप अपडेट के बाद क्लाइंट से सर्वर तक पूरी प्रक्रिया जाँचें।

कब स्थानीय मॉडल के बजाय होस्टेड API चुनें?

स्थानीय मॉडल तब उपयोगी है जब आपका हार्डवेयर चयनित मॉडल, कॉन्टेक्स्ट आकार और आवश्यक जनरेशन गति संभाल सके।

FP8 KV कैश कुछ मेमोरी बचा सकता है। MoE कैश विशेषज्ञ वेट RAM में होने पर कुछ स्थितियों में मदद कर सकता है। दोनों में से कोई भी हर हार्डवेयर सीमा दूर नहीं करता या तेज़ कोडिंग की गारंटी नहीं देता।

यदि मॉडल वेट, attention कैश या समानांतर अनुरोध हार्डवेयर की क्षमता से बाहर हों, तो छोटे स्थानीय मॉडल की तुलना उपयुक्त होस्टेड मॉडल से करें।

होस्टेड API पर GPU मेमोरी स्वयं संभालने की आवश्यकता कम होती है। इसके बदले नेटवर्क, प्रति-उपयोग लागत और प्रदाता पर निर्भरता आती है।

BetterToken कई मॉडलों तक उपयोग के अनुसार भुगतान वाले API से पहुँच प्रदान करने का एक विकल्प है। यह स्थानीय llama.cpp रनटाइम या उसके सर्वर सुरक्षा फ़ीचर उपलब्ध नहीं कराता।

होस्टेड विकल्प चुनने से पहले अपनी आवश्यक मॉडल और कार्यभार की कीमत वर्तमान मूल्य पृष्ठ पर जाँचें।

यदि स्थानीय और क्लाउड मॉडल के बीच स्विच करना चाहते हैं, तो दोनों के लिए अलग परीक्षित provider कॉन्फ़िगरेशन रखें।

एक ही मॉडल ID, टूल फ़ॉर्मैट या प्रमाणीकरण सेटिंग को हर एंडपॉइंट पर काम करने वाला न मानें।

सुरक्षित अपडेट की जाँच-सूची

प्रोडक्शन में स्थानीय कोडिंग बैकएंड बदलने से पहले निम्न जाँच पूरी करें:

  1. v1.0.0 सोर्स या सटीक बाइनरी बिल्ड पिन करें।
  2. --defrag-thold और पुराने C API कॉल हटाएँ।
  3. नए सार्वजनिक हेडर के साथ नेटिव बाइंडिंग दोबारा बिल्ड करें।
  4. पहले पिछली FP16 KV कैश सेटिंग के साथ परीक्षण करें।
  5. FP8 KV कैश पर मेमोरी, गति, कोड की शुद्धता और टूल कॉल की तुलना करें।
  6. समर्थित GPU बैकएंड और RAM में विशेषज्ञ वेट होने पर ही MoE कैश ट्यून करें।
  7. टूल प्रमाणीकरण और निजी मीडिया URL के नियम जाँचें।
  8. /v1/models, चैट जनरेशन, टूल कॉल और कोडिंग क्लाइंट की पुष्टि करें।
  9. वापस लौटने के लिए पिछला कार्यशील बाइनरी और कॉन्फ़िगरेशन सुरक्षित रखें।

llama.cpp 1.0.0 सार्वजनिक C लाइब्रेरी की संगतता के लिए स्पष्ट नियम देता है। फिर भी सुरक्षित अपग्रेड आपके बाइंडिंग, हार्डवेयर, नेटवर्क एक्सेस और एजेंट के वास्तविक काम के परीक्षण पर निर्भर करेगा।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।

मुफ़्त शुरू करें