GPT-Live-1 पर वॉइस एजेंट आर्किटेक्चर: आवाज़ और बैकग्राउंड लॉजिक को कैसे जोड़ें

एक वॉयस असिस्टेंट को तैयार करना लंबे समय से तीन अलग-अलग घटकों को आपस में जोड़ने तक सीमित रहा है: स्पीच-टू-टेक्स्ट (STT), लार्ज लैंग्वेज मॉडल (LLM), और टेक्स्ट-टू-स्पीच (TTS)। व्यावहारिक रूप से, यह श्रृंखला एक ध्यान देने योग्य लेटेंसी पैदा करती है और लाइव बातचीत को प्रबंधित करना जटिल बना देती है। जब बातचीत करने वाला व्यक्ति रुकता है, अपना विचार बदलता है या असिस्टेंट को बीच में टोकता है, तो डेवलपर को मैन्युअल रूप से स्टेट ट्रैक करनी पड़ती है, ऑडियो स्ट्रीम को रीसेट करना पड़ता है और तीनों सेवाओं के बीच संदर्भ को सिंक्रोनाइज़ करना पड़ता है।

10 सितंबर 2026 को OpenAI ने एपीआई में GPT-Live-1 मॉडल का एक्सेस उपलब्ध कराया (आधिकारिक रिलीज़)। अलग-अलग सेवाओं को चरण-दर-चरण जोड़ने के बजाय, यह मॉडल एक फुल-डुप्लेक्स (full-duplex) ऑडियो लेयर प्रदान करता है: यह एक ही समय में आने वाले ऑडियो स्ट्रीम को ग्रहण करने और प्रतिक्रिया में आवाज़ उत्पन्न करने में सक्षम है।

आवाज़ और गणना का विभाजन

यदि बैकएंड पर कार्यों को पूरा करने में समय लगता है, तो निरंतर वॉयस इंटरैक्शन बनाए रखने के लिए उन्हें स्पीच लेयर से अलग रखा जाता है। GPT-Live-1 पर आधारित एक व्यावहारिक आर्किटेक्चर ज़िम्मेदारियों के विभाजन पर बनता है:

1. वॉयस फ्रंटएंड। मॉडल एक साथ आने वाले और जाने वाले ऑडियो को प्रोसेस करता है। डेवलपर्स के दावे के अनुसार, यह दृष्टिकोण STT–LLM–TTS कैस्केड की तुलना में बैकग्राउंड शोर, ठहराव और बीच में टोकने को बेहतर ढंग से संभालता है, साथ ही नेटिव टर्न डिटेक्शन (turn detection) का भी समर्थन करता है।
2. बैकग्राउंड बैकएंड। जटिल डेटा विश्लेषण, डेटाबेस क्वेरी और टूल कॉलिंग (tool calling) अलग टेक्स्ट मॉडल या बाहरी एजेंटों को सौंपे जाते हैं।

यह सेटअप इस तरह डिज़ाइन किया गया है ताकि इंटरफ़ेस सुनने वाले के साथ संपर्क बनाए रख सके और सन्नाटे में न अटके, जबकि बैकग्राउंड सेवा एक सार्थक उत्तर तैयार कर रही हो। इसके बावजूद, अपने विशिष्ट स्टैक पर वास्तविक लेटेंसी और बदलाव की सहजता की पुष्टि करना अभी भी आवश्यक है।

कार्यों का डेलिगेशन कैसे काम करता है

आवाज़ और बैकएंड एसिंक्रोनस रूप से काम करते हैं। जब कोई उपयोगकर्ता ऑर्डर की स्थिति या रिपॉजिटरी में खोज का अनुरोध करता है, तो एप्लिकेशन उस कार्य को अपने बैकएंड पर भेजने की व्यवस्था करता है।

आधिकारिक दस्तावेज़ में Codex SDK का उपयोग करके इस तरह के समन्वय का एक वैचारिक उदाहरण दिया गया है:

import { Codex } from "@openai/codex-sdk";

const thread = new Codex().startThread({
  workingDirectory: "./repo",
  sandboxMode: "read-only",
  approvalPolicy: "never",
});

async function answer(live, delegationId, context) {
  const { finalResponse } = await thread.run(
    `Answer the latest question using this repo.
     Reply in two short spoken sentences.\n${context}`
  );

  live.send({
    type: "session.commentary.append",
    delegation_id: delegationId,
    content: finalResponse,
  });
}

ऊपर दिया गया कोड केवल एक आधिकारिक इंटीग्रेशन अंश है: इसमें कनेक्शन इनिशियलाइज़ेशन और डेलिगेशन इवेंट हैंडलिंग को छोड़ दिया गया है, इसलिए यह स्वतंत्र रूप से चलाने के लिए अभिप्रेत नहीं है।

यह अंश इंटरैक्शन का सामान्य सिद्धांत दिखाता है: एप्लिकेशन टर्न के संदर्भ को टूल के वर्कर थ्रेड में भेजता है, और प्राप्त उत्तर को session.commentary.append इवेंट के माध्यम से वापस ऑडियो सत्र में लौटा देता है। वॉयस चैनल सक्रिय रहता है, जिससे एजेंट को ज़रूरत पड़ने पर एक संक्षिप्त परिचयात्मक वाक्यांश बोलने की अनुमति मिलती है, जबकि बैकएंड अपनी गणना पूरी कर रहा होता है।

आर्किटेक्चर चयन के मानदंड

प्रकाशन की तिथि तक, वॉयस लेयर की लागत $0.05 प्रति मिनट है, जिसमें बैकग्राउंड मॉडल या टूल कॉल का खर्च शामिल नहीं है। यह योजना उन परिदृश्यों में प्रासंगिक है जहां बातचीत की निरंतरता महत्वपूर्ण होती है:

• फ़ोन कॉल और अपॉइंटमेंट बुकिंग। ऐसी प्रक्रियाएं जहां बोलने के बीच कोई भी अस्वाभाविक ठहराव ग्राहक को यह पूछने पर मजबूर करता है कि क्या उसकी आवाज़ आ रही है।
• स्वाभाविक बातचीत वाला सपोर्ट। ऐसे संवाद जहां लोग अक्सर झिझकते हैं, बोलते-बोलते अपने शब्दों को बदलते हैं या अधूरे वाक्यों में बात करते हैं।
• वॉयस-आधारित पेयर इंटरैक्शन। कोड या दस्तावेज़ों पर इंटरैक्टिव काम, जहां व्यक्ति जोर से सोचता है और हर एक टर्न के समाप्त होने का इंतज़ार नहीं करना चाहता।

यदि कार्य केवल सख्त कमांड दर्ज करने, नोट्स लिखवाने या मानक फ़ॉर्म भरने तक ही सीमित है, तो इस समाधान की तुलना पारंपरिक STT-आधारित कैस्केड से करना समझदारी होगी।

प्रोटोटाइप परीक्षण की शुरुआत कहां से करें

नीचे दिए गए कदम प्रोटोटाइप सत्यापन के लिए सिफारिशें हैं, न कि पूरे हो चुके परीक्षणों की रिपोर्ट। किसी वर्कफ़्लो को नई आर्किटेक्चर पर स्थानांतरित करने से पहले, इन बुनियादी कदमों को पूरा करना उपयोगी है:

• बैकएंड रिस्पॉन्स समय मापें। यदि आपके डेटाबेस या बाहरी मॉडल से जानकारी प्राप्त करने में समय लगता है, तो वॉयस लेयर को इस तरह कॉन्फ़िगर करें कि वह चुप रहने के बजाय एक स्वाभाविक, छोटे वाक्यांश के साथ ऑपरेशन शुरू होने की पुष्टि करे।
• शोरगुल वाले माहौल में व्यवहार की जांच करें। वास्तविक परिस्थितियों में प्रोटोटाइप का परीक्षण करें: सड़क का शोर, बैकग्राउंड में होने वाली बातचीत, या अस्थिर माइक्रोफ़ोन इनपुट की उपस्थिति में।
• बैकग्राउंड मॉडल के आउटपुट फ़ॉर्मैट को सीमित करें। बैकएंड के सिस्टम प्रॉम्प्ट में स्पष्ट रूप से निर्दिष्ट करें कि उत्तर एक या दो संक्षिप्त वाक्यों में होने चाहिए जो सुनने और समझने में आसान हों।
• सत्र अवधि की सीमाएं निर्धारित करें। वॉयस लेयर के लिए $0.05 प्रति मिनट की दर पर, टेस्ट कॉल की अधिकतम अवधि को प्रोग्रामेटिक रूप से सीमित करना उपयोगी होता है, जिससे क्लाइंट के हैंग होने पर अनावश्यक शुल्क से बचा जा सके।

कदमों का यह क्रम टूल्स की वास्तविक लेटेंसी को पहले ही समझने और सिस्टम को बड़े पैमाने पर लागू करने से पहले प्रॉम्प्ट में सुधार करने में मदद करता है।