HCI

Ambient Abilities

2 सितंबर 2026hcimacosएजेंटरूटिंगembeddingscomputer-use

ambient असिस्टेंट की authoring सतह से एक फ़ील्ड रिपोर्ट, और उसके नीचे का routing सवाल।

जिस असिस्टेंट के बारे में मैं इस ब्लॉग पर लिखता रहा हूँ, उसका नया नाम है। Bonnie अब Mary है। यह रीब्रांड नहीं, री-आर्किटेक्चर है: वही प्रतिबद्धताएँ (accessibility tree को ground truth मानना, ऐसी मेमोरी जिसका मालिक उपयोगकर्ता है, ऐसी कार्रवाइयाँ जो रसीद छोड़ें), जिन्हें उनके भार उठाने वाले रूप तक छाँट दिया गया है। नाम बदलने के साथ ज़्यादातर बदलाव अंदरूनी हैं। जो नहीं बदलता, वह उसके नीचे की शर्त है: Mary को कोई नई application सिखाने के लिए कभी Swift लिखने की ज़रूरत नहीं पड़नी चाहिए।

यह विचार एक स्क्रीन में रहता है, Ability Studio, और मैं उसे उसी क्रम में दिखाना चाहता हूँ जिसमें मैं हाल में उसमें रहा हूँ: एक recipe, वह ability जिससे वह जुड़ी है, उस ability के भीतर एक skill, और फिर वह हिस्सा जो मेरे हिसाब से पूरे ऐप की सबसे दिलचस्प इंजीनियरिंग है: वह टूल जो मुझे यह रिहर्सल करने देता है कि कोई वाक्य कैसे route होता है, model तक पहुँचने से पहले।

Recipe एक आर्ग्युमेंट वाला macro है

यह “Pair Program” है, एक recipe जो मैंने terminal खोले बिना diff की समीक्षा करने के लिए बनाई:

एक Recipe Skills को एक ऐसे चरण में जोड़ती है जो सीधे Mary से माँगा जा सके: इस ability की अपनी skills, या किसी भी इंस्टॉल की हुई ability की। “Pair Program” मौजूदा फ़ाइल पढ़ती है, कर्सर के नीचे का symbol पढ़ती है, प्रोजेक्ट की रूपरेखा खींचती है, फिर Mary को ही सौंपती है कि वह न्यूनतम बदलाव की योजना बनाए, उसके बाद “Coding” उसे पूरा करती है और build जाँच चलाती है, और आख़िर में Mary समझाती है कि क्या बदला। उन सात चरणों में से दो किसी adapter से बँधे ही नहीं हैं। वे किसी ability के नहीं, Mary के हैं, जो recipe का तरीक़ा है यह कहने का कि “reasoning यहाँ होती है, यांत्रिक रूप से बँधी tool calls बाक़ी हर जगह।” Recipe सिर्फ़ tools बुलाने वाली स्क्रिप्ट नहीं है; यह ऐसा क्रम है जो नियंत्रण model को लौटा सकता है और फिर वापस ले सकता है।

इस पर Branching का टैग भी है, और कैप्शन वह बात साफ़ कह देता है जो आमतौर पर चुपचाप रह जाती है: यह recipe विफलता पर सँभल जाती है, इसलिए इसका क्रम Advanced में संपादित होता है। आप जो चरण देखते हैं वे ऊपर से नीचे की सख़्त pipeline नहीं हैं, वे recovery edges वाला एक graph हैं, और रैखिक सूची उसका पढ़ने लायक़ प्रक्षेपण है। और नीचे, recipe अपना अनुबंध उसी तरह घोषित करती है जैसे skill करती है: task · string · required। यह ब्योरा दिखने से ज़्यादा मायने रखता है: recipe किसी प्रक्रिया का दस्तावेज़ नहीं है, वह टाइप किए हुए सिग्नेचर वाली बुलाई जा सकने वाली क्षमता है, जो उसे बुलाने वाले के लिए किसी एक skill से अलग नहीं दिखती।

Abilities वह इकाई हैं जिसे आप सचमुच सिखाते हैं

एक स्तर पीछे हटें तो वह स्क्रीन मिलती है जिसके भीतर recipe रहती है: Ability Studio, Apple Music ability पर खुली हुई:

एक Ability व्यवहार और संचालन-नीति का पोर्टेबल परिवार है। वह एक paradigm घोषित करती है (Apple Music applicationExpertise है, चार में से एक; बाक़ी हैं discipline, systemControl और reasoning) और वह किसी दूसरी ability को extend कर सकती है। Apple Music Multimedia को extend करता है, जो एक discipline है: “कोई चीज़ जो मीडिया चलाती है” का सामान्य आकार एक बार परिभाषित होता है, और Apple Music उसे एक ख़ास ऐप के लिए साकार करता है। साइडबार बाक़ी सूची को भी इसी नियम के नीचे दिखाता है: Coding और Writing disciplines के रूप में, Chrome, Safari और Scrivener application expertise के रूप में, Window Management system control के रूप में।

दाईं ओर का Tune पैनल वह हिस्सा है जिसके पास बैठना चाहिए, क्योंकि वह दस्तावेज़ जैसा दिखता है पर है नहीं। Summary, Listens for, Phrases, Not when, Also called, Sounds like: इनमें से हर फ़ील्ड सीमित, संरचित डेटा है जो ability के embedding corpus का हिस्सा बनता है। यहाँ हाथ से ट्यून करने के लिए कोई मुक्त-पाठ system prompt नहीं है और शुरू करने के लिए कोई fine-tune नहीं। Mary को यह सिखाना कि “music ऐप में” का मतलब Apple Music है, स्प्रेडशीट में एक पंक्ति जोड़ने जैसा ही संपादन है। यही चीज़ ability को ऐसा बनाती है जिसे कोई ग़ैर-इंजीनियर बढ़ा सके: जिस सतह को छूने की आपको अनुमति है, वही सतह है जिसकी semantic पहुँच है, उससे ज़्यादा कुछ नहीं, उसके नीचे कुछ छिपा नहीं।

उसके नीचे, Skills पंक्ति संरचना को साफ़ कर देती है: Apple Music वह साकार करता है जिसे वह extend करता है: Say What's Playing, Control Playback, Search the Catalog, Play a Song, Open the Player, फिर पेड़ ability की अपनी सीमा के पार भी जाता है: Multimedia वह है जिसे वह extend करता है, Window Management वह है जिसके साथ वह उसे सहारा देता है, सात skills के बराबर। ऊर्ध्वाधर संरचना (extends) और क्षैतिज संरचना (supporting) एक ही तरह की रेखा के रूप में खींची गई हैं, क्योंकि router के लिए दोनों एक ही तरह सुलझती हैं। और फ़ुटर स्थिति के बारे में ईमानदार है, बिना घबराहट पैदा किए: Active · 4 advisories · saving creates a local override. किसी bundled ability को संपादित करने से साझा मूल कभी नहीं बदलता, वह किसी स्थानीय चीज़ में फ़ोर्क हो जाता है, और advisories बताती हैं कि runtime पर पता चलने से पहले क्या अधूरा है।

Skill वह परमाणु चीज़ है जो सचमुच चलती है

एक स्तर और नीचे, एक अकेला skill कार्ड, जाँच के लिए खुला हुआ:

Say What's Playing now_playing है, और यह READY चिह्नित है। उसके टैग ही उसका असली अनुबंध हैं: acts, runs unasked, Media Surface, from Multimedia। “Runs unasked” एक घोषित गुण है, ऐसा अंदाज़ा नहीं जो model inference के समय लगाता है: इसका मतलब है कि इस ख़ास skill को बिना कहे बोल पड़ने की अनुमति है, और यही उस असिस्टेंट में फ़र्क़ है जो सवालों के जवाब देता है और उसमें जो सचमुच ambient है। “Media Surface” उसके नीचे के सामान्य adapter का नाम है: वही compiled provider जो Apple Music के लिए “क्या चल रहा है” का जवाब देता है, हर उस दूसरे ऐप के लिए भी देता है जो ऐसे transport controls दिखाता है जिन्हें accessibility tree देख सकता है, और यही पूरी वजह है कि Multimedia पाँच नक़लों वाली एक ही skill की जगह एक discipline बन पाता है। आप इसी कार्ड को एक क्लिक में किसी recipe में डाल सकते हैं, या सीधे उस Multimedia ability पर जा सकते हैं जिसे यह सचमुच लागू कर रहा है। Skill कार्ड में कुछ भी व्यवहार का पूर्वावलोकन नहीं है: यह व्यवहार का अपना मेटाडेटा है, जाँचने योग्य क्योंकि वह कभी कुछ और था ही नहीं।

वह समस्या जिसे यह सब अपने आप हल नहीं करता

Abilities और Skills आपको एक शब्दावली देती हैं। वे अपने आप उस सवाल का जवाब नहीं देतीं जिसका जवाब हर computer-use आर्किटेक्चर को आख़िरकार देना पड़ता है: व्यक्ति ने अभी जो कहा, उसे देखते हुए इन सौ चीज़ों में से कौन-सी चलाएँ?

स्पष्ट जवाब, यानी model को हर tool की सूची वाला system prompt थमा दें और हर बार उसी से तय करवाएँ, वही है जिसके साथ ज़्यादातर agent frameworks आते हैं, और उसकी एक क़ीमत है जो सूची के आकार के साथ बढ़ती जाती है। हर turn एक पूरे model राउंड की क़ीमत चुकाता है सिर्फ़ यह पता करने के लिए कि कहाँ जाना है, किसी असली reasoning से पहले। और फ़ैसला उतना ही पढ़ने लायक़ है जितना उस बार model की chain-of-thought ने कह दिया, यानी: बहुत नहीं। जैसे-जैसे Mary की ability सूची बढ़ती है, वह रास्ता उसी दर से धीमा और कम जाँचने योग्य होता जाता है जिस दर से आप चाहेंगे कि वह तेज़ और ज़्यादा जाँचने योग्य हो।

Mary का जवाब है router को अपनी अलग राय देना, model की राय से अलग, उसी authored डेटा से बनी जो आपने Tune पैनल में देखा। हर ability और हर skill आने वाले वाक्य को दो स्तरों पर आँकती है: एक ability tier (tokens, phrases, aliases, exemplars) और एक skill tier (title, summary, invocation, eligibility phrases), और अगर कोई एक उम्मीदवार floor पार करता है और बाक़ी सबसे एक margin से आगे रहता है, तो Mary उसे बिना किसी model राउंड के dispatch कर देती है। यह शॉर्टकट असल में छोड़ा गया काम है, छिपाया हुआ काम नहीं।

Routing rehearsal: router को सोचते देखना

यह वह टूल है जो इस दावे को घोषणा के बजाय जाँचने लायक़ बनाता है, वाक्य “Play the RAO playlist” पर चलाया गया:

इस स्क्रीन के पीछे की फ़ाइल की header टिप्पणी सीधे वह ज़रूरी बात कहती है: not a simulation. रिहर्सल शीट यह मॉडल नहीं करती कि router क्या करेगा: वह ठीक वही फ़ंक्शन बुलाती है जो turn loop बुलाता है, उस registry के विरुद्ध जो अभी सक्रिय है। registry 41398F89 की मुहर उसकी रसीद है: indexes reload के समय एक बार बनते हैं, इसलिए यहाँ आप जो बदलाव करते हैं वह तब तक निष्क्रिय रहता है जब तक आप सहेजते नहीं और registry दोबारा नहीं बनती। Save से पहले रिहर्सल करें तो आप उस router को परख रहे हैं जो सचमुच आपका Mac चला रहा है, उसकी कॉपी को नहीं।

इस स्क्रीन को दो thresholds चलाते हैं। Floor, 0.62, वह न्यूनतम affinity है जिस पर किसी embedding की राय पर अमल करने लायक़ होती है: उसके नीचे उम्मीदवार बस अनहोना नहीं, मैदान से बाहर है। Margin, 0.04, वह खुली जगह है जो leader को उपविजेता से ऊपर चाहिए, इससे पहले कि Mary embedding पर इतना भरोसा करे कि model को छोड़ दे, और दोनों दोनों स्तरों पर लागू होते हैं। “Play the RAO playlist” के लिए, play_playlist 0.76 पर floor पार करता है और shuffle_playlist दस अंक पीछे है, margin से काफ़ी बाहर, और multimedia ability tier पर यही करता है, 0.81, ऐसे मैदान के सामने जो 0.62 तक कभी पहुँचता ही नहीं। दो साफ़ स्तर, हर एक में एक विजेता: “Mary answers with Play a Playlist, no model round at all.”

दायाँ पैनल बताता है कि यह सिर्फ़ Mary से आगे क्यों मायने रखता है। जब एक ability के भीतर दो skills एक-दूसरे को घेरने लगती हैं, तो सहज प्रवृत्ति ability के phrases कसने की होती है, वही फ़ील्ड जिसमें आप Tune पैनल पर अभी थे, लेकिन phrases, aliases और exemplars सिर्फ़ ability tier को खिलाते हैं, और एक ability साझा करने वाली दो skills बनावट से वह संकेत साझा करती हैं, इसलिए ability-स्तर की कितनी भी ट्यूनिंग उन तक नहीं पहुँचती। जो अकेला लीवर पहुँचता है वह है fixture: एक authored वाक्य जो सीधे उसी एक skill के अपने corpus में लिखा जाता है, skill tier का असली डेटा, उसका प्रॉक्सी नहीं। यही वह आकार है जिसे मैं चाहूँगा कि दूसरे computer-use आर्किटेक्चर उधार लें: जो routing आप पहले से बता सकते हैं उसके लिए एक सस्ती, authored, जाँचने योग्य परत, model को उस सब के लिए रिज़र्व में रखा हुआ जिसे वह सुलझा नहीं सकता, और एक रिहर्सल लूप जो आपको दिखाता है कि कौन-सा लीवर पहुँच रखता है, इससे पहले कि आप एक दोपहर ग़लत वाला खींचने में लगा दें।