Adversarial ML

एट्रिब्यूशन डिके

20 अगस्त 2026सिंथेटिक मीडियाउत्पत्ति-प्रमाणडिफ्यूज़नएट्रिब्यूशनकार्य-कारण संबंधकॉपीराइट

एक मॉडल ने क्या पढ़ा, और अगर वह न पढ़ता तो क्या बदल जाता, इन दोनों के फ़र्क़ पर।

Zheng Dai और David Gifford ने इसी हफ़्ते Nature Communications में एक पेपर प्रकाशित किया (MIT News की कवरेज), जो तर्क देता है कि जनरेटिव डिफ़्यूज़न मॉडल के आउटपुट अक्सर एट्रिब्यूट नहीं किए जा सकते। वे इस केंद्रीय परिघटना को एट्रिब्यूशन डिके कहते हैं: मॉडल जितने ज़्यादा डेटा पर प्रशिक्षित होता है, किसी भी ख़ास आउटपुट के लिए कोई एक ट्रेनिंग उदाहरण उतना ही कम मायने रखता है। एक ख़ास पैमाने के बाद आप एक इमेज हटा सकते हैं, या किसी एक कलाकार का हर काम, या किसी एक व्यक्ति की हर तस्वीर, और जनरेट किया गया सैंपल नहीं बदलता।

फिर आता है वह वाक्य जिस पर कवरेज खड़ी की गई, MIT News के शब्दों में:

और अगर किसी चीज़ को हटाने से कुछ नहीं बदलता, तो शोधकर्ताओं का तर्क है, उसे किसी भी चीज़ के लिए ज़िम्मेदार नहीं कहा जा सकता।

यह कोई माप नहीं है। यह एक माप के ऊपर रखा गया कारणात्मक अनुमान है, और कहानी का सिर्फ़ यही हिस्सा है जिससे मैं बहस करना चाहता हूँ।

पेपर क्या सही करता है

माप अच्छा है, और जो निष्कर्ष उससे निकाला गया उस पर आपत्ति उठाने से पहले मैं ठीक-ठीक बताना चाहता हूँ कि क्यों।

यह मॉडल क्या बनाता अगर उसने यह इमेज कभी देखी ही न होती यह पूछने का ईमानदार तरीक़ा है उसके बिना शुरू से रीट्रेन करना, जो किसी भी दिलचस्प पैमाने पर गणना के लिहाज़ से बेतुका है। Dai और Gifford का जवाब है Ablation Based Counterfactuals: प्रशिक्षण सेट के अलग-अलग पर आपस में ओवरलैप करते हिस्सों पर स्वतंत्र मॉडल घटकों को प्रशिक्षित करना, उन्हें एक अकेले मॉडल में मिलाना, और जिन घटकों ने किसी ट्रेनिंग सैंपल को देखा था उन्हें हटाकर उस सैंपल का कारणात्मक प्रभाव हटाना। कोई रीट्रेनिंग नहीं। उन्होंने इसे सात सार्वजनिक डेटासेट पर 24 एन्सेम्बल में चलाया, जिनमें CIFAR-10, CelebA, MetFaces और ArtBench शामिल हैं, 256 इमेज से लेकर 160,000 से ज़्यादा तक, और अनुमान को छोटे पैमाने पर 1,282 ब्रूट-फ़ोर्स रीट्रेन किए मॉडलों से मिलाकर सत्यापित किया।

मुझे यह भी लगता है कि मैं इसे पहले दूसरी तरफ़ से देख चुका हूँ। मेरे CLR लॉग के अध्याय 2 में, जो इस पेपर के बारे में सुनने से पहले लिखा गया था, भौतिकी पर टिके डिटेक्टर के टिकाऊपन का तर्क ठीक इसी अवलोकन पर खड़ा है: ज़्यादा डेटा और पैरामीटर जनरेटिव मैनिफ़ोल्ड को ज़्यादा चिकना बनाते हैं, ज़्यादा भौतिक नहीं। चिकनापन लक्ष्य की ओर ऑप्टिमाइज़ेशन में निहित है। जैसे-जैसे कॉर्पस बढ़ता है, सीखा हुआ स्कोर फ़ंक्शन ज़्यादा नियमित होता जाता है, और किसी एक डेटा के प्रति स्थानीय संवेदनशीलता घटती जाती है। एट्रिब्यूशन डिके वही नियमितता है, जिसे हटाने वाले प्रोब के ज़रिए देखा गया।

यही असहमति एक वाक्य में है। उन्होंने अनुमानक का एक गुण खोजा। जो रिपोर्ट हुआ वह प्रोवेनेंस का एक गुण था।

“अगर इसे हटाने से कुछ नहीं बदलता, तो यह किसी चीज़ के लिए ज़िम्मेदार नहीं” but-for कारणता है, और but-for कारणता की एक मशहूर विफलता है: अति-निर्धारण।

दस निशानेबाज़ एक साथ गोली चलाते हैं। किसी एक को हटाइए और पीड़ित फिर भी मरता है, इसलिए कोई गोली but-for कारण नहीं है, इसलिए, इसी तर्क से, किसी ने किसी को गोली नहीं मारी। दो आग एक ऐसे घर की ओर बढ़ती हैं जिसे उनमें से कोई भी अकेली जला देती। कोई भी ज़रूरी नहीं है; घर फिर भी राख है। यह कोई ऐसा अपवाद नहीं जिसे किसी ने हाल में खोजा हो।

एब्लेशन के नीचे मज़बूती एक उँगलियों का निशान है, अलीबी नहीं

यह वह उलटाव है जिसे लिखने मैं असल में आया था।

जिस पुनर्निर्माण परिकल्पना पर CLR बना है, वह कहती है: अगर कोई चीज़ नष्ट की जा सकती है और कभी पूरी तरह वापस नहीं लाई जा सकती, तो इससे संकेत मिलता है कि वह असली थी। अगर कोई चीज़ नष्ट की जा सकती है और फिर उसका पुनर्निर्माण हो सकता है, तो इससे संकेत मिलता है कि वह जनरेट की गई थी। नाज़ुकता ही असलियत है। पुनर्प्राप्ति ही सिमुलेशन है।

एक असली फ़ोटो एक अपरिवर्तनीय भौतिक शृंखला का आउटपुट है: ऑप्टिक्स, सेंसर, और एक ख़ास क्षण में सिलिकॉन के एक ख़ास टुकड़े से बँधा नॉइज़। उसे नुक़सान पहुँचाइए और नुक़सान बना रहता है। जनरेट की गई इमेज एक चिकने सीखे हुए मैनिफ़ोल्ड पर अनेक-से-एक डीनॉइज़िंग प्रक्षेप-पथ का आउटपुट है। उसे नुक़सान पहुँचाइए और मैनिफ़ोल्ड उसे भर देता है।

Dai और Gifford ने जनरेटिव सिस्टम के हिस्से हटाए और देखा कि आउटपुट ठीक हो गया; सामने रखा गया पाठ यह है कि कोई लेखक नहीं था। मैंने संरचनात्मक रूप से वही प्रोब चलाया, वही भराव देखा, और निष्कर्ष निकाला कि भराव खुद जनरेटिव प्रक्रिया का हस्ताक्षर है। वही अनुपस्थिति। उलटे फ़ैसले।

मुझे नहीं लगता कि दोनों पाठ सही हो सकते हैं, और हो सकता है ग़लत मैं ही हूँ। पर मैं इस दावे को वहीं रहने देना चाहूँगा जब तक मैं इस विचार के ख़िलाफ़ और सबूत इकट्ठा करता हूँ कि “उसे किसी भी चीज़ के लिए ज़िम्मेदार नहीं कहा जा सकता।”

आप A.I. को नहीं पकड़ रहे। आप इतिहास की अनुपस्थिति को पकड़ रहे हैं। प्रामाणिकता ऐसी चीज़ नहीं जिसे आप संश्लेषित कर सकें; वह कारणता का अवशेष है।

वह हिस्सा जो डिज़ाइन का चुनाव है

एट्रिब्यूशन डिके एक आर्किटेक्चर का गुण है। यह इमेज जनरेशन का गुण नहीं है।

यह दावा कि आप किसी आउटपुट को किसी ट्रेनिंग इमेज तक नहीं खोज सकते, यह मानकर चलता है कि प्रशिक्षण ने इमेज को घोल दिया, यानी N तस्वीरें ग्रेडिएंट डिसेंट से एक साझा वेट टेंसर में गईं और एक अविभाज्य धब्बे के रूप में निकलीं। इस धारणा के तहत पेपर सही है और उलटी समस्या सचमुच अ-सुपरिभाषित है।

तो इसे ऐसे बनाना ज़रूरी नहीं है।

Obscur में मैं जिस पर काम कर रहा हूँ उसका जनरेटिव आधा हिस्सा एक ऐसा सिस्टम है जिसे मैं signet कहता हूँ: किसी के अपने हस्ताक्षरित कैप्चर से डिस्टिल किया गया एक निजी इमेज मॉडल। बेस मॉडल जमा हुआ है और जमा ही रहता है। हर स्रोत इमेज बिना ग्रेडिएंट के इन्जेस्ट होती है, और अटेंशन बैंक में अपनी पते-योग्य पंक्तियाँ जोड़ती है, जिनकी कुंजी उसके बाइट्स का कंटेंट हैश होती है: पहचान सांख्यिकीय नहीं, क्रिप्टोग्राफ़िक है, इसलिए घिसने के लिए कोई मैचिंग समस्या है ही नहीं। इमेज जोड़ने पर पंक्तियाँ जुड़ती हैं। एक हटाने पर ठीक वही पंक्तियाँ हटती हैं और कुछ नहीं। कोई रीट्रेनिंग नहीं, और कोई अवशेष नहीं।

और यही वह भेद सामने लाता है जिसे मुझे लगता है पेपर का ढाँचा मिटा देता है। सिस्टम हर क्षेत्र के लिए दो स्वतंत्र राशियाँ दर्ज करता है: मॉडल ने वहाँ कितना पढ़ा, और उसी सीड वाले बेस प्रक्षेप-पथ की तुलना में वह क्षेत्र असल में कितना बदला।

पेपर ने बदला मापा; उससे निकाला गया निष्कर्ष पढ़ा को शून्य मानता है।

मैं खुद को उसी कसौटी पर रखूँगा जो मैं लागू कर रहा हूँ। वह एट्रिब्यूशन व्यू स्क्रीन पर मॉडल ने क्या पढ़ा उसका रिकॉर्ड, अवधारणात्मक प्रभाव का प्रमाण नहीं के रूप में लेबल किया गया है, और मैं यह मानकर कहता हूँ। पढ़ना प्रभाव नहीं है। पर यह फ़ॉरवर्ड प्रक्रिया के बारे में एक तथ्य है, जो उसी क्षण दर्ज हुआ जब वह घटी, और कोई भी पैमाना उसे नहीं घिसता, क्योंकि किसी धब्बे के आर-पार पीछे की ओर कुछ भी अनुमानित नहीं किया जा रहा।

ईमानदार सीमाएँ: signet किसी फ़ाउंडेशन मॉडल के प्री-ट्रेनिंग सेट को नहीं, बल्कि इन्फ़रेंस के समय डाले गए निजी कॉर्पस को एट्रिब्यूट करते हैं: पेपर के दावे का यही निष्पक्ष पाठ है और मैं इसके अलावा कुछ ढोंग नहीं करूँगा। विज़ुअल पक्ष पर अभी कोई भुगतान रेल नहीं है, सिर्फ़ रिकॉर्ड है। और CLR ने कभी ट्रेनिंग डेटा के लिए कुछ एट्रिब्यूट नहीं किया; उसने मुझे पद्धति और रसीद दी, किसी के स्केलिंग नियम का खंडन नहीं।

पर उस सीमा से जो निष्कर्ष मैं निकालता हूँ वह सामने रखे निष्कर्ष का उलटा है। अगर एट्रिब्यूशन तब बचा रहता है जब लाइसेंस वाला काम इन्फ़रेंस पर आता है और तब मर जाता है जब वह ग्रेडिएंट डिसेंट से आता है, तो यह इस बारे में एक तर्क है कि पाइपलाइन में किस जगह आप दूसरों के काम को अंदर आने देते हैं, इसका प्रमाण नहीं कि जब आप काफ़ी कुछ ले लें तो ज़िम्मेदारी भाप बनकर उड़ जाती है।

उसे साथ रखिए, वापस मत खोजिए

पेपर साबित करता है कि एक उलटी समस्या अ-सुपरिभाषित है। अ-सुपरिभाषित उलटी समस्या का सही जवाब फ़ॉरवर्ड प्रक्रिया को इंस्ट्रूमेंट करना है, यह निष्कर्ष निकालना नहीं कि फ़ॉरवर्ड प्रक्रिया कभी हुई ही नहीं।

CLR के प्रोवेनेंस की ओर मुड़ने की पूरी वजह यही है।

यही मैं इस तर्क के सबसे मज़बूत रूप से कहूँगा। “एट्रिब्यूट न किया जा सकने वाला” किसी जनरेट की गई इमेज के बारे में खोजा गया तथ्य नहीं है। यह एक ऐसी पाइपलाइन का वर्णन है जिसने रसीद रखने से इनकार कर दिया, और उसे ऐसे बताया गया मानो वह ब्रह्मांड का कोई गुण हो।

किसी ने साबित नहीं किया कि डेटा मायने नहीं रखता था। माप जो दिखाता है वह यह है कि जो पाइपलाइन कोई रिकॉर्ड नहीं रखती, वह बाद में आपको कुछ बता नहीं सकती।