Adversarial ML

Veil & Scorpion

12 सितंबर 2026डिफ्यूज़न मॉडलयाद करनासहमतिउत्पत्ति-प्रमाणनीतिdeepfakesकानून

Deepfake detection एक कठिन समस्या है, और लंबे समय तक कठिन रहेगी: यहाँ precision धीमी चढ़ाई है, कोई स्विच नहीं जिसे आप दबा दें। जिस तरीक़े पर मैं बार-बार लौटता हूँ वह model-agnostic है: ऐसा हल मत बनाइए जिसे हर बार तब दोबारा सिखाना पड़े जब कोई नया आर्किटेक्चर या generative तरीक़ा आए, क्योंकि यह ऐसी दौड़ है जिसे आप बनावट से ही हारते हैं। इसके बजाय सच को pixels से ही पढ़ने की कोशिश कीजिए, जिस भी रूप में वह बचा हो: क्या छवि किसी भौतिक कैमरा सेंसर से आई भी थी, क्या किसी हिस्से को संपादित किया गया क्योंकि उसके आसपास के grain और पड़ोसी pixels ने grain जैसा व्यवहार करना बंद कर दिया। यही CLR के पीछे की पूरी बुनियाद है, भौतिकी-पहले वाला detector जो मैं बना रहा हूँ: मक़सद यह पूछना नहीं कि छवि किसने बनाई, बस यह कि उसमें जो बचा है वह कैप्चर होने से मेल खाता है या नहीं। मेरी अपनी जाँच ने दिखाया है कि यह मक़सद कहाँ टिकता है और कहाँ रुक जाता है, और नए generators को अब भी डेटा से कवर करना पड़ता है।

उस पर काम करते हुए, और मेरे एक पुराने प्रस्ताव, Candidate Likeness Registry, पर काम करते हुए, मुझे इतना सबूत मिला कि मैं मानूँ कि यह समस्या सचमुच हल हो सकती है। लेकिन हल होने लायक़ detection का मतलब यह नहीं कि जनता सुरक्षित महसूस करे। अगर हाथ में अकेला औज़ार नक़ली को उसके generate और वितरित हो जाने के बाद पकड़ता है, तो आपने बहुत अच्छा पोस्टमॉर्टम बनाया है। सार्वजनिक क्षेत्र में सुरक्षा की भावना के आसपास भी पहुँचने के लिए, समस्या को स्रोत पर सुलझाना होगा, सिर्फ़ उसके नीचे की ओर निदान नहीं करना होगा। यही मुझे Veil और Scorpion की ओर ले गया।

Scorpion जवाब देता है कि क्या कोई base model या fine-tuned adapter किसी ख़ास लक्ष्य छवि पर प्रशिक्षित था। Veil जाँचता है कि क्या कोई model किसी लक्ष्य छवि के क़रीब कुछ बना सकता भी है, उस पर प्रशिक्षित हो या न हो, और अगर बना सकता है, तो वह adapter बनाता है जो उस रास्ते को बंद कर दे। दोनों को model या fine-tune के शिप होने से पहले चलने के लिए बनाया गया है, बाद में नहीं।

आरेख
आरेख बन रहा है
आरेख
आरेख बन रहा है

Scorpion: दरवाज़े पर memorization जाँच

Scorpion का जो संस्करण मैं सचमुच शिप होते देखना चाहता हूँ, वह ऐसा औज़ार नहीं है जिसके लिए वकील तब हाथ बढ़ाए जब कुछ पहले ही बिगड़ चुका हो। वह अपलोड pipeline का एक चरण है। वह Hugging Face जैसे model होस्ट, या बड़े पैमाने पर model weights होस्ट करने वाले किसी भी और के साथ साझेदारी में चलेगा: जब कोई नया image या text-to-image model अपलोड करता है, तो वह पहले संरक्षित लोगों की registry के विरुद्ध memorization जाँच से गुज़रता है, वायरस स्कैन जैसा, पर memorization के लिए, ठीक उसी तरह की registry के विरुद्ध जिसका ख़ाका मैंने पहली बार Candidate Likeness Registry के रूप में खींचा था। यह पहला चरण है, और यह इसलिए मायने रखता है कि पूरी pipeline में यही अकेला बिंदु है जहाँ आप वितरण को स्रोत पर रोक रहे होते हैं, बजाय इसके कि model के बाहर निकल जाने और अजनबियों से query होने के बाद उसके बनाए का पीछा करें।

वही माप Scorpion को उस कमरे में भी उपयोगी बनाता है जहाँ द्वारपाल की जाँच कभी नहीं पहुँचती: अदालत, किसी ऐसे model के लिए जो जाँच से पहले का है, या किसी ऐसे model के विवाद के लिए जिसे ठुकरा दिया गया था। अदालतें उन संभावनाओं पर नहीं चलतीं जो सही लगती हैं: उन्हें ऐसे सबूत चाहिए जो जिरह में टिके, इससे पहले कि training डेटा के बारे में कोई दावा टिके, और अरबों parameters वाला model किसी एक training सामग्री को weight space के इतने बड़े हिस्से में घोल देता है कि सीधे माप के बिना “हम पक्के नहीं कह सकते कि यह छवि उसमें थी” एक सचमुच उचित बचाव है। Scorpion का नतीजा उन छवियों के विरुद्ध कैलिब्रेट किया गया है जो model ने कभी नहीं देखीं और एक स्वतंत्र draw पर पुष्ट किया गया है, व्यक्ति की अपनी तस्वीर के ऊपर heatmap के रूप में p-value के साथ लौटाया गया: इतना सटीक कि जज को समझाया जा सके, सिर्फ़ इतना क़ायल करने वाला नहीं कि कमेंट सेक्शन मान जाए।

Veil: वह सवाल जो memorization जाँच तय नहीं कर सकती

कोई model किसी ख़ास चेहरे-मोहरे को उस व्यक्ति की तस्वीर कभी याद किए बिना synthesize कर सकता है: उसे बस इतने संबंधित चेहरे सीखने होते हैं कि वह ख़ाली जगह में सामान्यीकरण कर सके। यह इस समस्या का कठिन आधा है, और ठीक यहीं पास हुई memorization जाँच झूठी तसल्ली देती है: यह साबित करना कि model ने कोई ख़ास चेहरा नहीं देखा, यह साबित करने से कहीं कठिन है कि देखा, और “हमें memorization का कोई सबूत नहीं मिला” वही दावा नहीं है जो “यह model इस व्यक्ति को नहीं बना सकता।” सबूत का बोझ इस पर निर्भर करता है कि आप उस रेखा के किस ओर खड़े हैं। जब जवाब हाँ है तो Scorpion के पास क़ानूनी और तकनीकी दाँत हैं। Veil इसलिए है कि जवाब नहीं होने से कुछ हल नहीं होता। इसलिए स्रोत पर सक्रिय उपाय अब भी बनाए जा सकते हैं ताकि पहली जगह Scorpion की ज़रूरत ही न पड़े, समस्या को फैलने से पहले ही काट दिया जाए।

Veil पहुँच-योग्यता को सीधे नापता है: किसी संरक्षित व्यक्ति का नाम लेने या उसका वर्णन करने से model को उसकी अपनी held-out तस्वीरों को denoise करने में कितनी मदद मिलती है, उसी prompt के मुक़ाबले जिसमें नाम की जगह “a person” रखा गया हो, चाहे वह क्षमता किसी तस्वीर को याद करने से आई हो या हज़ार तस्वीरों में सामान्यीकरण से जो कभी उनमें से कोई एक नहीं थीं।

मैं साफ़ कह दूँ: खुले weights हाथ में रखकर कोई भी पर्याप्त दृढ़ व्यक्ति Veil guard को fine-tune करके हटा सकता है। लेकिन जो व्यक्ति किसी ख़ास व्यक्ति/पहचान/कॉपीराइट सामग्री तक पहुँचने के लिए जान-बूझकर model से guard उतारता है, उसने कुछ असंदिग्ध किया है, और वह उन सबसे बहुत छोटी, बहुत ज़्यादा पहचानी जा सकने वाली आबादी में शामिल होता है जो ऐसा model डाउनलोड कर सकते हैं जिस पर कभी guard था ही नहीं। हानिकारक रास्ते के लिए पहचानी जा सकने वाली circumvention की क्रिया ज़रूरी बना देना ज़्यादातर काम है। उसे बनाने लायक़ होने के लिए असंभव होना ज़रूरी नहीं।

आरेख
आरेख बन रहा है

Detection सुरक्षा जाल है, अगली पंक्ति नहीं

इस व्यवस्था में CLR का काम उससे संकरा है जैसा मैंने शुरू में गढ़ा था। वह प्राथमिक बचाव नहीं है: वह उसे पकड़ता है जो उन models से सामने आता है जो दुनिया में तब निकल गए जब memorization जाँच और पहुँच-योग्यता जाँच उन्हें स्रोत पर रोकने के लिए मौजूद नहीं थीं। एक बार वह गेट पक्का हो जाए, तो detection पूरा जोखिम अपने कंधों पर ढोना बंद कर देता है और घर की सफ़ाई बन जाता है: उन models की रचनाओं की सफ़ाई जो इस समाधान से पहले के हैं, बजाय इसके कि वह जनता और हर नए शिप होने वाले model के बीच इकलौती चीज़ बना खड़ा रहे। यह हल्का काम है, और होना भी चाहिए: नींव को ही भार उठाने वाला काम करना चाहिए।

बंद सेवाएँ पहले से अनुरोध लॉग करती हैं, जो बाद में किसी पुरानी रचना को उसके स्रोत तक खोजना कुछ आसान ज़रूर बनाता है। लेकिन “बाद में खोजना आसान” फिर भी प्रतिक्रियात्मक है, और मुझे नहीं लगता कि नीति वहाँ रहनी चाहिए। मैं सक्रिय नीति में विश्वास करता हूँ, प्रतिक्रियात्मक में नहीं: जिस model ने किसी को याद कर लिया उसे दरवाज़े पर रोकना, वह रास्ता बंद करना जिससे model बिना कुछ याद किए भी उन तक पहुँच सकता है, और detection को उस बैकलॉग के लिए रखना जो दोनों से पहले का है।

तीनों के चलने के बाद जो बचता है वह छोटा और ख़ास है: ऐसे लोग जिनके पास खुले weights से guard उतारने, भौतिकी-आधारित detector को चकमा देने की तकनीकी क्षमता है, और जो यह साफ़ इरादे से करते हैं। यह कभी अकेले किसी detection औज़ार से पकड़ा जाने वाला नहीं था, और यह उसी तरह का जान-बूझकर किया गया दुरुपयोग है जिस पर सुरक्षा टीमें पहले से ध्यान देती हैं, generative models तस्वीर में हों या न हों। कोई किसी को ऐसा गाइड लिखने से नहीं रोक सकता जो दूसरों को सुरक्षात्मक उपाय हटाना सिखाए: यह बस सच है। लेकिन ठीक इसीलिए यह विभाजन उपयोगी है: वह एक अस्पष्ट डर को एक ख़ास, खोजे जा सकने वाले संकेत में बदल देता है: जान-बूझकर की गई क्रियाओं का एक छोटा, ख़ास समूह जाँचने के लिए, बजाय इसके कि पूरे उद्योग को, और उसे नेकनीयती से इस्तेमाल करने वाले हर किसी को, Among Us के स्थायी खेल जैसा बर्ताव दिया जाए जिसमें कोई पक्का नहीं कह सकता कि नक़ली कौन है और कोई यह भी पक्का नहीं कह सकता कि उन पर आरोप लगाने वाला निष्पक्ष है या नहीं।