फ़ील्ड नोट्स
हार्डवेयर और सिंथेटिक मीडिया के रिश्ते के बारे में सहज अंदाज़ों के रूप में शुरू हुए अवलोकन: मैंने इन्हें इसलिए रखा कि बाद में इनमें से कई मापने योग्य बन गए, और एक प्रोडक्ट की थीसिस बन गया।
विसंगतियाँ कहाँ रहती हैं: कोने बनाम केंद्र
असली कैमरा इमेज और जनरेट की गई इमेज उलटी जगहों पर विसंगत होती हैं, उन कारणों से जो सीधे उनकी निर्माण प्रक्रियाओं से निकलते हैं:
- असली कोने विसंगत होते हैं। लेंस वाइनेटिंग, क्रोमैटिक एबरेशन और रेडियल डिस्टॉर्शन, सब किनारों पर चरम पर होते हैं: भौतिक लेंस के ऑप्टिकल आर्टिफ़ैक्ट, जो एक ख़ास रेडियल पैटर्न में स्थानिक रूप से सहसंबद्ध होते हैं। वार्प राउंड-ट्रिप फिर भी उनके ऊपर सवार बारीक सेंसर नॉइज़ को नष्ट कर देता है, इसलिए रेज़िड्यूअल में कोने गर्म चलते हैं।
- जनरेट किए केंद्र विसंगत होते हैं। डिफ़्यूज़न मॉडल डीनॉइज़िंग का प्रयास वहाँ लगाते हैं जहाँ अटेंशन केंद्रित होता है, यानी विषय पर। केंद्र में सबसे घने, सबसे अस्वाभाविक रूप से संगठित ग्रेडिएंट आँकड़े जमा होते हैं (ठीक वही जो ग्रेडिएंट-सुसंगति वाले फ़ीचर पढ़ते हैं), जबकि कम ध्यान पाने वाला किनारा चिकना रहता है और वार्प से साफ़ बच निकलता है।
इसीलिए कंपोज़िट-स्कोर फ़ील्ड की सेंट्रॉइड दूरी जानकारी देती है, और इसीलिए v1.8 में जोड़ा गया केंद्र-भार काम करता है: विसंगति का स्थानिक पता अपने आप में एक निर्माण-हस्ताक्षर है।
डाउनसैंपलिंग फ़र्श को उठाती है, पर पता नहीं हिलाती
डाउनसैंपलिंग आर्टिफ़ैक्ट (4K → 1280) सभी टाइलों में बेसलाइन कंपोज़िट को एकसमान रूप से ऊपर उठाते हैं, पर वे स्थानिक झुंड नहीं बनाते, और विसंगति का पता अपनी जगह रहता है: सारे स्कोर ऊपर खिसक जाएँ तब भी वही टाइल जीतती है। सेंट्रॉइड-आधारित तर्क वैश्विक गिरावट के सामने उस तरह टिकाऊ है जैसे निरपेक्ष थ्रेशोल्ड नहीं होते। मैं याद रखने की कोशिश करता हूँ कि ये समस्याएँ जनरेटिव मीडिया से पुरानी हैं: Photoshop-युग की छेड़छाड़ ने भी वही रीकंप्रेशन के सवाल उठाए थे; जनरेशन ने बस दाँव को श्रेणीगत बना दिया।
पॉइज़निंग: दोहरी समस्या
प्रोब की एक दोहरी है, और यही वह दिशा है जो मुझे सबसे दिलचस्प लगती है। डिफ़्यूज़न इनपेंटिंग को गाउसियन को प्रॉम्प्ट के लक्ष्य की ओर फैलाने के लिए सुसंगत स्थानीय पिक्सल पड़ोस चाहिए, इसलिए किसी रेफ़रेंस इमेज को सेगमेंटेशन के स्तर पर इस तरह विचलित किया जा सकता है कि उससे पुनर्निर्माण करने वाला कोई भी डीनॉइज़र विकृतियाँ पैदा करे।
जहाँ Glaze और Nightshade मॉडल के एम्बेडिंग स्पेस के विरुद्ध ऑप्टिमाइज़ करते हैं (निर्माण से ही एनकोडर-विशिष्ट), वहीं वार्प रेज़िड्यूअल जो स्थानीय-सुसंगति आँकड़े पढ़ता है उनके विरुद्ध ऑप्टिमाइज़ करना उस स्थानीय सुसंगति पर वार करता है जो किसी भी कन्वोल्यूशनल डीनॉइज़र को चाहिए, चाहे आर्किटेक्चर, ट्रेनिंग डेटा या टेक्स्ट एनकोडर कुछ भी हो। और चक्र पूरा हो जाता है: जनरेशन आर्टिफ़ैक्ट पकड़ने के लिए मैंने जो प्रोब बनाया, वही सत्यापित करता है कि कोई सुरक्षात्मक विचलन मौजूद है: विषय के सेगमेंटेशन क्षेत्र के भीतर बढ़ी हुई स्थानीय-विषमता, और कहीं और ऊँचे कंपोज़िट का न होना, यही हस्ताक्षर है। पहचान और सुरक्षा, एक ही कोडबेस से।
निजता का रुख़
कोई चेहरा, नाम या पहचान कभी पाइपलाइन में नहीं आती:
- सैलियंसी ग्रेडिएंट ऊर्जा के टेक्सचर-भारित सेंट्रॉइड से आती है, किसी चेहरे या पहचान के मॉडल से नहीं। बायोमेट्रिक-मुक्त, कंटेंट-अज्ञेय, और दृश्यों, वस्तुओं और दस्तावेज़ों पर काम करती है।
- कोई व्यक्ति किसी को बायोमेट्रिक डेटा सौंपे बिना अपनी ही फ़ोटो को पॉइज़न कर सकता है; सुरक्षा इमेज में ही जड़ी होती है, प्रोब चलाने वाला कोई भी उसे जाँच सकता है, और कोई केंद्रीय पहचान रजिस्ट्री नहीं होती।
- फ़ॉरेंसिक्स के लिए, यानी “क्या यह इस व्यक्ति की हमशक्ल से जनरेट हुआ है?”, होमोग्राफ़ी अलाइनमेंट पहचान के बिना ज्यामितीय पत्राचार देता है: क्या यह इमेज इस रेफ़रेंस के साथ प्रोजेक्टिव संरचना साझा करती है, कभी यह नहीं कि यह चेहरा किसका है।
- सब कुछ पिक्सल ज्यामिति पर क्लाइंट-साइड चलता है। GDPR, CCPA, BIPA: बायोमेट्रिक विनियमन कभी लागू ही नहीं होता क्योंकि बायोमेट्रिक डेटा कभी बनता ही नहीं।
वह वाक्य जो सबको थामे रखता है
मेरे शुरुआती नोट्स का Lovelace वाला ढाँचा: उन्होंने Analytical Engine की जिस परिभाषित क्षमता को पहचाना था, यानी दुनिया पर नहीं बल्कि संबंध पर काम करना, ठीक वही उँगलियों के निशान हैं जिसे यह तरीक़ा पढ़ता है। जनरेटिव मॉडल के पास हमेशा सिर्फ़ संबंध ही थे।
आप A.I. को नहीं पकड़ रहे। आप इतिहास की अनुपस्थिति को पकड़ रहे हैं। प्रामाणिकता ऐसी चीज़ नहीं जिसे आप संश्लेषित कर सकें; वह कारणता का अवशेष है।
सात अध्याय हो गए, और अब भी जारी। यहाँ सब कुछ स्वतंत्र रूप से बना, एक-एक प्रोब और एक-एक खंडन करके, और ठीक इसीलिए यह करना सार्थक रहा: तरीक़े को रोडमैप की जगह मापों का अनुसरण करने का मौक़ा मिला। अगला अध्याय डिप्लॉयमेंट है, और वह अभी लिखा नहीं गया है।