क्या एआई बायसे हो सकता है?

विषय

• ऐ सौंदर्य पूर्वाग्रह
• भाषाओं में लिंग पूर्वाग्रह
• 2. नौकरियों में लिंग और उम्र का भेदभाव
• चेहरे की पहचान विफलता
• वैराग्य पूर्वाग्रह

ले जाओ:

हाल के वर्षों में, एआई को तेजी से अपनाया गया है और सौंदर्यशास्त्र का आकलन करने से लेकर पुनरावृत्ति के जोखिम का आकलन करने तक हर चीज पर लागू किया गया है। ऐसा करने में, इसने कई मानकों में पूर्वाग्रह और भेदभाव का समर्थन करने वाले मानकों को भी बरकरार रखा है।

प्रौद्योगिकी की प्रगति में सूचना और अवसर तक सही मायने में लोकतांत्रिकरण करने की क्षमता है। हालांकि, जब कुछ मामलों में, इसका उपयोग उन तरीकों से किया जा रहा है जो इस धारणा को मजबूत करते हैं कि हमारे समाज में कुछ लोग दूसरों की तुलना में अधिक समान हैं।

इसे हमने निम्नलिखित सात उदाहरणों से देखा है जिसमें कृत्रिम बुद्धिमत्ता (एआई) का जानबूझकर कुछ श्रेणियों को बाहर करने के लिए उपयोग किया जाता है या जिसमें यह भेदभावपूर्ण प्रभाव के साथ अपने मानव प्रोग्रामर द्वारा अंतर्निहित पूर्वाग्रह को दर्शाता है।

ऐ सौंदर्य पूर्वाग्रह

सौंदर्य देखने वाले की नजर में हो सकता है, लेकिन जब वह व्यक्तिपरक दृश्य AI को प्रोग्राम कर सकता है, तो आपको प्रोग्राम में पूर्वाग्रह हो जाएगा। राहेल थॉमस ने 2016 में beauty.ai से एक सौंदर्य प्रतियोगिता में इस तरह के एक प्रकरण की सूचना दी। परिणामों से पता चला कि लाइटर रंग अंधेरे से अधिक आकर्षक थे।

अगले वर्ष, "फेसएप, जो तस्वीरों के लिए फ़िल्टर बनाने के लिए तंत्रिका नेटवर्क का उपयोग करता है, ने एक 'हॉटनेस फ़िल्टर' बनाया जो लोगों की त्वचा को हल्का करता है और उन्हें अधिक यूरोपीय विशेषताएं प्रदान करता है।"

भाषाओं में लिंग पूर्वाग्रह

थॉमस अनुवादों के एक प्रलेखित उदाहरण का भी हवाला देते हैं जो करियर की रूढ़ीवादी अपेक्षाओं को पूरा करते हैं। शुरुआती बिंदु दो वाक्य हैं: "वह एक डॉक्टर है। वह एक नर्स है।"

यदि आप उन्हें तुर्की में अनुवाद करते हैं और अंग्रेजी में वापस करते हैं, तो आप उस तरह के परिणाम प्राप्त करेंगे जो आपने टेलीफोन के खेल से उम्मीद की थी।

जो आपने शुरू किया था, उसके बजाय आपको 1950 की तरह की उम्मीद है, "वह एक डॉक्टर है। वह एक नर्स है।" वह बताती है कि तुर्की भाषा में लिंग-तटस्थ एकवचन सर्वनाम के कारण है जो उम्मीदों और स्टीरियोटाइपिकल पूर्वाग्रह के आधार पर लिंग को असाइन करेगा। (AI में महिलाएं पढ़ें: टेक के साथ लिंगभेद और रूढ़िवादिता को पुनर्जीवित करना।)

हालांकि, नस्लीय और लिंग आधारित फ़िल्टरिंग छवियों और भाषा में छन-छन का कारण बनते हैं, वे एआई से उत्पन्न होने वाले सक्रिय भेदभाव के समान नहीं हैं, लेकिन ऐसा ही हुआ है।

इसका प्रमाण अपने आवास श्रेणी के तहत एक विज्ञापन के लिए रखी गई सीमाओं का एक स्क्रीनशॉट था, जिसने अफ्रीकी अमेरिकी, एशियाई अमेरिकी या हिस्पैनिक्स जैसी श्रेणियों के बहिष्करण की जाँच करके दर्शकों को संकुचित करने के विकल्प की अनुमति दी। विज्ञापन यहां देखा जा सकता है।

जैसा कि ProPublica बताते हैं, ऐसे विज्ञापनों का भेदभावपूर्ण प्रभाव 1968 के फेयर हाउसिंग एक्ट और 1964 के सिविल राइट्स एक्ट के तहत दोनों में गैरकानूनी है। इस मामले में केवल बचाव यह था कि विज्ञापन हाउसिंग के लिए ही नहीं था, क्योंकि यह 'n' था। बिक्री या किराए के लिए एक संपत्ति या घर के बारे में टी।

हालाँकि, लक्ष्यीकरण के अन्य उदाहरण भी हैं जो नस्लीय पूर्वाग्रह को इंगित करते हैं और जिसने विभिन्न संस्थाओं को सामाजिक नेटवर्क के खिलाफ सिविल सूट लाने के लिए प्रेरित किया है। जैसा कि वायर्ड ने बताया, अंत में मार्च २०१ ९ में विज्ञापनों के माध्यम से अल्पसंख्यकों के खिलाफ भेदभाव को सक्षम करने का आरोप लगाने वाले पांच कानूनी मामलों के निपटान के परिणामस्वरूप इसकी विज्ञापन-लक्षित तकनीक को समायोजित करने का संकल्प लिया गया।

निपटान पर अपनी रिपोर्ट में, ACLU ने बताया कि ऐसे लक्षित विज्ञापन कितने घातक हो सकते हैं, क्योंकि अल्पसंख्यकों और महिलाओं को यह एहसास भी नहीं हो सकता है कि उन्हें सूचना, आवास और नौकरी के अवसर उपलब्ध नहीं हैं जो कि गोरे पुरुषों के साथ साझा किए जाते हैं।

जैसे-जैसे अधिक लोग नौकरी, अपार्टमेंट और ऋण खोजने के लिए इंटरनेट की ओर रुख करते हैं, एक वास्तविक जोखिम है कि विज्ञापन लक्ष्यीकरण समाज में मौजूदा नस्लीय और लैंगिक पूर्वाग्रहों को दोहराएगा। कल्पना कीजिए कि यदि कोई नियोक्ता केवल पुरुषों के लिए इंजीनियरिंग नौकरियों के लिए विज्ञापन प्रदर्शित करना चुनता है - न केवल उन उपयोगकर्ताओं को, जिनकी पहचान पुरुषों के रूप में नहीं होती है, वे कभी भी उन विज्ञापनों को नहीं देखते हैं, वे कभी भी यह नहीं जानते हैं कि वे क्या याद करते हैं।

आखिरकार, हम शायद ही कभी ऑनलाइन देखे जाने वाले विज्ञापनों की पहचान करने का एक तरीका है। यह भेदभाव बाहर किए गए उपयोगकर्ता के लिए अदृश्य है, इसे रोकना अधिक कठिन है।

2. नौकरियों में लिंग और उम्र का भेदभाव

कानूनी मामलों में आवास में अवैध भेदभाव था जिसे लक्षित करने की अनुमति थी। निपटान पर अपनी रिपोर्ट में, ProPublica ने कहा कि इसने प्लेटफ़ॉर्म का परीक्षण किया है और "उस पर आवास से संबंधित विज्ञापन जैसे कि अफ्रीकी अमेरिकियों और यहूदियों जैसे बहिष्कृत समूहों को खरीदने में सफल रहा है, और इससे पहले कंपनियों द्वारा रखे गए आयु और लिंग द्वारा उपयोगकर्ताओं को छोड़कर नौकरी के विज्ञापन मिले थे यह घरेलू नाम हैं। ”

ACLU के कई विज्ञापन विज्ञापन ऐसे मिले जो स्पष्ट रूप से केवल किसी विशेष आयु वर्ग के पुरुषों के उद्देश्य से थे, क्योंकि उपयोगकर्ता इस उत्तर पर क्लिक करके पा सकते थे कि उन्हें उस विशेष विज्ञापन को क्यों दिखाया गया था, उन्हें किसी अन्य वायर्ड लेख में चित्रित किया गया था। ACLU ने सामाजिक नेटवर्क और कंपनियों के खिलाफ समान रोजगार अवसर आयोग के साथ एक आरोप लगाया, जो विज्ञापनों को इस आधार पर रखा कि वे श्रम और नागरिक अधिकारों के कानूनों दोनों के उल्लंघन में थे।

40 से अधिक लोगों को काम पर रखने के खिलाफ भेदभाव रोजगार अधिनियम (ADEA) में संघीय आयु भेदभाव का उल्लंघन करता है। लेकिन नौकरी विज्ञापन को केवल उस उम्र से कम के लोगों को लक्षित करना, जो प्लेटफ़ॉर्म द्वारा सक्षम चीज़ों में से एक है।

ProPublica ने यह साबित किया कि उसकी एक रिपोर्ट का फोकस यह बताता है कि किस नौकरी के विज्ञापनों को उम्र के आधार पर इस अवैध रूप से बहिष्कृत किया गया है। "घरेलू नामों" में वेरिज़ोन, यूपीएस, उबेर, टारगेट, स्टेटफार्म, नॉर्थवेस्टर्न म्युचुअल, माइक्रोसॉफ्ट, जे स्ट्रीट, हसबस्पॉट, आईकेईए, फंड फॉर द पब्लिक इंटरेस्ट, गोल्डमैन सैक, ओपनवर्क्स और खुद शामिल हैं।

चेहरे की पहचान विफलता

"चेहरे की पहचान सही है, अगर आप एक सफेद आदमी हैं" फरवरी 2018 में प्रकाशित एक न्यूयॉर्क टाइम्स के लेख की शीर्षक की घोषणा की। यह उन परिणामों का हवाला देता है जो त्वचा टोन और दोषपूर्ण पहचान के बीच एक अलग संबंध पाया गया:

"गहरे रंग की त्वचा, अधिक त्रुटियां उत्पन्न होती हैं - गहरे रंग की चमड़ी वाली महिलाओं की छवियों के लिए लगभग 35% तक, एक नए अध्ययन के अनुसार जो विभिन्न दौड़ और लिंग के लोगों पर तकनीक काम करती है, यह मापकर ताजा जमीन को तोड़ती है।"

निष्कर्षों का श्रेय एमआईटी मीडिया लैब के एक शोधकर्ता जॉय बुओलामिनी और अल्गोरिथम जस्टिस लीग (AJL) के संस्थापक को दिया जाता है। अनुसंधान का उसका क्षेत्र एआई है जो एआई को कम करता है, जिसके परिणामस्वरूप ऐसे तिरछे परिणाम सामने आते हैं जब यह उन चेहरों को पहचानने की बात आती है जो मॉडल के लिए निर्धारित सफेद पुरुष के आदर्श के अनुरूप नहीं होते हैं।

Buolamwini ने 2017 में TED टॉक में चेहरे की पहचान के लिए नस्लीय और लैंगिक पूर्वाग्रह की समस्या को प्रस्तुत किया, जिसे उन्होंने MIT लैब से द जेंडर शेड्स प्रोजेक्ट पर वीडियो में 2018 की शुरुआत में संदर्भित किया:

<

वीडियो के विवरण में लिखा गया है कि एआई पूर्वाग्रह को अनियंत्रित छोड़कर, "अगर स्वचालन के लिए छोड़ दिया जाए, तो यह स्वचालन की उम्र और आगे की असमानता को समाप्त कर देगा।" जोखिम "नागरिक तटस्थता आंदोलन और महिला आंदोलन के साथ मशीन तटस्थता की झूठी धारणा के तहत किए गए लाभ को खोने से कम नहीं है।"

वीडियो विवरण में चेतावनी दी गई है कि कई अन्य लोगों ने अब इशारा किया है, जैसा कि हमने महिलाओं में ऐ: रीइनफोर्सिंग सेक्सिज्म और स्टीरियोटाइप्स इन टेक के साथ देखा है: "स्वचालित सिस्टम स्वाभाविक रूप से तटस्थ नहीं हैं। वे प्राथमिकताओं, वरीयताओं और पूर्वाग्रहों को दर्शाते हैं - कोडित। टालमटोल करने वालों में कृत्रिम बुद्धि को ढालने की शक्ति होती है। "

25 जनवरी, 2019 को बुओल्मन्विनी ने एक मीडियम पोस्ट प्रकाशित किया, जो अपने स्वयं के शोध पर और अतिरिक्त शोधकर्ताओं के बारे में बताती है कि एआई अमेज़ॅन की मान्यता में त्रुटियों का परिणाम कैसे होता है और मांग की कि कंपनी पुलिस विभागों को एआई सेवा बेचना बंद कर दे।

जबकि रेकग्निशन हल्के चमड़ी वाले पुरुषों को पहचानने के लिए 100% सटीकता और घने पुरुषों के लिए भी 98.7% सटीकता का दावा कर सकता है, जब यह महिला की बात आती है, तो हल्की महिलाओं के लिए सटीकता 92.9% तक गिर गई। इससे भी अधिक चमकदार गहरे रंग की महिलाओं के लिए सिर्फ 68.6% सटीकता की तेज गिरावट थी।

लेकिन अमेजन ने भरोसा करने से इनकार कर दिया। एक वेंचर बीट लेख ने AWS में गहन अध्ययन और AI के महाप्रबंधक डॉ। मैट वुड के एक बयान को उद्धृत किया, जिसमें उन्होंने जोर देकर कहा कि शोधकर्ताओं के निष्कर्षों में यह नहीं दर्शाया गया है कि वास्तव में AI का उपयोग कैसे किया जाता है:

“चेहरे का विश्लेषण और चेहरे की पहचान अंतर्निहित तकनीक और उन्हें प्रशिक्षित करने के लिए उपयोग किए गए डेटा के संदर्भ में पूरी तरह से अलग हैं। चेहरे की पहचान की सटीकता का पता लगाने के लिए चेहरे के विश्लेषण का उपयोग करने की कोशिश करना गलत है, क्योंकि यह उस उद्देश्य के लिए एल्गोरिथ्म नहीं है। "

लेकिन यह सिर्फ उन प्रमुख अनुसंधान केंद्रों से संबद्ध नहीं है जिन्होंने एल्गोरिदम को बहुत समस्याग्रस्त पाया है। गिज़मोडो की रिपोर्ट के अनुसार, ACLU ने $ 12.33 की सबसे उचित लागत पर अपना परीक्षण चलाया। इसमें पाया गया कि Rekognition ने कांग्रेस के 28 सदस्यों का अपराधियों की तस्वीरों के साथ मिलान किया।

"झूठी पहचान तब की गई जब उत्तरी कैलिफोर्निया के ACLU ने कांग्रेस के सभी 535 सदस्यों की 25,000 सार्वजनिक रूप से उपलब्ध मगशॉट तस्वीरों के मिलान के साथ रेकग्निशन का काम सौंपा।"

28 में से 11 रंग के लोग थे, इसलिए यह उनके लिए 39% त्रुटि दर को दर्शाता है। इसके विपरीत त्रुटि दर पूरी तरह से स्वीकार्य 5% थी। कांग्रेस के ब्लैक कॉकस के छह सदस्य, जो मुगोट्स से जुड़े उन लोगों में शामिल थे, ने अमेज़ॅन के सीईओ को एक खुले पत्र में अपनी चिंता व्यक्त की।

वैराग्य पूर्वाग्रह

रंग के लोगों के खिलाफ एआई में अंतर्निहित पूर्वाग्रह एक अधिक गंभीर समस्या बन जाता है जब इसका मतलब पहचान में त्रुटि से अधिक है। यह 2016 में एक और ProPublica जांच की खोज थी। इस तरह के पूर्वाग्रह के परिणाम व्यक्तिगत स्वतंत्रता की तुलना में कम नहीं हैं जो उस व्यक्ति से वास्तविक जोखिम की अनदेखी करते हैं जिसकी त्वचा का रंग एल्गोरिदम द्वारा इष्ट है।

आलेख में दो समानांतर मामलों का उल्लेख किया गया है जिसमें एक सफेद अपराधी और एक काला एक शामिल है। एक एल्गोरिथ्म का उपयोग यह अनुमान लगाने के लिए किया गया था कि कौन से कानून को फिर से तोड़ने की संभावना है। काले को उच्च जोखिम का दर्जा दिया गया था, और सफेद को कम जोखिम का।

भविष्यवाणी पूरी तरह से गलत है, और जो सफेद मुक्त हुआ उसे फिर से कैद करना पड़ा। यह अत्यंत समस्याग्रस्त है क्योंकि अदालतें पैरोल पर निर्णय लेने में स्कोरिंग पर भरोसा करती हैं, और इसका मतलब है कि कार्यक्रम में निहित नस्लीय पूर्वाग्रह का मतलब कानून के तहत असमान उपचार है।

ProPublica ने अपने खुद के परीक्षण के लिए एल्गोरिदम रखा, 7,000 से अधिक लोगों के जोखिम स्कोर की तुलना की, जिन्हें 2013 और 2014 में ब्रोवार्ड काउंटी में गिरफ्तार किया गया था, जिनके बाद अगले दो वर्षों में उनके खिलाफ नए आपराधिक आरोप आए थे।

उन्होंने पाया कि एक हिंसक प्रकृति के अपराधों को दोहराने के लिए केवल 20% भविष्यवाणियां सच थीं, और अधिक मामूली अपराध केवल 61% जोखिम वाले लोगों के लिए हुए।

असली समस्या सिर्फ सटीकता की कमी नहीं है बल्कि इसमें शामिल नस्लीय पूर्वाग्रह हैं:

• सूत्र विशेष रूप से भविष्य के अपराधियों के रूप में काले प्रतिवादियों को झूठा दिखाने की संभावना थी, गलत तरीके से उन्हें सफेद प्रतिवादियों के रूप में लगभग दो बार इस तरह से लेबल किया गया।
• काले प्रतिवादियों की तुलना में सफेद प्रतिवादियों को अक्सर कम जोखिम के रूप में भ्रमित किया जाता था।
  
  

वास्तव में, इसने अश्वेत लोगों के लिए 45% और गोरे लोगों के लिए 24% की त्रुटि दर में अनुवाद किया। उस दमदार आंकड़े के बावजूद, थॉमस ने बताया कि विस्कॉन्सिन सुप्रीम कोर्ट ने अभी भी इस एल्गोरिथ्म के उपयोग को बरकरार रखा है। वह पुनरावृत्ति एल्गोरिदम से जुड़ी अन्य समस्याओं का भी विवरण देती है।