कृत्रिम आवर्तक तंत्रिका नेटवर्क को अक्सर प्रशिक्षित करना कठिन क्यों होता है?

विषय

• प्रश्न:
• ए:

प्रश्न:

कृत्रिम आवर्तक तंत्रिका नेटवर्क को अक्सर प्रशिक्षित करना कठिन क्यों होता है?

ए:

कृत्रिम आवर्तक तंत्रिका नेटवर्क के प्रशिक्षण की कठिनाई को उनकी जटिलता के साथ करना पड़ता है।

यह समझने के सबसे सरल तरीकों में से एक है कि आवर्तक तंत्रिका नेटवर्क को प्रशिक्षित करना कठिन क्यों है कि वे फीडफुल न्यूरल नेटवर्क नहीं हैं।

फीडफॉर्वर्ड न्यूरल नेटवर्क में, सिग्नल केवल एक ही ओर बढ़ते हैं। सिग्नल एक इनपुट लेयर से विभिन्न छिपी हुई लेयर्स तक, और आगे, एक सिस्टम के आउटपुट लेयर में जाता है।

इसके विपरीत, आवर्तक तंत्रिका नेटवर्क और अन्य विभिन्न प्रकार के तंत्रिका नेटवर्क में अधिक जटिल सिग्नल आंदोलन होते हैं। "फीडबैक" नेटवर्क के रूप में वर्गीकृत, आवर्तक तंत्रिका नेटवर्क में आगे और पीछे दोनों तरफ यात्रा करने के संकेत हो सकते हैं, और नेटवर्क में विभिन्न "लूप" हो सकते हैं जहां संख्या या मान वापस नेटवर्क में खिलाए जाते हैं। विशेषज्ञ इसे आवर्तक तंत्रिका नेटवर्क के पहलू से जोड़ते हैं जो उनकी स्मृति से जुड़ा है।

इसके अलावा, आवर्तक तंत्रिका नेटवर्क को प्रभावित करने वाली एक अन्य प्रकार की जटिलता का उपचार करता है। इसका एक उत्कृष्ट उदाहरण प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में है।

परिष्कृत प्राकृतिक भाषा प्रसंस्करण में, तंत्रिका नेटवर्क को चीजों को याद रखने में सक्षम होने की आवश्यकता होती है। यह भी चुनाव में इनपुट लेने की जरूरत है। मान लीजिए कि एक ऐसा कार्यक्रम है जो दूसरे शब्दों के वाक्य के भीतर एक शब्द का विश्लेषण या भविष्यवाणी करना चाहता है। उदाहरण के लिए, प्रणाली के मूल्यांकन के लिए पाँच शब्दों की एक निश्चित लंबाई हो सकती है। इसका मतलब है कि तंत्रिका नेटवर्क के पास इन शब्दों में से प्रत्येक के लिए इनपुट होना चाहिए, साथ ही इन शब्दों के उच्चारण को "याद" या प्रशिक्षित करने की क्षमता भी होनी चाहिए। उन और अन्य समान कारणों के लिए, आवर्तक तंत्रिका नेटवर्क में आमतौर पर सिस्टम में इन छोटे छिपे हुए छोरों और फीडबैक होते हैं।

विशेषज्ञों का कहना है कि इन जटिलताओं से नेटवर्क को प्रशिक्षित करना मुश्किल हो जाता है। यह समझाने के लिए सबसे आम तरीकों में से एक विस्फोट और लुप्त हो रही ढाल समस्या का हवाला देकर है। अनिवार्य रूप से, नेटवर्क का वजन या तो बड़ी संख्या में पास के साथ मूल्यों को विस्फोट या लुप्त करने के लिए प्रेरित करेगा।

न्यूरल नेटवर्क के अग्रणी ज्यॉफ हिंटन ने इस घटना को वेब पर यह कहकर समझाया है कि पिछड़े रैखिक पास छोटे वज़न को तेजी से कम करने और विस्फोट करने के लिए बड़े वज़न का कारण बनेंगे।

यह समस्या, वह जारी है, लंबे अनुक्रमों और कई बार अधिक चरणों के साथ खराब हो जाती है, जिसमें संकेत बढ़ते हैं या क्षय होते हैं। वेट आरंभीकरण मदद कर सकता है, लेकिन उन चुनौतियों को आवर्तक तंत्रिका नेटवर्क मॉडल में बनाया गया है। Theres हमेशा कि उनके विशेष डिजाइन और निर्माण से जुड़ा मुद्दा होने जा रहा है। अनिवार्य रूप से, कुछ अधिक जटिल प्रकार के तंत्रिका नेटवर्क वास्तव में आसानी से उन्हें प्रबंधित करने की हमारी क्षमता को धता बताते हैं। हम एक व्यावहारिक रूप से अनंत मात्रा में जटिलता पैदा कर सकते हैं, लेकिन हम अक्सर पूर्वानुमान और स्केलेबिलिटी चुनौतियों को देखते हैं।