विषय
- YARN फ्रेमवर्क क्या है?
- Hadoop 1.0 फ्रेमवर्क की सीमाएँ
- नो बग्स, नो स्ट्रेस - योर स्टेप बाय स्टेप गाइड बाय स्टेप गाइड टू लाइफ-चेंजिंग सॉफ्टवेर विदाउट योर लाइफ
- YARN फ्रेमवर्क और इसके फायदे
- निष्कर्ष
स्रोत: जिम ह्यूज / ड्रीमस्टाइम डॉट कॉम
ले जाओ:
यार्न Hadoop 1.0 ढांचे पर एक महत्वपूर्ण सुधार है। यहाँ हम इसके पूर्ववर्ती के कुछ लाभों की जाँच करते हैं।
जब से बड़े डेटा की अवधारणा को पेश किया गया था, तब से यह विकास के कई चरणों से गुजर रहा है। Hadoop को 2005 में कुछ प्रारंभिक विशेषताओं जैसे MapReduce प्रसंस्करण इंजन के साथ पेश किया गया था, जो क्लस्टर में वितरित बड़े पैमाने पर डेटा प्रोसेसिंग वर्कलोड की अनुमति देता था। Hadoop ने स्वयं कई परिवर्तनों का अनुभव किया है और उन्नत रूपरेखाओं और विधियों का विकास किया है।
YARN Hadoop 2.0 का एक मुख्य घटक है। यह मूल रूप से संकुल वातावरण में संसाधनों का प्रबंधन करता है। YARN ब्रोकर गणना संसाधनों (अनुप्रयोगों की ओर से) के साथ सहभागिता करता है और विभिन्न फ़िल्टरिंग मानदंडों के आधार पर प्रत्येक एप्लिकेशन को संसाधन प्रदान करता है।
इस लेख में, हम Hadoop 1.0 पर YARN के शीर्ष लाभों पर ध्यान देंगे।
YARN फ्रेमवर्क क्या है?
Yएट एnother आरesource एनअहंकारी हाडोप 2.0 का एक मुख्य घटक है, जो संकुल वातावरण में संसाधनों का प्रबंधन करता है। Hadoop YARN फ्रेमवर्क Hadoop 1.0 का एक उन्नत संस्करण है जो बेहतर प्रदर्शन प्रदान करता है, जो Hadoop पारिस्थितिकी तंत्र और इसके साथ जुड़ी प्रौद्योगिकियों की पूरी श्रृंखला के लिए फायदेमंद है। अब जब हम YARN से थोड़ा अधिक परिचित हैं, तो Hadoop 1.0 और YARN पर करीब से नज़र डालते हैं।
Hadoop 1.0 फ्रेमवर्क की सीमाएँ
YARN ढांचे के लाभों को समझने के लिए, यह समझना बहुत महत्वपूर्ण है कि Hadoop 1.0 कैसे काम करता है और इस ढांचे की सीमाएँ क्या हैं।
यह वह जगह है जहाँ JobTracker की भूमिका आती है। यह दोनों क्लस्टर संसाधनों का प्रबंधन करता है और MapReduce कार्य निष्पादन को निर्धारित करता है। संक्षेप में, JobTracker शेड्यूल और कार्य स्लॉट को सुरक्षित रखता है, और प्रत्येक चलने वाले कार्य को कॉन्फ़िगर और मॉनिटर करता है। यदि कोई कार्य विफल हो जाता है, तो यह कार्य को फिर से शुरू करने के लिए एक नया स्लॉट देता है। एक बार एक कार्य समाप्त होने के बाद, JobTracker अन्य कार्यों के लिए स्लॉट जारी करता है और अस्थायी संसाधनों को साफ करता है।
उपरोक्त दृष्टिकोण की प्रमुख कमियां:
- उपलब्धता - JobTracker Hadoop 1.0 में उपलब्धता का एकमात्र बिंदु है। इसका मतलब यह है कि अगर जॉबट्रैकर विफल रहता है, तो सभी कार्य डिफ़ॉल्ट रूप से फिर से शुरू हो जाएंगे।
- सीमित स्केलेबिलिटी - चूंकि जॉबट्रैकर कई कार्य कर रहा है और एक मशीन पर चल रहा है, अन्य उपलब्ध मशीनों का उपयोग नहीं किया जा रहा है; इसलिए, सीमित मापनीयता के परिणामस्वरूप।
- संसाधन उपयोग - उपर्युक्त दृष्टिकोण में, नक्शे के स्लॉट और घटते स्लॉट पूर्वनिर्धारित हैं। ऐसा हो सकता है कि एक स्लॉट भर गया हो लेकिन दूसरे मशीन के स्लॉट खाली हों। चूंकि खाली स्लॉट आरक्षित हैं, इसलिए वे पूर्ण स्लॉट के लिए समझौता करने के बजाय बेकार बैठेंगे। यह संसाधन उपयोग का मुद्दा हो सकता है।
- गैर-MapReduce अनुप्रयोग चलाना - JobTracker एक अनुप्रयोग है जो MapReduce ढांचे के लिए बनाया गया है। समस्या तब होती है जब एक गैर-मैपराइड एप्लिकेशन इस ढांचे में चलने की कोशिश करता है। एप्लिकेशन को सफलतापूर्वक चलाने के लिए MapReduce फ्रेमवर्क प्रोग्रामिंग के अनुरूप होना चाहिए। इसके कारण सामने आने वाले कुछ सामान्य मुद्दों में निम्न समस्याएं शामिल हैं:
- तदर्थ क्वेरी
- वास्तविक समय विश्लेषण
- पासिंग अप्रोच
- कैस्केडिंग में विफलता - इस ढांचे में एक प्रमुख मुद्दा तब होता है जब नोड्स की संख्या 4000 से अधिक होती है। ऐसे परिदृश्य में, कैस्केडिंग विफलता होती है, जिसके परिणामस्वरूप पूर्ण क्लस्टर की गिरावट होती है।
इस ढांचे के साथ काम करते समय ये कुछ प्रमुख सीमाएं हैं। कुछ अन्य छोटी-छोटी सीमाएँ भी हैं, जिनका उल्लेख नहीं किया गया है। इन सीमाओं को पार करने के लिए YARN ढांचे की शुरुआत की गई थी।
नो बग्स, नो स्ट्रेस - योर स्टेप बाय स्टेप गाइड बाय स्टेप गाइड टू लाइफ-चेंजिंग सॉफ्टवेर विदाउट योर लाइफ
जब कोई भी सॉफ़्टवेयर गुणवत्ता की परवाह नहीं करता है तो आप अपने प्रोग्रामिंग कौशल में सुधार कर सकते हैं।
YARN फ्रेमवर्क और इसके फायदे
Hadoop 2.0 में शुरू की गई YARN फ्रेमवर्क, MapReduce की जिम्मेदारियों को साझा करने और क्लस्टर कार्य को पूरा करने के लिए है। इससे MapReduce केवल डेटा प्रोसेसिंग को निष्पादित कर सकता है और इसलिए, प्रक्रिया को कारगर बनाता है।
YARN एक केंद्रीय संसाधन प्रबंधन की अवधारणा में लाता है। यह एक सामान्य संसाधन प्रबंधन को साझा करते हुए, कई अनुप्रयोगों को Hadoop पर चलाने की अनुमति देता है।
YARN ढांचे के कुछ प्रमुख घटक हैं:
- रिसोर्स मैनेजर - संसाधन प्रबंधक घटक उस क्लस्टर में मौजूद सभी संसाधनों के लिए एक क्लस्टर में वार्ताकार है। इसके अलावा, इस घटक को एक एप्लिकेशन मैनेजर में वर्गीकृत किया गया है जो उपयोगकर्ता नौकरियों के प्रबंधन के लिए जिम्मेदार है। Hadoop 2.0 से किसी भी MapReduce जॉब को एक एप्लिकेशन माना जाएगा।
- एप्लिकेशनमास्टर - यह घटक वह स्थान है जिसमें नौकरी या आवेदन मौजूद है। यह सभी MapReduce नौकरियों का प्रबंधन भी करता है और नौकरी के प्रसंस्करण के पूरा होने के बाद संपन्न होता है।
- NodeManager - नोड मैनेजर घटक नौकरी के इतिहास के लिए सर्वर के रूप में कार्य करता है। यह पूरी हुई नौकरियों की जानकारी हासिल करने के लिए जिम्मेदार है। यह एक विशेष नोड के लिए अपने वर्कफ़्लो के साथ-साथ उपयोगकर्ताओं की नौकरियों पर भी नज़र रखता है।
यह ध्यान में रखते हुए कि YARN फ्रेमवर्क में विभिन्न कार्यों को प्रबंधित करने के लिए अलग-अलग घटक हैं, आइए देखें कि यह Hadoop 1.0 की सीमाओं को कैसे गिनता है।
- संसाधनों का बेहतर उपयोग - यार्न ढांचे में कार्यों के लिए कोई निश्चित स्लॉट नहीं है। यह एक केंद्रीय संसाधन प्रबंधक प्रदान करता है जो आपको एक सामान्य संसाधन के माध्यम से कई एप्लिकेशन साझा करने की अनुमति देता है।
- गैर-MapReduce अनुप्रयोग चलाना - YARN में, शेड्यूलिंग और संसाधन प्रबंधन क्षमताओं को डेटा प्रोसेसिंग घटक से अलग किया जाता है। यह Hadoop को विभिन्न प्रकार के अनुप्रयोगों को चलाने की अनुमति देता है जो Hadoop ढांचे की प्रोग्रामिंग के अनुरूप नहीं है। Hadoop क्लस्टर अब स्वतंत्र इंटरएक्टिव क्वेरी चलाने और बेहतर रीयल-टाइम विश्लेषण करने में सक्षम हैं।
- पिछड़ी अनुकूलता - YARN एक पिछड़े-संगत ढांचे के रूप में आता है, जिसका अर्थ है कि MapReduce की किसी भी मौजूदा नौकरी को Hadoop 2.0 में निष्पादित किया जा सकता है।
- JobTracker अब मौजूद नहीं है - JobTracker की दो प्रमुख भूमिकाएँ संसाधन प्रबंधन और नौकरी शेड्यूलिंग थीं। YARN ढांचे की शुरुआत के साथ, अब इन्हें दो अलग-अलग घटकों में अलग कर दिया गया है, जैसे:
- NodeManager
- संसाधन प्रबंधक
निष्कर्ष
YARN फ्रेमवर्क की शुरूआत ने Hadoop डेवलपर्स के लिए एप्लिकेशन बनाना आसान बना दिया है। अब, एप्लिकेशन को तृतीय-पक्ष टूल के साथ लागू करने की आवश्यकता नहीं है। YARN एक बहुत बड़ा बदलाव है जो उपयोगकर्ताओं को Hadoop 2.0 पर विचार करने के लिए एप्लिकेशन बनाने और डेटा को अधिक प्रभावी ढंग से हेरफेर करने की अनुमति देगा। समय के साथ, Hadoop की उपयोगिता को बढ़ाने के लिए और अधिक विकास होंगे। अभी के लिए, YARN फ्रेमवर्क मौजूदा समस्याओं से निपटने और एक परेशानी मुक्त वातावरण बनाने में महत्वपूर्ण भूमिका निभाएगा जो कि अधिक बहुमुखी है और फिर MapReduce मॉडल का पूर्व संस्करण।