विषय
प्रश्न:
डेटा विज्ञान प्रक्रियाओं को स्वचालित और अनुकूलित करने के कुछ प्रमुख तरीके क्या हैं?
ए:
मशीन लर्निंग और AI के डेटा में डेटा विज्ञान प्रक्रिया को चार अलग-अलग चरणों में विभाजित किया जा सकता है:
- डाटा अधिग्रहण और अन्वेषण,
- प्रतिरूप निर्माण,
- मॉडल परिनियोजन और
- ऑनलाइन मूल्यांकन और शोधन।
मेरे अनुभव से, किसी मशीन-लर्निंग-आधारित डेटा विज्ञान प्रक्रिया में सबसे अधिक प्रभाव डालने वाले डेटा अधिग्रहण और मॉडल परिनियोजन चरण हैं, और यहां उन्हें अनुकूलित करने के दो तरीके हैं:
1. एक अत्यधिक सुलभ डेटास्टोर की स्थापना करें।
अधिकांश संगठनों में, डेटा एक केंद्रीय स्थान में संग्रहीत नहीं किया जाता है। ग्राहकों से संबंधित जानकारी लेने दें। यदि आपका व्यवसाय एक वेब अनुप्रयोग है, तो आपके पास ग्राहक संपर्क जानकारी, ग्राहक सहायता s, ग्राहक प्रतिक्रिया और ग्राहक ब्राउज़िंग इतिहास है। यह सभी डेटा स्वाभाविक रूप से बिखरे हुए हैं, क्योंकि वे विभिन्न उद्देश्यों की पूर्ति करते हैं। वे अलग-अलग डेटाबेस में रह सकते हैं और कुछ पूरी तरह से संरचित और कुछ असंरचित हो सकते हैं, और यहां तक कि उन्हें सादे फाइलों के रूप में संग्रहीत किया जा सकता है।
दुर्भाग्य से, इन डेटासेटों का बिखराव डेटा विज्ञान के काम को सभी एनएलपी, मशीन लर्निंग और एआई समस्याओं के आधार के रूप में सीमित कर रहा है डेटा। इसलिए, यह सब डेटा एक ही स्थान पर होना - डेटास्टोर - मॉडल के विकास और तैनाती में तेजी लाने में सर्वोपरि है। यह देखते हुए कि यह सभी डेटा विज्ञान प्रक्रियाओं का एक महत्वपूर्ण हिस्सा है, संगठनों को अपने डेटास्टोर्स बनाने में मदद करने के लिए योग्य डेटा इंजीनियरों को नियुक्त करना चाहिए। यह आसानी से एक स्थान में सरल डेटा डंप के रूप में शुरू हो सकता है और धीरे-धीरे एक सुविचारित डेटा रिपॉजिटरी में विकसित हो सकता है, पूरी तरह से प्रलेखित और उपयोगिता उपकरण के साथ अलग-अलग उद्देश्यों के लिए डेटा के सबसेट को विभिन्न स्वरूपों में निर्यात करने के लिए उपयोगी है।
2. अपने मॉडलों को निर्बाध एकीकरण के लिए एक सेवा के रूप में बेनकाब करें।
डेटा तक पहुंच को सक्षम करने के अलावा, डेटा वैज्ञानिकों द्वारा विकसित मॉडल को उत्पाद में एकीकृत करने में सक्षम होना भी महत्वपूर्ण है। रूबी पर चलने वाले वेब एप्लिकेशन के साथ पायथन में विकसित मॉडल को एकीकृत करना बेहद मुश्किल हो सकता है। इसके अलावा, मॉडल में बहुत अधिक डेटा निर्भरता हो सकती है जो आपके उत्पाद प्रदान करने में सक्षम नहीं हो सकती है।
इससे निपटने का एक तरीका यह है कि अपने मॉडल के चारों ओर एक मजबूत बुनियादी ढाँचा स्थापित किया जाए और मॉडल को "वेब सेवा" के रूप में उपयोग करने के लिए आपके उत्पाद द्वारा आवश्यक पर्याप्त कार्यक्षमता को उजागर किया जाए। उदाहरण के लिए, यदि आपके एप्लिकेशन को उत्पाद समीक्षाओं पर भावना वर्गीकरण की आवश्यकता है। , यह सब करने की ज़रूरत है वेब सेवा को लागू करना, प्रासंगिक और सेवा प्रदान करना उचित भावना वर्गीकरण को वापस करेगा जो उत्पाद सीधे उपयोग कर सकता है। इस तरह एकीकरण केवल एपीआई कॉल के रूप में होता है। मॉडल और उस उत्पाद का उपयोग करना जो इसे उपयोग करता है, नए उत्पादों के लिए यह वास्तव में आसान बनाता है कि आप इन मॉडलों का उपयोग थोड़ी परेशानी के साथ भी करते हैं।
अब, अपने मॉडल के चारों ओर बुनियादी ढाँचा स्थापित करना एक पूरी कहानी है और आपको अपनी इंजीनियरिंग टीमों से भारी प्रारंभिक निवेश की आवश्यकता है। एक बार बुनियादी ढाँचा होने के बाद, यह एक तरह से मॉडल बनाने की बात है जो बुनियादी ढाँचे में फिट बैठता है।