फायरहॉस का दोहन: स्ट्रीमिंग एनालिटिक्स से व्यावसायिक मूल्य प्राप्त करना: वेबिनार ट्रांसक्रिप्ट

ले जाओ: होस्ट रेबेका जोजवियाक शीर्ष उद्योग विशेषज्ञों के साथ स्ट्रीमिंग एनालिटिक्स पर चर्चा करती है।

आप वर्तमान में लॉग इन नहीं हैं। वीडियो देखने के लिए कृपया लॉग-इन या साइन-अप करें।

रेबेका जोजवाक: देवियों और सज्जनों, नमस्ते और 2016 की हॉट टेक्नोलॉजीज में आपका स्वागत है! आज का शीर्षक "स्ट्रीमिंग एनेलिसिस से व्यापार मूल्य प्राप्त करना:" फायरनेस का उपयोग करना है। "यह रेबेका जोजवाक है। जब भी हमारे प्रिय एरिक कवनघ यहां नहीं हो सकते हैं, तो मैं वेबकास्ट होस्ट के लिए दूसरा कमांडर हूं, इसलिए आज आप में से बहुतों को यह देखकर अच्छा लगा।

यह प्रकरण हमारे अन्य लोगों से थोड़ा अलग है। हम इस बारे में बात कर रहे हैं कि इस वर्ष क्या गर्म है और निश्चित रूप से गर्म है। पिछले कई साल गर्म रहे हैं। हमेशा नया सामान आता है। आज, हम स्ट्रीमिंग एनालिटिक्स के बारे में बात कर रहे हैं। स्ट्रीमिंग एनालिटिक्स अपने आप में नया है। बेशक, स्ट्रीमिंग, केंद्र डेटा, आरएफआईडी डेटा, जो जरूरी नहीं कि नए हैं। लेकिन डेटा आर्किटेक्चर के संदर्भ में, हम दशकों तक आराम से डेटा पर केंद्रित रहे हैं। डेटाबेस, फ़ाइल सिस्टम, डेटा रिपॉजिटरी - ये सभी ज्यादातर बैच प्रोसेसिंग के उद्देश्य से हैं। लेकिन अब स्ट्रीमिंग डेटा, डेटा भावनाओं से मूल्य बनाने के लिए शिफ्ट के साथ, कुछ इसे जीवित धाराओं को कहते हैं, उन्हें वास्तव में एक स्ट्रीम-आधारित वास्तुकला की आवश्यकता होती है, न कि बाकी आर्किटेक्चर पर डेटा जिसकी हमें आदत है और इसे सक्षम करने की आवश्यकता है तेजी से घूस, वास्तविक समय या वास्तविक समय प्रसंस्करण के पास से निपटने। यह न केवल इंटरनेट ऑफ थिंग्स बल्कि इंटरनेट ऑफ एवरीथिंग को पूरा करने में सक्षम है।

बेशक, आदर्श रूप से, दो आर्किटेक्चर को साथ-साथ रहने के लिए अच्छा होगा, एक हाथ दूसरे को धोने के लिए, इसलिए बोलने के लिए। जबकि पुराने डेटा, सप्ताह-पुराने डेटा, वर्षों पुराने डेटा में अभी भी मूल्य, ऐतिहासिक विश्लेषण, प्रवृत्ति विश्लेषण है, यह इन दिनों का लाइव डेटा चलाने वाला लाइव डेटा है और इसीलिए स्ट्रीमिंग एनालिटिक्स इतना महत्वपूर्ण हो गया है।

मैं आज उस बारे में अधिक बात कर रहा हूं। हमारे पास हमारे डेटा वैज्ञानिक, डीज़ ब्लांचफील्ड हैं, जो ऑस्ट्रेलिया से बुला रहे हैं। अभी उसके लिए सुबह जल्दी है। हमारे पास हमारे मुख्य विश्लेषक, डॉ। रॉबिन ब्लोर हैं। हम इम्पेटस टेक्नोलॉजीज में स्ट्रीमअनलिटिक्स के उत्पाद प्रमुख आनंद वेणुगोपाल से जुड़े हुए हैं। वे वास्तव में इस स्थान के स्ट्रीमिंग विश्लेषिकी पहलू पर ध्यान केंद्रित कर रहे हैं।

इसके साथ, मैं इसे आगे बढ़ाता हूँ और इसे डीज़ को पास करता हूँ।

डीज़ ब्लांचफील्ड: धन्यवाद। मुझे यहां स्क्रीन पर नियंत्रण हासिल करने और आगे बढ़ने की आवश्यकता है।

रेबेका जोजवाक: हेयर यू गो।

डीज़ ब्लांचफील्ड: जब तक हम स्लाइड को पकड़ नहीं लेते हैं, मुझे केवल मुख्य विषय को कवर करने देना चाहिए।

मैं इसे काफी उच्च स्तर पर रखने जा रहा हूं और मैं इसे लगभग 10 मिनट रखूंगा। यह एक बहुत बड़ा विषय है। मैंने एक ऐसे कार्यक्रम में भाग लिया जहां हमने दो से तीन दिन बिताए, जिसमें बताया गया था कि स्ट्रीम प्रोसेसिंग क्या है और वर्तमान फ्रेमवर्क जो हम विकसित कर रहे हैं और उन उच्च-खंड धाराओं में एनालिटिक्स करने का क्या मतलब है।

हम केवल एनालिटिक्स को स्ट्रीमिंग करके जो मतलब रखते हैं उसे स्पष्ट करने जा रहे हैं और फिर इस बात पर ध्यान देते हैं कि क्या व्यापार मूल्य प्राप्त किया जा सकता है क्योंकि वास्तव में जो व्यवसाय खोज रहे हैं। वे देख रहे हैं कि लोग बहुत जल्दी और आसानी से उन्हें समझाते हैं, मैं हमारे स्ट्रीम डेटा में कुछ प्रकार के एनालिटिक्स लागू करके कहां से मूल्य प्राप्त कर सकता हूं?

स्ट्रीमिंग एनालिटिक्स क्या है?

स्ट्रीमिंग एनालिटिक्स संगठनों को उच्च-मात्रा और उच्च-वेग डेटा से मूल्य निकालने का एक तरीका देता है जो वे व्यवसाय के माध्यम से विभिन्न रूपों में गति में आते हैं। यहां महत्वपूर्ण अंतर यह है कि हमारे पास एनालिटिक्स और लेंस विकसित करने और डेटा के विचारों का एक लंबा इतिहास था, जिसे हम मेनफ्रेम के आविष्कार के बाद से दशकों तक आराम से संसाधित कर रहे थे। पिछले तीन से पांच वर्षों में हमने जो "वेब स्केल" कहा है, उसमें जो व्यापक प्रतिमान बदलाव देखा गया है, वह वास्तविक समय में या वास्तविक समय में हमारे पास आने वाले डेटा की धाराओं में दोहन कर रहा है, न कि केवल प्रसंस्करण और ईवेंट सहसंबंध की तलाश में है या इवेंट ट्रिगर्स लेकिन उन धाराओं पर वास्तव में विस्तृत, गहराई से विश्लेषण करना। यह एक महत्वपूर्ण बदलाव है जो हम पहले कर रहे हैं जो या तो डेटा एकत्र कर रहा है, इसे किसी प्रकार के भंडार, परंपरागत रूप से बड़े डेटाबेस में अब डाल रहा है, बड़े बड़े डेटा फ्रेमवर्क जैसे कि हडोप प्लेटफॉर्म और उस पर बैच-मोड प्रसंस्करण करना और प्राप्त करना किसी प्रकार की अंतर्दृष्टि।

हम बहुत जल्दी ऐसा करने में बहुत अच्छे हो गए हैं और सामान पर बहुत अधिक लोहे की कोशिश कर रहे हैं, लेकिन हम अभी भी डेटा पर कब्जा कर रहे हैं, भंडारण कर रहे हैं और फिर इसे देख रहे हैं और इस पर कुछ प्रकार की अंतर्दृष्टि या विश्लेषिकी प्राप्त कर रहे हैं। डेटा के रूप में स्ट्रीमिंग कर रहे हैं उन विश्लेषिकी के लिए बदलाव बड़े डेटा के आसपास हो रही चीजों के प्रकार के लिए एक बहुत ही नया और रोमांचक विकास क्षेत्र रहा है। इसे केवल कैप्चर, स्टोर और प्रोसेस करने और एनालिटिक्स करने के लिए एक पूरी तरह से अलग दृष्टिकोण की आवश्यकता होती है।

शिफ्ट के लिए प्रमुख ड्राइवरों में से एक और स्ट्रीम में एनालिटिक्स करने पर ध्यान केंद्रित करना है, जिससे आप उन जानकारियों को तेजी से और अधिक आसानी से प्राप्त कर सकते हैं जो डेटा आपके पास आ रहे हैं, क्योंकि जानकारी व्यवसाय को उपलब्ध कराई जा रही है। अब दिन के अंत में प्रसंस्करण करने का विचार कुछ उद्योगों में प्रासंगिक नहीं है। हम फ्लाइट पर एनालिटिक्स करने में सक्षम होना चाहते हैं। दिन के अंत तक, हम पहले से ही जानते हैं कि क्या हुआ है क्योंकि यह दिन के अंत तक पहुंचने और 24 घंटे की बैच की नौकरी करने और उन अंतर्दृष्टि प्राप्त करने के बजाय ऐसा हुआ है।

स्ट्रीमिंग एनालिटिक्स उस धारा में सही दोहन करने के बारे में है, जबकि डेटा की धाराएं आमतौर पर बहुत अधिक मात्रा में डेटा और डेटा की कई धाराएँ हैं जो बहुत गति से हमारे पास आ रही हैं, बहुत जल्दी और उन धाराओं पर अंतर्दृष्टि या विश्लेषिकी प्राप्त कर रही हैं जैसा कि वे हमारे खिलाफ आते हैं। अनुमति देना बाकी है और उन पर विश्लेषण कर रहा है।

जैसा कि मैंने उल्लेख किया है, हमारे पास दशकों और दशकों के प्रदर्शन हैं जिन्हें मैं बैच एनालिटिक्स कहता हूं। मैंने यहाँ एक बहुत अच्छी तस्वीर लगाई है। यह एक कंप्यूटर के सामने खड़े एक सज्जन की तस्वीर है जो जीवन भर पहले रैंड कॉर्पोरेशन द्वारा बनाई गई थी और यह वही है जो देखने के लिए एक घर में एक कंप्यूटर देखा। मजे की बात यह है कि तब भी, उनके पास इन सभी छोटी डायल की अवधारणा थी और ये डायल घर से आने वाली सूचनाओं का प्रतिनिधित्व करते थे और वास्तविक समय में संसाधित होते थे और आपको बताते थे कि क्या चल रहा है। एक सरल उदाहरण बैरोमीटर के दबाव और तापमान का एक सेट है जिसे हम देख सकते हैं कि हम वास्तविक समय में क्या हो रहा है। लेकिन मुझे लगता है कि इस तरह से भी तब जब रैंड कॉर्पोरेशन ने उस छोटे मॉकअप को एक साथ रखा, वे वास्तव में पहले से ही डेटा प्रोसेसिंग के बारे में सोच रहे थे और इस पर एनालिटिक्स का प्रदर्शन कर रहे थे क्योंकि यह स्ट्रीम फॉर्मेट में आ रहा था। मुझे यकीन नहीं है कि उन्होंने कंप्यूटर पर स्टीयरिंग व्हील क्यों लगाया, लेकिन यह बहुत अच्छा है।

एर के आविष्कार के बाद से, हमारे पास डेटा कैप्चर करने और उस पर बैच एनालिटिक्स प्रदर्शन करने का एक दृष्टिकोण था। जैसा कि मैंने अब बड़ी पारी के साथ कहा है और हमने इसे वेब स्केल खिलाड़ियों की पसंद से देखा है, जिन्हें हम सभी जानते हैं, वे सभी घरेलू ब्रांड हैं, और लिंक्डइन, जो कि उन सामाजिक प्लेटफार्मों के साथ हमारे द्वारा किए जाने वाले इंटरैक्टिव व्यवहार की आवश्यकता है न केवल बैच मोड में कैप्चर, स्टोर और फिर प्रक्रिया करें, लेकिन वे वास्तव में कैप्चर कर रहे हैं और डेटा की धाराओं से मक्खी पर एनालिटिक्स को ड्राइव करते हैं। जब मैं कुछ ट्वीट करता हूं, तो न केवल उन्हें कैप्चर करने और स्टोर करने और बाद में कुछ करने की आवश्यकता होती है, बल्कि उन्हें इसे तुरंत मेरी स्ट्रीम पर वापस रखने और अन्य लोगों के साथ साझा करने में सक्षम होने की आवश्यकता होती है जो मेरे पीछे आते हैं। यह एक बैच प्रोसेसिंग मॉडल है।

हम इस मार्ग से नीचे क्यों जाएंगे? स्ट्रीम एनालिटिक्स के रास्ते को नीचे ले जाने की चुनौती को देखते हुए भी संगठन समय, प्रयास और धन का निवेश क्यों करेंगे? संगठनों की अपने उद्योग में अपने प्रतिद्वंद्वियों पर एक प्रदर्शन लाभ प्राप्त करने की यह बहुत बड़ी इच्छा है कि वे प्रदर्शन में हैं और उस प्रदर्शन लाभ को सरल स्ट्रीम एनालिटिक्स के माध्यम से तेजी से लागू किया जा सकता है और यह एक सरल बस वास्तविक समय के डेटा को ट्रैक करना शुरू कर सकता है, जो हम पहले से ही परिचित। मुझे Google Analytics का एक छोटा स्क्रीनशॉट मिला। यह शायद पहली बार है कि हमें वास्तव में उपभोक्ता-ग्रेड एनालिटिक्स पर हाथ मिला है। इसलिए जब लोग आपकी वेबसाइट पर आ रहे थे और आप उन हिट काउंट को प्राप्त कर रहे थे, आपकी वेबसाइट में HTML में आपके वेबपेज के नीचे जावास्क्रिप्ट के एक छोटे से टुकड़े के साथ, आपकी वेबसाइट में ये छोटे कोड वास्तविक समय में बनाए जा रहे थे और वे थे अपनी वेबसाइट पर हर पेज से आने वाले डेटा की उन धाराओं पर विश्लेषण करना, जो वास्तविक समय में आपकी वेबसाइट पर मौजूद हर ऑब्जेक्ट और वास्तविक समय के ग्राफ के डैशबोर्ड में आपको इस सुंदर प्यारा वेबपेज पर वापस भेजती हैं, प्यारा सा हिस्टोग्राम और लाइन ग्राफ आपको ऐसे लोगों की एक्स संख्या दिखा रहा है जो आपके पृष्ठ को ऐतिहासिक रूप से हिट करते हैं, लेकिन यहां अभी कितने हैं।

जैसा कि आप उस स्क्रीनशॉट पर देख सकते हैं, यह अभी 25 कहता है। उस समय उस स्क्रीनशॉट पर उस समय के 25 लोग उस समय थे। यह पहला वास्तविक मौका है जो हमने उपभोक्ता-ग्रेड एनालिटिक्स टूल पर खेला है। मुझे लगता है कि बहुत सारे लोग वास्तव में इसे प्राप्त कर चुके हैं। उन्होंने सिर्फ यह जानने की शक्ति को समझा कि क्या चल रहा था और वे इस पर क्या प्रतिक्रिया दे सकते हैं। जब हम एविओनिक्स के पैमाने के बारे में सोचते हैं, तो चारों ओर उड़ने वाले विमान, अकेले यूएसए में एक दिन में 18,700 घरेलू उड़ानें होती हैं। मैंने कुछ समय पहले एक पेपर पढ़ा था - यह लगभग छह या सात साल पहले था - उन विमानों द्वारा उत्पादित डेटा की मात्रा पुराने इंजीनियरिंग मॉडल में लगभग 200 से 300 मेगाबाइट थी। आज के विमानों के डिजाइन में, ये विमान लगभग 500 गीगाबाइट डेटा या प्रति उड़ान लगभग आधा टेराबाइट डेटा का उत्पादन कर रहे हैं।

जब आप गणित को बहुत तेज़ी से अपने सिर के ऊपर से करते हैं, जो कि अमेरिका के हवाई क्षेत्र में हर 24 घंटे में 18,700 घरेलू उड़ानें, यदि सभी आधुनिक विमान लगभग आधा टेराबाइट का उत्पादन कर रहे हैं, तो 43 से 44 पेटाबाइट डेटा के माध्यम से आ रहा है। यह तब हो रहा है जब विमान हवा में हैं। यह तब होता है जब वे जमीन पर उतरते हैं और वे डेटा डंप करते हैं। जब वे दुकान में जाते हैं और इंजीनियरिंग टीमों से एक पूर्ण डेटा डंप करते हैं, तो यह देखने के लिए कि इंजन, बीयरिंग और पहियों में क्या हो रहा है। उस डेटा में से कुछ को वास्तविक समय में संसाधित किया जाना है, ताकि वे इस पर निर्णय ले सकें कि क्या कोई वास्तविक मुद्दा है, जबकि विमान हवा में था या जमीन पर था। आप बस बैच मोड में ऐसा नहीं कर सकते। अन्य उद्योगों में जो हम वित्त, स्वास्थ्य, विनिर्माण और इंजीनियरिंग के आसपास देखते हैं, वे यह भी देख रहे हैं कि वे इस नई अंतर्दृष्टि के साथ वास्तविक समय में क्या हो रहा है, इसका विरोध कर सकते हैं जैसा कि डेटाबेस में संग्रहीत किया जा रहा है। अवधि।

डेटा से निपटने की यह अवधारणा भी है कि मैं एक खराब वस्तु या एक खराब होने वाली वस्तु को क्या कहता हूं - जो कि समय के साथ बहुत अधिक डेटा खो देती है। मोबिलिटी ऐप्स और सोशल मीडिया टूल्स के मामले में यह अधिक से अधिक है क्योंकि लोग क्या कह रहे हैं और अब क्या ट्रेंड कर रहे हैं, जिसका आप जवाब देना चाहते हैं। जब आप हमारे जीवन के अन्य हिस्सों के बारे में रसद और शिपिंग भोजन के बारे में सोचते हैं, तो हम उस अर्थ में खराब होने वाली वस्तु की अवधारणा को समझते हैं। लेकिन उस डेटा के बारे में सोचें जो आपके संगठन और उसके मूल्य से गुजर रहा है। अगर कोई अभी आपके साथ कुछ व्यवसाय कर रहा है और आप उनके साथ वास्तविक समय पर बातचीत कर सकते हैं, तो आप एक घंटे तक इंतजार नहीं करना चाहेंगे ताकि डेटा को कैप्चर किया जा सके और Hadoop जैसी प्रणाली में रखा जा सके और फिर इस बटन को दबाएं, आप अभी इससे निपटने में सक्षम नहीं होंगे और आप इसे ग्राहक की मांग पर तुरंत करने में सक्षम होना चाहते हैं। एक शब्द है जो अब आप बहुत अधिक देखेंगे, जहां लोग इस वास्तविक समय डेटा स्ट्रीम के बारे में बात करते हैं जो आपको वैयक्तिकरण दे सकता है, और उस वैयक्तिकरण ट्यून को आप अपने व्यक्तिगत अनुभव का उपयोग कर सकते हैं। इसलिए जब आप उदाहरण के लिए Google खोज उपकरण जैसे किसी उपकरण से टकराते हैं, यदि मैं एक क्वेरी करता हूं और आप एक ही क्वेरी करते हैं, तो निश्चित रूप से, हमें सटीक समान डेटा नहीं मिल रहा है। हमें अनिवार्य रूप से वह मिलता है जिसे मैं एक सेलिब्रिटी अनुभव के रूप में संदर्भित करता हूं। मेरे साथ एकतरफा व्यवहार किया जाता है प्रोफाइल और डेटा के आधार पर इन प्रणालियों में जो कुछ भी हो रहा है, उसका मैं अपना निजी संस्करण प्राप्त कर सकता हूं, जो उन्होंने मुझ पर एकत्र किया है और मैं स्ट्रीम में वास्तविक समय में एनालिटिक्स करने में सक्षम था।

डेटा का खराब होने का यह विचार अब के लिए एक वास्तविक चीज है और समय के साथ कम हो रहे डेटा का मूल्य कुछ ऐसा है जिसे हमें आज ही निपटना है। यह एक कल की बात नहीं है मुझे एक भालू की यह तस्वीर नदी से बाहर निकलते हुए एक सामन को पकड़ना पसंद है क्योंकि यह वास्तव में पेंट करता है जिसे मैं स्ट्रीमिंग एनालिटिक्स देखता हूं। यह हमारे पास आने वाली डेटा की एक विशाल नदी है, अगर आप करेंगे तो एक फायरहॉस, और भालू क्रीक के बीच में बैठा है। यह अपने आस-पास क्या हो रहा है, इस पर वास्तविक समय के विश्लेषण करने जा रहा है ताकि यह वास्तव में उस मछली को हवा में पकड़ने की क्षमता को इंजीनियर कर सके। यह धारा में डुबोने और किसी को हथियाने जैसा नहीं है। यह बात हवा में उछल रही है और उस मछली को पकड़ने के लिए सही समय पर सही जगह पर होना है। अन्यथा, उसे नाश्ता या दोपहर का भोजन नहीं मिलता है।

एक संगठन अपने डेटा के साथ एक ही काम करना चाहता है। वे मोशन में डेटा की बड़े पैमाने पर मात्रा से मूल्य निकालना चाहते हैं। वे उस डेटा और उच्च वेग डेटा पर एनालिटिक्स प्रदर्शन करना चाहते हैं, इसलिए यह केवल उस डेटा की मात्रा नहीं है जो हमारे पास आ रहा है, बल्कि यह उस गति से है जिस गति से यह आ रहा है। उदाहरण के लिए, आपके सभी राउटर, स्विचेस, सर्वर, फायरवॉल और वे सभी घटनाएँ जो उन से आ रही हैं और दसियों हज़ारों नहीं तो हज़ारों डिवाइसेज़, कुछ मामलों में जो खराब होने वाले डेटा हैं। जब हम इंटरनेट ऑफ थिंग्स और औद्योगिक इंटरनेट में इसके बारे में सोचते हैं, तो हम लाखों के बारे में बात कर रहे हैं, यदि अरबों सेंसर नहीं करते हैं, और जैसा कि डेटा के माध्यम से आ रहा है, जो एनालिटिक्स कर रहा है, अब हम जटिल ईवेंट प्रोसेसिंग करने पर विचार कर रहे हैं परिमाण और गति के आदेशों पर जो हमने पहले कभी नहीं देखा था और आज हम इससे निपट रहे हैं। हमें उसके आसपास उपकरण और सिस्टम बनाने हैं। संगठनों के लिए यह एक वास्तविक चुनौती है क्योंकि एक तरफ, हमें बहुत बड़े ब्रांड मिल गए हैं जो DIY कर रहे हैं, इसे स्वयं सेंकें, जब उन्हें ऐसा करने की क्षमता और कौशल सेट और इंजीनियरिंग मिल गया हो। लेकिन औसत संगठन के लिए, यह मामला नहीं है। उनके पास कौशल सेट नहीं है। उनके पास यह पता लगाने की क्षमता या समय या यहां तक ​​कि पैसा भी नहीं है। वे सभी निकट-वास्तविक समय निर्णय लेने की इस अवधारणा की ओर लक्ष्य कर रहे हैं।

उन मामलों का उपयोग करें, जो मैं भर में आया हूं, और वे हर क्षेत्र के प्रत्येक व्यापक स्पेक्ट्रम पर हैं, जिसकी आप कल्पना कर सकते हैं, लोग उठकर बैठे हैं और ध्यान दे रहे हैं, हम अपने स्ट्रीम डेटा में कुछ विश्लेषिकी कैसे लागू करते हैं? हम वेब-स्केल ऑनलाइन सेवाओं के बारे में बात करते हैं। उदाहरण के लिए पारंपरिक सोशल मीडिया प्लेटफॉर्म और ऑनलाइन ई-टेलिंग और रिटेलिंग - ऐप्स हैं। वे सभी हमें इस वास्तविक समय के सेलिब्रिटी अनुभव देने की कोशिश कर रहे हैं। लेकिन जब हम प्रौद्योगिकी स्टैक सेवाओं, टेलीफोन सेवाओं, आवाज और वीडियो के अधिक भाग में उतरते हैं, तो मैं फोन पर फेसटाइम करते हुए लोगों को देखता हूं। यह सिर्फ विस्फोट है। यह मेरे दिमाग को चकित करता है कि लोग फोन को उनके सामने रखते हैं और किसी मित्र की वीडियो स्ट्रीम पर बात करते हुए उसे अपने कान पर रखने का विरोध करते हैं। लेकिन वे जानते हैं कि वे ऐसा कर सकते हैं और उन्होंने अनुकूलन किया और उन्हें वह अनुभव पसंद आया। इन अनुप्रयोगों के विकास और इनको वितरित करने वाले प्लेटफ़ॉर्म को उस ट्रैफ़िक और ट्रैफ़िक की रूपरेखाओं पर वास्तविक समय के एनालिटिक्स प्रदर्शन करने पड़ते हैं, ताकि वे उस वीडियो को पूरी तरह से रूट करने जैसे सरल कार्य कर सकें ताकि आवाज़ की गुणवत्ता वीडियो जो आपको मिलता है वह एक अच्छा अनुभव प्राप्त करने के लिए पर्याप्त है। आप उस तरह के डेटा की बैच प्रक्रिया नहीं कर सकते। यह वास्तविक समय की वीडियो स्ट्रीम को एक कार्यात्मक सेवा नहीं बनाएगा।

वित्तीय लेनदेन में एक शासन चुनौती है। दिन के अंत में जाना और यह पता लगाना ठीक नहीं है कि आपने जगह-जगह निजी डेटा ले जाने वाले कानून को तोड़ा है। ऑस्ट्रेलिया में, हमारे पास एक बहुत ही दिलचस्प चुनौती है जहां गोपनीयता संबंधी डेटा ऑफ़शोर को स्थानांतरित करना कोई नहीं है। आप मेरा पीआईडी, मेरा निजी व्यक्तिगत पहचान डेटा, ऑफशोर नहीं ले सकते। ऑस्ट्रेलिया में ऐसा होने से रोकने के लिए कानून हैं। विशेष रूप से, निश्चित रूप से सरकारी सेवाओं और एजेंसियों में वित्तीय सेवाओं के प्रदाता, उन्हें डेटा की स्ट्रीम पर रियल-टाइम एनालिटिक्स करना पड़ता है और मेरे साथ निर्देश है कि यह सुनिश्चित करें कि वे मुझे क्या प्रदान नहीं कर रहे हैं। सभी सामानों को स्थानीय स्तर पर रहना पड़ता है। वे इसे वास्तविक समय में करना चाहते थे। वे कानून नहीं तोड़ सकते हैं और बाद में माफी मांग सकते हैं। धोखाधड़ी का पता लगाना - यह बहुत स्पष्ट है कि हम क्रेडिट कार्ड लेनदेन के बारे में सुनते हैं। लेकिन जब हम वित्तीय सेवाओं में लेन-देन के प्रकार बदल रहे हैं, बहुत तेजी से बदल रहे हैं, तो कई तरह की चीजें हैं जो पेपाल अब वास्तविक समय में धोखाधड़ी का पता लगाने में कर रही हैं जहां पैसा एक चीज से दूसरी चीज में नहीं जा रहा है लेकिन यह है सिस्टम के बीच एक वित्तीय लेनदेन। ईबे बोली प्लेटफार्मों, धोखाधड़ी का पता लगाने के लिए एक स्ट्रीमिंग कार्यालय में वास्तविक समय किया जाना चाहिए।

अब स्ट्रीम में निष्कर्षण और लोड गतिविधि को बदलने के लिए एक चलन चल रहा है, इसलिए हम स्ट्रीम में जाने वाली किसी भी चीज़ को कैप्चर नहीं करना चाहते हैं। हम वास्तव में ऐसा नहीं कर सकते। लोगों ने यह जान लिया है कि अगर हम हर चीज पर कब्जा कर लेते हैं तो डेटा वास्तव में जल्दी से टूट जाना पसंद करता है। चाल अब उन धाराओं पर एनालिटिक्स प्रदर्शन करने और उस पर ईटीएल करने के लिए है और बस आपको जो चाहिए, संभावित मेटाडेटा पर कब्जा करना है, और फिर भविष्य कहनेवाला एनालिटिक्स को ड्राइव करें जहां हम वास्तव में बता सकते हैं कि आगे क्या होने जा रहा है, इसके लिए रास्ते थोड़े नीचे हैं। हम उस पर किए गए विश्लेषणों के आधार पर धारा में दिखते हैं।

ऊर्जा और उपयोगिताओं प्रदाता मांग मूल्य निर्धारण के लिए उपभोक्ताओं की इस भारी इच्छा का सामना कर रहे हैं। मैं यह तय कर सकता हूं कि मैं दिन के एक विशेष समय पर हरित शक्ति खरीदना चाहता हूं क्योंकि मैं सिर्फ घर में अकेला हूं और मैं बहुत सारे उपकरणों का उपयोग नहीं कर रहा हूं। लेकिन अगर मेरे पास डिनर पार्टी है, तो मैं अपने सभी उपकरणों को चालू रखना चाहता हूं और मैं सस्ती बिजली खरीदना नहीं चाहता हूं और इसे वितरित करने की प्रतीक्षा कर रहा हूं, लेकिन उस शक्ति को प्राप्त करने के लिए अधिक लागत का भुगतान करने को तैयार हूं। यह मांग विशेष रूप से उपयोगिताओं और ऊर्जा स्थान में मूल्य निर्धारण पहले से ही हुई है। उदाहरण के लिए Uber उन चीजों का एक उत्कृष्ट उदाहरण है जो आप हर दिन कर सकते हैं और यह सभी मूल्य निर्धारण द्वारा संचालित है। ऑस्ट्रेलिया में लोगों के कुछ क्लासिक उदाहरण हैं, क्योंकि नए साल की पूर्व संध्या पर भारी मांग के कारण $ 10,000 का किराया मिलता है। मुझे यकीन है कि उन्होंने उस समस्या से निपटा है, लेकिन कार में रहते हुए स्ट्रीम एनालिटिक्स का प्रदर्शन किया जा रहा है, जबकि कार आपको बता रही है कि मुझे कितना भुगतान करना चाहिए।

इंटरनेट ऑफ थिंग्स और सेंसर स्ट्रीम्स - हमने केवल इस पर सतह को खरोंच दिया है और हमने वास्तव में सिर्फ इस पर बुनियादी बातचीत की है, लेकिन हम एक दिलचस्प बदलाव देखेंगे कि कैसे प्रौद्योगिकी के साथ काम करता है क्योंकि जब आप बात नहीं कर रहे हैं हज़ारों या दसियों हज़ारों की संख्या में लेकिन सैंकड़ों हज़ारों और संभावित अरबों डिवाइसों में आपको स्ट्रीमिंग करने के लिए, लगभग जो भी टेक्नोलॉजी स्टैक हैं, उनमें से कोई भी नहीं है जो उससे निपटने के लिए इंजीनियर है।

कुछ वास्तव में गर्म विषय हैं जिन्हें हम सुरक्षा और साइबर जोखिम जैसी जगह के आसपास देखते हैं। वे हमारे लिए बहुत वास्तविक चुनौतियां हैं। वेब पर नॉर्थ नाम का एक बहुत ही साफ-सुथरा टूल है, जहां आप वेबपेज में बैठकर रियल टाइम में हो रहे विभिन्न साइबरबैट देख सकते हैं। जब आप इसे देखते हैं, तो आपको लगता है कि "ओह यह एक अच्छा प्यारा सा वेबपेज है", लेकिन वहां लगभग पांच मिनट के बाद, आपको डेटा की मात्रा का एहसास होता है कि सिस्टम दुनिया भर के सभी विभिन्न उपकरणों के सभी अलग-अलग धाराओं पर एनालिटिक्स कर रहा है। उन्हें खिलाया जा रहा है। यह दिमाग को चकित करना शुरू कर देता है कि वे उस रिकॉर्ड के किनारे अनिवार्य रूप से कैसा प्रदर्शन कर रहे हैं और आपको वह साधारण सी छोटी स्क्रीन प्रदान कर रहे हैं जो आपको बताती है कि क्या है या कुछ और यह वास्तविक समय पर हमला कर रहा है और किस प्रकार के हमले हैं। लेकिन यह वास्तव में बहुत ही अच्छा सा तरीका है कि आप क्या स्ट्रीम एनालिटिक्स का एक अच्छा स्वाद प्राप्त कर सकते हैं, जो आपके लिए वास्तविक समय में इस पृष्ठ को देख कर और केवल वॉल्यूम की समझ प्राप्त करने और धाराओं को लेने की चुनौती का विश्लेषण कर सकता है, एनालिटिक्स के प्रश्नों को संसाधित करना उन्हें और वास्तविक समय में इसका प्रतिनिधित्व करना।

मुझे लगता है कि बाकी सत्र के लिए मेरे पास जो वार्तालाप है, वह सभी प्रकार की चीजों को एक दिलचस्प दृष्टिकोण के साथ, मेरे दृष्टिकोण से संबोधित करने जा रहा है, और यह DIY की चुनौती है, इसे अपने आप में सेंकना, कुछ को सूट करना क्लासिक गेंडा जो उन प्रकार की चीजों का निर्माण करने में सक्षम हैं। इन इंजीनियरिंग टीमों को बनाने और अपने डेटा केंद्रों का निर्माण करने के लिए उन्हें अरबों डॉलर मिले। लेकिन 99.9% संगठनों के लिए, जो स्ट्रीम एनालिटिक्स के अपने व्यवसाय में मूल्य ड्राइव करना चाहते हैं, उन्हें एक ऑफ-द-शेल्फ सेवा प्राप्त करने की आवश्यकता है। उन्हें बॉक्स से एक उत्पाद खरीदने की आवश्यकता होती है और उन्हें इसे लागू करने में मदद करने के लिए उन्हें आम तौर पर कुछ परामर्श सेवा और पेशेवर सेवा की आवश्यकता होती है और वे व्यवसाय में उस मूल्य को वापस प्राप्त करते हैं और इसे काम करने वाले समाधान के रूप में व्यवसाय को वापस बेचते हैं।

इसके साथ, मैं आपको रेबेका को वापस सौंपने जा रहा हूं, क्योंकि मेरा मानना ​​है कि अब जो हम विस्तार से कवर करने वाले हैं।

रेबेका जोजवाक: अति उत्कृष्ट। बहुत बहुत धन्यवाद, Dez। यह एक शानदार प्रस्तुति है।

अब, मैं रॉबिन को गेंद पास करूंगा। इसे दूर ले जाओ।

रॉबिन ब्लोर: ठीक है। क्योंकि डीज़ स्ट्रीम प्रोसेसिंग की नॉटी ग्रिट्टी में चला गया है, इसलिए मुझे फिर से इसे कवर करने का कोई मतलब नहीं है। इसलिए मैं अभी पूरी तरह से रणनीतिक दृष्टिकोण अपनाने जा रहा हूं।लगभग बहुत ही उच्च स्तर से नीचे देख रहे हैं कि नरक क्या चल रहा है और इसकी स्थिति है क्योंकि मुझे लगता है कि यह लोगों की मदद कर सकता है, विशेष रूप से हम लोगों को जो पहले महान गहराई पर धाराओं प्रसंस्करण में संलग्न नहीं हैं।

स्ट्रीम प्रोसेसिंग लंबे समय से है। हम इसे सीईपी कहते थे। इससे पहले रियल-टाइम सिस्टम थे। मूल प्रक्रिया नियंत्रण प्रणाली वास्तव में सूचना की धाराओं को संसाधित कर रही थी - बेशक अब तक कुछ भी नहीं हो रहा था। यह ग्राफिक जिसे आप यहां स्लाइड पर देखते हैं; यह वास्तव में बहुत सी चीज़ों की ओर इशारा करता है, लेकिन यह ऊपर और किसी भी चीज़ से बाहर की ओर इशारा करता है - यह तथ्य कि यहां विभिन्न रंगों में दिखाई देने वाली अक्षांशों का एक स्पेक्ट्रम है। वास्तव में 1960 के आसपास कंप्यूटिंग या वाणिज्यिक कंप्यूटिंग के आविष्कार के बाद से जो कुछ भी हुआ, वह यह है कि सब कुछ अभी और तेज हो गया है। हम इस तरह से निर्भर करते थे कि यह वास्तव में लहरों को पसंद करने पर बाहर आ रहा था, क्योंकि यह ऐसा दिखता है। यह वास्तव में इस पर निर्भर करता है। क्योंकि यह सभी Moores कानून द्वारा संचालित था और Moores का कानून हमें लगभग छह वर्षों की अवधि में लगभग दस गुना गति प्रदान करेगा। फिर एक बार जब हम वास्तव में लगभग 2013 में पहुंच गए, तो यह सब टूट गया, और हम अचानक एक ऐसी दर में तेजी लाने लगे, जो हमने कभी नहीं किया, जो अजीब बात है। हमें गति में वृद्धि के संदर्भ में लगभग दस का कारक मिल रहा था और इसलिए हर छह साल में विलंबता में कमी आती है। लगभग 2010 के बाद से छह वर्षों में, हमें कम से कम एक हज़ार की संख्या मिली है। एक के बजाय परिमाण के तीन आदेश।

यही चल रहा है और इसीलिए उद्योग एक तरह से या दूसरे तरीके से शानदार गति से आगे बढ़ता दिखाई दे रहा है - क्योंकि यह है। बस इस विशेष ग्राफिक के अर्थ के माध्यम से जा रहा है, प्रतिक्रिया समय वास्तव में ऊर्ध्वाधर अक्ष के नीचे एल्गोरिदमिक पैमाने में हैं। वास्तविक समय कंप्यूटर की गति है, मनुष्य की तुलना में तेज है। संवादात्मक समय नारंगी हैं। जब आप कंप्यूटर के साथ बातचीत कर रहे होते हैं, तो जहां आप वास्तव में एक-दसवां हिस्सा चाहते हैं, लगभग एक सेकंड की विलंबता। ऊपर, वहाँ का लेन-देन जहाँ हम वास्तव में सोचते हैं कि आप कंप्यूटर में क्या कर रहे हैं, लेकिन अगर वह लगभग पंद्रह सेकंड में निकल जाता है तो यह असहनीय हो जाता है। लोग वास्तव में सिर्फ कंप्यूटर के लिए इंतजार नहीं करेंगे। सब कुछ बैच में किया गया था। बहुत सी चीजें जो बैच में की गई थीं, वे अब ट्रांसेक्शनल स्पेस में, इंटरएक्टिव स्पेस में या यहां तक ​​कि रियल-टाइम स्पेस में नीचे आ रही हैं। जबकि पहले, बहुत कम मात्रा में डेटा के साथ एक लहराती, जो हम इसमें से कुछ कर सकते थे, अब हम बहुत बड़ी मात्रा में डेटा के साथ बेहद कम पर्यावरण का उपयोग कर सकते हैं।

इसलिए मूल रूप से, ये सभी कह रहे हैं कि वास्तव में लेन-देन और इंटरैक्टिव मानव प्रतिक्रिया समय है। अभी धाराओं के साथ जो किया जा रहा है उसका एक बहुत बड़ा कारण मानव को चीजों के बारे में सूचित करना है। इसमें से कुछ तेजी से जा रहा है और यह सामान को अच्छी तरह से सूचित कर रहा है इसलिए यह वास्तविक समय है। फिर हम एक पत्थर की तरह गिराने के लिए एक लाइसेंस लेते हैं, जिससे तत्काल विश्लेषण संभव हो जाता है और संयोग से काफी सस्ती हो जाती है। यह सिर्फ गति कम नहीं हुई है और शीर्ष अभी भी ढह गया है। संभवतः इन सभी में सबसे अधिक प्रभाव सभी विभिन्न अनुप्रयोगों में से है, आप इन सभी पूर्वानुमानों का विश्लेषण कर सकते हैं। मैं आपको बताता हूं कि एक मिनट में क्यों।

यह सिर्फ हार्डवेयर की दुकान है। आपको समानांतर सॉफ्टवेयर मिला है। हम 2004 के बारे में बात कर रहे हैं। स्केल-आउट आर्किटेक्चर, मल्टीकोर चिप्स, मेमोरी बढ़ाने, कॉन्फ़िगर करने योग्य सीपीयू। SSDs अब डिस्क को स्पिन करने की तुलना में बहुत तेज हो जाते हैं। आप बहुत अधिक डिस्क स्पिनिंग डिस्क को अलविदा कह सकते हैं। SSD कई कोर में भी हैं, इसलिए फिर से तेज और तेज। जल्द ही प्रकट होने के लिए, हमें एचपी का मेमोरर मिला है। हमें Intel और माइक्रोन से 3D XPoint मिला है। उन लोगों का वादा है कि यह सभी को तेज और तेज कर देगा। जब आप वास्तव में दो नई मेमोरी तकनीकों के बारे में सोच रहे होते हैं, तो दोनों पूरी तरह से मौलिक छोटे टुकड़े कर देंगे, व्यक्तिगत सर्किट बोर्ड तेजी से आगे बढ़ेगा, हमने इसका अंत भी नहीं देखा।

स्ट्रीम्स तकनीक, जो कि वास्तव में अगला है, यहां रहना है। नया आर्किटेक्चर होने वाला है। मेरा मतलब है कि डीज़ ने अपनी प्रस्तुति में कई बिंदुओं में इसका उल्लेख किया है। दशकों तक हमने वास्तुकला को डेटा ढेर और डेटा पाइप के संयोजन के रूप में देखा। हम ढेर को संसाधित करने के लिए गए और हम ढेर के बीच डेटा को पाइप करने के लिए गए। अब हम मूलभूत रूप से उस चीज़ की ओर बढ़ रहे हैं जिसे हम लैंबडा डेटा आर्किटेक्चर कहते हैं जो डेटा प्रवाह के साथ डेटा प्रवाह के प्रसंस्करण को जोड़ती है। जब आप वास्तव में डेटा प्रवाह या डेटा हीप के रूप में ऐतिहासिक डेटा के विरुद्ध आने वाली घटनाओं की एक धारा को संसाधित कर रहे होते हैं, तो मैं जो लेम्बो आर्किटेक्चर का मतलब है। यह अपनी प्रारंभिक अवस्था में है। यह तस्वीर का केवल एक हिस्सा है। यदि आप किसी चीज़ को इंटरनेट ऑफ एवरीथिंग के रूप में जटिल मानते हैं जिसे डीज़ ने भी उल्लेख किया है, तो आप वास्तव में महसूस करेंगे कि डेटा स्थान के सभी प्रकार के मुद्दे हैं - निर्णय जो आपको स्ट्रीम में संसाधित करने चाहिए।

मैं यहाँ वास्तव में यह कह रहा हूँ कि जब हम बैच में प्रसंस्करण कर रहे थे, तब हम वास्तव में धाराओं का प्रसंस्करण कर रहे थे। हम इसे एक बार में नहीं कर सकते थे। हम बस तब तक प्रतीक्षा करते हैं जब तक कि सामान का एक बड़ा ढेर न हो और फिर हम इसे एक ही बार में संसाधित करें। हम ऐसी स्थिति में जा रहे हैं जहां हम वास्तव में स्ट्रीम में सामान को संसाधित कर सकते हैं। यदि हम धारा में सामान को संसाधित कर सकते हैं, तो डेटा हैप्स जो हम पकड़ते हैं वह स्थैतिक डेटा होने वाला है जिसे हमें स्ट्रीम में डेटा को संसाधित करने के लिए संदर्भ की आवश्यकता है।

यह हमें इस विशेष बात पर ले जाता है। मैंने जैविक सादृश्य के साथ कुछ प्रस्तुति में इसका उल्लेख किया है। जिस तरह से मैं आपके बारे में सोचना चाहता हूं, फिलहाल हम इंसान हैं। रियल-टाइम प्रेडिक्टिव प्रोसेसिंग के लिए हमारे पास तीन अलग-अलग नेटवर्क हैं। उन्हें दैहिक, स्वायत्त और एंटेरिक कहा जाता है। एंटिक आपका पेट है। स्वायत्त तंत्रिका तंत्र लड़ाई और उड़ानों के बाद दिखता है। यह वास्तव में पर्यावरण पर तेजी से प्रतिक्रिया के बाद दिखता है। दैहिक जो शरीर के हिलने के बाद दिखता है। वे वास्तविक समय प्रणाली हैं। इसके बारे में दिलचस्प बात - या मुझे लगता है कि दिलचस्प की तरह है - यह बहुत अधिक भविष्यवाणी की है जितना आप कभी सोचेंगे। ऐसा लगता है जैसे आप वास्तव में अपने चेहरे से लगभग 18 इंच की स्क्रीन देख रहे हैं। वह सब जिसे आप स्पष्ट रूप से देख सकते हैं, वह सब जो आपके शरीर को स्पष्ट रूप से देखने में सक्षम है, 8 × 10 आयत के बारे में वास्तविक तथ्य में है। बाहर की हर चीज वास्तव में धुंधली है जहां तक ​​आपके शरीर का संबंध है लेकिन आपका मन वास्तव में अंतराल में भर रहा है और इसे धुंधला नहीं बना रहा है। आपको बिल्कुल भी धुंधला दिखाई नहीं देगा। आप इसे स्पष्ट रूप से देखें। आपका मन वास्तव में उस स्पष्टता को देखने के लिए डेटा स्ट्रीम की अनुमानित विधि कर रहा है। इस तरह की जिज्ञासु बात यह है कि आप वास्तव में तंत्रिका तंत्र के संचालन के तरीके को देख सकते हैं और जिस तरह से हम चारों ओर जाने और व्यवहार करने का प्रबंधन करते हैं - कम से कम हम में से कुछ - बहुत ही पवित्र और हर समय चीजों से टकराते नहीं हैं।

यह सब यहाँ अंदर तंत्रिका विश्लेषण पैमाने की एक श्रृंखला के द्वारा किया गया है। जो होने जा रहा है वह यह है कि संगठनों के पास एक ही तरह की चीज होने वाली है और एक ही तरह की चीजों का निर्माण करने जा रहा है और यह संगठन की आंतरिक धाराओं सहित धाराओं का प्रसंस्करण होने जा रहा है - जो चीजें भीतर हो रही हैं यह, इसके बाहर होने वाली चीजें, वास्तव में होने वाली त्वरित प्रतिक्रियाएं निश्चित रूप से मनुष्य को निर्णय लेने के लिए खिलाने के लिए होती हैं, इन सभी को बनाने के लिए। जहां तक ​​मैं जा रहा हूं, जहां तक ​​मैं देख सकता हूं।

उन चीजों में से एक है जिसका परिणाम यह है कि स्ट्रीमिंग एप्लिकेशन का स्तर अच्छा चल रहा है। अब हम देख रहे हैं की तुलना में एक बहुत अधिक भयानक होने जा रहा है। अभी, हम उन चीजों को करने के कम लटकने वाले फल उठा रहे हैं जो स्पष्ट हैं।

तो वैसे भी यहाँ निष्कर्ष है। स्ट्रीमिंग एनालिटिक्स एक बार एक जगह है, लेकिन यह मुख्यधारा बन रहा है और इसे जल्द ही आम तौर पर अपनाया जाएगा।

इसके साथ, मैं इसे वापस रेबेका को सौंप दूंगा।

रेबेका जोजवाक: बहुत बहुत धन्यवाद, रॉबिन। हमेशा की तरह शानदार प्रस्तुति।

आनंद, आप आगे हैं। मंजिल आपकी है।

आनंद वेणुगोपाल: बहुत खुबस। धन्यवाद।

मेरा नाम आनंद वेणुगोपाल है और मैं StreamAnalytix के लिए उत्पाद प्रमुख हूं। यह इम्पेटस टेक्नोलॉजीज द्वारा प्रस्तुत उत्पाद है, जो लॉस गतोस, कैलिफोर्निया से बाहर है।

Impetus वास्तव में बड़े उद्यमों के लिए एक बड़ा डेटा समाधान प्रदाता होने में एक महान इतिहास रहा है। इसलिए हमने वास्तव में एक सेवा कंपनी के रूप में कई स्ट्रीमिंग एनालिटिक्स कार्यान्वयन किए हैं और हमने बहुत सारे सबक सीखे हैं। हमने पिछले कुछ वर्षों में एक उत्पाद कंपनी और समाधान-चालित कंपनी बनने के लिए एक बदलाव किया और धारा विश्लेषण एक बड़े पैमाने पर उत्पाद-चालित कंपनी में इपेटस को बदलने के लिए चार्ज कर रहे हैं। वहाँ कुछ महत्वपूर्ण, बहुत, बहुत महत्वपूर्ण संपत्ति है कि इम्पेटस ने उद्यमों के लिए हमारे प्रदर्शन के लिए धन्यवाद दिया और स्ट्रीमएनालिटिक्स उनमें से एक है।

हमें व्यापार में 20 साल हैं और उत्पाद और सेवाओं का एक बड़ा मिश्रण है जो हमें एक बड़ा फायदा देता है। और स्ट्रीमिंगएनालिटिक्स का जन्म हमारे पहले पाँच या छः क्रियान्वयन से सीखे गए पाठों से हुआ था।

मैं कुछ चीजों को छूऊंगा, लेकिन विश्लेषकों, डीज़ और रॉबिन, ने कुल मिलाकर अंतरिक्ष को कवर करने में एक शानदार काम किया है, इसलिए मैं बहुत सारी सामग्री को छोड़ने जा रहा हूं जो ओवरलैप होते हैं। मैं शायद जल्दी जाऊंगा। हम सही स्ट्रीमिंग मामलों के अलावा बहुत सारे बैच त्वरण का उपयोग करके देखते हैं, जहां उद्यमों में सचमुच बहुत, बहुत महत्वपूर्ण बैच प्रक्रियाएं हैं। जैसा कि आप देख सकते हैं, किसी घटना को महसूस करने और उस पर विश्लेषण करने और अभिनय करने का यह पूरा चक्र वास्तव में बड़े उद्यमों में हफ्तों लग सकता है और वे सभी इसे मिनटों और कभी-कभी सेकंड और मिलीसेकंड तक सिकोड़ने की कोशिश कर रहे हैं। इन सभी बैच प्रक्रियाओं की तुलना में तेजी से कुछ भी व्यापार अधिग्रहण के लिए उम्मीदवार हैं और यह बहुत अच्छी तरह से डालती है कि डेटा का मूल्य नाटकीय रूप से इसकी उम्र के साथ कम हो जाता है, इसलिए अधिक मूल्य सेकंड में प्रारंभिक भाग में है कि यह अभी हुआ है। आदर्श रूप से, यदि आप अनुमान लगा सकते हैं कि क्या होने जा रहा था, तो यह उच्चतम मूल्य है। यह सटीकता पर निर्भर करता है, हालांकि। अगला उच्चतम मूल्य तब है जब यह वहीं है जब यह हो रहा है आप इसका विश्लेषण कर सकते हैं और जवाब दे सकते हैं। बेशक, उसके बाद मूल्य नाटकीय रूप से कम हो जाता है, मुख्य प्रतिबंधात्मक बीआई जो हम हैं।

यह दिलचस्प है। तुम क्यों एनालिटिक्स स्ट्रीमिंग क्यों कुछ नाटकीय रूप से वैज्ञानिक जवाब की उम्मीद कर सकते हैं। कई मामलों के साथ, जो हम देख रहे हैं वह यह है क्योंकि यह अब संभव है और क्योंकि हर कोई जानता है कि बैच पुराना है, बैच उबाऊ है और बैच शांत नहीं है। वहाँ पर्याप्त शिक्षा है कि हर कोई अब इस तथ्य पर है कि वहाँ स्ट्रीमिंग संभव है और हर कोई अब Hadoop है। अब Hadoop डिस्ट्रीब्यूशन में एक स्ट्रीमिंग टेक्नोलॉजी इंबेडेड है, चाहे वह स्टॉर्म हो या स्पार्क स्ट्रीमिंग और निश्चित रूप से कफ, जैसे कफ आदि।

हमारे द्वारा देखे जाने वाले उद्यम इसमें कूद रहे हैं और इन मामलों के साथ प्रयोग करना शुरू कर रहे हैं और हम दो व्यापक श्रेणियां देख रहे हैं। एक ग्राहक विश्लेषण और ग्राहक अनुभव और दूसरा परिचालन खुफिया के साथ कुछ करना है। मुझे उस पर कुछ विवरण बाद में मिलेंगे। पूरे ग्राहक सेवा और ग्राहक अनुभव के कोण और हम इम्पेटस स्ट्रीमअनालिटिक्स में कई अलग-अलग तरीकों से यह कर चुके हैं, वास्तव में वास्तव में उपभोक्ता के बहु-चैनल जुड़ाव को कैप्चर कर रहे हैं और उन्हें बहुत, बहुत ही संवेदनशील अनुभव देते हैं जो आज आम नहीं हैं। यदि आप बैंक ऑफ अमेरिका की वेबसाइट पर वेब पर ब्राउज़ कर रहे हैं, और आप कुछ उत्पादों पर शोध कर रहे थे और आप बस कॉल सेंटर को कॉल करते हैं। क्या वे कहेंगे, "हे जो, मैं जानता हूं कि आप कुछ बैंकिंग उत्पादों पर शोध कर रहे थे, क्या आप मुझे आप को भरना चाहेंगे?" आप आज उम्मीद नहीं करते हैं, लेकिन यह उस तरह का अनुभव है जो स्ट्रीमिंग एनालिटिक्स के साथ वास्तव में संभव है। कई मामलों में, यह एक बड़ा अंतर बनाता है, खासकर यदि ग्राहक ने आपकी वेबसाइट पर प्रारंभिक समाप्ति खंड या प्रारंभिक समाप्ति की शर्तों और शर्तों को देखकर आपके अनुबंध से बाहर निकलने के तरीकों पर शोध करना शुरू कर दिया और फिर आपको कॉल करने में सक्षम नहीं है इसके बारे में सीधे उनसे सामना करें लेकिन अप्रत्यक्ष रूप से किसी तरह के पहले प्रमोशन के बारे में एक प्रस्ताव रखें क्योंकि सिस्टम को पता है कि यह व्यक्ति शुरुआती समाप्ति को देख रहा है और आप उस बिंदु पर उस प्रस्ताव को बनाते हैं, आप बहुत अच्छी तरह से उस मंथन ग्राहक की रक्षा कर सकते हैं और उस संपत्ति की रक्षा कर सकते हैं ।

यह एक उदाहरण होगा, साथ ही बहुत सारी ग्राहक सेवाएँ बहुत अच्छे उदाहरण हैं। हम आज कॉल सेंटर में लागत को कम करने के साथ-साथ नाटकीय रमणीय ग्राहक अनुभव प्रदान करते हैं। उपयोग के कुछ मामलों को संक्षेप में बताने के लिए डीज़ ने बहुत अच्छा काम किया। आप कुछ मिनटों के लिए इस चार्ट को देख सकते हैं। मैंने इसे वर्टिकल, हॉरिज़ॉन्टल और कॉम्बो एरिया, IoT, मोबाइल ऐप और कॉल सेंटर के रूप में वर्गीकृत किया है। वे सभी ऊर्ध्वाधर और क्षैतिज हैं। यह आप कैसे देखते है उस पर निर्भर करता है। निचला रेखा, हम क्षैतिज उपयोग का एक अच्छा सौदा देखते हैं जो उद्योग के कार्यक्षेत्रों में काफी सामान्य हैं और वित्तीय सेवाओं, स्वास्थ्य सेवा, दूरसंचार, विनिर्माण आदि सहित एक ऊर्ध्वाधर विशिष्ट उपयोग के मामले हैं। यदि आप वास्तव में खुद से सवाल पूछ रहे हैं या खुद को बता रहे हैं। कि, "ओह, मुझे नहीं पता कि क्या मामले हैं। मुझे यकीन नहीं है कि मेरी कंपनी के लिए या हमारे उद्यम के लिए स्ट्रीमिंग एनालिटिक्स में वास्तव में कोई व्यवसायिक मूल्य है, "कठिन सोचें, दो बार सोचें। अधिक लोगों से बात करें क्योंकि ऐसे मामले हैं जो आपकी कंपनी में आज भी प्रासंगिक हैं। मैं व्यवसाय मूल्य पर मिलता हूं कि व्यवसाय मूल्य वास्तव में कैसे प्राप्त होता है।

यहां पिरामिड के निचले भाग में, आपके पास भविष्य कहनेवाला रखरखाव, सुरक्षा, मंथन संरक्षण आदि हैं। इस प्रकार के उपयोग के मामले राजस्व और परिसंपत्तियों की सुरक्षा का निर्माण करते हैं। अगर टारगेट उनके सुरक्षा उल्लंघन से बचाते हैं जो घंटों और हफ्तों में होता है, तो सीआईओ अपनी नौकरी बचा सकता था। यह दसियों या करोड़ों डॉलर बचा सकता है, आदि वास्तविक समय स्ट्रीमिंग एनालिटिक्स वास्तव में उन परिसंपत्तियों की रक्षा करने और नुकसान से बचाने में मदद करते हैं। यह प्रत्यक्ष व्यापार मूल्य वहीं जोड़ा गया है।

अगली श्रेणी अधिक लाभदायक होती जा रही है, जिससे आपकी लागत कम होती है और वर्तमान परिचालन से अधिक राजस्व प्राप्त होता है। वर्तमान उद्यम की दक्षता। उन सभी उपयोग मामलों की श्रेणी है, जिन्हें हम वास्तविक समय परिचालन खुफिया कहते हैं, जहां आप गहरी अंतर्दृष्टि प्राप्त कर रहे हैं कि नेटवर्क कैसे व्यवहार कर रहा है, आपके ग्राहक संचालन कैसे कर रहे हैं, आपकी व्यवसाय प्रक्रिया कैसे व्यवहार कर रही है, और आप ट्विक करने में सक्षम हैं यह सब वास्तविक समय में क्योंकि आपको प्रतिक्रिया मिलती है, आपको अलर्ट मिलता है। आपको वास्तविक समय में डिविज़न, संस्करण प्राप्त होते हैं और आप उस प्रक्रिया को जल्दी से अलग और अलग कर सकते हैं जो सीमा से बाहर हो रही है।

आप संभावित रूप से महंगी पूंजी उन्नयन में बहुत सारा पैसा बचा सकते हैं और आपको लगता है कि आवश्यक हैं जो नेटवर्क सेवा को अनुकूलित करने पर आवश्यक नहीं है। हमने एक ऐसे मामले के बारे में सुना, जिसमें एक प्रमुख टेल्को ने अपने नेटवर्क के बुनियादी ढांचे में $ 40 मिलियन का उन्नयन किया, क्योंकि उन्होंने पाया कि उनके पास अपने वर्तमान ट्रैफ़िक को प्रबंधित करने की पर्याप्त क्षमता थी, जो कि उनके ट्रैफ़िक की बुद्धिमान रूटिंग को बेहतर बनाने और बेहतर बनाने के लिए है। उन सभी को केवल कुछ वास्तविक समय विश्लेषण और कार्रवाई तंत्र के साथ संभव है जो वास्तविक समय में उन अंतर्दृष्टि पर कार्य करते हैं।

वैल्यू ऐड का अगला स्तर ऊपर की बिक्री, क्रॉस-सेल है जहां वर्तमान प्रसाद से अधिक राजस्व और लाभ बनाने के अवसर हैं। यह एक उत्कृष्ट उदाहरण है, जिसके बारे में हम में से कई लोग जानते हैं कि उन्होंने कहां अनुभव किया है, आप अपने जीवन के बारे में सोचते हैं जहां आप वास्तव में आज एक ऐसा उत्पाद खरीदने के लिए तैयार हैं जो आपको नहीं दिया जा रहा है। कई मामलों में, कई मामलों में, वास्तव में ऐसा होता है। आपके मन में ऐसी चीजें हैं जिन्हें आप खरीदना चाहते हैं जो आप जानते हैं कि आप खरीदना चाहते हैं, कि आपके पास एक टू-डू सूची या कुछ और है, जो आपकी पत्नी ने आपको बताया है या यदि आपके पास पत्नी नहीं है, लेकिन आप वास्तव में खरीदना चाहते हैं और आप या तो एक वेबसाइट पर खरीदारी करते हैं या आप एक खुदरा स्टोर में बातचीत कर रहे हैं, स्टोरफ्रंट में सिर्फ कॉन नहीं है, आपके पास जो आवश्यक हो सकता है उसकी गणना करने के लिए बुद्धि नहीं है। इसलिए, वे अपने व्यवसाय को सुरक्षित नहीं पाते हैं। यदि स्ट्रीमिंग एनालिटिक्स को वास्तव में सटीक भविष्यवाणियां करने के लिए तैनात किया जा सकता है और जो वास्तव में इस विशेष कोन पर सबसे अधिक सूट करते हैं, तो इस स्थान पर इस समय इस ग्राहक के लिए बहुत संभव है, बहुत अधिक अप-सेल और क्रॉस-सेल है और वह फिर से आता है स्ट्रीमिंग एनालिटिक्स - इस अवसर का सत्यता के उस क्षण में क्या खरीदने या प्रतिक्रिया देने की संभावना है, इस बारे में एक प्रवृत्ति निर्णय लेने में सक्षम होना। यही कारण है कि मैं उस तस्वीर को प्यार करता हूं जो डीज़ ने भालू के साथ उस मछली को खाने के लिए दिखाया था। तो इतना ही है।

हमें यह भी लगता है कि पूरी तरह से नए उत्पादों और सेवाओं की पेशकश करने वाले एक उद्यम में नाटकीय, परिवर्तनकारी परिवर्तन की एक बड़ी श्रेणी है, जो केवल ग्राहक व्यवहार के अवलोकन पर आधारित है, यह सब दूसरे उद्यम के व्यवहार के अवलोकन पर आधारित है। अगर, मान लें कि एक टेल्को या एक केबल कंपनी वास्तव में ग्राहकों के उपयोग के पैटर्न को देख रही है कि वह बाजार के किस सेगमेंट में क्या देख रही है, किस समय किस कार्यक्रम में है, आदि, तो वे वास्तव में ऐसे उत्पादों और सेवाओं का निर्माण करते हैं जो लगभग भीख मांग रहे हैं। किसी तरह से। इसलिए अभी मल्टी-स्क्रीन व्यवहार की पूरी अवधारणा, जहाँ हम अब इसे लगभग पूरा कर रहे हैं कि हम अपने मोबाइल ऐप पर टीवी या केबल सामग्री देख सकते हैं। उन उदाहरणों में से कुछ उन नए उत्पादों और सेवाओं से आ रहे हैं जो हमें पेश किए जा रहे हैं।

मुझे लगता है, "स्ट्रीमिंग एनालिटिक्स के आर्किटेक्चर विचार क्या हैं?" आखिरकार हम क्या करने की कोशिश कर रहे हैं। यह लैम्ब्डा वास्तुकला है जहां आप ऐतिहासिक डेटा और वास्तविक समय की अंतर्दृष्टि को एक ही समय में देख रहे हैं। यही सिग्मा सक्षम बनाता है। हम सभी के पास आज बैच आर्किटेक्चर और एंटरप्राइज पिक्चर है। हम बीआई स्टैक और उपयोग स्टैक और लैंबडा आर्किटेक्चर के कुछ प्रकार में चमक रहे हैं। जैसा कि गति परत या आवश्यकता और लैम्ब्डा सभी उन दो अंतर्दृष्टि को मिलाने के बारे में है और यह देखते हुए कि एक संयुक्त तरीके से, एक समृद्ध तरीके से जो दोनों अंतर्दृष्टि को जोड़ती है।

एक अन्य प्रतिमान जिसे कप्पा वास्तुकला कहा जाता है जिसे प्रस्तावित किया जा रहा है जहां अनुमान है कि गति परत एकमात्र इनपुट तंत्र है जो लंबी अवधि में बनी रहती है। सब कुछ इस गति परत के माध्यम से आने वाला है। ऑफ़लाइन ईटीएल तंत्र भी नहीं है। सभी ईटीएल होंगे। शुद्ध, डेटा सफाई, गुणवत्ता ईटीएल - यह सब तार पर होगा, क्योंकि ध्यान रखें कि सभी डेटा वास्तविक समय में पैदा हुए थे। किसी समय, यह वास्तविक समय था। हमने इसे नदियों और महासागरों पर झीलों पर डालने की आदत डाल ली है, फिर इसे स्थैतिक विश्लेषण पर कर रहे हैं कि हम यह भूल गए कि डेटा वास्तविक समय में किसी बिंदु पर पैदा हुआ था।सभी डेटा वास्तव में एक वास्तविक समय की घटना के रूप में पैदा होते हैं, जो समय के बिंदु में हुआ था और झील पर आज के अधिकांश डेटा सिर्फ बाद के विश्लेषण के लिए डेटाबेस पर डाल दिए गए थे और अब हमें वास्तव में लैम्ब्डा और काप्पा वास्तुकला में फायदा है इसे देखना, इसका विश्लेषण करना, इसे संसाधित करना और इसके आते ही प्रतिक्रिया करना। यही इन तकनीकों द्वारा सक्षम है। जब आप इसे एक समग्र चित्र के रूप में देखते हैं, तो यह कुछ इस तरह दिखता है, जहां अंदर Hadoop है, वहाँ MPPs है, और आपके पास पहले से मौजूद डेटा वेयरहाउस हैं।

हमने इसे रखा क्योंकि एक द्वीप में नई तकनीकों के बारे में बात करना महत्वपूर्ण नहीं है। उन्हें एकीकृत करना होगा। उन्हें वर्तमान उद्यम चुनाव में समझदारी दिखानी होगी, और समाधान प्रदाता के रूप में जो उद्यमों की सेवा कर रहे हैं, हम इसके लिए बहुत संवेदनशील हैं। हम उद्यमों को पूरी तरह से एकीकृत करने में मदद करते हैं। Hadoop और डेटा वेयरहाउस परतों के साथ-साथ शीर्ष पर वास्तविक-समय की परत दोनों में बाईं ओर फीडिंग के डेटा स्रोत हैं और उनमें से प्रत्येक एंटिटी स्टॉक कंप्यूटर हैं जैसा कि आप देख सकते हैं और डेटा खपत परत दाईं ओर है पक्ष। अनुपालन, शासन, सुरक्षा, जीवन चक्र प्रबंधन, आदि के बहुमत को स्थानांतरित करने के लिए एक निरंतर प्रयास है, जो आज उपलब्ध है, सभी को इस नई तकनीक में एकत्र किया गया है।

एनालिटिक्स को स्ट्रीम करने वाली चीजों में से एक है, अगर आप आज के परिदृश्य को देखें, तो स्ट्रीमिंग टेक्नोलॉजी लैंडस्केप में और एंटरप्राइज कस्टमर के नज़रिए से बहुत कुछ सामान चल रहा है, समझने के लिए बहुत कुछ है। साथ रखने के लिए बहुत कुछ है। बाईं ओर डेटा-एकत्रीकरण तंत्र हैं - NiFi, लॉगस्टैश, फ्लूम, सकॉप। जाहिर है, मैंने यह कहते हुए डिस्क्लेमर लगा दिया है कि यह संपूर्ण नहीं है। कतारों में आना और फिर ओपन-सोर्स स्ट्रीमिंग इंजनों में आना - तूफान, स्पार्क स्ट्रीमिंग, सामजा, फ्लिंक, एपेक्स, बगुला। बगुला शायद अभी तक खुला स्रोत नहीं है। मुझे यकीन नहीं है कि अगर यह है, से वे स्ट्रीमिंग इंजन तब एक सेटअप विश्लेषणात्मक अनुप्रयोग घटक जैसे जटिल ईवेंट प्रोसेसिंग, मशीन लर्निंग, प्रेडिक्टिव एनालिटिक्स, अलर्टिंग मॉड्यूल, स्ट्रीमिंग ईटीएल, संवर्धन सांख्यिकीय संचालन फ़िल्टर का समर्थन करते हैं। वे सभी हैं जिन्हें हम अब ऑपरेटर कहते हैं। जब एक साथ स्ट्रिंग किया जाता है तो उन ऑपरेटरों का सेट संभावित रूप से कुछ कस्टम भी होता है, जो यदि आवश्यक हो तो एक स्ट्रीमिंग एप्लिकेशन बन जाता है जो स्ट्रीमिंग इंजन पर चलता है।

घटकों की उस श्रृंखला के हिस्से के रूप में, आपको अपने पसंदीदा डेटाबेस, अपने पसंदीदा इंडेक्स में डेटा को स्टोर और इंडेक्स करने की भी आवश्यकता है। आपको कैश और फिर से वितरित करना पड़ सकता है जो वाणिज्यिक उत्पादों या ओपन सोर्स उत्पादों के शीर्ष भाग पर दाईं ओर डेटा विज़ुअलाइज़ेशन परत में ले जाता है, लेकिन अंततः आपको वास्तविक समय में उस डेटा की कल्पना करने के लिए किसी प्रकार के उत्पाद की आवश्यकता होती है। इसके अलावा, आपको कभी-कभी अन्य अनुप्रयोगों का पता लगाने की आवश्यकता होती है। हम सभी ने देखा है कि आपके द्वारा समझदारी से किए जाने वाले कार्यों से प्राप्त मूल्य, वह क्रिया एक विश्लेषणात्मक स्टैक से एक अन्य एप्लिकेशन स्टैक में ट्रिगर होने जा रही है, जो शायद आईवीआर पक्ष में कुछ है या कॉल सेंटर को ट्रिगर करता है। आउटबाउंड कॉल या ऐसा कुछ। हमें उन सिस्टम को एकीकृत करने की आवश्यकता है और आपके स्ट्रीमिंग क्लस्टर के लिए कुछ तंत्र को आईएनजी डेटा डाउनस्ट्रीम के अन्य अनुप्रयोगों को ट्रिगर करने की आवश्यकता है।

यह बाईं ओर से दाईं ओर जाने के लिए संपूर्ण स्टैक है। फिर आपके पास सर्विस लेयर्स, मिडिल मॉनिटरिंग, सिक्योरिटी जनरल सर्विस लेयर इत्यादि आते हैं। एंटरप्राइज स्पेस में ऐसे कौन से प्रोडक्ट्स आ रहे हैं, जिन्हें ग्राहक Hadoop डिस्ट्रीब्यूशन की तरह देख रहे हैं, जो सभी की स्ट्रीमिंग है जैसे मैंने कहा था और कमर्शियल या सिंगल है -वेंडर समाधान जो स्पष्ट रूप से हमारे प्रतियोगियों में हैं। परिदृश्य में कई और भी हैं जिनका उल्लेख हमने यहां नहीं किया है।

आप जो देख रहे हैं वह मोटे तौर पर एंटरप्राइज़ उपयोगकर्ता देख रहा है। स्ट्रीम प्रोसेसिंग के लिए एक जटिल और तेजी से विकसित हो रहा प्रौद्योगिकी परिदृश्य, जैसा कि आप देख सकते हैं। हमें पसंद और उनके उपयोगकर्ता अनुभव को सरल बनाने के लिए मिला। हमें लगता है कि उद्यमों को वास्तव में जरूरत है कि वन-स्टॉप-शॉप, आसान-से-उपयोग इंटरफ़ेस में उन सभी के कार्यात्मक अमूर्तता है जो उन सभी प्रौद्योगिकियों को एक साथ लाता है जो वास्तव में उपयोग करने के लिए सरल बनाता है और सभी चलती भागों को उजागर नहीं करता है और गिरावट मुद्दों और प्रदर्शन के मुद्दों और उद्यम के लिए जीवन चक्र रखरखाव मुद्दों।

कार्यक्षमता अमूर्त एक है। दूसरा भाग स्ट्रीमिंग इंजन एब्स्ट्रक्शन है। स्ट्रीमिंग इंजन और ओपन-सोर्स डोमेन अब हर तीन, चार या छह महीने में एक बार आ रहे हैं। यह लंबे समय तक तूफान था। सामज़ा ऊपर आया और अब यह स्पार्क स्ट्रीमिंग है। फ्लिंक अपना सिर उठा रहा है, ध्यान आकर्षित करना शुरू कर रहा है। स्पार्क स्ट्रीमिंग रोडमैप भी, वे संभावित रूप से शुद्ध इवेंट प्रोसेसिंग के लिए एक अलग इंजन का उपयोग करने के लिए एक रास्ता बना रहे हैं क्योंकि उन्हें यह भी पता चलता है कि स्पार्क को बैच के लिए डिज़ाइन किया गया था और वे संभावित रूप से एक अलग होने के लिए अपनी वास्तुकला दृष्टि और उनके रोडमैप में एक रास्ता बना रहे हैं। स्पार्क स्ट्रीमिंग में वर्तमान माइक्रोबैक्ट पैटर्न के अलावा स्ट्रीम प्रोसेसिंग के लिए इंजन।

यह एक वास्तविकता है कि आपको इसके साथ संघर्ष करना होगा कि बहुत विकास हो रहा है। आपको वास्तव में उस तकनीक के प्रवाह से खुद को बचाने की जरूरत है। क्योंकि डिफ़ॉल्ट रूप से, आपको एक चुनना होगा और फिर उसके साथ रहना होगा, जो इष्टतम नहीं है। यदि आप इसे दूसरे तरीके से देख रहे हैं, तो आप के बीच लड़ाई हो रही है, "ठीक है, मुझे एक मालिकाना प्लेटफ़ॉर्म खरीदने के लिए मिला जहाँ लॉक-इन नहीं है, खुले स्रोत का कोई लाभ नहीं है, बहुत अधिक लागत और सीमित हो सकता है लचीलेपन बनाम इन सभी खुले स्रोत के ढेर जहाँ आप इसे स्वयं करने के लिए मिल गए। ”फिर से, जैसे मैंने कहा, यह बहुत सारी लागत है और बाजार में आने में देरी है। हम जो कह रहे हैं, स्ट्रीमअनालिटिक्स एक महान मंच का एक उदाहरण है जो उद्यम वर्ग, विश्वसनीय, एकल विक्रेता, पेशेवर सेवा का समर्थन करता है - जो कि आपको वास्तव में एक उद्यम के रूप में और खुले स्रोत पारिस्थितिकी तंत्र के लचीलेपन की शक्ति की आवश्यकता है। जहां एक एकल मंच उन्हें एक साथ लाता है - इनस्टैस्ट, सीईपी, एनालिटिक्स, विज़ुअलाइज़ेशन और वह सब।

यह एक बहुत ही अनोखी बात भी करता है, जो एक उपयोगकर्ता अनुभव के नीचे कई अलग-अलग प्रौद्योगिकी इंजनों को एक साथ लाता है। हम वास्तव में सोचते हैं कि भविष्य कई स्ट्रीमिंग इंजनों का उपयोग करने में सक्षम होने के बारे में है क्योंकि विभिन्न उपयोग के मामले वास्तव में विभिन्न स्ट्रीमिंग आर्किटेक्चर की मांग करते हैं। जैसे रॉबिन ने कहा, अक्षांशों का एक पूरा स्पेक्ट्रम है। यदि आप वास्तव में मिलीसेकंड विलंबता स्तर, दसियों या यहां तक ​​कि सैकड़ों मिलीसेकंड के बारे में बात कर रहे हैं, तो आपको वास्तव में इस समय तूफान की आवश्यकता है जब तक कि कम एकांतता या उदार समय-सीमा के लिए एक समान रूप से परिपक्व उत्पाद और सेकंड के एक जोड़े में हो सकता है, तीन, तीन चार, पांच सेकंड, वह सीमा, तब आप स्पार्क स्ट्रीमिंग का उपयोग कर सकते हैं। संभावित रूप से, ऐसे अन्य इंजन हैं जो दोनों कर सकते हैं। निचला रेखा, एक बड़े उद्यम में, सभी प्रकार के मामलों का उपयोग करने जा रहे हैं। आप वास्तव में एक उपयोगकर्ता अनुभव के साथ कई इंजनों की पहुंच और सामान्यता चाहते हैं और हम जिसे स्ट्रीमआर्ट्रिक्स में बनाने की कोशिश कर रहे हैं।

वास्तुकला पर बस एक त्वरित दृश्य। हम इसे थोड़ा सा फिर से काम करने जा रहे हैं, लेकिन अनिवार्य रूप से, बाईं ओर आने वाले कई डेटा स्रोत हैं - काफ्का, रैबिटएमक्यू, किनेसिस, एक्टिवएमक्यू, उन सभी डेटा स्रोतों और कतारों में आने वाली स्ट्रीम प्रोसेसिंग प्रक्रिया में जहां आप आते हैं एक ऐप को इकट्ठा करने के लिए, जहाँ आपको ETL जैसे संचालकों से ड्रैग और ड्रॉप करने के लिए सामान मिलता है, जिस पर हमने बात की थी। नीचे, कई इंजन हैं। अभी, हमारे पास स्टॉर्म और स्पार्क स्ट्रीमिंग उद्योग के एकमात्र और पहले उद्यम-श्रेणी स्ट्रीमिंग प्लेटफॉर्म के रूप में है जिसमें कई इंजन समर्थन हैं। यह वास्तविक समय के डैशबोर्ड के अलावा अन्य सभी लचीलेपन के अलावा एक बहुत ही अनूठा, लचीलापन है। सीईटी इंजन एम्बेडेड। हमारे पास Hadoop और NoSQL indexes, Solr और Apache अनुक्रमित के साथ सहज एकीकरण है। आप अपने पसंदीदा डेटाबेस के लिए कोई फर्क नहीं पड़ता कि यह क्या है और वास्तव में जल्दी से अनुप्रयोगों का निर्माण और वास्तव में जल्दी से बाजार के लिए और भविष्य के सबूत रह सकते हैं। वो हमारा पूरा मंत्र StreamAnalytix में है।

इसके साथ, मुझे लगता है कि मैं अपनी टिप्पणी समाप्त कर दूंगा। अधिक प्रश्नों के लिए हमारे पास आने के लिए स्वतंत्र महसूस करें। मैं क्यू एंड ए और पैनल चर्चा के लिए फर्श को खुला रखना चाहता हूं।

रेबेका, आप पर।

रेबेका जोजवाक: बढ़िया, ठीक है। बहुत बहुत धन्यवाद। Dez और Robin, क्या आपके पास कुछ प्रश्न हैं जो हम दर्शकों को Q & A में बदलने से पहले करते हैं?

रॉबिन ब्लोर: मुझे एक सवाल है। मैं अपना हेडफ़ोन वापस रखूंगा ताकि आप मुझे सुन सकें। दिलचस्प चीजों में से एक, यदि आप कृपया मुझे यह बता सकते हैं, तो जो मैं खुले स्रोत वाले स्थान में देख रहा हूं, वह बहुत कुछ ऐसा दिखता है जो मुझे अपरिपक्व कहेंगे। एक मायने में, हाँ आप विभिन्न चीजें कर सकते हैं। लेकिन ऐसा लगता है कि हम वास्तविकता में इसकी पहली या दूसरी रिलीज में सॉफ्टवेयर देख रहे हैं और मैं सिर्फ एक संगठन के रूप में आपके अनुभव के साथ सोच रहा था, आप हाडोप पर्यावरण की अपरिपक्वता को समस्याग्रस्त कैसे देखते हैं या यह कुछ ऐसा है जो नहीं करता है ' टी बहुत सारी समस्याएँ पैदा करता है?

आनंद वेणुगोपाल: यह एक वास्तविकता है, रॉबिन। आप बिल्कुल सही कह रहे है। अपरिपक्वता केवल कार्यात्मक स्थिरता और चीजों के क्षेत्र में आवश्यक नहीं है, लेकिन शायद कुछ मामलों में भी। लेकिन उपयोग की तत्परता में अपरिपक्वता अधिक है। ओपन-सोर्स उत्पाद जैसे ही वे बाहर आते हैं और यहां तक ​​कि जैसे ही वे हडोप वितरण द्वारा पेश किए जाते हैं, वे सभी बहुत सारे सक्षम उत्पाद हैं, घटक बस एक साथ थप्पड़ मारते हैं। वे निर्बाध रूप से एक साथ काम नहीं करते हैं और एक सहज निर्बाध उपयोगकर्ता अनुभव के लिए डिज़ाइन नहीं किए गए हैं जो अच्छी तरह से बैंक ऑफ अमेरिका या वेरिज़ोन या एटी एंड टी की तरह हैं, जो हफ्तों के भीतर स्ट्रीमिंग एनालिटिक्स एप्लिकेशन को तैनात करने के लिए बाहर हैं। वे निश्चित रूप से इसके लिए डिज़ाइन नहीं किए गए हैं। यही कारण है कि हम अंदर आते हैं। हम इसे एक साथ लाते हैं और इसे समझने, तैनाती करने, आदि के लिए वास्तव में आसान बनाते हैं।

इसकी कार्यात्मक परिपक्वता, मुझे लगता है कि काफी हद तक है। कई बड़े उद्यम आज स्टॉर्म का उपयोग करते हैं। कई बड़े उद्यम आज स्पार्क स्ट्रीमिंग के साथ खेल रहे हैं। इनमें से प्रत्येक इंजन की अपनी सीमाएं हैं जो वे ऐसा कर सकते हैं यही कारण है कि यह जानना महत्वपूर्ण है कि आप क्या कर सकते हैं और आप प्रत्येक इंजन के साथ क्या नहीं कर सकते हैं और दीवार के खिलाफ अपना सिर तोड़ने का कोई मतलब नहीं है और कहा, "देखो मैं स्पार्क स्ट्रीमिंग को चुना और यह इस विशेष उद्योग में मेरे लिए काम नहीं करता है। ”यह काम करने वाला नहीं है। ऐसे मामलों का उपयोग करने जा रहे हैं जहां स्पार्क स्ट्रीमिंग सबसे अच्छा विकल्प है और ऐसे मामलों का उपयोग करने जा रहे हैं जहां स्पार्क स्ट्रीमिंग आपके लिए बिल्कुल भी काम नहीं कर सकती है। इसलिए आपको वास्तव में कई विकल्पों की आवश्यकता है।

रॉबिन ब्लोर: वैसे आपको इसमें से अधिकांश के लिए विशेषज्ञ टीमों की आवश्यकता है। मेरा मतलब है कि मुझे यह भी पता नहीं है कि इस पर कहां से शुरू किया जाए। कुशल व्यक्तियों की एक समझदार सह-क्रिया। मुझे इस बात में दिलचस्पी है कि आप कैसे जुड़ते हैं और यह कैसे होता है। क्या ऐसा इसलिए है क्योंकि एक विशेष कंपनी एक विशिष्ट एप्लिकेशन के बाद है या क्या आप उस तरह का देख रहे हैं जिसे मैं रणनीतिक गोद लेना कहूंगा जहां वे चाहते हैं कि एक पूरा मंच बहुत सारी चीजें करे।

आनंद वेणुगोपाल: हम दोनों के उदाहरण देख रहे हैं, रॉबिन। शीर्ष दस ब्रांडों में से कुछ जो हर कोई जानता है कि वे बहुत ही रणनीतिक तरीके से इसके बारे में जा रहे हैं। वे जानते हैं कि उनके पास विभिन्न प्रकार के उपयोग के मामले हैं, इसलिए वे उन प्लेटफार्मों का मूल्यांकन कर रहे हैं जो उस आवश्यकता के अनुरूप होंगे, जो कि एक उद्यम में तैनात किए जाने वाले बहु-किरायेदार तरीके से विभिन्न उपयोग के मामलों की एक किस्म है। एकल उपयोग मामले की कहानियां हैं जो शुरू भी हो रही हैं। बंधक कंपनी में एक विशेष व्यावसायिक गतिविधि निगरानी-प्रकार के उपयोग का मामला है जिस पर हम काम कर रहे हैं जिस पर आप पहले उपयोग के मामले के रूप में कल्पना नहीं करेंगे, लेकिन वह व्यवसाय समाधान या उपयोग का मामला है जिसके साथ वे आए थे और फिर हमने डॉट्स को स्ट्रीमिंग से जोड़ा था । हमने कहा, “तुम्हें पता है क्या? स्ट्रीमिंग एनालिटिक्स के लिए यह बहुत अच्छा मामला है और हम इसे लागू कर सकते हैं। " फिर, उस प्रक्रिया में, वे शिक्षित हो जाते हैं और कहते हैं, "अरे वाह, अगर हम ऐसा कर सकते हैं और अगर यह एक सामान्य मंच है, तो हम एप्लिकेशन को अलग कर सकते हैं, उन्हें प्लेटफ़ॉर्म में ले जा सकते हैं, और इस पर बहुत सारे विभिन्न अनुप्रयोगों का निर्माण कर सकते हैं। मंच। "

रॉबिन ब्लोर: Dez, आपको कोई प्रश्न मिला?

आनंद वेणुगोपाल: डीज़ शायद म्यूट पर है।

डीज़ ब्लांचफील्ड: क्षमायाचना, निःशब्द। मैंने अभी खुद एक अच्छी बातचीत की थी। रॉबिन के मूल अवलोकन के बाद, आप बिल्कुल सही हैं। मुझे लगता है कि अब चुनौती यह है कि उद्यमों के पास एक पारिस्थितिकी तंत्र है और एक सांस्कृतिक और व्यवहारिक वातावरण है जहाँ मुफ़्त और ओपन-सोर्स सॉफ़्टवेयर कुछ ऐसा है जो उनके लिए जाना जाता है और वे फ़ायरफ़ॉक्स जैसे उपकरणों को एक ब्राउज़र के रूप में उपयोग करने में सक्षम हैं और यह एक सभ्य है जीवनकाल स्थिर और सुरक्षित होने तक। लेकिन उन बहुत बड़े प्लेटफार्मों में से कुछ जो वे उपयोग करते हैं वे एंटरप्राइज़-ग्रेड स्वामित्व प्लेटफ़ॉर्म हैं। इसलिए मैं जो भी ओपन-सोर्स प्लेटफॉर्म मानता हूं, उसे अपनाना हमेशा ऐसा कुछ नहीं है जो सांस्कृतिक या भावनात्मक रूप से उनके लिए आसान हो। मैंने इसे केवल छोटे कार्यक्रमों को अपनाने के लिए देखा है जो एक स्थानीय अवधारणा के रूप में बड़े डेटा और एनालिटिक्स के साथ खेलने के लिए स्थानीय परियोजनाएं थीं। मुझे लगता है कि प्रमुख चुनौतियों में से एक है, मुझे यकीन है कि आपने उन्हें अब संगठनों में देखा है, क्या उनकी परिणाम प्राप्त करने की इच्छा है लेकिन एक ही समय में अपने एक पैर को पुराने में फंसने से बचा सकते हैं जहां से वे इसे खरीद सकते हैं "एक बड़ा ब्रांड डालें" Oracle, IBM और Microsoft। ये नए और जाने माने ब्रांड Hadoop प्लेटफॉर्म और भी अधिक के साथ आ रहे हैं। अधिक रोमांचक ब्रांड आ रहे हैं जिनके माध्यम से स्ट्रीम जैसी अग्रणी प्रौद्योगिकी है।

उस तरह की बातचीत के बारे में आप क्या जानते हैं जो उस तरह से प्राप्त या कट गई है? मुझे पता है कि आज सुबह हमारी एक बड़ी उपस्थिति है और एक बात जो मुझे यकीन है कि हर किसी के दिमाग में है, "मैं कैसे उस पूरी चुनौतीपूर्ण परत को नीचे से लेकर प्रबंधन स्तर तक काटता हूं, ओह इसका बहुत खुला स्रोत और बहुत खून बह रहा है? "ग्राहकों के साथ आपकी बातचीत कैसे चलती है और आप उस बिंदु से कैसे कटते हैं, जहां आप स्ट्रीमएनालिटिक्स की पसंद को अपनाने पर विचार करने के लिए उन प्रकार के भय का सामना करते हैं?

आनंद वेणुगोपाल: हमें वास्तव में अपने मूल्य प्रस्ताव को बेचना काफी आसान लग रहा है क्योंकि ग्राहक स्वाभाविक रूप से एक पसंदीदा विकल्प के रूप में खुले स्रोत की ओर बढ़ रहे हैं। वे आसानी से नहीं दे रहे हैं और कह रहे हैं, "ठीक है, मैं अब खुला स्रोत जाने वाला हूं।" वे वास्तव में एक प्रमुख उत्पाद के बहुत प्रतिबद्ध मूल्यांकन से गुजरते हैं, चलो कहते हैं कि यह एक आईबीएम या एक विशिष्ट उत्पाद है, क्योंकि उनके पास है ये विक्रेता रिश्ते। वे हमसे या उस उत्पाद के विरुद्ध खुले स्रोत वाले इंजन से व्यवहार नहीं करेंगे। वे छह से आठ से बारह सप्ताह के मूल्यांकन से गुजरेंगे। वे खुद को समझाएंगे कि यहां प्रदर्शन और स्थिरता की एक डिग्री है जो मैं चाहता हूं और फिर वे यह कहते हुए अपना मन बनाते हैं कि "वाह, तुम्हें पता है कि, मैं वास्तव में ऐसा कर सकता हूं।"

आज उदाहरण के लिए, हमारे पास एक प्रमुख स्तरीय एक टेल्को है, जिसमें बहुत सारे स्टैक के शीर्ष पर उत्पादन में चल रहे एनालिटिक्स हैं और वे मूल्यांकन कर रहे हैं कि एक और बहुत, बहुत बड़े प्रसिद्ध विक्रेता के खिलाफ और वे हम सब के साबित होने के बाद ही आश्वस्त हुए थे प्रदर्शन, स्थिरता और उन सभी चीजों की। वे इसे स्वीकार नहीं करते। उन्हें पता चला कि खुला स्रोत उनके मूल्यांकन के माध्यम से सक्षम है और वे महसूस करते हैं कि, सबसे खराब स्थिति, "शायद उन दो उपयोग के मामले हैं जो मैं शायद नहीं कर सकता लेकिन मेरे अधिकांश व्यवसाय त्वरण उपयोग के मामले आज खुले स्रोत के साथ संभव हैं स्टैक। ”और हम इसका उपयोग सक्षम करते हैं। तो वह बड़ा मीठा स्थान है। वे खुला स्रोत चाहते थे। वे वास्तव में विक्रेता लॉक-इन स्थिति से बाहर निकलने के लिए देख रहे हैं, जिसका उपयोग वे कई, कई सालों से करते आ रहे हैं। फिर यहां हम आते हैं और कहते हैं, "आप जानते हैं कि, हम आपके लिए उपयोग करने के लिए खुला स्रोत बहुत आसान और अनुकूल बनाते हैं।"

डीज़ ब्लांचफील्ड: मुझे लगता है कि दूसरी चुनौती जो उद्यमों को मिलती है, जब वे परंपरागत रूप से अवलंबन में लाते हैं, तो वे अक्सर रोमांचक पीढ़ी के कुछ ब्लीडिंग एज के पीछे एक पीढ़ी होते हैं, जिनके बारे में हम यहां बात कर रहे हैं और मेरा मतलब यह नहीं है कि एक नकारात्मक मामूली के रूप में। यह सिर्फ इतना है कि वास्तविकता यह है कि उन्हें एक ऐसी पीढ़ी और यात्रा मिल गई है कि वे जो कुछ करने के लिए स्थिर प्लेटफार्मों पर विचार करते हैं, पुराने स्कूल-विकास और यूएटीएन एकीकरण चक्र और परीक्षण और प्रलेखन, और विपणन और बिक्री से गुजरते हैं। जबकि आप जो कर रहे हैं उस प्रकार में, मुझे लगता है कि मुझे जिस चीज के बारे में सोचने में दिलचस्पी है, वह यह है कि कल रात आपकी कुछ नवीनतम रिलीज़ को देख कर किसी तरह का शोध कार्य हो रहा है, आपको यह मिश्रण अब मिल गया है जहाँ आपको मिल गया है एक विचार-विमर्श के दृष्टिकोण से एक योग्यता और एक कार्यान्वयन लेकिन आपको एक स्टैक भी मिला है जिसे आप रोल कर सकते हैं। मुझे लगता है कि यह वह जगह है जहां पर कुछ समय के लिए संघर्ष करना पड़ रहा है। हमने उनमें से कई को देखा जैसे मैंने बाजार में किया था। वे अक्सर उस स्थिति में होते हैं जिसे मैं कैच-अप नोड्स कहता हूं, जबकि आप हमसे क्या कह रहे हैं जब आप वहाँ बातचीत कर रहे हैं और आप वहाँ लागू कर रहे हैं।

क्या आप हमें सीमा वर्टिकल के कुछ उदाहरण दे सकते हैं जिन्हें आपने अपनाया है? उदाहरण के लिए, रॉकेट विज्ञान की तरह वास्तव में आला वातावरण है और उपग्रहों को अंतरिक्ष में डालकर मंगल ग्रह से डेटा एकत्र करता है। ग्रह पर केवल कुछ ही लोग ऐसा कर रहे हैं। लेकिन उदाहरण के लिए स्वास्थ्य जैसे बड़े वर्टिकल हैं, एयरोनॉटिक्स में, शिपिंग और लॉजिस्टिक्स में, मैन्युफैक्चरिंग और इंजीनियरिंग में, आपके द्वारा अब तक जितने बड़े और अधिक व्यापक उद्योग क्षेत्रों के उदाहरण दिए गए हैं, वे बहुत अच्छे हैं में गोद लेने?

आनंद वेणुगोपाल: टेल्को एक बड़ा उदाहरण है।

मैं यहाँ अपनी स्लाइड्स को ठीक करने जा रहा हूँ। क्या आप यहां स्लाइड देख सकते हैं, केस स्टडी 4?

यह एक बड़े टेल्को द्वारा सेट-टॉप बॉक्स डेटा को प्राप्त करने और इसके साथ कई काम करने का मामला है। वे देख रहे हैं कि वास्तविक समय में ग्राहक वास्तव में क्या कर रहे हैं। वे देख रहे हैं कि सेट-टॉप बॉक्स में वास्तविक समय में कहां त्रुटियां हो रही हैं। वे कॉल सेंटर को सूचित करने की कोशिश कर रहे हैं, अगर यह ग्राहक अभी कॉल करता है, तो इस ग्राहक के सेट-टॉप बॉक्स से कोड लिंक जानकारी, रखरखाव टिकट जानकारी जल्दी से सहसंबंधित है कि क्या इस विशेष ग्राहक के सेट-टॉप बॉक्स में कोई समस्या है या पहले भी नहीं है ग्राहक एक शब्द बोलता है। हर केबल कंपनी, हर प्रमुख टेल्को ऐसा करने की कोशिश कर रहा है। वे सेट-टॉप बॉक्स डेटा को निगलना, रियल-टाइम एनालिटिक्स करते हैं, अभियान एनालिटिक्स करते हैं ताकि वे अपने विज्ञापन रख सकें। बहुत बड़ा उपयोग मामला है।

जैसा कि मैंने कहा, इस बंधक कंपनी में फिर से एक सामान्य पैटर्न है जहां बड़े सिस्टम डेटा से प्रसंस्करण में शामिल हैं। डेटा जो सिस्टम ए से सिस्टम बी से सिस्टम सी तक बहता है और ये विनियमित व्यवसाय हैं जो सब कुछ सुसंगत होना चाहिए।अक्सर, सिस्टम एक-दूसरे के साथ सिंक से बाहर जाते हैं, एक सिस्टम कह रहा है, "मैं 10 मिलियन डॉलर के कुल मूल्य के साथ सौ ऋणों का प्रसंस्करण कर रहा हूं।" प्रणाली कह रही है, "नहीं, मैं कुछ के 110 ऋणों को संसाधित कर रहा हूं। विभिन्न संख्या। ”उन्हें वास्तव में जल्दी से हल करना होगा क्योंकि वे वास्तव में एक ही डेटा को संसाधित कर रहे हैं और विभिन्न व्याख्याएं कर रहे हैं।

चाहे वह क्रेडिट कार्ड, ऋण प्रसंस्करण, व्यवसाय प्रक्रिया, या चाहे वह एक बंधक व्यवसाय प्रक्रिया या कुछ और हो, हम वास्तविक समय में सहसंबंध और सामंजस्य बनाने में उनकी मदद कर रहे हैं ताकि यह सुनिश्चित हो सके कि उन व्यापार प्रक्रियाएं सिंक में रहें। यह एक और दिलचस्प उपयोग मामला है। एक प्रमुख अमेरिकी सरकारी ठेकेदार है जो विसंगति का पता लगाने के लिए DNS ट्रैफ़िक को देख रहा है। एक ऑफ़लाइन प्रशिक्षण मॉडल है जो उन्होंने बनाया था और वे वास्तविक समय यातायात पर उस मॉडल के आधार पर स्कोरिंग कर रहे हैं। उन दिलचस्प उपयोग मामलों में से कुछ। एक प्रमुख एयरलाइन है जो सुरक्षा कतारों को देख रही है और वे आपको यह जानकारी देने की कोशिश कर रहे हैं कि, "अरे, यह आपकी उड़ान के लिए आपके विमान के लिए आपका गेट है। टीएसए कतार आज लगभग 45 मिनट बनाम दो घंटे बनाम कुछ और है। ”आपको यह अपडेट मिल जाएगा। वे अभी भी इस पर काम कर रहे हैं। दिलचस्प IoT उपयोग मामला लेकिन ग्राहक अनुभव के लिए विश्लेषिकी शीर्षक स्ट्रीमिंग का महान मामला।

रेबेका जोजवाक: यह रेबेका है। जब आप उपयोग के मामलों के विषय पर होते हैं, तो एक ऑडियंस के सदस्य से बहुत अच्छा सवाल होता है, जो सोच रहा होता है, "क्या ये केस स्टडीज हैं, क्या ये पहल घर ​​के सूचना प्रणाली विश्लेषणात्मक पक्ष से संचालित की जा रही हैं या वे अधिक से संचालित हो रही हैं वह व्यवसाय जिसके मन में विशिष्ट प्रश्न या आवश्यकताएं हैं? "

आनंद वेणुगोपाल: मुझे लगता है कि हम लगभग ६० प्रतिशत या ५० प्रतिशत, ५५ प्रतिशत, बड़े पैमाने पर बहुत सक्रिय, उत्साही प्रौद्योगिकी पहल को देखते हैं, जो जानते हैं, जो काफी समझदार होते हैं और कुछ व्यावसायिक आवश्यकताओं को समझते हैं और उनके पास शायद एक प्रायोजक है जो उन्होंने पहचाना लेकिन ये क्या प्रौद्योगिकी दल व्यवसाय के उपयोग के मामलों के हमले के लिए तैयार हो रहे हैं और फिर एक बार जब वे क्षमता का निर्माण करते हैं, तो वे जानते हैं कि वे ऐसा कर सकते हैं और फिर वे व्यवसाय में जाते हैं और आक्रामक रूप से इसे बेचते हैं। 30 प्रतिशत से 40 प्रतिशत मामलों में, हम देखते हैं कि व्यापार में पहले से ही एक विशेष उपयोग का मामला है जो स्ट्रीमिंग एनालिटिक्स क्षमता के लिए भीख माँग रहा है।

रेबेका जोजवाक: यह समझ आता है। मुझे एक और अधिक तकनीकी सवाल एक दर्शक सदस्य से मिला है। वह सोच रहा है कि क्या ये सिस्टम संरचित और असंरचित डेटा धाराओं का समर्थन करते हैं, जैसे कि वास्तविक समय में स्ट्रीम या पोस्ट के तलछट, या इसे शुरू में फ़िल्टर करने की आवश्यकता है?

आनंद वेणुगोपाल: जिन उत्पादों और तकनीकों के बारे में हम बात कर रहे हैं, वे संरचित और असंरचित दोनों तरह के डेटा का समर्थन करते हैं। उन्हें कॉन्फ़िगर किया जा सकता है। सभी डेटा में किसी न किसी तरह की संरचना होती है चाहे वह XML हो या कुछ भी। वहाँ एक समय टिकट फ़ीड के संदर्भ में कुछ संरचना है। वहाँ शायद एक और बूँद है जिसे पार्स करने की आवश्यकता है ताकि आप डेटा संरचनाओं को पार्स करने के लिए धारा में पार्स इंजेक्ट कर सकें। यदि यह संरचित है, तो हम सिस्टम को बताते हैं, "ठीक है, अगर कोई अल्पविराम से अलग किया गया मान है और पहला एक स्ट्रिंग है, दूसरा एक तारीख है।" तो हम उस पार्सिंग इंटेलिजेंस को अप-स्क्रीन परतों में इंजेक्ट कर सकते हैं। प्रक्रिया आसानी से संरचित और असंरचित दोनों डेटा।

रेबेका जोजवाक: मुझे दर्शकों से एक और सवाल मिला है। मुझे पता है कि हम घंटे के शीर्ष से थोड़ा सा पीछे चलेंगे। यह सहभागी जानना चाहता है, ऐसा लगता है कि रीयल-टाइम स्ट्रीमिंग एप्लिकेशन लेनदेन की प्रणालियों में एक एकीकरण और धोखाधड़ी को रोकने के लिए एक अवसर विकसित कर सकते हैं, उदाहरण के लिए वे लाते हैं। उस स्थिति में, क्या लेनदेन प्रणाली को उस तरह के फिट होने के लिए बदल दिया जाना चाहिए?

आनंद वेणुगोपाल: यह एक मर्ज है, है ना? यह लेनदेन प्रणालियों का एक मर्ज है। वे कभी-कभी डेटा का स्रोत बन जाते हैं जहां हम वास्तविक समय में लेनदेन का विश्लेषण कर रहे हैं और कई मामलों में जहां कहते हैं कि एक आवेदन प्रवाह है और यहां मैं एक स्थैतिक डेटा लुकअप साइट और फिर हमारे मामले में जहां किसी प्रकार की स्ट्रीमिंग दिखाने की कोशिश कर रहा हूं में, और आप स्ट्रीमिंग डेटा और एक निर्णय या विश्लेषणात्मक अंतर्दृष्टि बनाने के लिए एक साथ स्थैतिक डेटा को समृद्ध करने के लिए HBase या RDBMS जैसे एक स्थिर डेटाबेस को देख रहे हैं।

एक और बड़ा उद्योग का चलन है जिसे हम देख भी रहे हैं - OLAP और OLTP का अभिसरण - और इसीलिए आपके पास कुडु और इन-मेमोरी डेटाबेस जैसे डेटाबेस हैं जो एक ही समय में लेनदेन और विश्लेषणात्मक प्रसंस्करण दोनों का समर्थन करते हैं। स्ट्रीम प्रोसेसिंग लेयर पूरी तरह से मेमोरी में होगी और हम इनमें से कुछ ट्रांसेक्शनल डेटाबेस के साथ देख रहे होंगे या इसमें अंतर करेंगे।

रेबेका जोजवाक: मिश्रित कार्यभार कूदने के लिए अंतिम बाधाओं में से एक रहा है, मुझे लगता है। Dez, रॉबिन, क्या आप दो और कोई प्रश्न हैं?

डीज़ ब्लांचफील्ड: मैं एक आखिरी सवाल में कूदने जा रहा हूँ और अगर आप मन नहीं है तो उस पर लपेटो। पहली चुनौती यह है कि जिन संगठनों के साथ मैं पिछले एक दशक से काम कर रहा हूं, या स्ट्रीम एनालिटिक्स की इस रोमांचक चुनौती में अग्रणी हैं, पहली बात तो यह है कि जब हमने इस पूरी चुनौती के बारे में बातचीत शुरू की तो वह टेबल पर वापस आ जाते हैं। हम कौशल सेट मिलता है? हम कौशल सेट को कैसे पुनः प्राप्त करते हैं और हम आंतरिक रूप से उस क्षमता को कैसे प्राप्त करते हैं? इम्पेटस का आना और हमें यात्रा के माध्यम से पकड़ना और फिर एक महान पहले कदम के रूप में लागू करना और यह बहुत मायने रखता है।

लेकिन मध्यम से बड़े संगठन के लिए, इसके लिए तैयार करने के लिए इस समय आप किस प्रकार की चीजें देख रहे हैं, आंतरिक रूप से उस क्षमता का निर्माण करने के लिए, इसके चारों ओर बस एक मूल शब्दावली से कुछ भी प्राप्त करने के लिए और वे किस तरह का कर सकते हैं। इस तरह के ढांचे के लिए संक्रमण के आसपास संगठन और सीईओ से आईटी से अपने मौजूदा तकनीकी कर्मचारियों को वापस लेना ताकि वे इसे बनाने और लागू करने के बाद खुद इसे चला सकें? बस बहुत संक्षेप में, किस तरह की चुनौतियाँ हैं और वे उन्हें कैसे हल कर रहे हैं, जिन ग्राहकों के साथ आप काम कर रहे हैं, उन्हें किस प्रकार की चुनौतियाँ मिली हैं और वे कैसे हल कर रहे हैं जो इस बात को हल करने और अनुभव और ज्ञान प्राप्त करने के लिए तैयार हैं और इसके लिए तैयार रहें संचालन के लिए चारों ओर जाने में सक्षम?

आनंद वेणुगोपाल: अक्सर, छोटे लोग जो स्ट्रीमिंग एनालिटिक्स प्लेटफ़ॉर्म से बाहर जाने और खरीदने की कोशिश कर रहे हैं, वे पहले से ही काफी स्मार्ट होते हैं कि वे होदोप के बारे में जानते हैं, वे पहले से ही अपने हडोप मैपराइड्स कौशल प्राप्त कर चुके हैं, और क्योंकि वे Hadoop वितरण विक्रेता के साथ मिलकर काम कर रहे हैं, वे या तो परिचित हैं। मसलन काफ्का को सब कुछ मिल रहा है। वे इसके साथ कुछ कर रहे हैं और स्टॉर्म या स्पार्क स्ट्रीमिंग उनके ओपन-सोर्स डोमेन में है। निश्चित रूप से, लोग इससे परिचित हैं या इसके चारों ओर कौशल का निर्माण कर रहे हैं। लेकिन यह उन लोगों के एक छोटे से सेट से शुरू होता है जो पर्याप्त कुशल हैं और काफी स्मार्ट हैं। वे सम्मेलनों में भाग ले रहे हैं। वे सीख रहे हैं और वे विक्रेताओं से बुद्धिमान प्रश्न पूछते हैं और कुछ मामलों में वे विक्रेताओं के साथ सीखते हैं। जैसा कि विक्रेता पहली बैठक में आ रहे हैं और प्रस्तुत कर रहे हैं, उन्हें सामान की जानकारी नहीं हो सकती है लेकिन वे सह-पढ़ जाते हैं और फिर वे इसके साथ खेलना शुरू कर देते हैं।

लोगों का वह छोटा समूह नाभिक है और फिर यह बढ़ने लगता है और हर कोई अब यह महसूस करता है कि पहला व्यावसायिक उपयोग का मामला चालू हो जाता है। वहां एक लहर शुरू होती है और हमने पिछले हफ्ते स्पार्क शिखर सम्मेलन में देखा था, जहां कैपिटल वन जैसा बड़ा उद्यम वहां और पूरी ताकत से बाहर था। वे स्पार्क का विरोध कर रहे थे। वे इसके बारे में बोल रहे थे। वे स्पार्क में अपने बहुत से लोगों को शिक्षित कर रहे हैं क्योंकि वे एक उपयोगकर्ता के रूप में कई मामलों में भी इसमें योगदान दे रहे हैं। हम कई, कई बड़े उद्यमों के साथ समान देखते हैं। यह बहुत ही स्मार्ट लोगों के कुछ छोटे सेट के साथ शुरू होता है और फिर यह समग्र शिक्षा की एक लहर शुरू करता है और लोगों को पता है कि एक बार एक वरिष्ठ वीपी या एक बार एक वरिष्ठ निर्देशक संरेखित होता है और वे इस चीज पर शर्त लगाना चाहते हैं और शब्द चारों ओर हो जाता है और वे सभी इन कौशलों को उठाने लगते हैं।

डीज़ ब्लांचफील्ड: मुझे यकीन है कि आपके पास उन चैंपियन को बनाने का एक शानदार समय है।

आनंद वेणुगोपाल: हाँ। हम बहुत सारी शिक्षा करते हैं क्योंकि हम शुरुआती चैंपियन के साथ काम करते हैं और हम प्रशिक्षण पाठ्यक्रम रखते हैं और कई, हमारे बड़े ग्राहकों के लिए कई हम वापस चले गए हैं और विशेष रूप से मुख्यधारा के उपयोग के चरण में बहुत से उपयोगकर्ताओं को लाने के लिए प्रशिक्षण की लहरें और तरंगें थीं। Hadoop MapReduce साइट में। हमने पाया कि एक बड़ी क्रेडिट कार्ड कंपनी में जो हमारा ग्राहक है, हमने कम से कम शायद पाँच से आठ अलग-अलग प्रशिक्षण कार्यक्रम दिए हैं। हमारे पास हमारे, सैंडबॉक्स सहित इन सभी उत्पादों के मुफ्त सामुदायिक संस्करण भी हैं, जिन्हें लोग डाउनलोड कर सकते हैं, इस तरह से खुद को शिक्षित और शिक्षित कर सकते हैं।

डीज़ ब्लांचफील्ड: मेरे पास आज सुबह आपके लिए है आपका बहुत बहुत धन्यवाद। मुझे उन प्रकार के मॉडल और उन मामलों का उपयोग करने के लिए यह अविश्वसनीय रूप से दिलचस्प लगता है जो आप आज हमारे लिए प्राप्त कर रहे हैं। धन्यवाद।

आनंद वेणुगोपाल: महान। बहुत बहुत धन्यवाद दोस्तों।

रेबेका जोजवाक: इन हॉट टेक्नोलॉजीज वेबकास्ट में शामिल होने के लिए सभी को धन्यवाद। यह डीज़ ब्लांचफील्ड, डॉ। रॉबिन ब्लोर और इम्पेटस टेक्नोलॉजीज, आनंद वेणुगोपाल से सुनने के लिए आकर्षक रहा है। साभार प्रस्तुतकर्ता धन्यवाद वक्ताओं और धन्यवाद दर्शकों। हमारे पास अगले महीने एक और हॉट टेक्नोलॉजी है, इसलिए इसकी तलाश करें। आप हमेशा हमारी सामग्री Insideanalysis.com पर संग्रहीत कर सकते हैं। हमने YouTube पर बहुत सी सामग्री को SlideShare पर और कुछ दिलचस्प बिट्स पर भी रखा है।

बस आज के लिए इतना ही। फिर से धन्यवाद और आपका दिन शुभ हो। अलविदा।