విషయము
- నెక్స్ట్-జనరేషన్ డేటా ఆర్కిటెక్చర్ అంటే ఏమిటి?
- నెక్స్ట్-జనరేషన్ ఆర్కిటెక్చర్ యొక్క కాన్ లో హడూప్ నుండి అంచనాలు
- నెక్స్ట్-జనరేషన్ డేటా ఆర్కిటెక్చర్‌కు హడూప్ ఏ విలువలను జోడించగలదు?
- ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్‌గా మెరుగైన పనితీరు
- హడూప్ మరియు ఇతర టెక్నాలజీల మధ్య వ్యత్యాసం
- ముగింపు
మూలం: రోమియో 1232 / డ్రీమ్‌స్టైమ్.కామ్
Takeaway:
హడూప్ తరువాతి తరం డేటా ఆర్కిటెక్చర్లో కీలక పాత్ర పోషిస్తుంది ఎందుకంటే దాని యొక్క అధిక మొత్తంలో డేటాను నిర్వహించగల సామర్థ్యం ఉంది.
హడూప్ యొక్క యుటిలిటీ పెద్ద డేటా ప్రాసెసింగ్ మరియు విశ్లేషణలకు మించి వెళ్ళడం ప్రారంభించింది, ఎందుకంటే పరిశ్రమ దాని నుండి ఎక్కువ డిమాండ్ చేస్తుంది. హడూప్ దాని అసలు బలాన్ని నిలుపుకుంటూ ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్‌కు సంబంధించిన విభిన్న అవసరాలను స్థిరంగా అందిస్తుంది. హడూప్ ఏమి చేయగలడు మరియు ప్రస్తుతం చేస్తున్నది జాబితా చాలా పొడవుగా ఉంది. హడూప్ ఇప్పుడు లావాదేవీల పనిభారాన్ని భారీగా ప్రాసెస్ చేయగలదు, ఇది సాంప్రదాయ సాంకేతిక పరిజ్ఞానాల నుండి గతంలో was హించిన పని. ముందుకు వెళితే, భవిష్యత్తులో హడూప్ కోసం చాలా అవకాశాలు ఉన్నాయి. ఉదాహరణకు, SQL ఆధారంగా లావాదేవీ వ్యవస్థలు హడూప్ SQL ఇంజిన్‌ను ఉపయోగించుకోగలవు మరియు హడూప్ కూడా చాలా RDBMS సామర్థ్యాలను జోడిస్తుంది. ఎంటర్ప్రైజ్ ఆర్కిటెక్చర్ సామర్థ్యాలతో హడూప్ డేటా ప్రాసెసింగ్ మరియు విశ్లేషణాత్మక సామర్థ్యాల హైబ్రిడ్ అవుతోందని మీరు చెప్పవచ్చు.
నెక్స్ట్-జనరేషన్ డేటా ఆర్కిటెక్చర్ అంటే ఏమిటి?
ఒక్కమాటలో చెప్పాలంటే, తరువాతి తరం డేటా ఆర్కిటెక్చర్ అనేది డేటా ఆర్కిటెక్చర్ యొక్క అభివృద్ధి చెందిన రూపం. డేటా నమూనాలు, డేటా విధానాలు, నియమాలు మరియు ప్రమాణాలతో సహా ప్రతిదీ డేటాను ఎలా సేకరిస్తుంది, నిల్వ చేస్తుంది, ఏర్పాటు చేస్తుంది, విశ్లేషించింది లేదా ప్రాసెస్ చేస్తుంది, ఇంటిగ్రేటెడ్, ఉపయోగించబడుతుంది మరియు పంపిణీ చేయబడుతుంది, ఇవి తరువాతి తరం డేటా ఆర్కిటెక్చర్ క్రింద ఉద్భవించాయి.
మునుపటి డేటా ఆర్కిటెక్చర్ మరియు తరువాతి-తరం డేటా ఆర్కిటెక్చర్ మధ్య ప్రధాన వ్యత్యాసం ఏమిటంటే, నిజ సమయంలో, పెద్ద డేటా అని కూడా పిలువబడే అపారమైన డేటాను సేకరించడం, నిల్వ చేయడం మరియు ప్రాసెస్ చేయగల సామర్థ్యం. గోప్యత, భద్రత మరియు డేటా పాలన ప్రమాణాలపై రాజీ పడకుండా ఈ సంక్లిష్ట పనులన్నింటినీ ఆర్కిటెక్చర్ చేస్తుంది.
తదుపరి తరం డేటా ఆర్కిటెక్చర్ అనేక సవాళ్లను ఎదుర్కొంటుంది. పెద్ద డేటా యొక్క వాల్యూమ్, వేగం మరియు రకాన్ని నిర్వహించడం అంత సులభం కాదు. సిస్టమ్ పనిభారాన్ని ఆప్టిమైజ్ చేయడం, ప్రదర్శనలు మెరుగుపరచడం, వేగం మరియు ఖచ్చితత్వం మరియు ఖర్చు తగ్గింపు యొక్క అవసరాలు దీనికి జోడించండి. మునుపటి డేటా ఆర్కిటెక్చర్ అటువంటి డిమాండ్లను నిర్వహించాల్సిన అవసరం లేదని ప్రత్యేకంగా చెప్పనవసరం లేదు.
కాబట్టి, CIO లు మరియు సమాచార వాస్తుశిల్పులు తమ లక్ష్యాలను సాధించడంలో సహాయపడే ఒక పరిష్కారాన్ని కనుగొనాలనుకుంటున్నారు. కార్యాచరణ హడూప్ ఈ కాన్‌లో కొంతకాలంగా దృష్టి సారించింది. హడూప్ కార్యాచరణ హడూప్ సమస్యలను ఎలా పరిష్కరించగలదో ఈ క్రింది విభాగాలు చర్చిస్తాయి.
నెక్స్ట్-జనరేషన్ ఆర్కిటెక్చర్ యొక్క కాన్ లో హడూప్ నుండి అంచనాలు
మెరుగైన ఫలితాలను అందించడానికి కంపెనీలు పెరుగుతున్న ఒత్తిడికి లోనవుతున్నాయి మరియు సాంకేతిక పరిజ్ఞానంపై ఉంచిన అంచనాలకు ప్రభావాలు తగ్గుతున్నాయి. కాబట్టి, హడూప్ ఇకపై డేటాను ప్రాసెస్ చేయదని is హించలేదు. CIO లు మరియు CTO లు హడూప్ నుండి ఎక్కువ కావాలి. హడూప్ నుండి వచ్చిన అంచనాల జాబితా క్రింద ఇవ్వబడింది. వాస్తవానికి, హడూప్ ఇప్పటికే ఈ అంచనాలలో కొన్నింటిని అందిస్తోంది.
హడూప్ SQL పై ఆధారపడిన లావాదేవీ వ్యవస్థలతో పనిచేస్తుందని మరియు సామర్థ్యాలను సృష్టించడం, చదవడం, నవీకరించడం మరియు తొలగించడం జరుగుతుంది. లావాదేవీ వ్యవస్థలు SQL ఇంజిన్‌ను ప్రభావితం చేస్తాయి. వ్యవస్థలు పూర్తి పోర్టబుల్ ఆపరేటింగ్ సిస్టమ్ ఇంటర్ఫేస్ (పోసిక్స్) సమ్మతి మరియు అధిక లావాదేవీ వాల్యూమ్‌లను ప్రాసెస్ చేసే సామర్థ్యాన్ని కలిగి ఉంటాయి.
హడూప్ బ్యాకప్, ఫాల్ట్ టాలరెన్స్, రికవరీ మరియు డిజాస్టర్ రికవరీ వంటి లక్షణాలకు మద్దతు ఇస్తుందని భావిస్తున్నారు. హడూప్ RDBMS సామర్థ్యాలతో వ్యవస్థగా పరిణామం చెందాలంటే, ఇది ఇప్పటికే ఉన్న ఐటి సాధనాలతో అనుకూలంగా ఉండాలి.
కొన్ని పరిణామాల నుండి స్పష్టంగా, హడూప్ ఇప్పటికే అంచనాలను నెరవేర్చడానికి కృషి చేస్తున్నాడు. YARN అందించిన వనరుల నిర్వహణ మద్దతు ఆధారంగా హడూప్ నిజ-సమయ విశ్లేషణ మరియు వేగవంతమైన ప్రతిస్పందనలను అందించగలదు. YARN అనేది రిసోర్స్ మేనేజర్‌గా ఉండటంతో పాటు పెద్ద డేటా అనువర్తనాల కోసం పెద్ద ఎత్తున మరియు పంపిణీ చేయబడిన ఆపరేటింగ్ సిస్టమ్. అపాచీ తుఫాను వంటి ఇతర పరిణామాలు, అపాచీ స్పార్క్, అపాచీ హైవ్, డ్రిల్ మరియు మ్యాప్ఆర్-ఎఫ్ఎస్ (అధిక పనితీరు గల హెచ్‌డిఎఫ్‌ఎస్ పున ment స్థాపన) వంటి మెమరీ ఆర్కిటెక్చర్‌లను పంపిణీ చేస్తున్నాయి, వివిధ పూర్తి డేటాబేస్ సామర్థ్యాలను అందించడానికి, పని చేస్తున్నట్లు తెలిసింది. బ్యాకప్, విపత్తు పునరుద్ధరణ, తప్పు సహనం మొదలైనవి. (YARN లో మరింత తెలుసుకోవడానికి, హడూప్ 2.0 (YARN) ముసాయిదా యొక్క ప్రయోజనాలు ఏమిటి? చూడండి
నెక్స్ట్-జనరేషన్ డేటా ఆర్కిటెక్చర్‌కు హడూప్ ఏ విలువలను జోడించగలదు?
తదుపరి తరం డేటా ఆర్కిటెక్చర్‌కు కార్యాచరణ హడూప్ జోడించగల విలువలు రెండు కోణాల నుండి చూడవచ్చు: ఒకటి, ఇది పైన వివరించిన అంచనాలను నెరవేరుస్తుందా, మరియు రెండు, అది అదనంగా ఏదైనా చేస్తుందా. కార్యాచరణ హడూప్ తీసుకువచ్చే ముఖ్యమైన విలువలు క్రింద ఇవ్వబడ్డాయి.
హడూప్ ఇప్పుడు హెచ్‌డిఎఫ్‌ఎస్ ద్వారా దాని ప్లాట్‌ఫామ్‌లోనే డేటా యొక్క మరింత స్కేలబిలిటీ మరియు నిర్వహణ సామర్థ్యాన్ని అందించగలదు. హడూప్ యొక్క YARN అనువర్తనాల ద్వారా డేటా ఆపరేటింగ్ సిస్టమ్ ప్రారంభించబడింది. ఈ వ్యూహం ప్రాథమిక స్థాయిలో డేటా ఆర్కిటెక్చర్లో మార్పును సూచిస్తుంది. ఇప్పుడు, హడూప్ లావాదేవీ-ఆధారిత డేటాబేస్, గ్రాఫ్ డేటాబేస్ మరియు డాక్యుమెంట్ డేటాబేస్ వంటి వివిధ రకాల డేటాను నిల్వ చేయగలదు మరియు ఈ డేటాను YARN అనువర్తనాల ద్వారా యాక్సెస్ చేయవచ్చు. డేటాను ఇతర ప్రదేశాలకు నకిలీ లేదా తరలించాల్సిన అవసరం లేదు.
ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్‌గా మెరుగైన పనితీరు
ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్ యొక్క ప్రధాన వ్యవస్థగా మారడానికి ఆపరేషనల్ హడూప్ ఉంది. హడూప్ ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్‌లోకి ప్రవేశించడంతో, డేటా సిలోస్ వాటి మధ్య ఉన్న పంక్తులు తొలగించబడుతున్నందున అవి తొలగించబడతాయి. దాదాపు అన్ని అంశాలలో వేగంగా అభివృద్ధి జరగబోతోంది. ఎంటర్ప్రైజ్ అనువర్తనాల అవసరాలను తీర్చగల మెరుగైన సమర్థవంతమైన ఫైల్ ఫార్మాట్లు, మెరుగైన SQL ఇంజిన్ పనితీరు, మెరుగైన ఫైల్ సిస్టమ్స్ మరియు దృ ness త్వం రూపంలో మెరుగుదలలు జరగబోతున్నాయి.
హడూప్ మరియు ఇతర టెక్నాలజీల మధ్య వ్యత్యాసం
గతంలో, హడూప్ మరియు డేటా ఎంటర్ప్రైజ్ టెక్నాలజీల మధ్య ప్రధాన వ్యత్యాసం హడూప్ యొక్క పెద్ద డేటా ప్రాసెసింగ్, రిపోర్టింగ్ మరియు అనలిటిక్స్ సామర్థ్యాలు. ఇప్పుడు, కార్యాచరణ హడూప్ ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్లో మరింత భాగం కావడంతో, ఎంటిటీల మధ్య వ్యత్యాసం అస్పష్టంగా ఉంది. కాబట్టి, ప్రస్తుత హడూప్ ప్రస్తుత ఎంటర్ప్రైజ్ డేటా ఆర్కిటెక్చర్‌కు ఉన్నతమైన ప్రత్యామ్నాయంగా అభివృద్ధి చెందుతోంది.
ముగింపు
అంచనాలు మరియు పురోగతి దృష్ట్యా, హడూప్ కొంతకాలంగా పరిశ్రమపై దృష్టి పెట్టబోతున్నాడు. కానీ హడూప్‌పై ఎక్కువ దృష్టి పెట్టకపోవడం మరియు ఇతర సాంకేతిక పరిజ్ఞానాలను విస్మరించడం అర్ధమే. ఇతర సాంకేతిక పరిజ్ఞానాలు అదే పారామితులలో పురోగతి సాధిస్తాయి మరియు హడూప్‌ను కూడా అధిగమించగలవు. మార్కెట్లో గుత్తాధిపత్యం కలిగి ఉండటం ఎప్పుడూ మంచిది కాదు. హడూప్ కాకుండా ఇతర సాంకేతిక పరిజ్ఞానాల తయారీదారులు మెరుగైన ఉత్పత్తులను అందించడానికి ప్రేరేపించబడటం మంచిది మరియు హడూప్ దాని పనితీరును మెరుగుపరచడంలో సహాయపడే ప్లగిన్‌లు కూడా.