విషయము
- YARN ముసాయిదా అంటే ఏమిటి?
- హడూప్ 1.0 ఫ్రేమ్‌వర్క్ యొక్క పరిమితులు
- బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
- YARN ముసాయిదా మరియు దాని ప్రయోజనాలు
- ముగింపు
మూలం: జిమ్ హ్యూస్ / డ్రీమ్‌స్టైమ్.కామ్
Takeaway:
హడూప్ 1.0 ఫ్రేమ్‌వర్క్‌పై YARN గణనీయమైన మెరుగుదల. దాని ముందున్న దాని కంటే కొన్ని ప్రయోజనాలను ఇక్కడ పరిశీలిస్తాము.
పెద్ద డేటా అనే భావన ప్రవేశపెట్టినప్పటి నుండి, ఇది పరిణామం యొక్క బహుళ దశల ద్వారా సాగుతోంది. హడూప్ 2005 లో మ్యాప్‌రెడ్యూస్ ప్రాసెసింగ్ ఇంజిన్ వంటి కొన్ని ప్రారంభ లక్షణాలతో ప్రవేశపెట్టబడింది, ఇది సమూహాలలో పంపిణీ చేయబడిన పెద్ద-స్థాయి డేటా ప్రాసెసింగ్ పనిభారాన్ని అనుమతించింది. హడూప్ చాలా మార్పులను అనుభవించింది మరియు అధునాతన ఫ్రేమ్‌వర్క్‌లు మరియు పద్ధతులను అభివృద్ధి చేసింది.
YARN హడూప్ 2.0 యొక్క ప్రధాన భాగం. ఇది ప్రాథమికంగా సమూహ వాతావరణంలో వనరులను నిర్వహిస్తుంది. YARN బ్రోకర్ కంప్యూట్ వనరులతో (అనువర్తనాల తరపున) సంకర్షణ చెందుతుంది మరియు విభిన్న వడపోత ప్రమాణాల ఆధారంగా ప్రతి అనువర్తనానికి వనరులను కేటాయిస్తుంది.
ఈ వ్యాసంలో, హడూప్ 1.0 కంటే YARN యొక్క అగ్ర ప్రయోజనాలను పరిశీలిస్తాము.
YARN ముసాయిదా అంటే ఏమిటి?
Yet ఒకnother Resource Nఅహంభావము హడూప్ 2.0 యొక్క ప్రధాన భాగం, ఇది సమూహ వాతావరణంలో వనరులను నిర్వహిస్తుంది. హడూప్ యార్న్ ఫ్రేమ్‌వర్క్ హడూప్ 1.0 యొక్క అధునాతన సంస్కరణ, ఇది మెరుగైన పనితీరును అందిస్తుంది, ఇది హడూప్ పర్యావరణ వ్యవస్థకు మరియు దానితో సంబంధం ఉన్న మొత్తం సాంకేతిక పరిజ్ఞానాలకు ప్రయోజనకరంగా ఉంటుంది. ఇప్పుడు మనకు YARN గురించి కొంచెం ఎక్కువ పరిచయం ఉంది, హడూప్ 1.0 మరియు YARN ని దగ్గరగా చూద్దాం.
హడూప్ 1.0 ఫ్రేమ్‌వర్క్ యొక్క పరిమితులు
YARN ఫ్రేమ్‌వర్క్ యొక్క ప్రయోజనాలను అర్థం చేసుకోవడానికి, హడూప్ 1.0 ఎలా పనిచేస్తుందో మరియు ఈ ఫ్రేమ్‌వర్క్ యొక్క పరిమితులు ఏమిటో అర్థం చేసుకోవడం చాలా ముఖ్యం.
ఇక్కడే జాబ్‌ట్రాకర్ పాత్ర వస్తుంది. ఇది క్లస్టర్ వనరులను రెండింటినీ నిర్వహిస్తుంది మరియు మ్యాప్‌రెడ్యూస్ జాబ్ ఎగ్జిక్యూషన్‌ను నిర్ణయిస్తుంది. ఒక్కమాటలో చెప్పాలంటే, జాబ్‌ట్రాకర్ టాస్క్ స్లాట్‌లను షెడ్యూల్ చేస్తుంది మరియు రిజర్వు చేస్తుంది మరియు నడుస్తున్న ప్రతి పనిని కాన్ఫిగర్ చేస్తుంది మరియు పర్యవేక్షిస్తుంది. ఒక పని విఫలమైతే, విధి మళ్లీ ప్రారంభించడానికి ఇది కొత్త స్లాట్‌ను తిరిగి కేటాయిస్తుంది. ఒక పని పూర్తయిన తర్వాత, జాబ్‌ట్రాకర్ ఇతర పనుల కోసం స్లాట్‌ను విడుదల చేస్తుంది మరియు తాత్కాలిక వనరులను శుభ్రపరుస్తుంది.
పై విధానం యొక్క ప్రధాన లోపాలు:
- లభ్యత - హడూప్ 1.0 లో లభ్యత యొక్క ఏకైక స్థానం జాబ్‌ట్రాకర్. జాబ్‌ట్రాకర్ విఫలమైతే, అన్ని పనులు అప్రమేయంగా పున art ప్రారంభించబడతాయి.
- పరిమిత స్కేలబిలిటీ - జాబ్‌ట్రాకర్ బహుళ పనులను మరియు ఒకే యంత్రంలో నడుస్తున్నందున, అందుబాటులో ఉన్న ఇతర యంత్రాలు ఉపయోగించబడవు; అందువల్ల, పరిమిత స్కేలబిలిటీకి దారితీస్తుంది.
- వనరుల వినియోగం - పై విధానంలో, మ్యాప్ స్లాట్లు మరియు స్లాట్‌లను తగ్గించడం ముందే నిర్వచించబడ్డాయి. స్లాట్లలో ఒకటి నిండి ఉంది కాని ఇతర మెషిన్ స్లాట్లు ఖాళీగా ఉన్నాయి. ఖాళీ స్లాట్లు రిజర్వు చేయబడినందున, వారు పూర్తి స్లాట్ల కోసం రాజీ పడకుండా పనిలేకుండా కూర్చుంటారు. ఇది వనరుల వినియోగం యొక్క సమస్యకు కారణం కావచ్చు.
- మ్యాప్‌రెడ్యూస్ కాని అనువర్తనాలను అమలు చేస్తోంది - జాబ్‌ట్రాకర్ అనేది మ్యాప్‌రెడ్యూస్ ఫ్రేమ్‌వర్క్ కోసం నిర్మించిన అనువర్తనం. మ్యాప్‌రెడ్యూస్ కాని అనువర్తనం ఈ ఫ్రేమ్‌వర్క్‌లో అమలు చేయడానికి ప్రయత్నించినప్పుడు సమస్య తలెత్తుతుంది. అనువర్తనం విజయవంతంగా అమలు కావడానికి మ్యాప్‌రెడ్యూస్ ఫ్రేమ్‌వర్క్ ప్రోగ్రామింగ్‌కు అనుగుణంగా ఉండాలి. దీని కారణంగా ఎదుర్కొంటున్న కొన్ని సాధారణ సమస్యలు వీటిలో ఉన్నాయి:
- తాత్కాలిక ప్రశ్న
- రియల్ టైమ్ విశ్లేషణ
- ప్రయాణిస్తున్న విధానం
- క్యాస్కేడింగ్‌లో వైఫల్యం - నోడ్‌ల సంఖ్య 4000 కన్నా ఎక్కువగా ఉన్నప్పుడు ఈ ఫ్రేమ్‌వర్క్‌లోని ఒక ప్రధాన సమస్య సంభవిస్తుంది. అటువంటి దృష్టాంతంలో, క్యాస్కేడింగ్ వైఫల్యం సంభవిస్తుంది, దీని ఫలితంగా పూర్తి క్లస్టర్ క్షీణిస్తుంది.
ఈ ఫ్రేమ్‌వర్క్‌తో పనిచేసేటప్పుడు ఎదుర్కొంటున్న కొన్ని ప్రధాన పరిమితులు ఇవి. మరికొన్ని చిన్న పరిమితులు కూడా ఉన్నాయి, అవి ప్రస్తావించబడలేదు. ఈ పరిమితులను అధిగమించడానికి YARN ఫ్రేమ్‌వర్క్ ప్రవేశపెట్టబడింది.
బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
సాఫ్ట్‌వేర్ నాణ్యత గురించి ఎవరూ పట్టించుకోనప్పుడు మీరు మీ ప్రోగ్రామింగ్ నైపుణ్యాలను మెరుగుపరచలేరు.
YARN ముసాయిదా మరియు దాని ప్రయోజనాలు
హడూప్ 2.0 లో ప్రవేశపెట్టిన YARN ఫ్రేమ్‌వర్క్, మ్యాప్‌రెడ్యూస్ యొక్క బాధ్యతలను పంచుకోవడం మరియు క్లస్టర్ నిర్వహణ పనిని జాగ్రత్తగా చూసుకోవడం. ఇది డేటా ప్రాసెసింగ్‌ను మాత్రమే అమలు చేయడానికి మ్యాప్‌రెడ్యూస్‌ను అనుమతిస్తుంది మరియు అందువల్ల, ప్రక్రియను క్రమబద్ధీకరించండి.
YARN కేంద్ర వనరుల నిర్వహణ భావనను తెస్తుంది. ఇది బహుళ వనరులను హడూప్‌లో అమలు చేయడానికి అనుమతిస్తుంది, సాధారణ వనరుల నిర్వహణను పంచుకుంటుంది.
YARN ఫ్రేమ్‌వర్క్ యొక్క కొన్ని ప్రధాన భాగాలు:
- రిసోర్స్ మేనేజర్ - రిసోర్స్ మేనేజర్ భాగం ఆ క్లస్టర్‌లో ఉన్న అన్ని వనరులకు క్లస్టర్‌లో సంధానకర్త. ఇంకా, ఈ భాగం వినియోగదారు ఉద్యోగాలను నిర్వహించడానికి బాధ్యత వహించే అనువర్తన నిర్వాహకుడిగా వర్గీకరించబడింది. హడూప్ 2.0 నుండి ఏదైనా మ్యాప్‌రెడ్యూస్ ఉద్యోగం అప్లికేషన్‌గా పరిగణించబడుతుంది.
- అప్లికేషన్ మాస్టర్ - ఈ భాగం ఉద్యోగం లేదా అప్లికేషన్ ఉన్న ప్రదేశం. ఇది అన్ని మ్యాప్‌రెడ్యూస్ ఉద్యోగాలను కూడా నిర్వహిస్తుంది మరియు జాబ్ ప్రాసెసింగ్ పూర్తయిన తర్వాత ముగుస్తుంది.
- నోడ్ మేనేజర్ - నోడ్ మేనేజర్ భాగం ఉద్యోగ చరిత్రకు సర్వర్‌గా పనిచేస్తుంది. పూర్తయిన ఉద్యోగాల సమాచారాన్ని భద్రపరచడం దీని బాధ్యత. ఇది ఒక నిర్దిష్ట నోడ్ కోసం వారి వర్క్‌ఫ్లోతో పాటు వినియోగదారుల ఉద్యోగాలను కూడా ట్రాక్ చేస్తుంది.
వేర్వేరు పనులను నిర్వహించడానికి YARN ఫ్రేమ్‌వర్క్‌లో వేర్వేరు భాగాలు ఉన్నాయని గుర్తుంచుకోండి, ఇది హడూప్ 1.0 యొక్క పరిమితులను ఎలా ఎదుర్కోవాలో చూద్దాం.
- వనరుల మెరుగైన వినియోగం - YARN ఫ్రేమ్‌వర్క్‌లో పనుల కోసం స్థిర స్లాట్లు లేవు. ఇది సెంట్రల్ రిసోర్స్ మేనేజర్‌ను అందిస్తుంది, ఇది సాధారణ వనరు ద్వారా బహుళ అనువర్తనాలను భాగస్వామ్యం చేయడానికి మిమ్మల్ని అనుమతిస్తుంది.
- నాన్-మ్యాప్‌రెడ్యూస్ అనువర్తనాలను అమలు చేయడం - YARN లో, షెడ్యూలింగ్ మరియు వనరుల నిర్వహణ సామర్థ్యాలు డేటా ప్రాసెసింగ్ భాగం నుండి వేరు చేయబడతాయి. ఇది హడూప్ ఫ్రేమ్‌వర్క్ యొక్క ప్రోగ్రామింగ్‌కు అనుగుణంగా లేని విభిన్న రకాల అనువర్తనాలను అమలు చేయడానికి అనుమతిస్తుంది. హడూప్ క్లస్టర్‌లు ఇప్పుడు స్వతంత్ర ఇంటరాక్టివ్ ప్రశ్నలను అమలు చేయగలవు మరియు మంచి నిజ-సమయ విశ్లేషణ చేయగలవు.
- వెనుకబడిన అనుకూలత - YARN బ్యాక్‌వర్డ్-అనుకూల ఫ్రేమ్‌వర్క్‌గా వస్తుంది, అంటే మ్యాప్‌రెడ్యూస్ యొక్క ప్రస్తుత ఉద్యోగం హడూప్ 2.0 లో అమలు చేయవచ్చు.
- జాబ్‌ట్రాకర్ ఇక లేదు - జాబ్‌ట్రాకర్ యొక్క రెండు ప్రధాన పాత్రలు వనరుల నిర్వహణ మరియు ఉద్యోగ షెడ్యూలింగ్. YARN ఫ్రేమ్‌వర్క్ ప్రవేశపెట్టడంతో ఇవి ఇప్పుడు రెండు వేర్వేరు భాగాలుగా విభజించబడ్డాయి, అవి:
- NodeManager
- ResourceManager
ముగింపు
YARN ఫ్రేమ్‌వర్క్ పరిచయం హడూప్ డెవలపర్‌ల కోసం అనువర్తనాలను రూపొందించడం సులభం చేసింది. ఇప్పుడు, అనువర్తనాలు ఇకపై మూడవ పార్టీ సాధనాలతో అమలు చేయవలసిన అవసరం లేదు. YARN అనేది భారీ మార్పు, ఇది అనువర్తనాలను సృష్టించడానికి మరియు డేటాను మరింత సమర్థవంతంగా మార్చటానికి హడూప్ 2.0 ను పరిగణించటానికి వినియోగదారులను అనుమతిస్తుంది. కాలంతో పాటు, హడూప్ యొక్క వినియోగాన్ని పెంచడానికి మరిన్ని పరిణామాలు ఉంటాయి. ప్రస్తుతానికి, ఇప్పటికే ఉన్న సమస్యలను పరిష్కరించడంలో మరియు ఇబ్బంది లేని వాతావరణాన్ని సృష్టించడంలో YARN ఫ్రేమ్‌వర్క్ కీలక పాత్ర పోషిస్తుంది, ఇది మ్యాప్‌రెడ్యూస్ మోడల్ యొక్క మునుపటి సంస్కరణ.