విషయము
- హడూప్‌లో SQL యొక్క నిర్వచనం
- హడూప్‌లోని SQL ఎలా పనిచేస్తుంది?
- హడూప్‌లో SQL యొక్క ఉత్తమ ప్రయోజనాలు
- ఎక్కువ మంది ఇప్పుడు హడూప్‌ను యాక్సెస్ చేయవచ్చు
- హడూప్‌తో పెద్ద డేటాను విశ్లేషించడం ఇప్పుడు సరళమైనది
- బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
- హడూప్‌లో SQL పై మరో దృక్పథం
- ముగింపు
మూలం: Maciek905 / Dreamstime.com
Takeaway:
హడూప్‌లోని SQL డేటా మేనేజ్‌మెంట్ యొక్క ఈ రెండు పద్ధతులను మిళితం చేసి డేటా అనలిటిక్స్ కోసం కొత్త సాధనాన్ని రూపొందిస్తుంది.
హడూప్‌లోని SQL అనేది విశ్లేషణాత్మక అనువర్తన సాధనాల సమూహం, ఇది SQL- శైలి ప్రశ్న మరియు డేటాను ప్రాసెసింగ్‌ను ఇటీవలి హడూప్ డేటా ఫ్రేమ్‌వర్క్ అంశాలతో మిళితం చేస్తుంది. హడూప్‌లో SQL యొక్క ఆవిర్భావం పెద్ద డేటా ప్రాసెసింగ్ కోసం ఒక ముఖ్యమైన అభివృద్ధి, ఎందుకంటే ఇది హడూప్ ప్రాసెస్ చేసే పెద్ద డేటా యొక్క అపారమైన వాల్యూమ్‌లపై SQL ప్రశ్నలను అమలు చేయడం ద్వారా హడూప్ డేటా ప్రాసెసింగ్ ఫ్రేమ్‌వర్క్‌తో విజయవంతంగా పనిచేయడానికి విస్తృత వ్యక్తుల సమూహాలను అనుమతిస్తుంది. సహజంగానే, హడూప్ ఫ్రేమ్‌వర్క్ ఇంతకుముందు ప్రజలకు అందుబాటులో లేదు, ప్రత్యేకించి దాని ప్రశ్న సామర్ధ్యాల పరంగా. అభివృద్ధి ఆధారంగా, పెద్ద డేటాను నాణ్యత మరియు వేగంతో ప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి వచ్చినప్పుడు సంస్థల ఉత్పాదకతను మెరుగుపరుస్తామని హామీ ఇచ్చే అనేక సాధనాలు పనిలో ఉన్నాయి. SQL యొక్క సాంప్రదాయిక జ్ఞానం చేయవలసిన విధంగా, సాధనాన్ని నేర్చుకోవటానికి చాలా పెట్టుబడి పెట్టవలసిన అవసరం కూడా లేదు.
హడూప్‌లో SQL యొక్క నిర్వచనం
హడూప్‌లోని SQL అనేది హడూప్ డేటా ప్రాసెసింగ్ ఫ్రేమ్‌వర్క్ హోస్ట్ చేసిన పెద్ద డేటాపై SQL- శైలి ప్రశ్నలను అమలు చేయడానికి మిమ్మల్ని అనుమతించే అనువర్తనాల సమూహం. స్పష్టంగా, హడూప్‌లో SQL ను చేర్చడంతో డేటా ప్రశ్న, తిరిగి పొందడం మరియు విశ్లేషణ సులభం అయ్యాయి. SQL మొదట రిలేషనల్ డేటాబేస్ల కోసం రూపొందించబడినందున, ఇది మ్యాప్‌రెడ్యూస్ మరియు హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ (HDFS), మరియు మ్యాప్‌రెడ్యూస్ మరియు హెచ్‌డిఎఫ్‌ఎస్ లేని హడూప్ 2 మోడల్‌ను కలిగి ఉన్న హడూప్ 1 మోడల్ ప్రకారం సవరించాల్సి ఉంది.
SQL ను హడూప్‌తో కలపడానికి చేసిన తొలి ప్రయత్నాలలో ఒకటి హైవ్ డేటా గిడ్డంగిని హైవ్‌క్యూల్ సాఫ్ట్‌వేర్‌తో సృష్టించింది, ఇది SQL- శైలి ప్రశ్నలను మ్యాప్‌రెడ్యూస్ ఉద్యోగాల్లోకి అనువదించగలదు. ఆ తరువాత, ఇలాంటి అనువర్తనాలు చేయగల అనేక అనువర్తనాలు అభివృద్ధి చేయబడ్డాయి. డ్రిల్, బిగ్‌స్క్యూల్, హెచ్‌డబ్ల్యు, ఇంపాలా, హడాప్ట్, స్ట్రింగర్, హెచ్-ఎస్‌క్యూఎల్, స్ప్లైస్ మెషిన్, ప్రెస్టో, పాలీబేస్, స్పార్క్, జెథ్రోడేటా, షార్క్ (హైవ్ ఆన్ స్పార్క్), మరియు తేజ్ (తేజ్ ఆన్ తేజ్).
హడూప్‌లోని SQL ఎలా పనిచేస్తుంది?
హడూప్‌లోని SQL ఈ క్రింది మార్గాల్లో హడూప్‌తో పనిచేస్తుంది:
- హడూప్ వాతావరణంలోని కనెక్టర్లు SQL ప్రశ్నను మ్యాప్‌రెడ్యూస్ ఫార్మాట్‌లోకి అనువదిస్తారు, తద్వారా హడూప్ ప్రశ్నను అర్థం చేసుకుంటారు.
- పుష్డౌన్ సిస్టమ్స్ హడూప్ క్లస్టర్లలోని SQL ప్రశ్నను అమలు చేస్తాయి.
- క్లస్టర్ల పనిభారాన్ని బట్టి సిస్టమ్‌లు మ్యాప్‌రెడ్యూస్-హెచ్‌డిఎఫ్‌ఎస్ క్లస్టర్ల మధ్య భారీ SQL ప్రశ్నలను విభజిస్తాయి.
SQL ప్రశ్న దాని స్వభావాన్ని మార్చదని తెలుస్తోంది; హడూప్ ప్రశ్నను అర్థం చేసుకునే ఆకృతిలోకి మారుస్తుంది.
హడూప్‌లో SQL యొక్క ఉత్తమ ప్రయోజనాలు
ఇప్పటికే చెప్పినట్లుగా, పెద్ద డేటా విశ్లేషణను ఎక్కువ మందికి అందుబాటులో ఉంచడం మరియు డేటా విశ్లేషణను సులభతరం మరియు వేగవంతం చేయడంలో హడూప్‌లోని SQL ఒక ముఖ్యమైన అభివృద్ధి. హడూప్ డేటా ఫ్రేమ్‌వర్క్ పెద్ద డేటా విశ్లేషణకు గొప్ప సాధనంగా ఉంది అనడంలో ఎటువంటి సందేహం లేదు, అయితే ఇది ఇప్పటికీ పరిమిత వ్యక్తుల ద్వారా మాత్రమే అందుబాటులో ఉంది, దాని ప్రత్యేకమైన నిర్మాణాన్ని నేర్చుకోవడానికి అవసరమైన భారీ ప్రయత్నాల వల్ల మాత్రమే కాదు, ఎందుకంటే ఇతర సాంకేతికతలతో అనుకూలత సమస్యలను కలిగి ఉంది. హడూప్‌లోని SQL ఈ సమస్యలను పరిష్కరిస్తుందని హామీ ఇచ్చింది.
ఎక్కువ మంది ఇప్పుడు హడూప్‌ను యాక్సెస్ చేయవచ్చు
డేటాను ప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి విస్తృత సమూహాల ప్రజలు ఇప్పుడు హడూప్‌ను ఉపయోగించవచ్చనే కోణంలో హడూప్‌లోని SQL హడూప్‌ను మరింత సమతౌల్యంగా మార్చిందని తెలుస్తోంది. ఇంతకుముందు, హడూప్‌ను ఉపయోగించడానికి, మీకు హడూప్ ఆర్కిటెక్చర్ - మ్యాప్‌రెడ్యూస్, హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ లేదా హెచ్‌బేస్ పరిజ్ఞానం ఉండాలి. ఇప్పుడు, మీరు దాదాపు ఏదైనా విశ్లేషణాత్మక లేదా రిపోర్టింగ్ సాధనాన్ని ప్లగ్ చేసి డేటాను యాక్సెస్ చేయవచ్చు మరియు విశ్లేషించవచ్చు.హడూప్‌లోని SQL కి ధన్యవాదాలు, క్లౌడెరా ఇంపాలా, ఏకకాలిక భాషా, హడాప్ట్, సిటస్‌డిబి, ఇన్ఫినిడిబి, మముత్‌డిబి, మెమ్‌ఎస్‌క్యూల్, పివోటల్ హావ్‌క్యూ, అపాచీ డ్రిల్, స్క్లెరాడిబి, ప్రోగ్రెస్ డేటాడైరెక్ట్, సింబా మరియు స్ప్లైస్ మెషిన్ వంటి హడూప్ ఇంజిన్‌లలోని అనేక SQL ఇప్పుడు వాణిజ్యపరంగా అందుబాటులో ఉన్నాయి పెద్ద డేటాతో ఉపయోగం కోసం. సహజంగానే, ఇది హడూప్‌ను విస్తృత ప్రేక్షకులకు తెరిచింది, ఇది ఇప్పుడు పెద్ద డేటాలో పెట్టుబడిపై వారి రాబడిని పెంచుతుందని ఆశించవచ్చు.
హడూప్‌తో పెద్ద డేటాను విశ్లేషించడం ఇప్పుడు సరళమైనది
ఇప్పుడు, మీరు చేయవలసిందల్లా డేటాను తిరిగి పొందడానికి మరియు విశ్లేషించడానికి పెద్ద డేటాలో మంచి పాత SQL ప్రశ్నను అమలు చేయండి. SQL కేవలం రిలేషనల్ డేటాబేస్ సాధనం నుండి పెద్ద డేటా విశ్లేషణ సాధనంగా అభివృద్ధి చెందింది, ఇది నిజంగా ముఖ్యమైన మార్పు. హడూప్ ప్రశ్నలను ఎలా ప్రాసెస్ చేస్తున్నాడో మీరు ఆందోళన చెందాల్సిన అవసరం లేదు - ఇది SQL ప్రశ్నలను వివరించడానికి మరియు మీకు ఫలితాలను ఇవ్వడానికి దాని స్వంత మార్గాన్ని కలిగి ఉంది. హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ పెద్ద డేటా కోసం సమాంతర ప్రాసెసింగ్ కమోడిటీ క్లస్టర్‌లను కలిగి ఉన్నప్పటికీ, ఇది SQL- శైలి ఇంటరాక్టివ్ ప్రశ్నలతో పనిచేస్తే దాని ప్రాసెసింగ్ సామర్థ్యాలను మెరుగుపరుస్తుందని నిపుణులు అభిప్రాయపడ్డారు. HDFS SQL తో కలిపే ముందు, HDFS తో డేటాను ప్రాసెస్ చేయడానికి చాలా సమయం పడుతుంది మరియు పనికి ప్రత్యేక డేటా శాస్త్రవేత్తలు అవసరం. మరియు ప్రశ్నలు ఇంటరాక్టివ్ కాదు. హైవ్ డేటా గిడ్డంగి కోసం స్పార్క్ ఎనలిటికల్ ఇంజిన్ మరియు స్ట్రింగర్ ఇంటరాక్టివ్ క్వరీ యాక్సిలరేటర్‌ను కలిగి ఉన్న అపాచీ తేజ్ ఫ్రేమ్‌వర్క్‌తో, ఈ సమస్యలు పరిష్కరించబడ్డాయి. రిటైలర్ టార్గెట్ కార్పొరేషన్ వద్ద స్ట్రాటజీ అండ్ ఆర్కిటెక్చర్ గ్రూప్ మేనేజర్ అను జైన్ ప్రకారం, “మేము వినియోగదారులకు ఇంటరాక్టివ్ క్వరీ యాక్సెస్ ఇస్తున్నట్లు నిర్ధారించుకోవడం మాకు చాలా ముఖ్యం. తేజ్‌తో మేము వ్యాపారానికి ఆ సామర్థ్యాన్ని అందించగలుగుతున్నాము. ”
బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
సాఫ్ట్‌వేర్ నాణ్యత గురించి ఎవరూ పట్టించుకోనప్పుడు మీరు మీ ప్రోగ్రామింగ్ నైపుణ్యాలను మెరుగుపరచలేరు.
గార్డనర్ సర్వే వెల్లడించినట్లుగా, ఇంటరాక్టివ్ అనలిటిక్స్ యొక్క ప్రజాదరణ హడూప్ వినియోగదారులలో పెరుగుతోంది. సర్వే ప్రకారం, 32% మంది ప్రతివాదులు HDFS లేదా HBase తో మూడవ పార్టీ ఇంటర్‌ఫేస్‌లను ఉపయోగిస్తున్నారు, 27% మంది హైవ్ ద్వారా స్వీయ-సృష్టించిన ప్రశ్నలను ఉపయోగిస్తున్నారు, అయితే 23% మంది క్లౌడెరా ఇంపాలా మరియు పివోటల్ HAWQ వంటి హడూప్ పంపిణీ-నిర్దిష్ట సాధనాలను ఉపయోగిస్తున్నారు.
హడూప్‌లో SQL పై మరో దృక్పథం
హడూప్‌లోని SQL మనకు హడూప్‌తో చాలా సమస్యలను పరిష్కరిస్తుందని అనిపించినప్పటికీ, SQL కి చాలా సమస్యలు ఉండవచ్చు అని నమ్మే మరో అభిప్రాయం ఉంది, ముఖ్యంగా హడూప్‌తో కలిపినప్పుడు. ఈ అభిప్రాయం ప్రకారం, పెద్ద డేటా విషయానికి వస్తే SQL ఒక విశ్లేషణాత్మక సాధనంగా సమర్థవంతంగా ఉండకపోవచ్చు. హడూప్ సమ్మిట్ యూజర్ ప్యానలిస్ట్ జాన్ విలియమ్స్ ప్రకారం, పెద్ద డేటాతో పనిచేయడానికి SQL ఉత్తమ విశ్లేషణాత్మక సాధనం కాకపోవచ్చు. ఆన్‌లైన్‌లో వినియోగదారులకు కార్-కొనుగోలు ప్లాట్‌ఫామ్‌ను అందించే ట్రూకార్ యొక్క ప్లాట్‌ఫాం కార్యకలాపాల కోసం సీనియర్ వైస్ ప్రెసిడెంట్ అయిన విలియమ్స్ ప్రకారం, “పెద్ద డేటా సెట్‌లో SQL అమలు సమయం నెమ్మదిగా ఉంది. ఇంతలో, SQL లోని హడూప్ YARN మరియు Tez వంటి వాటితో వేగంగా వస్తోంది. "
మరియు అది SQL తో మాత్రమే సమస్య కాదు. డేటా అధ్యయనం, స్కీమా గర్భం, సూచిక మరియు ప్రశ్న సృష్టి మరియు సాధారణీకరణ వంటి ఓవర్‌హెడ్ పనులు చాలా ఉన్నాయి, మీరు SQL ను హడూప్‌తో కలిపేటప్పుడు మీరు జాగ్రత్త వహించాలి మరియు మీరు చాలా సమయం మరియు కృషిని ఖర్చు చేస్తున్నారు. ఆ ప్రయత్నం తరువాత, మీరు ఏదైనా శాశ్వతంగా సాధించారని ఎటువంటి హామీ లేదు. ఏదైనా ఉంటే, అప్లికేషన్ మార్పులతో, మీరు ఇప్పటికే చేసిన వాటిని పునరావృతం చేయాల్సి ఉంటుంది. SQL కి బదులుగా, జావా మరియు పైథాన్ ఆధారంగా పెద్ద డేటా-ఫోకస్డ్ డెవలప్‌మెంట్ చేయాలి ఎందుకంటే ఈ భాషలు నిర్మాణాత్మక డేటా ప్రాసెసింగ్‌కు బాగా సరిపోతాయి.
ముగింపు
హడూప్‌ను ఉపయోగించడంలో ఎదుర్కొంటున్న ప్రజల సమస్యలకు హడూప్‌లోని SQL సమాధానం కాదా అనే దానిపై జ్యూరీ ఇంకా లేదు. కానీ స్పష్టంగా, హడూప్ యొక్క స్వంత డేటా ప్రశ్న సామర్థ్యాలకు పరిశ్రమకు మంచి ప్రత్యామ్నాయం అవసరం, మరియు ఆ ప్రత్యామ్నాయం ఇంటరాక్టివ్‌గా ఉండాలి. హడూప్ సాధనాల్లోని SQL ఇంటరాక్టివ్ అనలిటిక్స్ను అందిస్తుంది, ఇది ఉపయోగపడుతుంది. ఎంటర్ప్రైజెస్ సంక్లిష్టమైన, సమయం తీసుకునే విశ్లేషణల నుండి అర్ధవంతం చేయడానికి ప్రయత్నిస్తున్నప్పుడు సమయాన్ని వృథా చేయకూడదు. ప్రస్తుతానికి, సంస్థలు హడూప్ సాధనాలపై SQL ను చాలా ఉపయోగకరంగా కనుగొంటున్నాయి.