![5 నిమిషాల్లో బిగ్ డేటా | బిగ్ డేటా అంటే ఏమిటి?| బిగ్ డేటా పరిచయం |Big Data Explained |Simplelearn](https://i.ytimg.com/vi/bAyrObl7TYE/hqdefault.jpg)
విషయము
- పంపిణీ ప్రోగ్రామింగ్ ఫ్రేమ్వర్క్లలో భద్రతా సమస్యలు
- డేటా మరియు లావాదేవీ లాగ్ సమస్యలు
- డేటా ధ్రువీకరణ సమస్యలు
- రియల్ టైమ్ బిగ్ డేటా సెక్యూరిటీ మానిటరింగ్
- బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్వేర్ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
- భద్రతా బెదిరింపులను ఎదుర్కొనే వ్యూహాలు
- డిస్ట్రిబ్యూటెడ్ ప్రోగ్రామింగ్ ఫ్రేమ్వర్క్స్లో విశ్వసనీయతను మెరుగుపరచడం
- బలమైన డేటా రక్షణ విధానాలు
- విశ్లేషణ
- డేటాను సేకరిస్తున్నప్పుడు అవుట్లియర్లను గుర్తించండి
- ముగింపు
మూలం: క్యూటిమేజ్ / డ్రీమ్స్టైమ్.కామ్
Takeaway:
క్లౌడ్లోని పెద్ద డేటాకు అతిపెద్ద బెదిరింపులను అన్వేషించండి మరియు వాటి నుండి రక్షించే మార్గాలను తెలుసుకోండి.
పెద్ద డేటా యొక్క పరిమాణం రోజురోజుకు పెరుగుతోంది. 2012 లో 2,500 ఎక్సాబైట్ల నుండి, పెద్ద డేటా 2020 లో 40,000 ఎక్సాబైట్లకు పెరుగుతుందని అంచనా. అందువల్ల, డేటా నిల్వ అనేది క్లౌడ్ మౌలిక సదుపాయాలు మాత్రమే నిర్వహించగల తీవ్రమైన సవాలు. క్లౌడ్ ఒక ప్రసిద్ధ ఎంపికగా మారింది, ఎందుకంటే దాని అపారమైన నిల్వ సామర్థ్యం మరియు చందాదారులపై ఎటువంటి బాధ్యతలను విధించని దాని నిబంధనలు మరియు ఉపయోగ నిబంధనలు. క్లౌడ్ నిల్వను ముందుగా నిర్ణయించిన కాలానికి చందాలు మరియు సేవల రూపంలో అందించవచ్చు. ఆ తరువాత, దానిని పునరుద్ధరించడానికి క్లయింట్ యొక్క బాధ్యత లేదు.
ఏదేమైనా, క్లౌడ్లో పెద్ద డేటాను నిల్వ చేయడం కొత్త భద్రతా సవాళ్లను తెరుస్తుంది, ఇది సాధారణ, స్టాటిక్ డేటా కోసం అనుసరించే భద్రతా చర్యలను ఎదుర్కోదు. పెద్ద డేటా ఒక నవల భావన కానప్పటికీ, దాని సేకరణ మరియు ఉపయోగం ఇటీవలి సంవత్సరాలలో మాత్రమే వేగవంతం కావడం ప్రారంభించింది. గతంలో, పెద్ద డేటా నిల్వ మరియు విశ్లేషణ పెద్ద సంస్థలకు మరియు డేటా నిల్వ మరియు మైనింగ్కు అవసరమైన మౌలిక సదుపాయాలను భరించగలిగే ప్రభుత్వానికి మాత్రమే పరిమితం చేయబడ్డాయి. ఇటువంటి మౌలిక సదుపాయాలు యాజమాన్యమైనవి మరియు సాధారణ నెట్వర్క్లకు బహిర్గతం కాలేదు. అయితే, పెద్ద డేటా ఇప్పుడు పబ్లిక్ క్లౌడ్ మౌలిక సదుపాయాల ద్వారా అన్ని రకాల సంస్థలకు చౌకగా లభిస్తుంది. తత్ఫలితంగా, కొత్త, అధునాతన భద్రతా బెదిరింపులు తలెత్తాయి మరియు అవి గుణించి అభివృద్ధి చెందుతూనే ఉన్నాయి.
పంపిణీ ప్రోగ్రామింగ్ ఫ్రేమ్వర్క్లలో భద్రతా సమస్యలు
పంపిణీ చేయబడిన ప్రోగ్రామింగ్ ఫ్రేమ్వర్క్లు సమాంతర గణన మరియు నిల్వ పద్ధతులతో పెద్ద డేటాను ప్రాసెస్ చేస్తాయి. అటువంటి ఫ్రేమ్వర్క్లలో, ప్రామాణీకరించని లేదా సవరించిన మ్యాపర్లు - భారీ పనులను చిన్న ఉప-పనులుగా విభజిస్తాయి, తద్వారా తుది అవుట్పుట్ను రూపొందించడానికి పనులు సమగ్రపరచబడతాయి - డేటాను రాజీ చేయవచ్చు. తప్పు లేదా సవరించిన వర్కర్ నోడ్లు - పనులను అమలు చేయడానికి మాపర్ నుండి ఇన్పుట్లను తీసుకుంటాయి - మాపర్ మరియు ఇతర వర్కర్ నోడ్ల మధ్య డేటా కమ్యూనికేషన్ను నొక్కడం ద్వారా డేటాను రాజీ చేయవచ్చు. రోగ్ వర్కర్ నోడ్స్ చట్టబద్ధమైన వర్కర్ నోడ్ల కాపీలను కూడా సృష్టించగలవు. ఇంత భారీ ఫ్రేమ్వర్క్లో రోగ్ మ్యాపర్లను లేదా నోడ్లను గుర్తించడం చాలా కష్టం అనే వాస్తవం డేటా భద్రతను మరింత సవాలుగా చేస్తుంది.
చాలా క్లౌడ్-ఆధారిత డేటా ఫ్రేమ్వర్క్లు NoSQL డేటాబేస్ను ఉపయోగిస్తాయి. భారీ, నిర్మాణాత్మక డేటా సెట్లను నిర్వహించడానికి NoSQL డేటాబేస్ ప్రయోజనకరంగా ఉంటుంది, కానీ భద్రతా కోణం నుండి, ఇది సరిగా రూపొందించబడలేదు. NoSQL వాస్తవానికి భద్రతా విషయాలను దృష్టిలో పెట్టుకోకుండా రూపొందించబడింది. NoSQL యొక్క అతిపెద్ద బలహీనతలలో ఒకటి లావాదేవీ సమగ్రత. ఇది పేలవమైన ప్రామాణీకరణ విధానాలను కలిగి ఉంది, ఇది మనిషి-మధ్య-మధ్య లేదా రీప్లే దాడులకు హాని కలిగిస్తుంది. విషయాలను మరింత దిగజార్చడానికి, ప్రామాణీకరణ విధానాలను బలోపేతం చేయడానికి NoSQL మూడవ పార్టీ మాడ్యూల్ ఇంటిగ్రేషన్కు మద్దతు ఇవ్వదు. ప్రామాణీకరణ యంత్రాంగాలు చాలా సరళంగా ఉన్నందున, డేటా అంతర్గత దాడులకు కూడా గురవుతుంది. పేలవమైన లాగింగ్ మరియు లాగ్ విశ్లేషణ విధానాల కారణంగా దాడులు గుర్తించబడవు మరియు గుర్తించబడవు.
డేటా మరియు లావాదేవీ లాగ్ సమస్యలు
డేటా సాధారణంగా బహుళ-శ్రేణి నిల్వ మాధ్యమంలో నిల్వ చేయబడుతుంది. వాల్యూమ్ సాపేక్షంగా చిన్నది మరియు స్థిరంగా ఉన్నప్పుడు డేటాను ట్రాక్ చేయడం చాలా సులభం. కానీ వాల్యూమ్ విపరీతంగా పెరిగినప్పుడు, ఆటో-టైరింగ్ పరిష్కారాలు ఉపయోగించబడతాయి. ఆటో-టైరింగ్ పరిష్కారాలు వేర్వేరు శ్రేణులలో డేటాను నిల్వ చేస్తాయి కాని స్థానాలను ట్రాక్ చేయవు. ఇది భద్రతా సమస్య. ఉదాహరణకు, ఒక సంస్థ చాలా అరుదుగా ఉపయోగించబడే రహస్య డేటాను కలిగి ఉండవచ్చు. ఏదేమైనా, ఆటో-టైరింగ్ పరిష్కారాలు సున్నితమైన మరియు నాన్-సెన్సిటివ్ డేటా మధ్య తేడాను గుర్తించవు మరియు అరుదుగా ప్రాప్యత చేయబడిన డేటాను దిగువ శ్రేణిలో నిల్వ చేస్తాయి. దిగువ శ్రేణికి అందుబాటులో ఉన్న అతి తక్కువ భద్రత ఉంది.
డేటా ధ్రువీకరణ సమస్యలు
ఒక సంస్థలో, సాఫ్ట్వేర్ అనువర్తనాలు మరియు హార్డ్వేర్ పరికరాలు వంటి ఎండ్పాయింట్ పరికరాలను కలిగి ఉన్న వివిధ వనరుల నుండి పెద్ద డేటాను సేకరించవచ్చు. సేకరించిన డేటా హానికరం కాదని నిర్ధారించుకోవడం పెద్ద సవాలు. హానికరమైన ఉద్దేశాలు ఉన్న ఎవరైనా డేటాను అందించే పరికరంతో లేదా డేటాను సేకరించే అనువర్తనంతో దెబ్బతినవచ్చు. ఉదాహరణకు, ఒక హ్యాకర్ సిస్టమ్పై సిబిల్ దాడిని తెచ్చి, ఆపై సెంట్రల్ కలెక్షన్ సర్వర్ లేదా సిస్టమ్కు హానికరమైన డేటాను అందించడానికి నకిలీ ఐడెంటిటీలను ఉపయోగించవచ్చు. మీ స్వంత పరికరం (BYOD) దృష్టాంతంలో ఈ ముప్పు ముఖ్యంగా వర్తిస్తుంది ఎందుకంటే వినియోగదారులు తమ వ్యక్తిగత పరికరాలను ఎంటర్ప్రైజ్ నెట్వర్క్లో ఉపయోగించవచ్చు.
రియల్ టైమ్ బిగ్ డేటా సెక్యూరిటీ మానిటరింగ్
డేటా యొక్క నిజ-సమయ పర్యవేక్షణ పెద్ద సవాలు ఎందుకంటే మీరు పెద్ద డేటా అవస్థాపన మరియు అది ప్రాసెస్ చేస్తున్న డేటా రెండింటినీ పర్యవేక్షించాలి. ఇంతకుముందు ఎత్తి చూపినట్లుగా, క్లౌడ్లోని పెద్ద డేటా మౌలిక సదుపాయాలు నిరంతరం బెదిరింపులకు గురవుతాయి. హానికరమైన ఎంటిటీలు సిస్టమ్ను సవరించగలవు, తద్వారా ఇది డేటాను యాక్సెస్ చేస్తుంది మరియు తరువాత కనికరం లేకుండా తప్పుడు పాజిటివ్లను ఉత్పత్తి చేస్తుంది. తప్పుడు పాజిటివ్లను విస్మరించడం చాలా ప్రమాదకరం. దీని పైన, ఈ ఎంటిటీలు ఎగవేత దాడులను నిర్మించడం ద్వారా గుర్తించకుండా తప్పించుకోవడానికి ప్రయత్నించవచ్చు లేదా ప్రాసెస్ చేయబడుతున్న డేటా యొక్క విశ్వసనీయతను తగ్గించడానికి డేటా పాయిజనింగ్ను కూడా ఉపయోగించవచ్చు.
బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్వేర్ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
సాఫ్ట్వేర్ నాణ్యత గురించి ఎవరూ పట్టించుకోనప్పుడు మీరు మీ ప్రోగ్రామింగ్ నైపుణ్యాలను మెరుగుపరచలేరు.
భద్రతా బెదిరింపులను ఎదుర్కొనే వ్యూహాలు
పెద్ద డేటా భద్రతా వ్యూహాలు ఇప్పటికీ ప్రారంభ దశలోనే ఉన్నాయి, కానీ అవి త్వరగా అభివృద్ధి చెందాలి. భద్రతా బెదిరింపులకు సమాధానాలు నెట్వర్క్లోనే ఉన్నాయి. నెట్వర్క్ భాగాలకు సంపూర్ణ విశ్వసనీయత అవసరం మరియు బలమైన డేటా రక్షణ వ్యూహాలతో సాధించవచ్చు. సడలింపు డేటా రక్షణ చర్యలకు సున్నా సహనం ఉండాలి. ఈవెంట్ లాగ్లను సేకరించడానికి మరియు విశ్లేషించడానికి బలమైన, స్వయంచాలక విధానం కూడా ఉండాలి.
డిస్ట్రిబ్యూటెడ్ ప్రోగ్రామింగ్ ఫ్రేమ్వర్క్స్లో విశ్వసనీయతను మెరుగుపరచడం
ఇంతకుముందు ఎత్తి చూపినట్లుగా, అవిశ్వసనీయ మ్యాపర్లు మరియు వర్కర్ నోడ్లు డేటా భద్రతను రాజీ చేయవచ్చు. కాబట్టి, మ్యాపర్లు మరియు నోడ్ల విశ్వసనీయత అవసరం. దీన్ని చేయడానికి, మ్యాపర్లు వర్కర్ నోడ్లను క్రమం తప్పకుండా ప్రామాణీకరించాలి. ఒక కార్మికుడు నోడ్ మాస్టర్కు కనెక్షన్ అభ్యర్థన చేసినప్పుడు, అభ్యర్థికి ముందే నిర్వచించబడిన విశ్వసనీయ లక్షణాల సమూహానికి లోబడి అభ్యర్థన ఆమోదించబడుతుంది. ఆ తరువాత, ట్రస్ట్ మరియు భద్రతా విధానాలకు అనుగుణంగా కార్మికుడిని క్రమం తప్పకుండా సమీక్షిస్తారు.
బలమైన డేటా రక్షణ విధానాలు
పంపిణీ చేయబడిన ఫ్రేమ్వర్క్లో అంతర్గతంగా బలహీనమైన డేటా రక్షణ మరియు NoSQL డేటాబేస్ కారణంగా డేటాకు భద్రతా బెదిరింపులు పరిష్కరించాల్సిన అవసరం ఉంది. పాస్వర్డ్లను సురక్షితమైన హాషింగ్ అల్గారిథమ్లతో హాష్ చేయాలి లేదా గుప్తీకరించాలి. పనితీరు ప్రభావాన్ని పరిగణనలోకి తీసుకున్న తర్వాత కూడా విశ్రాంతి వద్ద ఉన్న డేటా ఎల్లప్పుడూ గుప్తీకరించబడాలి మరియు బహిరంగంగా ఉంచకూడదు. హార్డ్వేర్ మరియు బల్క్ ఫైల్ ఎన్క్రిప్షన్ ప్రకృతిలో వేగంగా ఉంటాయి మరియు ఇది పనితీరు సమస్యలను కొంతవరకు పరిష్కరించగలదు, అయితే హార్డ్వేర్ ఉపకరణాల గుప్తీకరణను కూడా దాడి చేసేవారు ఉల్లంఘించవచ్చు. పరిస్థితిని పరిశీలిస్తే, క్లయింట్ మరియు సర్వర్ మధ్య కనెక్షన్లను స్థాపించడానికి మరియు క్లస్టర్ నోడ్లలో కమ్యూనికేషన్ కోసం SSL / TLS ను ఉపయోగించడం మంచి పద్ధతి. అదనంగా, NoSQL నిర్మాణం ప్లగ్ చేయగల మూడవ పార్టీ ప్రామాణీకరణ మాడ్యూళ్ళను అనుమతించాల్సిన అవసరం ఉంది.
విశ్లేషణ
క్లస్టర్ నోడ్లకు అనుమానాస్పద కనెక్షన్లను పర్యవేక్షించడానికి మరియు గుర్తించడానికి మరియు ఏదైనా సంభావ్య బెదిరింపులను గుర్తించడానికి లాగ్లను నిరంతరం గని చేయడానికి పెద్ద డేటా విశ్లేషణలను ఉపయోగించవచ్చు. హడూప్ పర్యావరణ వ్యవస్థకు అంతర్నిర్మిత భద్రతా యంత్రాంగాలు లేనప్పటికీ, అనుమానాస్పద కార్యకలాపాలను పర్యవేక్షించడానికి మరియు గుర్తించడానికి ఇతర సాధనాలను ఉపయోగించవచ్చు, ఈ సాధనాలు కొన్ని ప్రమాణాలను నెరవేరుస్తాయి. ఉదాహరణకు, ఇటువంటి సాధనాలు ఓపెన్ వెబ్ అప్లికేషన్ సెక్యూరిటీ ప్రాజెక్ట్ (OWASP) మార్గదర్శకాలకు అనుగుణంగా ఉండాలి. ఇప్పటికే జరుగుతున్న కొన్ని పరిణామాలతో సంఘటనల నిజ-సమయ పర్యవేక్షణ మెరుగుపడుతుందని భావిస్తున్నారు. ఉదాహరణకు, సెక్యూరిటీ కంటెంట్ ఆటోమేషన్ ప్రోటోకాల్ (SCAP) క్రమంగా పెద్ద డేటాకు వర్తించబడుతుంది. అపాచీ కాఫ్కా మరియు తుఫాను మంచి నిజ-సమయ పర్యవేక్షణ సాధనాలు అని హామీ ఇస్తున్నాయి.
డేటాను సేకరిస్తున్నప్పుడు అవుట్లియర్లను గుర్తించండి
డేటా సేకరణ సమయంలో అనధికార చొరబాట్లను పూర్తిగా నిరోధించడానికి ఇప్పటికీ చొరబాటు-ప్రూఫ్ వ్యవస్థ అందుబాటులో లేదు. అయితే, చొరబాట్లను గణనీయంగా తగ్గించవచ్చు. మొదట, డేటా సేకరణ అనువర్తనాలు సాధ్యమైనంత సురక్షితంగా ఉండేలా అభివృద్ధి చేయాలి, అనువర్తనం అనేక అవిశ్వసనీయ పరికరాల్లో నడుస్తున్నప్పుడు BYOD దృష్టాంతాన్ని దృష్టిలో ఉంచుకుని. రెండవది, నిర్ణీత దాడి చేసేవారు కేంద్ర సేకరణ వ్యవస్థకు బలమైన రక్షణ మరియు హానికరమైన డేటాను కూడా ఉల్లంఘిస్తారు. కాబట్టి, అటువంటి హానికరమైన ఇన్పుట్లను గుర్తించడానికి మరియు ఫిల్టర్ చేయడానికి అల్గోరిథంలు ఉండాలి.
ముగింపు
క్లౌడ్లోని పెద్ద డేటా దుర్బలత్వం ప్రత్యేకమైనవి మరియు సాంప్రదాయ భద్రతా చర్యల ద్వారా పరిష్కరించబడవు. క్లౌడ్లో పెద్ద డేటా రక్షణ ఇప్పటికీ క్రొత్త ప్రాంతం, ఎందుకంటే నిజ-సమయ పర్యవేక్షణ వంటి కొన్ని ఉత్తమ పద్ధతులు ఇంకా అభివృద్ధి చెందుతున్నాయి మరియు అందుబాటులో ఉన్న ఉత్తమ పద్ధతులు లేదా చర్యలు ఖచ్చితంగా ఉపయోగించబడవు. అయినప్పటికీ, పెద్ద డేటా ఎంత లాభదాయకంగా ఉందో పరిశీలిస్తే, సమీప భవిష్యత్తులో భద్రతా చర్యలు ఖచ్చితంగా వస్తాయి.