విషయము
- బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
- డౌన్ టు బిజినెస్
- డేటా నిర్వహణను కాఫ్కా ఎలా మారుస్తుంది
Takeaway:
వ్యాపార వ్యక్తుల కోసం లింక్డ్ఇన్ ఏమి చేస్తుందో సమాచార వ్యవస్థల కోసం కాఫ్కా చేస్తుంది: వాటిని విస్తృత పరిధిలో కనెక్ట్ చేయండి.
ఇప్పటికీ లేని దానిపై ఉద్రేకంతో నమ్మడం ద్వారా, మేము దానిని సృష్టిస్తాము. ఉనికిలో లేనిది మనం తగినంతగా కోరుకోనిది.~ ఫ్రాంజ్ కాఫ్కా
అవసరం ఆవిష్కరణకు తల్లిగా మిగిలిపోయింది. ఒక తెలివిగల కన్సల్టెంట్ ఒకసారి నాకు చెప్పినట్లుగా, "ఒక సంస్థలో ఏదైనా జరగవలసి వస్తే, అది జరుగుతోంది." అతని పాయింట్ రెండు రెట్లు: 1) కొంతమంది వ్యక్తులు పనులను పూర్తి చేయడానికి ఎల్లప్పుడూ ఒక మార్గాన్ని కనుగొంటారు; మరియు, 2) సీనియర్ మేనేజ్మెంట్, లేదా మిడిల్ మేనేజ్మెంట్, వారి స్వంత స్థాపనలో పనులు ఎలా జరుగుతాయో తెలియదు.
డేటా నిర్వహణ యొక్క మొత్తం విశ్వానికి మేము ఆ రూపకాన్ని విస్తరిస్తే, ప్రస్తుతం ఒక పరివర్తన జరుగుతున్నట్లు మనం చూడవచ్చు. పెద్ద డేటా యొక్క ముడి పీడనం, స్ట్రీమింగ్ డేటా యొక్క అక్షంతో కలిపి, చాలా ఒత్తిడిని సృష్టిస్తుంది, లెగసీ సిస్టమ్స్ అంచుల వద్ద విరుచుకుపడతాయి, పూర్తిగా కూలిపోకపోతే. ఏదేమైనా, ఈ వాస్తవికత గురించి పెద్దగా తెలియని లెక్కలేనన్ని నిపుణులు ఈ క్షణంలోనే తమ ఉద్యోగాల గురించి తెలుసుకుంటున్నారు.
డేటా-ఆధారిత, డేటా-ఆధారిత సంస్థలకు ముందు-వరుస సీటు ఉంది మరియు అనేక విధాలుగా ఈ మార్పుకు కారణమవుతున్నాయి. యాహూ !, మరియు లింక్డ్ఇన్ వంటి పవర్‌హౌస్‌లు ఎంటర్ప్రైజ్ సాఫ్ట్‌వేర్ పరిశ్రమను ఓపెన్ సోర్స్‌కు తమ అద్భుతమైన విరాళాలతో ఎలా పక్కకు తిప్పాయో పరిశీలించండి: హడూప్, కాసాండ్రా మరియు ఇప్పుడు కాఫ్కా, ఇవన్నీ అపాచీ ఫౌండేషన్ చేత కాపాడబడ్డాయి, ఈ మెటామార్ఫోసిస్‌లో కేంద్ర ఆటగాడు .
ఈ మార్పుల ఫలితం ఏమిటి? ఈ రోజు సాక్ష్యమిచ్చేది డేటా మేనేజ్మెంట్ యొక్క వర్గీకరణ పున lass వర్గీకరణ మరియు పునర్నిర్మాణం. లెగసీ వ్యవస్థలు ఇప్పుడు తీసివేయబడతాయి మరియు భర్తీ చేయబడతాయి అని చెప్పలేము. చికాగో కబ్స్ వరల్డ్ సిరీస్‌ను గెలుచుకున్నప్పుడల్లా లెగసీ వ్యవస్థల హోల్‌సేల్ రద్దు జరుగుతుందని ఏదైనా పరిశ్రమ అనుభవజ్ఞుడు మీకు చెప్తారు. ఇది చాలా అరుదైన సంఘటన.
నిజంగా ఏమి జరుగుతుందంటే, పాత-ప్రపంచ వ్యవస్థల చుట్టూ ఒక సూపర్-నిర్మాణం నిర్మించబడుతోంది. అంతర్రాష్ట్ర రహదారుల యొక్క సారూప్యతను పరిగణించండి, ఇవి తరచూ వారు పనిచేస్తున్న నగరాలు మరియు పట్టణాల కంటే ఎక్కువగా ఉంటాయి, ఈ జనాభా కేంద్రాల్లోకి ప్రజలను మరియు సరుకును సరఫరా చేయడానికి రూపొందించబడ్డాయి మరియు ఎవరికైనా మరియు వాటిలో దేనికైనా పురోగతిని అందిస్తాయి. హై-స్పీడ్ ప్రత్యామ్నాయాలతో వాటిని పెంచేంతవరకు అవి ఉన్న రహదారులను భర్తీ చేయవు.
అపాచీ కాఫ్కా చేసేది అదే: ఇది సమాచార వ్యవస్థల మధ్య మరియు మధ్య డేటా కదలిక కోసం హై-స్పీడ్ మార్గాలను అందిస్తుంది. హైవే సారూప్యతను అనుసరించడానికి, ఇప్పటికీ చాలా కంపెనీలు సరళ క్యూలను ఉపయోగిస్తున్నాయి, లేదా పాత ప్రమాణం ETL (ఎక్స్‌ట్రాక్ట్-ట్రాన్స్ఫార్మ్-లోడ్); కానీ ఈ మార్గాలు తక్కువ వేగ పరిమితులను కలిగి ఉంటాయి మరియు చాలా గుంతలు ఉన్నాయి; అంతేకాకుండా, నిర్వహణ ఖర్చులు తరచుగా అధికంగా ఉంటాయి; సంకేతాలు పేలవంగా ఉన్నాయి.
డేటాను పంపిణీ చేయడానికి కాఫ్కా ప్రత్యామ్నాయ పద్ధతిని అందిస్తుంది, ఇది నిజ-సమయ, స్కేలబుల్ మరియు మన్నికైనది. దీని అర్థం కాఫ్కా డేటా కదలిక వాహనం మాత్రమే కాదు, డేటా రెప్లికేటర్ కూడా; మరియు కొంతవరకు, పంపిణీ చేయబడిన డేటాబేస్ టెక్నాలజీ. కాఫ్కా ఇంకా క్రీడ చేయని ACID- కంప్లైంట్ డేటాబేస్ యొక్క లక్షణాలు ఉన్నందున, సారూప్యతను చాలా దూరం తీసుకోవడంలో మనం జాగ్రత్తగా ఉండాలి. ఇప్పటికీ, మార్పు నిజమైనది.
సమాచార ప్రకృతి దృశ్యానికి ఇది గొప్ప వార్త, ఎందుకంటే డేటా ఇప్పుడు దేశం గురించి మరియు ప్రపంచం గురించి కదలకుండా ఉచితం. ఒకప్పుడు బాధాకరమైన అడ్డంకి, ఇటిఎల్ ప్రక్రియల కోసం బ్యాచ్ కిటికీలను కొట్టడం, ఇప్పుడు పొగమంచు వేడి ఎండ యొక్క కాంతి కింద ఆకాశాలను క్లియర్ చేయడానికి దారి తీస్తుంది. డేటాను ఒక వ్యవస్థ నుండి మరొక వ్యవస్థకు తరలించేటప్పుడు సరిహద్దురేఖ అతుకులుగా మారుతుంది, కొత్త అవకాశాల యుగం ప్రారంభమవుతుంది.
బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
సాఫ్ట్‌వేర్ నాణ్యత గురించి ఎవరూ పట్టించుకోనప్పుడు మీరు మీ ప్రోగ్రామింగ్ నైపుణ్యాలను మెరుగుపరచలేరు.
క్రొత్త భవిష్యత్తుకు వెళ్లే రహదారిపై మానవులు చాలా ఘర్షణను సూచిస్తారు. పాత అలవాట్లు తీవ్రంగా చనిపోతాయి. ఎంటర్ప్రైజ్ సిస్టమ్స్లో టోకు మార్పులు చేయడం గురించి సిఐఓ చాలా ఉత్సాహంగా ఉంది. పాత్ర యొక్క ఒక సీనియర్ సీనియర్ ఎగ్జిక్యూటివ్ ఇలా అన్నాడు: "ఒంటరిగా ఉండటానికి సిద్ధంగా ఉండండి." ఆ వ్యాఖ్య చేసిన ఏడాదిలోనే ఆయన కన్సల్టెంట్. ఇది సులభమైన మార్గం కాదు, ఎంటర్ప్రైజ్ డేటా యొక్క అసాధారణమైన ప్రపంచాన్ని నిర్వహించడానికి ప్రయత్నిస్తుంది.
శుభవార్త ఏమిటంటే కాఫ్కా భవిష్యత్తుకు ఆన్ ర్యాంప్‌ను అందిస్తుంది. ఇది అధిక శక్తితో కూడిన, బహుముఖ బస్సుగా పనిచేస్తున్నందున, ఇది లెగసీ సిస్టమ్స్ మరియు వాటి ముందుకు కనిపించే ప్రతిరూపాల మధ్య వంతెనలను సృష్టిస్తుంది. ఈ విధంగా, ఓపెన్ మైండ్స్‌తో మరియు తగినంత బడ్జెట్‌తో ఈ కొత్త అవకాశాన్ని స్వీకరించే సంస్థలు పాతవాటిని వదలకుండా కొత్త ప్రపంచంలోకి అడుగు పెట్టగలవు. ఇది చాలా పెద్ద విషయం.
డౌన్ టు బిజినెస్
అపాచీ కాఫ్కా ఒక ఓపెన్ సోర్స్ టెక్నాలజీ, ఎవరికైనా డౌన్‌లోడ్ చేసుకోవడానికి మరియు ఉపయోగించడానికి ఉచితం, లింక్డ్ఇన్ కోసం ఈ సాఫ్ట్‌వేర్‌ను సృష్టించిన వారిని కన్ఫ్లూయెంట్ అనే ప్రత్యేక సంస్థను విడదీశారు, ఇది సంస్థ ఉపయోగం కోసం సమర్పణను కఠినతరం చేయడంపై దృష్టి పెడుతుంది. క్లౌడెరా, హోర్టన్‌వర్క్స్ మరియు మ్యాప్‌ఆర్ వంటివి తమ వ్యాపారాలను అపాచీ హడూప్ యొక్క ఓపెన్ సోర్స్ ప్రాజెక్ట్ చుట్టూ నిర్మించాయి, కాబట్టి సంగమం కాఫ్కాను డబ్బు ఆర్జించడానికి ప్రయత్నిస్తుంది.
ఇటీవలి ఇన్సైడ్ అనాలిసిస్ ఇంటర్వ్యూలో, సంగమ CEO మరియు సహ వ్యవస్థాపకుడు జే క్రెప్స్ లింక్డ్ఇన్ వద్ద దాని మూలాన్ని వివరించారు:
"మేము అక్కడ ఒక జంట వేర్వేరు సమస్యలను పరిష్కరించడానికి ప్రయత్నిస్తున్నాము. ఒకటి, మాకు ఈ విభిన్న డేటా సిస్టమ్స్ వివిధ రకాల డేటాతో ఉన్నాయి. మాకు డేటాబేస్లు ఉన్నాయి మరియు మాకు లాగ్ ఫైల్స్ ఉన్నాయి మరియు మాకు సర్వర్ల గురించి కొలమానాలు ఉన్నాయి మరియు వినియోగదారులు విషయాలపై క్లిక్ చేశారు. ఆ డేటా మొత్తాన్ని పొందడం - అది పెద్దదిగా - నిజంగా కష్టమే. మీరు దాన్ని అనువర్తనాలు, లేదా ప్రాసెసింగ్ లేదా అవసరమైన వ్యవస్థలకు పొందగలిగితే మాత్రమే డేటా యొక్క శక్తి ఉంటుంది. అది పెద్ద సమస్య.
"మాకు ఉన్న ఇతర సమస్య ఏమిటంటే, మేము హడూప్‌ను దత్తత తీసుకున్నాము, అది నేను పాల్గొన్న విషయం. మేము ఈ అద్భుతమైన ఆఫ్‌లైన్ ప్రాసెసింగ్ ప్లాట్‌ఫామ్‌ను కలిగి ఉన్నాము, అది మేము స్కేల్ చేయగలము మరియు మేము మా మొత్తం డేటాను ఉంచగలము. సమయం. డేటా యొక్క నిరంతర తరం ఉంది. మా డేటా నుండి వ్యాపారం యొక్క ముఖ్య భాగాలను నిర్మించడానికి మేము ప్రయత్నించినప్పుడు ఈ అసమతుల్యత ఎప్పుడూ ఉంది; రోజుకు ఒకసారి, రాత్రికి, మరియు మరుసటి రోజు నాటికి ఫలితాలను ఉత్పత్తి చేసే వాటి మధ్య, మరియు ఈ రకమైన నిరంతర డేటా - సంక్షిప్త సంకర్షణ సమయాలు - మీరు కలుసుకోవలసి వచ్చింది. కొంతకాలం అకాడెమియాలో ఉన్న ఏదో ఒకటి చేయాలనుకుంటున్నాము, కాని నిజంగా ఒక ప్రధాన స్రవంతి విషయం కాదు, ఇది చేయగలగాలి డేటా స్ట్రీమ్‌లను వారు కూర్చున్నట్లుగా కాకుండా ఉత్పత్తి చేయబడినప్పుడు వాటిని నొక్కండి మరియు ప్రాసెస్ చేయండి. "
బాగా. సంగమం ఇప్పుడు అన్ని ఆకారాలు మరియు పరిమాణాల ఎంటర్ప్రైజ్ డేటాతో చేయటానికి ప్రయత్నిస్తుంది. నాటకంలో అవకాశం? గ్రీన్ఫీల్డ్. స్పష్టముగా, ఎంటర్ప్రైజ్ సాఫ్ట్‌వేర్ యొక్క మొత్తం చరిత్రలో, ఈ టెక్నాలజీకి అడ్రస్ చేయదగిన మార్కెట్ ఖచ్చితంగా కేక్ తీసుకుంటుందని వాదించవచ్చు. ఈ సాంకేతిక పరిజ్ఞానం నుండి భారీగా ప్రయోజనం పొందలేని ఒక పెద్ద సంస్థ లేదా డేటా-భారీ చిన్న వ్యాపారం కూడా లేదు.
ఈ సాంకేతిక పరిజ్ఞానం యొక్క నాడీ కారకం కారణంగా ఇది ప్రత్యేకంగా వర్తిస్తుంది; పాల్గొన్న మనస్సులే కాదు, సమాచార వ్యవస్థల కోసం కాఫ్కా చేసే స్వభావం. ఒక సంస్థ అంతటా డేటా కదలికను నిర్వహించడానికి కాఫ్కాను ఉపయోగించవచ్చు కాబట్టి, దీనిని కేవలం ట్రాఫిక్ పోలీసుల కంటే ఎక్కువగా చూడవచ్చు, కానీ ఆపరేషన్ యొక్క మెదడులే. ఆ దృష్టి యొక్క ప్రారంభ దశలో ఉండేది, కాని మిగిలినవి దాని నిజమైనవి.
డేటా నిర్వహణను కాఫ్కా ఎలా మారుస్తుంది
డేటా నిర్వహణ యొక్క స్వభావాన్ని కాఫ్కా ఎలా మారుస్తుందో అర్థం చేసుకోవడానికి, లింక్డ్ఇన్ నెట్‌వర్కింగ్‌ను మార్చిన మార్గాల గురించి ఆలోచించండి. సహోద్యోగులను కనుగొనడం చాలా సులభం; ప్రజలతో సన్నిహితంగా ఉండటం ఇప్పుడు ఒక క్షణం. వ్యాపార వ్యక్తుల కోసం లింక్డ్ఇన్ ఏమి చేస్తుందో సమాచార వ్యవస్థల కోసం కాఫ్కా చేస్తుంది: వాటిని ఈ భూమి యొక్క విశాల పరిధిలో కనెక్ట్ చేయండి.
సాఫ్ట్‌వేర్ డెవలప్‌మెంట్ మరియు క్లోజ్డ్ సోర్స్ మనస్తత్వాన్ని విడదీయడం ద్వారా నడిచే ఉద్యమం, న్యూ-ఇన్నోవేషన్ అని పిలవబడే సంగమం యొక్క స్పిన్‌ఆఫ్, ఓపెన్-సోర్స్ టెక్నాలజీ సృష్టికర్తలచే మార్గనిర్దేశం చేయబడుతుంది, పెద్ద మొత్తంలో వెంచర్ క్యాపిటల్‌కు ఆజ్యం పోస్తుంది, డబ్బు ఆర్జించబడుతుంది సంస్థలు మరియు వ్యక్తులు డేటాను ఎలా సృష్టించాలో, సేకరించడం, విశ్లేషించడం మరియు పరపతి పొందడం వంటివి విప్లవాత్మకంగా మార్చడానికి ప్రయత్నిస్తున్న లాభాపేక్షలేని సంస్థలు.
ఫ్రాంజ్ కాఫ్కాను ఉటంకిస్తూ, "ఒక నిర్దిష్ట స్థానం నుండి, ఇకపై వెనక్కి తిరగడం లేదు. అది తప్పక చేరుకోవాలి."
మేము రూబికాన్ దాటిపోయాము. ఇప్పుడు వెనక్కి తిరగడం లేదు.