విషయము
- స్కెప్టిక్స్ క్లబ్
- కన్వల్యూషనల్ న్యూరల్ నెట్‌వర్క్‌లు (సిఎన్‌ఎన్‌లు)
- బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
- దీర్ఘకాలిక స్వల్పకాలిక మెమరీ (LSTM) యూనిట్లు
- జనరేటివ్ అడ్వర్సరియల్ నెట్‌వర్క్స్ (GAN)
- తీర్మానాలు
మూలం: Vs1489 / Dreamstime.com
Takeaway:
"లోతైన అభ్యాసం" అనేది అధునాతన న్యూరల్ నెట్‌వర్క్‌లకు మరొక పేరు, లేదా దాని కంటే ఎక్కువ ఉందా? లోతైన అభ్యాసంతో పాటు నాడీ నెట్‌వర్క్‌లలో ఇటీవలి పురోగతిని పరిశీలిస్తాము.
స్కెప్టిక్స్ క్లబ్
మీరు నా లాంటి స్కెప్టిక్స్ క్లబ్‌కు చెందినవారైతే, లోతైన అభ్యాసం గురించి అన్ని రచ్చలు ఏమిటో మీరు కూడా ఆలోచిస్తూ ఉండవచ్చు. న్యూరల్ నెట్‌వర్క్‌లు (ఎన్‌ఎన్‌లు) కొత్త భావన కాదు. మల్టీలేయర్ పెర్సెప్ట్రాన్ 1961 లో ప్రవేశపెట్టబడింది, ఇది నిన్న మాత్రమే కాదు.
కానీ ప్రస్తుత నాడీ నెట్‌వర్క్‌లు కేవలం బహుళస్థాయి పెర్సెప్ట్రాన్ కంటే క్లిష్టంగా ఉంటాయి; అవి మరెన్నో దాచిన పొరలను మరియు పునరావృత కనెక్షన్‌లను కలిగి ఉంటాయి. అయితే పట్టుకోండి, వారు ఇప్పటికీ శిక్షణ కోసం బ్యాక్‌ప్రొపగేషన్ అల్గారిథమ్‌ను ఉపయోగించలేదా?
అవును! ఇప్పుడు, యంత్ర గణన శక్తి 60 లలో లేదా 80 లలో లభించిన దానితో పోల్చలేనిది. దీని అర్థం చాలా క్లిష్టమైన నాడీ నిర్మాణాలకు సహేతుకమైన సమయంలో శిక్షణ ఇవ్వవచ్చు.
కాబట్టి, భావన క్రొత్తది కాకపోతే, లోతైన అభ్యాసం అనేది స్టెరాయిడ్స్‌పై ఉన్న న్యూరల్ నెట్‌వర్క్‌ల సమూహం అని దీని అర్ధం? సమాంతర గణన మరియు మరింత శక్తివంతమైన యంత్రాల వల్ల అన్ని రచ్చలు ఉన్నాయా? తరచుగా, నేను లోతైన అభ్యాస పరిష్కారాలు అని పిలవబడే వాటిని పరిశీలించినప్పుడు, ఇది ఇలా కనిపిస్తుంది. (న్యూరల్ నెట్‌వర్క్‌ల కోసం కొన్ని ఆచరణాత్మక, వాస్తవ-ప్రపంచ ఉపయోగాలు ఏమిటి? టెక్నాలజీని బాగా అర్థం చేసుకోవడానికి మీకు సహాయపడే 5 న్యూరల్ నెట్‌వర్క్ యూజ్ కేసులలో కనుగొనండి.)
నేను చెప్పినట్లుగా, నేను స్కెప్టిక్స్ క్లబ్‌కు చెందినవాడిని, ఇంకా సాధారణంగా మద్దతు ఇవ్వని సాక్ష్యాల గురించి నేను జాగ్రత్తగా ఉంటాను. ఒక్కసారిగా, పక్షపాతాన్ని పక్కన పెడదాం, మరియు న్యూరల్ నెట్‌వర్క్‌లకు సంబంధించి లోతైన అభ్యాసంలో కొత్తగా ఉద్భవిస్తున్న పద్ధతులపై సమగ్ర దర్యాప్తు చేద్దాం.
కొంచెం లోతుగా త్రవ్వినప్పుడు, లోతైన అభ్యాస రంగంలో కొన్ని కొత్త యూనిట్లు, నిర్మాణాలు మరియు సాంకేతికతలను మేము కనుగొంటాము. ఈ ఆవిష్కరణలలో కొన్ని డ్రాపౌట్ పొర ద్వారా ప్రవేశపెట్టిన రాండమైజేషన్ వంటి చిన్న బరువును కలిగి ఉంటాయి. మరికొందరు, మరింత ముఖ్యమైన మార్పులకు బాధ్యత వహిస్తారు. మరియు, ఖచ్చితంగా, వాటిలో చాలా గణన వనరుల యొక్క పెద్ద లభ్యతపై ఆధారపడతాయి ఎందుకంటే అవి చాలా గణనపరంగా ఖరీదైనవి.
నా అభిప్రాయం ప్రకారం, నాడీ నెట్‌వర్క్‌ల రంగంలో మూడు ప్రధాన ఆవిష్కరణలు ఉన్నాయి, అవి లోతైన అభ్యాసానికి ప్రస్తుత ప్రజాదరణ పొందటానికి బలంగా దోహదపడ్డాయి: కన్విలేషనల్ న్యూరల్ నెట్‌వర్క్‌లు (సిఎన్‌ఎన్‌లు), దీర్ఘకాలిక స్వల్పకాలిక మెమరీ (ఎల్‌ఎస్‌టిఎమ్) యూనిట్లు మరియు ఉత్పాదక విరోధి నెట్‌వర్క్‌లు (జిఎఎన్‌లు) ).
కన్వల్యూషనల్ న్యూరల్ నెట్‌వర్క్‌లు (సిఎన్‌ఎన్‌లు)
లోతైన అభ్యాసం యొక్క పెద్ద బ్యాంగ్ - లేదా కనీసం నేను మొదటిసారి విజృంభణ విన్నప్పుడు - ఇమేజ్ రికగ్నిషన్ ప్రాజెక్ట్, ఇమేజ్‌నెట్ లార్జ్ స్కేల్ విజువల్ రికగ్నిషన్ ఛాలెంజ్, 2012 లో జరిగింది. చిత్రాలను స్వయంచాలకంగా గుర్తించడానికి, ఒక కన్విలేషనల్ న్యూరల్ నెట్‌వర్క్ ఎనిమిది పొరలు - అలెక్స్ నెట్ - ఉపయోగించబడింది. మొదటి ఐదు పొరలు కన్విలేషనల్ పొరలు, వాటిలో కొన్ని మాక్స్-పూలింగ్ పొరలు, మరియు చివరి మూడు పొరలు పూర్తిగా అనుసంధానించబడిన పొరలు, అన్నీ సంతృప్త కాని ReLU యాక్టివేషన్ ఫంక్షన్‌తో. అలెక్స్ నెట్ నెట్‌వర్క్ మొదటి ఐదు లోపాలను 15.3% సాధించింది, ఇది రన్నరప్ కంటే 10.8 శాతం కంటే తక్కువ. ఇది గొప్ప సాధన!
బగ్స్ లేవు, ఒత్తిడి లేదు - మీ జీవితాన్ని నాశనం చేయకుండా జీవితాన్ని మార్చే సాఫ్ట్‌వేర్‌ను రూపొందించడానికి స్టెప్ గైడ్ ద్వారా మీ దశ
సాఫ్ట్‌వేర్ నాణ్యత గురించి ఎవరూ పట్టించుకోనప్పుడు మీరు మీ ప్రోగ్రామింగ్ నైపుణ్యాలను మెరుగుపరచలేరు.
బహుళస్థాయి నిర్మాణంతో పాటు, అలెక్స్ నెట్ యొక్క అతిపెద్ద ఆవిష్కరణ కన్విలేషనల్ పొర.
కన్విలేషనల్ నెట్‌వర్క్‌లోని మొదటి పొర ఎల్లప్పుడూ కన్విలేషనల్ పొర. కన్విలేషనల్ పొరలోని ప్రతి న్యూరాన్ ఇన్పుట్ ఇమేజ్ యొక్క నిర్దిష్ట ప్రాంతం (గ్రహణ క్షేత్రం) పై దృష్టి పెడుతుంది మరియు దాని బరువు గల కనెక్షన్ల ద్వారా గ్రహణ క్షేత్రానికి వడపోతగా పనిచేస్తుంది. ఫిల్టర్‌ను స్లైడింగ్ చేసిన తరువాత, న్యూరాన్ తర్వాత న్యూరాన్, అన్ని ఇమేజ్ రిసెప్టివ్ ఫీల్డ్‌లపై, కన్విలేషనల్ లేయర్ యొక్క అవుట్పుట్ యాక్టివేషన్ మ్యాప్ లేదా ఫీచర్ మ్యాప్‌ను ఉత్పత్తి చేస్తుంది, దీనిని ఫీచర్ ఐడెంటిఫైయర్‌గా ఉపయోగించవచ్చు.
ఒకదానికొకటి ఎక్కువ కన్విలేషనల్ పొరలను జోడించడం ద్వారా, ఆక్టివేషన్ మ్యాప్ ఇన్పుట్ ఇమేజ్ నుండి మరింత క్లిష్టమైన లక్షణాలను సూచిస్తుంది. అదనంగా, తరచూ కన్విలేషనల్ న్యూరల్ నెట్‌వర్క్ ఆర్కిటెక్చర్‌లో, మ్యాపింగ్ ఫంక్షన్ యొక్క సరళతను పెంచడానికి, నెట్‌వర్క్ యొక్క దృ ness త్వాన్ని మెరుగుపరచడానికి మరియు ఓవర్‌ఫిటింగ్‌ను నియంత్రించడానికి మరికొన్ని పొరలు ఈ కన్విలేషనల్ పొరల మధ్య కలుస్తాయి.
ఇప్పుడు మేము ఇన్పుట్ ఇమేజ్ నుండి ఉన్నత-స్థాయి లక్షణాలను గుర్తించగలము, సాంప్రదాయ వర్గీకరణ కోసం నెట్‌వర్క్ చివర ఒకటి లేదా అంతకంటే ఎక్కువ పూర్తిగా కనెక్ట్ చేయబడిన పొరలను జోడించవచ్చు. నెట్‌వర్క్ యొక్క ఈ చివరి భాగం కన్విలేషనల్ పొరల యొక్క అవుట్‌పుట్‌ను ఇన్‌పుట్‌గా తీసుకుంటుంది మరియు N- డైమెన్షనల్ వెక్టర్‌ను అందిస్తుంది, ఇక్కడ N అనేది తరగతుల సంఖ్య. ఈ N- డైమెన్షనల్ వెక్టర్‌లోని ప్రతి సంఖ్య తరగతి యొక్క సంభావ్యతను సూచిస్తుంది.
నా ఆర్కిటెక్చర్ యొక్క పారదర్శకత లేకపోవడం మరియు ఫలితాలను వివరించడానికి మరియు వివరించడానికి అసాధ్యం గురించి నాడీ నెట్‌వర్క్‌ల పట్ల అభ్యంతరం ఉంది. లోతైన అభ్యాస నెట్‌వర్క్‌లకు సంబంధించి ఈ రోజుల్లో ఈ అభ్యంతరం తక్కువ మరియు తక్కువ తరచుగా వస్తోంది. వర్గీకరణలో అధిక ఖచ్చితత్వం కోసం బ్లాక్-బాక్స్ ప్రభావాన్ని వర్తకం చేయడం ఇప్పుడు ఆమోదయోగ్యమైనదిగా కనిపిస్తోంది.
దీర్ఘకాలిక స్వల్పకాలిక మెమరీ (LSTM) యూనిట్లు
డీప్ లెర్నింగ్ న్యూరల్ నెట్‌వర్క్‌ల ద్వారా ఉత్పత్తి చేయబడిన మరో పెద్ద మెరుగుదల పునరావృత న్యూరల్ నెట్‌వర్క్‌లు (ఆర్‌ఎన్‌ఎన్) ద్వారా సమయ శ్రేణి విశ్లేషణలో కనిపిస్తుంది.
పునరావృత న్యూరల్ నెట్‌వర్క్‌లు కొత్త భావన కాదు. వారు ఇప్పటికే 90 లలో ఉపయోగించబడ్డారు మరియు టైమ్ (బిపిటిటి) అల్గోరిథం ద్వారా బ్యాక్‌ప్రొపగేషన్‌తో శిక్షణ పొందారు. 90 వ దశకంలో, అవసరమైన గణన వనరులను బట్టి వారికి శిక్షణ ఇవ్వడం తరచుగా అసాధ్యం. ఏదేమైనా, ఈ రోజుల్లో, అందుబాటులో ఉన్న గణన శక్తి పెరుగుదల కారణంగా, ఆర్‌ఎన్‌ఎన్‌లకు శిక్షణ ఇవ్వడం మాత్రమే కాకుండా, వారి నిర్మాణ సంక్లిష్టతను పెంచడం కూడా సాధ్యమైంది. అంతేనా? బాగా, వాస్తవానికి కాదు.
1997 లో, సమయ శ్రేణిలో సంబంధిత గతాన్ని జ్ఞాపకం చేసుకోవటానికి ఒక ప్రత్యేక న్యూరల్ యూనిట్ ప్రవేశపెట్టబడింది: LSTM యూనిట్. అంతర్గత ద్వారాల కలయిక ద్వారా, ఒక LSTM యూనిట్ సంబంధిత గత సమాచారాన్ని గుర్తుంచుకోగలదు లేదా సమయ శ్రేణిలో అసంబద్ధమైన గత కంటెంట్‌ను మరచిపోగలదు. LSTM నెట్‌వర్క్ అనేది LSTM యూనిట్లతో సహా ఒక ప్రత్యేక రకం పునరావృత న్యూరల్ నెట్‌వర్క్. LSTM- ఆధారిత RNN యొక్క ముగుస్తున్న సంస్కరణ మూర్తి 2 లో చూపబడింది.
పరిమిత లాంగ్ మెమరీ సామర్ధ్యం యొక్క సమస్యను అధిగమించడానికి, LSTM యూనిట్లు అదనపు దాచిన స్థితిని ఉపయోగిస్తాయి - సెల్ స్థితి సి (t) - అసలు దాచిన స్థితి నుండి తీసుకోబడింది h (T). సి (t) నెట్‌వర్క్ మెమరీని సూచిస్తుంది. గేట్స్ అని పిలువబడే ఒక నిర్దిష్ట నిర్మాణం, సెల్ స్థితికి సమాచారాన్ని తొలగించడానికి (మరచిపోవడానికి) లేదా జోడించడానికి (గుర్తుంచుకోవడానికి) మిమ్మల్ని అనుమతిస్తుంది సి (t) ఇన్పుట్ విలువల ఆధారంగా ప్రతిసారీ దశలో x (t) మరియు మునుపటి దాచిన స్థితి h (t-1). ప్రతి గేట్ 0 మరియు 1 మధ్య విలువలను అవుట్పుట్ చేయడం ద్వారా ఏ సమాచారాన్ని జోడించాలో లేదా తొలగించాలో నిర్ణయిస్తుంది. గేట్ అవుట్‌పుట్‌ను సెల్ స్టేట్ ద్వారా పాయింట్‌వైస్‌గా గుణించడం ద్వారా సి (t-1), సమాచారం తొలగించబడుతుంది (గేట్ యొక్క అవుట్పుట్ = 0) లేదా ఉంచబడుతుంది (గేట్ = 1 యొక్క అవుట్పుట్).
మూర్తి 2 లో, మేము ఒక LSTM యూనిట్ యొక్క నెట్‌వర్క్ నిర్మాణాన్ని చూస్తాము. ప్రతి ఎల్‌ఎస్‌టిఎం యూనిట్‌లో మూడు గేట్లు ఉంటాయి. ప్రారంభంలో “మరచిపోయే గేట్ పొర” మునుపటి సెల్ స్థితి నుండి సమాచారాన్ని ఫిల్టర్ చేస్తుంది సి (t-1) ప్రస్తుత ఇన్పుట్ ఆధారంగా x (t) మరియు మునుపటి సెల్ యొక్క దాచిన స్థితి h (t-1). తరువాత, “ఇన్పుట్ గేట్ లేయర్” మరియు “తాన్ లేయర్” కలయిక మునుపటి, ఇప్పటికే ఫిల్టర్ చేయబడిన, సెల్ స్థితికి ఏ సమాచారాన్ని జోడించాలో నిర్ణయిస్తుంది. సి (t-1). చివరగా, చివరి గేట్, “అవుట్పుట్ గేట్” నవీకరించబడిన సెల్ స్థితి నుండి ఏ సమాచారాన్ని నిర్ణయిస్తుంది సి (t) తదుపరి దాచిన స్థితిలో ముగుస్తుంది h (t).
LSTM యూనిట్ల గురించి మరిన్ని వివరాల కోసం, క్రిస్టోఫర్ ఓలా రాసిన GitHub బ్లాగ్ పోస్ట్ “LSTM నెట్‌వర్క్‌లను అర్థం చేసుకోవడం” చూడండి.
మూర్తి 2. ఒక LSTM సెల్ యొక్క నిర్మాణం (ఇయాన్ గుడ్‌ఫెలో, యోషువా బెంజియో మరియు ఆరోన్ కోర్విల్లె చేత “డీప్ లెర్నింగ్” నుండి పునరుత్పత్తి చేయబడింది). ఎల్‌ఎస్‌టిఎం యూనిట్లలోని మూడు గేట్లను గమనించండి. ఎడమ నుండి కుడికి: మరచిపోయే గేట్, ఇన్పుట్ గేట్ మరియు అవుట్పుట్ గేట్.
LSTM యూనిట్లు అనేక సమయ శ్రేణి అంచనా సమస్యలలో విజయవంతంగా ఉపయోగించబడ్డాయి, కానీ ముఖ్యంగా ప్రసంగ గుర్తింపు, సహజ భాషా ప్రాసెసింగ్ (NLP) మరియు ఉచిత తరం.
జనరేటివ్ అడ్వర్సరియల్ నెట్‌వర్క్స్ (GAN)
జనరేటివ్ విరోధి నెట్‌వర్క్ (GAN) రెండు లోతైన అభ్యాస నెట్‌వర్క్‌లతో కూడి ఉంటుంది, జనరేటర్ మరియు వివక్షత.
ఒక జనరేటర్ G ఇన్పుట్ శబ్దాన్ని మార్చే పరివర్తన z టెన్సర్‌లోకి - సాధారణంగా చిత్రం - x (x= G (z)). జనరేటర్ నెట్‌వర్క్ కోసం DCGAN అత్యంత ప్రాచుర్యం పొందిన డిజైన్లలో ఒకటి. సైకిల్‌గాన్ నెట్‌వర్క్‌లలో, జెనరేటర్ అప్‌సాంపిల్‌కు బహుళ ట్రాన్స్పోజ్డ్ మెలికలను నిర్వహిస్తుంది z చివరికి చిత్రాన్ని రూపొందించడానికి x (మూర్తి 3).
సృష్టించిన చిత్రం x అప్పుడు వివక్షత లేని నెట్‌వర్క్‌లోకి ఇవ్వబడుతుంది. వివక్షత నెట్‌వర్క్ శిక్షణా సెట్‌లోని నిజమైన చిత్రాలను మరియు జనరేటర్ నెట్‌వర్క్ ద్వారా ఉత్పత్తి చేయబడిన చిత్రాన్ని తనిఖీ చేస్తుంది మరియు అవుట్‌పుట్‌ను ఉత్పత్తి చేస్తుంది D (x), ఇది చిత్రం యొక్క సంభావ్యత x నిజం.
జనరేటర్ మరియు వివక్షత రెండూ ఉత్పత్తి చేయడానికి బ్యాక్‌ప్రొపాగేషన్ అల్గోరిథం ఉపయోగించి శిక్షణ పొందుతాయి D (x)=1 సృష్టించిన చిత్రాల కోసం. రెండు నెట్‌వర్క్‌లు తమను తాము మెరుగుపరుచుకునేందుకు ప్రత్యామ్నాయ దశల్లో శిక్షణ పొందుతాయి. GAN మోడల్ చివరికి కలుస్తుంది మరియు వాస్తవంగా కనిపించే చిత్రాలను ఉత్పత్తి చేస్తుంది.
అనిమే, హ్యూమన్ ఫిగర్స్ మరియు వాన్ గోహ్ లాంటి కళాఖండాలను సృష్టించడానికి ఇమేజ్ టెన్సర్‌లకు GAN లు విజయవంతంగా వర్తించబడ్డాయి. (న్యూరల్ నెట్‌వర్క్‌ల యొక్క ఇతర ఆధునిక ఉపయోగాల కోసం, మీరు కృత్రిమ న్యూరల్ నెట్‌వర్క్‌లకు ఆపాదించగల 6 పెద్ద పురోగతులను చూడండి.)
తీర్మానాలు
కాబట్టి, లోతైన అభ్యాసం కేవలం స్టెరాయిడ్స్‌పై నాడీ నెట్‌వర్క్‌ల సమూహమా? పాక్షికంగా.
మరింత సంక్లిష్టమైన, బహుళ-పొర మరియు పునరావృత నాడీ నిర్మాణాల విజయవంతమైన శిక్షణకు వేగవంతమైన హార్డ్‌వేర్ ప్రదర్శనలు ఎక్కువగా దోహదపడ్డాయని కాదనలేనిది అయితే, ఈ రంగంలో అనేక కొత్త వినూత్న న్యూరల్ యూనిట్లు మరియు నిర్మాణాలు ప్రతిపాదించబడ్డాయి. ఇప్పుడు లోతైన అభ్యాసం అంటారు.
ప్రత్యేకించి, సిఎన్‌ఎన్‌లు, ఎల్‌ఎస్‌టిఎమ్ యూనిట్లు మరియు జిఎఎన్‌లలోని కన్విలేషనల్ లేయర్‌లను ఇమేజ్ ప్రాసెసింగ్, టైమ్ సిరీస్ విశ్లేషణ మరియు ఫ్రీ జనరేషన్ రంగంలో అత్యంత అర్ధవంతమైన ఆవిష్కరణలుగా గుర్తించాము.
ఈ సమయంలో చేయవలసినది ఏమిటంటే, లోతుగా డైవ్ చేయడం మరియు మన స్వంత డేటా సమస్యలకు కొత్త బలమైన పరిష్కారాలతో లోతైన అభ్యాస నెట్‌వర్క్‌లు ఎలా సహాయపడతాయో తెలుసుకోవడం.