வழிமுறை

தாளின் விளக்கம்: தொடர்ச்சியான நரம்பியல் நெட்வொர்க் ஒழுங்குமுறை

Interpretation Paper



ஆய்வறிக்கை முகவரி: https://arxiv.org/pdf/1409.2329.pdf

1. ஆர்.என்.என் அறிமுகம்
ஆர்.என்.என் (தொடர்ச்சியான நரம்பியல் நெட்வொர்க்) என்பது வரிசை தரவை செயலாக்குவதற்கான ஒரு வகை நரம்பியல் வலையமைப்பாகும். நரம்பியல் நெட்வொர்க்கில் உள்ளீட்டு அடுக்கு, மறைக்கப்பட்ட அடுக்கு மற்றும் வெளியீட்டு அடுக்கு ஆகியவை அடங்கும். வெளியீடு ஒரு செயல்படுத்தும் செயல்பாட்டால் கட்டுப்படுத்தப்படுகிறது, மேலும் அடுக்குகள் எடைகளால் இணைக்கப்படுகின்றன. பின்வரும் எண்ணிக்கை ஒரு நிலையான RNN கட்டமைப்பு வரைபடம். படத்தில் உள்ள ஒவ்வொரு அம்பும் ஒரு மாற்றத்தைக் குறிக்கிறது, அதாவது அம்பு இணைப்புக்கு ஒரு எடை உள்ளது. இடது புறம் மடிக்கப்பட்டு, வலது புறம் விரிவடைந்து, இடது பக்கத்தில் h க்கு அடுத்த அம்பு மறைக்கப்பட்ட அடுக்கில் பிரதிபலிக்கும் இந்த கட்டமைப்பில் உள்ள 'லூப்பை' குறிக்கிறது. படத்தில், O வெளியீட்டைக் குறிக்கிறது, y மாதிரியால் வழங்கப்பட்ட நிர்ணயிக்கப்பட்ட மதிப்பை y குறிக்கிறது, மற்றும் L இழப்பு செயல்பாட்டைக் குறிக்கிறது.



படம்
இந்த வரையறையை நாம் செய்யலாம்:
எக்ஸ் (டி): t, o (t) நேரத்தில் உள்ளீட்டைக் குறிக்கிறது: t, h (t) நேரத்தில் வெளியீட்டைக் குறிக்கிறது: t நேரத்தில் நினைவகத்தைக் குறிக்கிறது
நரம்பியல் நெட்வொர்க் சிறந்தது என்னவென்றால், தொடர்ச்சியான அளவுருக்கள் மூலம் நிறைய உள்ளடக்கங்களை ஒருங்கிணைப்பதும், பின்னர் இந்த அளவுருவைக் கற்றுக்கொள்வதும், இந்த இடத்தில் ஆர்.என்.என் ஒத்திருக்கிறது, எனவே ஆர்.என்.என் இன் அடிப்படை வரையறுக்கப்படுகிறது:
St = f (U ∗ X (t) + W h (t) −1)
RNN இன் யோசனை, கணிக்கும்போது தற்போதைய தருணத்தின் நினைவகம் h (t) உடன் கணிப்புகளை உருவாக்குவது. அடுத்த வார்த்தையின் நிகழ்தகவை நீங்கள் கணிக்க விரும்பினால், ஒவ்வொரு வார்த்தையின் நிகழ்தகவையும் கணிக்க மென்பொருளைப் பயன்படுத்தலாம், ஆனால் கணிப்பை ஒரு மேட்ரிக்ஸ் மூலம் நேரடியாக கணிக்க முடியாது. எல்லா கணிப்புகளும் ஒரு எடை அணி V ஐ கொண்டு வர வேண்டும், இது இதற்கான சூத்திரத்தால் வெளிப்படுத்தப்படுகிறது:
o (t) = softmax (Vh (t))



2. எல்.எஸ்.டி.எம் நெட்வொர்க்
நீண்ட கால நினைவக நெட்வொர்க்குகள் (இனி எல்எஸ்டிஎம் என குறிப்பிடப்படுகின்றன), ஒரு சிறப்பு வகையான ஆர்என்என் நெட்வொர்க், இது ஹோக்ரீட்டர் & ஷ்மிதூபர் (1997) வடிவமைத்தது
அனைத்து தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குகள் நரம்பியல் நெட்வொர்க்குகளின் தொடர்ச்சியான தொகுதி சங்கிலியின் வடிவத்தைக் கொண்டுள்ளன. ஒரு நிலையான ஆர்.என்.என் இல், இந்த மீண்டும் மீண்டும் வரும் தொகுதி ஒற்றை டான் அடுக்கு போன்ற மிக எளிய அமைப்பைக் கொண்டிருக்கும். நிலையான RNN பிணையம் கீழே காட்டப்பட்டுள்ளது:
படம்
எல்எஸ்டிஎம்களும் இந்த சங்கிலி கட்டமைப்பைக் கொண்டுள்ளன, ஆனால் அதன் தொடர்ச்சியான அலகு நிலையான ஆர்என்என் நெட்வொர்க்கில் உள்ள யூனிட்டிலிருந்து வேறுபட்டது. ஒரே ஒரு பிணைய அடுக்கு மட்டுமே உள்ளது, உள்ளே நான்கு பிணைய அடுக்குகள் உள்ளன. LSTM களின் கட்டமைப்பு கீழே காட்டப்பட்டுள்ளது:
படம்
உருவத்தில் உள்ள மஞ்சள் சி.என்.என் இல் செயல்படுத்தும் செயல்பாட்டு செயல்பாட்டைப் போன்றது, இளஞ்சிவப்பு வட்டம் புள்ளி செயல்பாட்டைக் குறிக்கிறது, ஒற்றை அம்பு தரவு ஓட்ட திசையைக் குறிக்கிறது, அம்பு ஒன்றிணைப்பு திசையன் ஒன்றிணைப்பு செயல்பாட்டை (கான்காட்) குறிக்கிறது, மற்றும் அம்பு முட்கரண்டி குறிக்கிறது திசையன் நகல் செயல்பாடு.



3. ஆய்வறிக்கையின் விளக்கம்
சுருக்கம்: நீண்ட மற்றும் குறுகிய கால நினைவாற்றல் (எல்.எஸ்.டி.எம்) அலகுகளைக் கொண்ட தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குகள் (ஆர்.என்.என்) க்கான எளிய ஒழுங்குமுறை நுட்பத்தை இந்தத் தாள் முன்மொழிகிறது. டிராப்அவுட் என்பது நரம்பியல் நெட்வொர்க்குகளை இயல்பாக்குவதற்கான மிக வெற்றிகரமான நுட்பமாகும், ஆனால் இது ஆர்என்என் மற்றும் எல்எஸ்டிஎம்மில் நன்றாக வேலை செய்யாது. ஆசிரியர் வெற்றிகரமாக டிராப்அவுட்டை எல்.எஸ்.டி.எம்-க்குப் பயன்படுத்தினார், மேலும் இது பல்வேறு பணிகளில் அதிகப்படியான பொருளைக் குறைக்கிறது என்பதை சோதனை ரீதியாக நிரூபித்தது.
1. அறிமுகம் (ஆர்.என்.என் விவரங்களுக்கு மேலே காண்க)
தொடர்ச்சியான நரம்பியல் நெட்வொர்க் (ஆர்.என்.என்) என்பது மொழி மாதிரிகள், பேச்சு புனரமைப்பு மற்றும் இயந்திர மொழிபெயர்ப்பு போன்ற சிக்கல்களைத் தீர்க்கப் பயன்படுத்தப்படும் தொடர்ச்சியான நரம்பியல் வலையமைப்பாகும். துரதிர்ஷ்டவசமாக, RNN களில் கைவிடுதல் சிறப்பாக செயல்படாது, மற்றும் ஒப்பீட்டளவில் பெரிய RNN நெட்வொர்க்குகளில், அதிகப்படியான பொருத்தம் பெரும்பாலும் நிகழ்கிறது. இந்த அதிகப்படியான சிக்கலைத் தீர்க்க டிராப்அவுட்டைப் பயன்படுத்த ஒரு நல்ல தந்திரத்தை காகிதம் முன்மொழிகிறது.
ஆர்.என்.என் இல் கைவிடுதலின் மோசமான செயல்திறன் வளையத்தில் அதிகரித்த சத்தம் காரணமாகும், இது கற்றல் விளைவுக்கு தீங்கு விளைவிக்கும். காகிதத்தில் முன்மொழியப்பட்ட முறை, ஆர்.என்.என் இன் சில துணைக்குழு இணைப்புகளில் கைவிடுதலைப் பயன்படுத்துவதன் மூலம் இந்த சிக்கலை தீர்க்க முடியும்.
2. தொடர்புடைய வேலை
சமீபத்திய ஆண்டுகளில் சில சாதனைகளை ஆசிரியர் பட்டியலிடுகிறார்
3. எல்எஸ்டிஎம் அலகுகளுடன் ஆர்என்என்களை ஒழுங்குபடுத்துங்கள்
3.1, எல்.எஸ்.எம்.டி அலகு
ஆர்.என்.என் சமன்பாடு பின்வருமாறு. முந்தைய நிலைக்கும் தற்போதைய நிலைக்கும் இடையிலான மாற்றத்தை ஆர்.என்.என் மாறும் வகையில் விவரிக்கிறது:
படம்
கிளாசிக் ஆர்.என்.என் நெட்வொர்க்கில், சமன்பாட்டை பின்வருமாறு வெளிப்படுத்தலாம்
படம்
எல்.எஸ்.டி.எம் அறிமுகம் ஆர்.என்.என் ஒரு குறிப்பிட்ட எண்ணிக்கையிலான படிகளின் தகவல்களை நினைவில் வைக்க அனுமதிக்கிறது, மேலும் மேற்கண்ட செயல்முறையை சிக்கலாக்குகிறது, சிடிஎல்NRn ஒரு திசையனில் சேமிக்கப்படுகிறது: LSTM இன் கட்டமைப்பை பின்வரும் சமன்பாட்டின் மூலம் வெளிப்படுத்தலாம்:

படம்
பின்வரும் எண்ணிக்கை LSTM இன் கட்டமைப்பைக் காட்டுகிறது:
படம்
： ， T l
3.2. டிராப்அவுட்டுடன் ஒழுங்குமுறைப்படுத்தல்
இந்த கட்டுரையின் மிகப்பெரிய திருப்புமுனை சுழற்சி இணைப்பு இல்லாமல் கட்டமைப்பில் கைவிடுதலைப் பயன்படுத்துவதாகும். சுழற்சி இணைப்பு கொண்ட கட்டமைப்பில், வெளியேறுதல் பொருந்தாது. கீழே காட்டப்பட்டுள்ளபடி சமன்பாடு மாற்றியமைக்கப்பட்டுள்ளது. தரவு ஓட்டம் மற்றும் செயல்பாடு வலதுபுறத்தில் காட்டப்பட்டுள்ளபடி புள்ளியிடப்பட்ட வரி கைவிடுதல் பயன்படுத்தப்படுவதைக் குறிக்கிறது, மேலும் திடமான கோடு கைவிடுதல் பயன்படுத்தப்படவில்லை என்பதைக் குறிக்கிறது:
படம்
தாளில் பின்பற்றப்பட்ட முறை ஆர்.என்.என் மற்றும் தரவு கணக்கீடு ஆகியவற்றுக்கு இடையேயான தகவல் பரிமாற்றத்தை மிகவும் வலுவானதாக ஆக்குகிறது, அதே நேரத்தில் தரவுகளுக்கிடையேயான தொடர்பு மற்றும் ஒருமைப்பாட்டை உறுதி செய்கிறது. கீழேயுள்ள படம் t-2 முதல் படி t + 2 வரையிலான தகவல்களின் ஓட்டத்தைக் காட்டுகிறது. திடமான கோடு தகவல் தரவின் ஓட்டத்தைக் குறிக்கிறது.
படம்
4. பரிசோதனை
இந்த கட்டுரை மூன்று பகுதிகளில் முடிவுகளை செய்கிறது: மொழி மாடலிங், பேச்சு அங்கீகாரம், இயந்திர மொழிபெயர்ப்பு மற்றும் பட தலைப்பு உருவாக்கம்
4.1, மொழி மாடலிங்
பென்சில்வேனியா மர வங்கி (பி.டி.பி) தரவுத்தொகுப்பு மார்கஸ் மற்றும் பலர் அடிப்படையில் ஒரு சொல்-நிலை முன்கணிப்பு சோதனை நடத்தப்பட்டது. முந்தைய முடிவுகளை எங்கள் எல்.எஸ்.டி.எம் உடன் ஒப்பிடுகையில், முடிவுகள் பின்வருமாறு:
படம்
4.2, பேச்சு அங்கீகாரம்
ஒலி மாடலிங் என்பது ஒரு முக்கிய அங்கமாகும், இது ஒலி சமிக்ஞைகளை சொல் வரிசைகளுக்கு வரைபடமாக்குகிறது, ஏனெனில் அதுடி| எக்ஸ்) மாடலிங் செய்ய, எங்கே கள்டிநேரம் t இல் பேச்சு நிலை, மற்றும் எக்ஸ் என்பது ஒலியியல் கண்காணிப்பு. டிராபவுட் எல்.எஸ்.டி.எம் இன் பிரேம் துல்லியத்தை மேம்படுத்துகிறது என்று ஆராய்ச்சி முடிவுகள் காட்டுகின்றன. முடிவுகள் பின்வருமாறு:
படம்
4.3, இயந்திர மொழிபெயர்ப்பு
இயந்திர மொழிபெயர்ப்பு சிக்கலை ஒரு மொழி மாடலிங் பணியாக விவரிக்கிறது, அங்கு மூல வாக்கியத்தின் சரியான மொழிபெயர்ப்பிற்கு அதிக நிகழ்தகவை ஒதுக்க எல்.எஸ்.டி.எம் பயிற்சி அளிக்கப்படுகிறது. டிராபவுட் எல்.எஸ்.டி.எம் இன் மொழிபெயர்ப்பு செயல்திறனை மேம்படுத்துகிறது என்பதை ஆராய்ச்சி முடிவுகள் காட்டுகின்றன. முடிவுகள் பின்வருமாறு:
படம்
4.4, பட வசன வரிகள்
டிராப்அவுட் மாறுபாட்டை வின்யல்ஸ் மற்றும் பலவற்றின் பட தலைப்பு தலைமுறை மாதிரிக்கு பயன்படுத்துங்கள். முடிவுகள் கீழே உள்ள அட்டவணையில் சுருக்கப்பட்டுள்ளன. டிராப்அவுட்டைப் பயன்படுத்தாமல் ஒப்பிடுகையில், டிராப்அவுட் உதவியாக இருக்கும், ஆனால் ஒருங்கிணைப்பின் பயன்பாடு டிராப்அவுட் பெறும் லாபத்தை நீக்குகிறது. முடிவுகள் பின்வருமாறு:

படம்
5. முடிவுரை
எல்.எஸ்.டி.எம்-க்கு டிராப்அவுட்டைப் பயன்படுத்துவதற்கான ஒரு எளிய முறையை வழங்குகிறது, இது பல்வேறு துறைகளில் பல சிக்கல்களின் செயல்திறனை பெரிதும் மேம்படுத்தியுள்ளது. இந்த தாளில் முன்மொழியப்பட்ட முறை RNN களுக்கு டிராப்அவுட் பயனுள்ளதாக இருக்கும். டிராப்அவுட் செயல்படுத்தல் பல்வேறு பயன்பாடுகளின் செயல்திறனை மேம்படுத்த முடியும் என்பதை சோதனை முடிவுகள் காட்டுகின்றன.



குறிப்பு:
https://blog.csdn.net/qq_39422642/article/details/78676567
https://blog.csdn.net/qq_32172681/article/details/100060263
https://www.jianshu.com/p/95d5c461924c