ஆய்வறிக்கை ஒரு எளிய ஆனால் கடினமான அடித்தளத்தை வாசிக்கிறது

Thesis Reads Simple Tough Beat Baseline

இந்த கட்டுரை உடன் வருதல் SIF வாக்கியம் உட்பொதித்தல் முறை, ஆசிரியர் வழங்கிய குறியீடு கிதுப் .

உள்ளிடவும்

ஒரு வகையாக மேற்பார்வை செய்யப்படவில்லை வாக்கியங்களுக்கு இடையிலான ஒற்றுமையைக் கணக்கிடும் முறை, sif வாக்கியம் உட்பொதித்தல் முன் பயிற்சி பெற்ற சொல் திசையனைப் பயன்படுத்தி, எடையுள்ள சராசரி முறையைப் பயன்படுத்தி, வாக்கியத்தில் உள்ள அனைத்து சொற்களுக்கும் ஒத்த திசையன் என்ற சொல் கணக்கிடப்படுகிறது, மேலும் முழு வாக்கியத்தின் உட்பொதித்தல் திசையன் பெறப்படுகிறது. பின்னர் ஒற்றுமை கணக்கிட வாக்கிய திசையன் பயன்படுத்தப்படுகிறது.

இந்த காகிதத்திற்கு முன், இந்த கட்டுரையின் யோசனைக்கு மிகவும் ஒத்த கருத்துக்கள் உள்ளன, அதாவது அவை அனைத்தும் பயன்படுத்தப்படுகின்றன. சொல் திசையன் , சராசரி முறையால் பெறப்பட்டது தண்டனை திசையன் , வெயிட்டிங் செய்யும் போது எடை கணக்கிடும் முறை வேறுபாடுகள் உள்ளன. குறிப்பாக:

• வாக்கியத்தில் உள்ள அனைத்து சொற்களையும் நேரடியாக சராசரியாகக் கொள்ளுங்கள், ஒவ்வொரு வார்த்தையும் ஒரே எடையைக் கொண்டுள்ளன, வாக்கியத்தை உட்பொதிப்பதைப் பெறுங்கள்
• ஒவ்வொரு வார்த்தையையும் பயன்படுத்துதல் TF-IDF மதிப்பு எடையுள்ளதாக, எடையுள்ள சராசரியாக, வாக்கிய உட்பொதிப்பைப் பெறுங்கள்

இந்த காகிதம் பயன்படுத்தப்படுகிறது மென்மையான தலைகீழ் அதிர்வெண், sif ஒவ்வொரு வார்த்தையின் எடையாக, அதற்கு பதிலாக TF-IDF மதிப்பு, சிறந்த முடிவுகளைப் பெற்றது. புதிய சொல் எடை கணக்கீட்டு முறையைப் பயன்படுத்துவதோடு, எடையுள்ள சராசரிக்குப் பிறகு, இழந்தது முதன்மை கூறு , இறுதியாக வாக்கியத்தின் உட்பொதிப்பைப் பெறுங்கள்.

கூடுதலாக, காகிதத்தில் இந்த முறையையும் குறிப்பிடுகிறது. தன்முனைப்பு :

• வெவ்வேறு கார்ப்பரேட் (மல்டி-ஃபீல்ட்) பயிற்சியைப் பயன்படுத்தி வேறுபட்டது சொல் உட்பொதித்தல் , பல்வேறு நிறுவனங்களின் நட்பைக் குறிக்கும் மிகச் சிறந்த முடிவுகளை அடைந்துள்ளது.
• வெவ்வேறு நிறுவனங்களைப் பயன்படுத்தி பெறப்பட்டது சொல் அதிர்வெண் சொற்களின் எடையைக் கணக்கிடுவதற்கான ஒரு காரணியாக, இது இறுதி முடிவில் சிறிதளவு தாக்கத்தை ஏற்படுத்துகிறது.
• முறைக்கு ஹைப்பர் பராமீட்டர் ஒரு பெரிய வரம்பில், பெறப்பட்ட முடிவுகள் எப்போதுமே பிராந்தியத்தில் இருக்கும், அதாவது, ஹைப்பர் பராமீட்டர்களின் தேர்வு அதிக செல்வாக்கைக் கொண்டிருக்கவில்லை.

கோட்பாடு

மாதிரியை உருவாக்குங்கள்

முதல் இருந்து மறைந்த மாறி தலைமுறை மாதிரி (மறைந்திருக்கும் மாறி உருவாக்கும் மாதிரி). இந்த மாதிரி கருதுகிறது: கார்பஸின் தலைமுறை ஒரு மாறும் செயல்முறை, அதாவது (t )சொற்கள் முதலில் உள்ளன (t )படி உருவாக்கப்பட்டது.

ஒவ்வொரு வார்த்தையும் (இல் )ஒன்றுடன் தொடர்புடையது ( mathbb {R} ^ d )பரிமாண திசையன். இந்த மாறும் செயல்முறை சொற்பொழிவு திசையன் (c_t இல் {th mathbb {R} ^ d} )of சீரற்ற நடை இயக்கப்படுகிறது. சொற்பொழிவு திசையன் இந்த வாக்கியத்தை குறிக்கும் எதைப் பற்றி பேசப்படுகிறது என மறைந்த மாறி , ஒரு வாக்கியத்தின் நிலையைக் குறிக்கிறது, ஏனெனில் இது மாறும், இந்த நிலை நேரத்துடன் மாறுகிறது, எனவே இது பதிவு செய்யப்படுகிறது (c_t ).

சொல் (இல் )திசையன் (v_w )தற்போதைய நேரத்துடன் சொற்பொழிவு திசையன் (c_t )of உள் தயாரிப்பு , சொல் மற்றும் முழு வாக்கியத்திற்கும் இடையிலான உறவைக் குறிக்கிறது. நாங்கள் கருதுகிறோம் (t )எல்லா நேரங்களிலும் சொற்களைக் கவனித்தல் (இல் )இந்த உள் தயாரிப்புக்கான நிகழ்தகவு மடக்கை நேரியல் (பதிவு நேரியல்) உறவு:

Pr [Pr ( உரை {w நேரத்தில் உமிழப்படும் t} | c_t) propto { exp ( langle c_t, v_w rangle)} ]

காரணமாக (c_t )ஒப்பீட்டளவில் சிறியது சீரற்ற நடை உரிமை உள்ளது, (c_t )எதிராக (c_ {t + 1} )அவற்றுக்கிடையே ஒரு சிறிய சீரற்ற வேறுபாடு திசையன் மட்டுமே இருக்கும் அருகிலுள்ள சொற்கள் தோராயமான சொற்பொழிவு திசையன் உருவாக்கப்பட்டது. கூடுதல் கணக்கீடுகள் இந்த மாதிரியின் சீரற்ற நடைகள் அவ்வப்போது அனுமதிக்கின்றன என்பதைக் குறிக்கின்றன (c_t )ஒரு பெரிய தாவல் உள்ளது, இது கூட்டுவாழ்வு நிகழ்தகவில் சிறிதளவு தாக்கத்தை ஏற்படுத்துகிறது.

இந்த முறையால் உருவாக்கப்பட்ட திசையன் என்ற சொல் word2vec (CBOW) உடன் கையுறை உருவாக்கப்பட்ட திசையன்கள் ஒத்தவை.

2. சீரற்ற நடை மாதிரியின் மேம்பாடு

மேற்கண்ட மாதிரியுடன், எனக்கு ஒரு வாக்கியத்தை பின்வருமாறு பெறுவோம் என்று நம்புகிறோம் வாக்கியம் உட்பொதித்தல் : சரி சொற்பொழிவு திசையன் செய் அதிகபட்ச வாய்ப்பு மதிப்பீடு எளிமைக்காக, கவனிக்கவும் (c_t )வாக்கியம் முழுவதும் சொற்களை உருவாக்கும் செயல்பாட்டில், மாற்றங்கள் சிறியவை, எனவே நாங்கள் எல்லா நடவடிக்கைகளையும் எடுப்போம் சொற்பொழிவு திசையன் ஒரு நிலையான திசையன் என்று வைத்துக் கொள்ளுங்கள் (c_s )ஆதாரம்: ஆம் (c_s )திசையன்களை உட்பொதிக்கும் அனைத்து சொற்களின் சராசரியும் அதிகபட்ச வாய்ப்பு மதிப்பீடு ஆகும்.

இந்த காகிதம் இந்த மாதிரியை மேம்படுத்தி சேர்த்தது இரண்டு மென்மையான சொற்கள் , பின்வரும் கருத்துகளுக்கு:

• சில சொற்கள் குறிப்பிட்ட சூழலின் எல்லைக்கு வெளியே தோன்றும், மேலும் இருக்கலாம் சொற்பொழிவு திசையன் ஒரு தாக்கத்தை ஏற்படுத்தும்
• வரையறுக்கப்பட்ட சொற்களின் தோற்றம் (பொதுவான நிறுத்த வார்த்தைகள் போன்றவை) மற்றும் சொற்பொழிவு திசையன் உறவு இல்லை

இந்த இரண்டு காரணங்களுக்காக, இரண்டு மென்மையான சொற்கள் அறிமுகப்படுத்தப்படுகின்றன, முதலில் ஒரு பதிவு-நேரியல் மாதிரியில் ஒரு சேர்க்கை சொல். ( ஆல்பா ப (வ) ),அவர்களில் (ப (வ) )ஒரு சொல் (இல் )முழு கார்பஸிலும் நிகழக்கூடிய நிகழ்தகவு (சொல் அதிர்வெண் கோணம்), ( ஆல்பா )ஒரு ஹைப்பர் பராமீட்டர் இந்த வழியில், கூட மற்றும் (c_s )உள் தயாரிப்பு சிறியது, மற்றும் வார்த்தைக்கு நிகழ்தகவு உள்ளது.

பின்னர், ஒரு திருத்தம் உருப்படியை அறிமுகப்படுத்துங்கள், பொதுவான சொற்பொழிவு திசையன் (c_0 th mathbb {R} ^ d} இல்), அதன் பொருள் வாக்கியம் மிகவும் அடிக்கடி பொருள் ஒரு வாக்கியமாக கருதலாம் மிக முக்கியமான மூலப்பொருள் , பெரும்பாலும் உடன் இலக்கணம் இணைக்கப்பட்டுள்ளது. கட்டுரை ஒரு வார்த்தையைப் பொறுத்தவரை செல்கிறது என்று கருதுகிறது (c_0 )திசைக் கூறு பெரியது (அதாவது, திசையன் திட்டம் நீண்டது), மேலும் இந்த திருத்தம் சொல் தோன்றும் நிகழ்தகவை அதிகரிக்கும்.

திருத்தத்திற்குப் பிறகு, கொடுக்கப்பட்டவற்றுக்கு சொற்பொழிவு திசையன் (c_s ), சொல் (இல் )வாக்கியத்தில் (கள் )நிகழ்வின் நிகழ்தகவு:

Pr [Pr ( text {w வாக்கியத்தில் உமிழப்படுகிறது} | c_s) propto { alpha p (w) + (1- alpha) frac { exp ( langle tilde {c} _s, v_w rangle )} {Z _ {ild டில்டே {c} _s}}} ]

அவர்களில், (ild டில்டே {c} _s = பீட்டா c_0 + (1- பீட்டா) c_s, c_0 perp c_s ), ( ஆல்பா )உடன் ( பீட்டா )அனைத்தும் ஹைப்பர் பராமீட்டர் ,{V}} exp ( langle tilde {c} _s, v_w rangle) இல் Z (Z _ {ild tilde {c} _s} = sum limit_ {w )ஆம் இயல்பாக்கப்பட்ட மாறிலி சூத்திரத்திலிருந்து பார்க்க முடியும் என, ஒன்று மற்றும் (c_s )தொடர்பில்லாத சொற்கள் (இல் ), பின்வரும் காரணங்களுக்காக வாக்கியங்களிலும் தோன்றலாம்:

• இருந்து ( ஆல்பா ப (வ) )பொருள் மதிப்பு
• எதிராக பொதுவான சொற்பொழிவு திசையன் (c_0 )சம்பந்தம்

3. வாக்கிய திசையனைக் கணக்கிடுங்கள்

வாக்கிய திசையன் மேலே உள்ள மாதிரியில் உள்ளது (c_s ), பயன்படுத்த அதிகபட்ச நிகழ்தகவு முறை மதிப்பீடு (c_s )திசையன். முதலில் எல்லா சொற்களின் திசையனையும் எடுத்துக் கொள்ளுங்கள் (v_s )தோராயமாக உள்ளது சமமாக பகிர்ந்தளிக்கப்பட்டது முழு திசையன் இடத்திலும், எனவே இங்கே இயல்பாக்கம் (Z_c )வெவ்வேறு வாக்கிய மதிப்புகள் தோராயமாக ஒரே மாதிரியானவை, அதாவது எதற்கும் (ild டில்டே {c} _s ), (உடன் )மதிப்புகள் ஒன்றே. இந்த முன்மாதிரியின் கீழ், நிகழ்தகவு செயல்பாடு பெறப்படுகிறது:

{[p [s | c_s] = s}} p (w | c_s) = prod limit_ {w {s}} [ alpha p (w) + (1 - ஆல்பா) frac { exp ( langle tilde {c} _s, v_w rangle)} {Z}] ]

மடக்கை எடுத்துக் கொள்ளுங்கள், ஒற்றை சொல் என பதிவு செய்யப்பட்டுள்ளது

[f_w (ild tilde {c} _s) = log [ alpha p (w) + (1- alpha) frac { exp ( langle tilde {c} _s, v_w rangle)} {Z }] ]

மேலே உள்ள சூத்திரத்தை அதிகரிக்கவும், குறிப்பாக காகிதத்தில் உள்ள விரிவான விளக்கத்திற்கு, இறுதி இலக்கு:

{[ arg max limit_ {c_s} sum limit_ {w {s}} f_w ( tilde {c} _s) ]

பெற முடியும்:

[ild டில்டே {சி} _ கள் ப்ராப்டோ தொகை வரம்புகள்_ {w இல் {s}} frac {a} {p (w) + a} v_w, a = frac {1- ஆல்பா} { ஆல்பா Z} ]

எனவே நீங்கள் பெறலாம்:

• உகந்த தீர்வு வாக்கியத்தில் உள்ள அனைத்து சொற்களின் திசையன் ஆகும் எடை சராசரி
• அதிக அதிர்வெண் கொண்ட சொற்களுக்கு (இல் ), எடை சிறியது, எனவே இந்த முறையும் இதற்கு சமம் குறைத்தல் அடிக்கடி சொற்கள்

இறுதியாக, இறுதிப் போட்டியைப் பெறுவதற்காக தண்டனை திசையன் (c_s ), நாம் மதிப்பிட வேண்டும் (c_0 )திசையன் கணக்கிடுவதன் மூலம் (ild டில்டே {c} _s )of முதல் முதன்மை கூறு ( பி.சி.ஏ. முக்கிய கூறுகளில்), இதை எடுத்துக் கொள்ளுங்கள் (c_0 )இறுதி வாக்கிய திசையன் ஆகும் (ild டில்டே {c} _s )முதன்மை கூறு திசையன் கழிக்கவும் (c_0 ).

4. அல்காரிதம் சுருக்கம்

முழு வழிமுறை படிகளும் பின்வருமாறு சுருக்கப்பட்டுள்ளன:

மறுபதிப்பு: https://www.cnblogs.com/databingo/p/9788244.html