strata kruhu

Circle Loss



kruh root @ xxxxx Študijné poznámky

# Prečítajte si stratu kruhu článkov pred dvoma dňami a urobte si tu poznámku
Adresa na stiahnutie papiera so stratou kruhu



Strata tripletov a strata softmaxu maximalizujú vnútroskupinovú podobnosť Sn a minimalizujú medzitriednu podobnosť Sp. Tento článok má najskôr jednotnú paradigmu pre dve základné hlboké výučby funkcií (učenie sa podľa označenia kategórie a učenie sa od označenia).
Najskôr urobte preddefiníciu: Predpokladajme, že pre jednu vzorku x v priestore funkcií existujú K skóre podobnosti v rámci triedy a L skóre podobnosti medzi triedami súvisiace s x. Vyjadrite tieto skóre podobnosti ako {sip} (i = 1,2, ···, K) a {sjn} (j = 1,2, ···, L) obrázok
Nasleduje vysvetlenie, ako Formula 1 zjednocuje učenie štítkov na úrovni triedy a párové učenie štítkov:
Na základe štítku na úrovni triedy možno pomocou hmotnostného vektora získať medzitriednu podobnosť N-1 (ďalšie značky) a jednu podobnosť v rámci triedy (vlastná značka).
Takže môžete získať tento vzorec, ktorý je AM-Softmax.
obrázok
Na základe dvojice štítkov možno pomocou L negatívnych prvkov vzorky a K triedených prvkov vzorky získať L medzitriednych podobností a K vnútrotriednych podobností. Takže môžete získať tento vzorec, ktorý predstavuje stratu tripletov:
obrázok



Strata kruhu je presvedčená, že rozdielne skóre podobnosti by mali mať rozdielne tresty. Ak sa skóre podobnosti líši ďaleko od optimálneho, malo by sa dostať viac trestu. Ak je skóre podobnosti blízke optimálnemu, malo by sa to primerane optimalizovať. Takže prerozdeľte váhu každej podobnosti, aby ste zvýraznili menej optimalizované skóre podobnosti.



napríklad:

Napríklad sn a sp sú 0,8, respektíve 0,9. V tejto chvíli je sp už veľmi veľký, ale sn-sp je stále veľmi malý, takže musíme pokračovať v optimalizácii, ale optimalizujeme aj sn-sp, teda nielen optimalizovať sn, ale aj Pokračovať v optimalizácii sp, je to veľmi nepružné. Je zrejmé, že je pohodlnejšie trestať s energicky, ako trestať súčasne sn a sp.

proces straty kruhu

Najskôr zovšeobecnite (sn-sp) na (ansn-apsp), kde an a ap sú nezávislé váhové faktory, ktoré umožňujú sn a sp učiť sa rôznymi rýchlosťami (vzorec (4)).
obrázok
Potom pomocou an a ap ako koeficientov lineárnych funkcií sn a sp sa uskutoční segmentované učenie algoritmu a rýchlosť učenia algoritmu sa prispôsobí stavu optimalizácie: čím viac sa skóre podobnosti odchyľuje od optimálna hodnota, tým väčší váhový faktor (vzorec (5))
obrázok
Zvážte medzitriedne a medzitriedne rozpätie



Pri optimalizácii funkcie (sn-sp), pretože sn a -sp sú symetrické, sa na vylepšenie optimalizácie pridá rozdiel m, ale pri strate kruhu sú sn a -sp asymetrické, takže sa pridajú sn a sp. Rozdiel ∆n a ∆p:
obrázok
Rovnica (6) dúfa, že sp> ∆p, sn<∆n.
Stručne zvážime dve klasifikácie, potom je hranica rozhodnutia αn (sn − ∆n) −αp (sp − ∆p) = 0.
Nahradením príslušných premenných vzorcom (5) môžeme získať tento vzorec:
obrázok
Kde C = (zapnuté − )n) ** 2 + (op −∆p) ** 2/4.
Zo vzorca (7) tiež vidno, že hranica straty kruhu je kruhová. Stred kruhu je: (sn, sp) a polomer je √C. Pretože existuje príliš veľa parametrov, zvážte nastavenie hyperparametrov: Op = 1 + m, On = −m, ∆p = 1 − m, ∆n = m.
Podľa vyššie uvedenej analýzy je konečnou objektívnou funkciou:
obrázok
medzi nimi:
obrázok
Op = 1 + m, On = −m, ∆p = 1 − m, ∆n = m.
optimalizácia
Nájdite čiastkové derivácie sp a sn:
obrázok
obrázok

Zákonníka