Studiuję głębokie uczenie się.

Robię klasyfikator figur: koło, prostokąt, trójkąt, pięciokąt, gwiazda. I zakodowane na gorąco w label2idx = dict(rectangle=0, circle=1, pentagon=2, star=3, triangle=4)

Ale wszystkie wskaźniki uczenia się w epoce są takie same i nie uczą się o obrazie.

Zrobiłem Layer używając funkcji Relu do aktywacji, Affine dla każdej warstwy, Softmax dla ostatniej warstwy i używając Adama do optymalizacji gradientów.

Mam do nauczenia się 234 obrazów RGB, które utworzyły narzędzie 2D do malowania okien i ma rozmiar 128 * 128, ale nie używam całego płótna do narysowania figury.

A obraz wygląda: prostokąt Trójkąt Circle

Wynik pociągu. lewa [] jest przewidywana, a prawa [] etykieta odpowiedzi (wybrałem losowe obrazy, aby wydrukować przewidywaną wartość i etykietę odpowiedzi) .:

epoch:  0.49572649572649574
[ 0.3149641  -0.01454905 -0.23183    -0.2493432   0.11655246] [0 0 0 0 1]
epoch:  0.6837606837606838
[ 1.67341673  0.27887525 -1.09800398 -1.12649948 -0.39533065] [1 0 0 0 0]
epoch:  0.7094017094017094
[ 0.93106499  1.49599772 -0.98549052 -1.20471573 -0.24997779] [0 1 0 0 0]
epoch:  0.7905982905982906
[ 0.48447043 -0.05460748 -0.23526179 -0.22869489  0.05468969] [1 0 0 0 0]

...
epoch:  0.9230769230769231
[14.13835867  0.32432293 -5.01623202 -6.62469261 -3.21594355] [1 0 0 0 0]
epoch:  0.9529914529914529
[ 1.61248239 -0.47768294 -0.41580036 -0.71899219 -0.0901478 ] [1 0 0 0 0]
epoch:  0.9572649572649573
[ 5.93142154 -1.16719891 -1.3656573  -2.19785097 -1.31258801] [1 0 0 0 0]
epoch:  0.9700854700854701
[ 7.42198941 -0.85870225 -2.12027192 -2.81081263 -1.83810873] [1 0 0 0 0]

Myślę, że im więcej się uczy, tym przewidywanie powinno podobać się [ 0.00143 0.09357 0.352 0.3 0.253 ] [ 1 0 0 0 0 ], co oznacza, że indeks odpowiedzi powinien być bliski 0, ale tak nie jest. Nawet dokładność pociągu czasami dochodzi do 1,0 (100%).

Ładuję i normalizuję obrazy za pomocą poniższych kodów.

#data_list = data_list = glob('dataset\\training\\*\\*.jpg')
dataset['train_img'] = _load_img()

def _load_img():
    data = [np.array(Image.open(v)) for v in data_list]
    a = np.array(data)
    a = a.reshape(-1, img_size * 3)

    return a

#normalize
for v in dataset:
   dataset['train_img'] = dataset['train_img'].astype(np.float32)
   dataset['train_img'] /= dataset['train_img'].max()
   dataset['train_img'] -= dataset['train_img'].mean(axis=1).reshape(len(dataset['train_img']), 1)

EDIT

Pozwoliłem obrazom na odcienie szarości za pomocą Image.open(v).convert('LA')

I sprawdzając moją wartość prognozy, a to jest przykład:

[-3.98576886e-04  3.41216374e-05] [1 0]
[ 0.00698861 -0.01111879] [1 0]
[-0.42003415  0.42222863] [0 1]

Wciąż nie uczę się o obrazach. Usunąłem 3 cyfry, aby to przetestować, więc mam tylko prostokąt i trójkąt łącznie 252 obrazy (narysowałem więcej obrazów).

A wartość prognozy jest zwykle podobna do wartości przeciwnej (3,1323, -3,1323 lub 3,1323, -3,1303), nie mogę znaleźć przyczyny.

Nie tylko zwiększając dokładność numeryczną, kiedy używam SGD jako optymalizatora, dokładność nie wzrasta. Ta sama dokładność.

[ 0.02090227 -0.02085848] [1 0]
epoch:  0.5873015873015873
[ 0.03058879 -0.03086193] [0 1]
epoch:  0.5873015873015873
[ 0.04006064 -0.04004988] [1 0]
[ 0.04545139 -0.04547538] [1 0]
epoch:  0.5873015873015873
[ 0.05605123 -0.05595288] [0 1]
epoch:  0.5873015873015873
[ 0.06495255 -0.06500597] [1 0]
epoch:  0.5873015873015873
0
Eugene Fitzher 16 styczeń 2020, 05:56

1 odpowiedź

Najlepsza odpowiedź

Tak. Twój model radzi sobie całkiem nieźle. Problem nie jest związany z normalizacją (nawet nie jest problemem). Model faktycznie przewidywany poza 0,1, co oznacza, że model jest naprawdę pewny.

Model nie będzie próbował optymalizować w kierunku [1,0,0,0], ponieważ obliczając stratę, najpierw obetnie wartości.

Mam nadzieję że to pomoże!

0
li.SQ 16 styczeń 2020, 05:06