Próbuję

print(Y)
print(Y.shape)

class_weights = compute_class_weight('balanced',
                                     np.unique(Y),
                                     Y)
print(class_weights)

Ale to daje mi błąd:

ValueError: classes should include all valid labels that can be in y

Wygląda na mój Y:

       0  1  2  3  4
0      0  0  1  0  0
1      1  0  0  0  0
2      0  0  0  1  0
3      0  0  1  0  0
...
14992     0  0  1  0  0
14993      0  0  1  0  0

I wygląda mój Y.shape: (14993, 5)

W moim modelu {x0}} chcę użyć class_weights, ponieważ jest to nierówna dystrybucja:

model.fit(X, Y, epochs=100, shuffle=True, batch_size=1500, class_weights=class_weights, validation_split=0.05, verbose=1, callbacks=[csvLogger])
6
Shamoon 23 luty 2019, 16:21

2 odpowiedzi

Najlepsza odpowiedź

Utwórz kilka przykładowych danych z co najmniej jednym przykładem na klasę

df = pd.DataFrame({
    '0': [0, 1, 0, 0, 0, 0],
    '1': [0, 0, 0, 0, 1, 0], 
    '2': [1, 0, 0, 1, 0, 0],
    '3': [0, 0, 1, 0, 0, 0],
    '4': [0, 0, 0, 0, 0, 1],
})

Stack kolumny (konwertuj z szerokiego do długiego stołu)

df = df.stack().reset_index()
>>> df.head()

  level_0   level_1     0
0   0       0       0
1   0       1       0
2   0       2       1
3   0       3       0
4   0       4       0

Uzyskaj klasę dla każdego punktu danych

Y = df[df[0] == 1]['level_1']
>>> Y
2     2
5     0
13    3
17    2
21    1
29    4

Compute Class Cass

class_weights = compute_class_weight(
    'balanced', np.unique(Y), Y
)
>>> print(class_weights)
[1.2 1.2 0.6 1.2 1.2]
3
ulmefors 26 luty 2019, 08:50

Wystarczy przekształcić jednocześnie kodowanie do etykiet kategorycznych:

from sklearn.utils import class_weight

y = Y.idxmax(axis=1)

class_weights = class_weight.compute_class_weight('balanced',
                                                  np.unique(y),
                                                  y)

# Convert class_weights to a dictionary to pass it to class_weight in model.fit
class_weights = dict(enumerate(class_weights))
6
Andreas K. 3 marzec 2019, 08:57