Мой ввод в softmax, y = tf.nn.softmax(tf.matmul(x, W) + b) - это матрица со значениями

tf.matmul(x, W) + b =
[[  9.77206726e+02]
 [  5.72391296e+02]
 [  3.53560760e+02]
 [  4.75727379e-01]
 [  6.58911804e+02]]

Но когда это вводится в softmax, я получаю:

tf.nn.softmax(tf.matmul(x, W) + b) =
[[ 1.]
 [ 1.]
 [ 1.]
 [ 1.]
 [ 1.]]

Причина, по которой результат моего обучения является массивом 1 s, что означает, что никакие веса W или смещения b не обновляются для каждого пакета данных обучения. Это также приводит к тому, что моя точность составляет 1 на случайном наборе тестовых данных.

Ниже мой код:

x = tf.placeholder(tf.float32, [None, 2])

W = tf.Variable(tf.random_normal([2, 1]))

b = tf.Variable(tf.random_normal([1]))

y = tf.nn.softmax(tf.matmul(x, W) + b)

## placeholder for cross-entropy
y_ = tf.placeholder(tf.float32, [None, 1])

## cross-entropy function
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

## backpropagation & gradienct descent
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

## initialize variables
init = tf.initialize_all_variables()

sess = tf.Session()
sess.run(init)

ITER_RANGE = 10
EVAL_BATCH_SIZE = ( len(training_outputs)/ITER_RANGE )
training_outputs = np.reshape(training_outputs, (300, 1))
## training
for i in range(ITER_RANGE):
  print 'iterator:'
  print i

  ## batch out training data
  BEGIN = ( i*EVAL_BATCH_SIZE )
  END = ( (i*EVAL_BATCH_SIZE) + EVAL_BATCH_SIZE )

  batch_ys = training_outputs[BEGIN:END]
  batch_xs = training_inputs[BEGIN:END]

  print 'batch_xs'
  print batch_xs

  print 'batch_ys'
  print batch_ys

  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

  # y = tf.nn.softmax(tf.matmul(x, W) + b)
  print 'y'
  print (sess.run(y, feed_dict={x: batch_xs, y_: batch_ys}))

  #print 'x'
  #print sess.run(x)

  print 'W'
  print sess.run(W)

  print 'b'
  print sess.run(b)

  print 'tf.matmul(x, W) + b'
  print sess.run(tf.matmul(x, W) + b, feed_dict={x: batch_xs, y_: batch_ys})

  print 'tf.nn.softmaxtf.matmul(x, W) + b)'
  print sess.run((tf.nn.softmax(tf.matmul(x, W) + b)), feed_dict={x: batch_xs, y_: batch_ys})

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

test_outputs = np.random.rand(300, 1)

## the following prints 1
print(sess.run(accuracy, feed_dict={x: test_inputs, y_: test_outputs}))
0
redress 8 Сен 2016 в 04:05

4 ответа

Лучший ответ

По определению Softmax, он «сжимает» K-мерный вектор произвольных реальных значений до K-мерный вектор реальных значений в диапазоне (0, 1) , которые в сумме составляют 1 "

Если есть только 1 выходное значение, то категориальное распределение вероятностей, которое выводит Softmax, равно 1, в отличие от значений, которые в сумме дают 1.

0
redress 8 Сен 2016 в 02:07

Похоже, у вас всего два класса {да, нет} и tf.matmul(x, W) + b представляет вероятность {да}. В этом случае вы должны использовать tf.nn.sigmoid_cross_entropy_with_logits вместо softmax. Что-то типа:

y_pred = tf.matmul(x, W) + b
loss = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(y_pred, y_))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)
1
Stephen Rauch 19 Окт 2017 в 03:48

Похоже, ваша функция softmax применяется к каждому отдельному значению в выходном векторе. Попробуйте транспонировать свой вывод, т.е. изменить tf.nn.softmax(tf.matmul(x, W) + b)) на tf.nn.softmax(tf.transpose(tf.matmul(x, W) + b))).

1
Max 19 Окт 2017 в 04:09

Потеря кросс-энтропии неполная. Используйте кросс-энтропию с логитами.

0
Paramdeep Singh Obheroi 19 Окт 2017 в 06:28