Я разрабатываю модель keras для классификации на основе данных статьи.

У меня есть данные с четырьмя измерениями следующим образом

[batch, article_num, word_num, word embedding size]

И я хочу передать данные каждого (word_num, word embedding) в двунаправленный слой keras

Чтобы получить результат с 3-х мерным измерением следующим образом.

[batch, article_num, bidirectional layer output size]

Когда я пытался передать 4-х мерные данные для тестирования, как это

inp = Input(shape=(article_num, word_num, ))
# dims = [batch, article_num, word_num]

x = Reshape((article_num * word_num, ), input_shape = (article_num, word_num))(inp)
# dims = [batch, article_num * word_num]

x = Embedding(word_num, word_embedding_size, input_length = article_num * word_num)(x)
# dims = [batch, article_num * word_num, word_embedding_size]

x = Reshape((article_num , word_num, word_embedding_size), 
             input_shape = (article_num * word_num, word_embedding_size))(x)
# dims = [batch, article_num, word_num, word_embedding_size]

x = Bidirectional(CuDNNLSTM(50, return_sequences = True), 
                  input_shape=(article_num , word_num, word_embedding_size))(x)

И я получил ошибку

ValueError: Input 0 is incompatible with layer bidirectional_12: expected ndim=3, found ndim=4

Как я могу этого добиться?

0
김동규 26 Ноя 2018 в 16:13

1 ответ

Лучший ответ

Если вы не хотите, чтобы он касался измерения article_num, вы можете попробовать использовать оболочку TimeDistributed. Но я не уверен, что он будет совместим с двунаправленным и прочим.

inp = Input(shape=(article_num, word_num))    

x = TimeDistributed(Embedding(word_num, word_embedding_size)(x))

#option 1
#x1 shape : (batch, article_num, word_num, 50)
x1 = TimeDistributed(Bidirectional(CuDNNLSTM(50, return_sequences = True)))(x)

#option 2
#x2 shape : (batch, article_num, 50)
x2 = TimeDistributed(Bidirectional(CuDNNLSTM(50)))(x)

Подсказки :

  • Не используйте input_shape везде, вам нужно только в тензоре Input.
  • Вам, вероятно, не нужны никакие изменения формы, если вы также используете TimeDistributed при встраивании.
  • Если вы не хотите word_num в последнем измерении, используйте return_sequences=False.
0
Daniel Möller 26 Ноя 2018 в 13:51