ホーム>source

新しいデータに基づいて作成したケラスモデルを使用しようとしていますが、予測を予測しようとすると入力エラーが発生します。

モデルのコードは次のとおりです。

def build_model(max_features, maxlen):
    """Build LSTM model"""
    model = Sequential()
    model.add(Embedding(max_features, 128, input_length=maxlen))
    model.add(LSTM(128))
    model.add(Dropout(0.5))
    model.add(Dense(1))
    model.add(Activation('sigmoid'))
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop')
    return model

そして、私の新しいデータの出力予測を予測するコード:

LSTM_model = load_model('LSTMmodel.h5')
data = pickle.load(open('traindata.pkl', 'rb'))

#### LSTM ####
"""Run train/test on logistic regression model"""
# Extract data and labels
X = [x[1] for x in data]
labels = [x[0] for x in data]
# Generate a dictionary of valid characters
valid_chars = {x:idx+1 for idx, x in enumerate(set(''.join(X)))}
max_features = len(valid_chars) + 1
maxlen = np.max([len(x) for x in X])
# Convert characters to int and pad
X = [[valid_chars[y] for y in x] for x in X]
X = sequence.pad_sequences(X, maxlen=maxlen)
# Convert labels to 0-1
y = [0 if x == 'benign' else 1 for x in labels]

y_pred = LSTM_model.predict(X)

このコードを実行するとエラーが発生します:

ValueError: Error when checking input: expected embedding_1_input to have shape (57,) but got array with shape (36,)

私のエラーは maxlen から来ています  私のトレーニングデータのために、 maxlen=57  そして、私の新しいデータ、 maxlen=36

だから私は私の予測コード maxlen=57 に設定しようとしました  しかし、私はこのエラーを受け取ります:

tensorflow.python.framework.errors_impl.InvalidArgumentError: indices[31,53] = 38 is not in [0, 38)
     [[Node: embedding_1/embedding_lookup = GatherV2[Taxis=DT_INT32, Tindices=DT_INT32, Tparams=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"](embedding_1/embeddings/read, embedding_1/Cast, embedding_1/embedding_lookup/axis)]]

これらの問題を解決するにはどうすればよいですか?埋め込みレイヤーを変更しますか?

あなたの答え
  • 解決した方法 # 1

    input_length を設定するか  データセットに表示される最大長までの埋め込みレイヤーの、または同じ maxlen を使用する   pad_sequences でモデルを構築するときに使用した値 。その場合、 maxlen より短いシーケンス  パディングされ、 maxlen より長いシーケンス  切り捨てられます。

    さらに、使用する機能がトレイン時間とテスト時間の両方で同じであることを確認します(つまり、それらの数は変更しないでください)。

関連記事

  • 前へ java - JPAクエリ:サブクエリをグループ化条件に結合する
  • 次へ python - Django開発サーバーでrunが2回呼び出されるのはなぜですか?