KerasがGPUメモリを食いつぶしてしまう

Tensorflow-gpu(ver2.1)とKeras-gpu(ver2.3.1)を用いてJyupter notebook上で画像分類学習をしているのですが、学習結果を用いて分類させている際に数回分