[DL]weight decayって何? - Qiita

deep neural networkではlayerが多層になるほど、そのモデルの表現能力が増します。 しかし、多層になるほどoverfittingのリスクも高くなります。 Modelの表現能力を維持したまま、parameterの自由度に制限を与えることでoverfitti...