AI Lab AutoMLチームの野村です． 本稿では，最近読んだ論文「Lookahead Optimizer: k steps forward, 1 step back」[1] について，解説を行いたいと思います． こちらの論文は今月開催されるNeurIPSに採択されています． Deep Neural Networksのための最適化手法というとstochastic gradient desce