TL;DR bundle install を --clean オプション付きで実行することで、もう使っていない gem や古いバージョンの gem が削除されます。 さもないと、Circle CI 上における Bundler のキャッシュの restore はどんどん遅くなります。