rougeref’s diary

自サイトを都合で毎日クロールしています。wgetの--recursiveオプションをつけてサイトごとクロール。で、あるディレクトリ以下はクロールしてはいけないという条件ができました。特定ディレクトリ以下を除外するには--exclude-directoriesオプションをつけて除外するディレクトリをコンマ(,)で区切って列記。ドメイン名を…