旧から新へ: 大規模ウェブクローラのPerlからGoへの置き換え

はてなアンテナは登録したURLの更新情報を定期的に取得し、更新内容をまとめるウェブサイト巡回サービスです。 サービス開始以来20年を越えたはてなアンテナでは、Perlで書かれたコードベースの置き換えを進めています。 最初の一手として、数百万件のページを効率よく巡回するクローラをGoで書き直しました。クローラを…