Diary
id:kokoichi206
特定のサイトからスクレイピングできない
症状 golang で http リクエストを投げてスクレイピングしたい時、特定のサイトでは全く情報が取れない時がありました。 解決策 Header 情報に Agent の情報を入れてあげると解決しました。 req.Header.Add("User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Geck…