GoogleBotのように振舞う

Surfing As GoogleBot - Their IP, Their User-Agent, Their Bot Characteristics
「GoogleBotとして」Webを見る方法についての記事。

1. IPを偽装する
2. User-Agentを偽装する
3. JavaScriptを拒否する
4. Cookieを拒否する
5. Refererを拒否する

IP偽造の為、Google TranslationをProxyとして使うのはなるほどと思った。