ニコニコ動画、百度

「ニコニコ動画はYouTubeにとって脅威になったのでアクセス拒否された」みたいな論調に話を持って行きたがる人たちについて

「アクセス拒否＝敵視されている」みたいな発想が短絡的だと思う。利用方法に問題があって異常なアクセスがあれば、普通にアクセス拒否すると思うんだけど。敵視してるとかそういうのとは全く関係なしに。

まあ確かに。

似たような話で百度の過剰アクセスの問題か。
最近、謝罪コンテンツをアップしたので、これまたタイムリーだな。
百度 日本法人、「Baiduspider問題」への対応を表明

ようやくこの問題に目を向けて、クロールのコントロールを強化するようだ。全体的なクローラ負荷を下げる、具体的には「最大クローラ頻度を9回/秒から1 回/秒にする」「中小サイトに対してクローラ頻度を20秒/回以内にコントロール」「毎日のクローラ総量をコントロールする」などとしている。

あと、Youtubeの話で、Flash <=> サーバ間通信をもっと作りこめば、URL判読を難解にすることはできるのだろうが、（おそらく）そこまでやらないのはある程度は門戸を開きますよ、ってことなのかな。
そもそも、YouTubeのスクレイピングを行うツールがCPANにあるあたりでなんともかんとも。

参考:YouTubeのflv
（これもいつまで使えるのやら）

ちなみに動画とか大きなデータ＋ロングテールっていうのはキャッシュが使えそうで使えない･･･キャッシュのヒット率があまり期待できない気がするのだけども（一度アクセスされたコンテンツが再度アクセスされるとは限らない）、そこらへんはどう工夫しているのかな。
ひたすらスケールアウトするしかないのかな。