クローラにしかとシカトしてもらう50の方法

404 Blog Not Found:クローラにしかとシカトしてもらう50の方法

memoがわりに。
いつも楽しくよませていただいている、404Blog Not Foundさんより。

クローラーって結構うざいんだよね。
logを大量にはいていくし。

それへの対策でございます。