希哲11年2月6日,『月庭』(sss.kitetu.com)に robots.txt を設置。
これまで負荷試験も兼ねて無制限に解放してきたが,ページ数の増大に伴い過負荷状態に陥いることが多くなってきたため,とりあえず MJ12bot と SemrushBot のクロールを全面禁止するように設定した。
希哲11年2月6日,『月庭』(sss.kitetu.com)に robots.txt を設置。
これまで負荷試験も兼ねて無制限に解放してきたが,ページ数の増大に伴い過負荷状態に陥いることが多くなってきたため,とりあえず MJ12bot と SemrushBot のクロールを全面禁止するように設定した。