いつもTimelogをご利用いただき、ありがとうございます。

6月4日～5日にかけ、クローラー（検索エンジンなどがWebサイトからコンテンツを取得する自動プログラム）がTimelogに多大な負荷をかけ、Timelogのデータベースサーバに過負荷を与えていました。そこで、サーバー管理会社がデータベースサーバを遮断し、Timelogのサービスが落ちてしまっていました。

ご迷惑をおかけいたしました。

現在は、過負荷を与えていたクローラーを遮断していますので、通常負荷に戻りました。

こういったクローラーは、そのサイトにあるURLをすべて順に取得していこうとします。弊社の別事業で通販事業を行っておりますが、そのサイトのページは約400。かなり多いですが、クローラーにしてみれば一瞬です。

しかし、SNSなど、毎日新たなURLが大量に生成されるようなサイトでは、クロールしようと思うと、大変な負荷になってしまいます。クローラーによっては、負荷を与えないようにきちんと節度を守ってクロールするようプログラムされたものがありますが、その一方、おそらくバグに近い挙動で、クロールの際、無限にアクセスしてしまってサーバーに多大な負荷を与えるものもあります。

今回は、そんなクローラーに見つかってしまい、大量アクセスされてしまった、というわけです。

ご迷惑をおかけしましたことをお詫び申し上げます。