はじめに Googleのクローラーに代表される自動化されたウェブサイトへのアクセスは一般的にボットと呼ばれます。ボットにはさまざまな種類があり、中には悪意があるものや、ビジネス上の競合他社が価格の情報などを取得するためにアクセスを行っているような…