.htaccessでクローラーを拒否する方法

.htaccessファイルで特定のクローラーを拒否するには、RewriteEngineとRewriteCondを使用して特定のクローラーユーザーエージェントをブロックする方法があります。以下は、代表的な設定方法です。

特定のクローラーを拒否する

1. .htaccessファイルをサーバーのルートディレクトリ（公開ディレクトリ）に配置します。
2. 以下のコードを.htaccessファイルに追加します。

RewriteEngine On 
# Googlebotを拒否する RewriteCond %{HTTP_USER_AGENT} Googlebot [NC] RewriteRule ^ - [F,L] 
# Bingbotを拒否する RewriteCond %{HTTP_USER_AGENT} Bingbot [NC] RewriteRule ^ - [F,L] 
# 特定のユーザーエージェントを拒否する（例：BadBot） RewriteCond %{HTTP_USER_AGENT} BadBot [NC] RewriteRule ^ - [F,L]

全てのクローラーを拒否する

もし、すべてのクローラーをブロックしたい場合は、以下のようにします。

RewriteEngine On # クローラーを識別するための一般的なユーザーエージェント文字列を拒否 RewriteCond %{HTTP_USER_AGENT} (bot|crawl|spider|slurp|bing) [NC] RewriteRule ^ - [F,L]

設定内容の説明

• RewriteEngine On：リライトエンジンを有効化します。
• RewriteCond：特定の条件を指定します。%{HTTP_USER_AGENT}を使用してユーザーエージェントを判定しています。
• [NC]：大文字小文字を無視するフラグです。
• [F,L]：拒否（403 Forbidden）し、ルールを終了するフラグです。

これで、指定したクローラーからのアクセスを403エラーで拒否できます。