SSLを利用していないのに意図せずHTTPS（SSL）ページをクロールされてしまう場合は、下記設定を.htaccessファイルの一番上に記載することにより拒否することが可能です。<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTPS} on
RewriteRule ^(.*)$ http://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
</IfModule>