あちこちのサイトから、アクセスしてきたと報告のあったUserAgent(UA)を集めてまとめました。ロボット避けに使えそうなので掲載しておきます。
・すぐに導入できるようにコピペできる状態で掲載
・すでに使われていないものもあるかもしれないが未検証
・重複しているものもあるかもしれないが未検証
・SetEnvIfNoCaseは大文字と小文字を区別しないSetEnvIfなので、基本的にはこっちを使った方が安心
・Apache向けだけど実際に拒否する記述は書いてない（バージョンによって違うから）ので各自調べて書いてね
SetEnvIfNoCase User-Agent "AdsBot-Google" getout SetEnvIfNoCase User-Agent "AdsBot-Google-Mobile-Apps" getout SetEnvIfNoCase User-Agent "AhrefsBot" getout SetEnvIfNoCase User-Agent "aruyo" getout SetEnvIfNoCase User-Agent "Ask Jeeves" getout SetEnvIfNoCase User-Agent "Baiduspider" getout SetEnvIfNoCase User-Agent "Baiduspider-ads" getout SetEnvIfNoCase User-Agent "Baiduspider-cpro" getout SetEnvIfNoCase User-Agent "Baiduspider-favo" getout SetEnvIfNoCase User-Agent "Baiduspider-image" getout SetEnvIfNoCase User-Agent "Baiduspider-news" getout SetEnvIfNoCase User-Agent "Baiduspider-video" getout SetEnvIfNoCase User-Agent "bidswitchbot" getout SetEnvIfNoCase User-Agent "bingbot" getout SetEnvIfNoCase User-Agent "BingPreview" getout SetEnvIfNoCase User-Agent "BLEXBot" getout SetEnvIfNoCase User-Agent "Crowsnest" getout SetEnvIfNoCase User-Agent "dloader" getout SetEnvIfNoCase User-Agent "DuckDuckBot" getout SetEnvIfNoCase User-Agent "Facebot" getout SetEnvIfNoCase User-Agent "fast" getout SetEnvIfNoCase User-Agent "Girafabot" getout SetEnvIfNoCase User-Agent "Googlebot" getout SetEnvIfNoCase User-Agent "Googlebot-Image" getout SetEnvIfNoCase User-Agent "Googlebot-News" getout SetEnvIfNoCase User-Agent "Googlebot-Video" getout SetEnvIfNoCase User-Agent "GrapeshotCrawler" getout SetEnvIfNoCase User-Agent "Gunosy" getout SetEnvIfNoCase User-Agent "ia_archiver" getout SetEnvIfNoCase User-Agent "ICC-Crawler" getout SetEnvIfNoCase User-Agent "indexpert" getout SetEnvIfNoCase User-Agent "Indy Library" getout SetEnvIfNoCase User-Agent "integralads" getout SetEnvIfNoCase User-Agent "Linguee" getout SetEnvIfNoCase User-Agent "ltx71" getout SetEnvIfNoCase User-Agent "jet-bot" getout SetEnvIfNoCase User-Agent "Mappy" getout SetEnvIfNoCase User-Agent "Mediapartners-Google" getout SetEnvIfNoCase User-Agent "MegaIndex" getout SetEnvIfNoCase User-Agent "Megalodon" getout SetEnvIfNoCase User-Agent "MJ12bot" getout SetEnvIfNoCase User-Agent "moget" getout SetEnvIfNoCase User-Agent "mogimogi" getout SetEnvIfNoCase User-Agent "msnbot" getout SetEnvIfNoCase User-Agent "nabot" getout SetEnvIfNoCase User-Agent "NaverBot" getout SetEnvIfNoCase User-Agent "Openbot" getout SetEnvIfNoCase User-Agent "Pinterest" getout SetEnvIfNoCase User-Agent "proximic" getout SetEnvIfNoCase User-Agent "Python-urllib" getout SetEnvIfNoCase User-Agent "rogerbot" getout SetEnvIfNoCase User-Agent "Scooter" getout SetEnvIfNoCase User-Agent "SemrushBot" getout SetEnvIfNoCase User-Agent "SMTBot" getout SetEnvIfNoCase User-Agent "Steeler" getout SetEnvIfNoCase User-Agent "Slurp" getout SetEnvIfNoCase User-Agent "sogou spider" getout SetEnvIfNoCase User-Agent "tokiwa" getout SetEnvIfNoCase User-Agent "trendictionbot" getout SetEnvIfNoCase User-Agent "TurnitinBot" getout SetEnvIfNoCase User-Agent "Twitterbot" getout SetEnvIfNoCase User-Agent "Yahoo! Slurp" getout SetEnvIfNoCase User-Agent "YandexBot" getout SetEnvIfNoCase User-Agent "yetibot" getout SetEnvIfNoCase User-Agent "ZyBorg" getout
