服務(wù)公告
Nginx如何屏蔽蜘蛛
發(fā)布時間:2021-07-03 12:04
Nginx如何屏蔽蜘蛛
1.修改Nginx配置參數(shù)
需要在該目錄下添加文件 /www/server/nginx/conf/agent_deny.conf
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA訪問。UA為空的可以訪問，比如火車頭可以正常發(fā)布。
if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|JikeSpider|SemrushBot" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
文件添加以上內(nèi)容并保存
2.修改網(wǎng)站配置文件
網(wǎng)站 ---> 設(shè)置 -----> 配置文件
root /www/wwwroot/niuzheng.net;
include agent_deny.conf;
#SSL-START SSL相關(guān)配置，請勿刪除或修改下一行帶注釋的404規(guī)則
#error_page 404/404.html;
3.重啟nginx 生效
