nginx如何屏蔽爬虫(YisouSpider、Googlebot等),有酬谢 50C

网站被爬虫爬得扛不住了。。想把这些爬虫都屏蔽了。。

nginx下配有多个站点。。nginx.conf里是没有server字段的。。只有各个站点的.conf文件里有。。

我按照网上的说法,在nginx.conf的server字段(nginx.conf的server字段也是我自己加的)中加入了以下内容:
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {

return 403;

}

但是用curl -I -A "Googlebot" www.XXX.com,仍然没有返回403。。
太不靠谱了。。
求高手指点。。

另外robots.txt也不好使。。那个东西全靠自觉。。我想要能主动禁止他们。。。因为有的流氓爬虫显然没法用那个解决

nginx.conf内容如下:

#user nobody;
worker_processes 2;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid文件的位置
pid nginx.pid;

events {
worker_connections 10240;
}

http {

include       mime.types;
default_type  application/octet-stream;

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

#access_log  logs/access.log  main;

sendfile        on;
#tcp_nopush     on;

#keepalive_timeout  0;
keepalive_timeout  65;

#gzip  on;

    #   open(OUTFILE, ">>/home/wamdm/perl_learn/a");
    #   print OUTFILE ($r->uri,"\n");
    #   close (OUTFILE);


perl_set $fix_upper_lower_case '
    use File::Basename;
    sub {
        my $r = shift;
        my $uri = $r->uri;
        my $filepath = $r->filename; 
        my $uri_prefix = substr($uri, 0, rindex($uri, "/") + 1);
        my $dir = dirname($filepath);
        my $filename = basename($filepath);
        opendir(my $dh, $dir) || die ("~~fail to open dir $dir");
        my @files = grep { /$filename/i && -f "$dir/$_" } readdir($dh);
        closedir($dh);
        if (@files > 0) {
            return "$uri_prefix@files[0]";
        }
        return $r->uri;
    }   
';  

server {

       if ($http_user_agent ~* "MJ12bot|qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|YandexBot|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") 
        { 
            return 403; 

        }    

listen 80;

# server_name localhost;

    #charset koi8-r;

    #access_log  logs/host.access.log  main;

# location / {
# root html;
# index index.html index.htm;
# }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #

# error_page 500 502 503 504 /50x.html;
# location = /50x.html {
# root html;
# }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}


# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
#    listen       8000;
#    listen       somename:8080;
#    server_name  somename  alias  another.alias;

#    location / {
#        root   html;
#        index  index.html index.htm;
#    }
#}


# HTTPS server
#
#server {
#    listen       443;
#    server_name  localhost;

#    ssl                  on;
#    ssl_certificate      cert.pem;
#    ssl_certificate_key  cert.key;

#    ssl_session_timeout  5m;

#    ssl_protocols  SSLv2 SSLv3 TLSv1;
#    ssl_ciphers  HIGH:!aNULL:!MD5;
#    ssl_prefer_server_ciphers   on;

#    location / {
#        root   html;
#        index  index.html index.htm;
#    }
#}

}

站点的conf文件如下:
server {
listen 80;
server_name computer.cdblp.cn;
access_log /home/wamdm/sites/logs/computer.access.log main;
error_log /home/wamdm/sites/logs/computer.error.log error;

root /home/wamdm/sites/searchscholar/computer;
index index.php index.html index.htm;

rewrite  "^/conference/([^/]+)$" /con_detail.php?con_title=$1 last;
rewrite  "^/conference/([^/]+)/$" /con_detail.php?con_title=$1 last;

if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {

return 403;

}

#大小转换的补丁,处理从windows平台(大小写不敏感)迁移到ubuntu(大小写敏感)的站点
#对于需要url重写生效的请求失效
#if ( !-e $request_filename ) {
#   rewrite ^(.*)$ $fix_upper_lower_case last;
#}

#location /{
 #   include agent_deny.conf;

# }

#favicon.ico不用打日志
location = /favicon.ico {
    log_not_found off;
    access_log off;
}

#不允许访问隐藏文件
location ~ /\. {
    deny all;
    access_log off;
    log_not_found off;
}

#访问图片,flash文件等不用打日志
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
    expires      7d; #文件返回的过期时间是7天
    access_log off;
}

#访问js和css文件不用打日志
location ~ .*\.(js|css)?$ {
    expires      1d; #文件返回的过期时间是1天
    access_log off;
}


#设置php-cgi
location ~ [^/]\.php(/|$) {
    fastcgi_split_path_info ^(.+?\.php)(/.*)$;
    #拦截不存在的php页面请求
    if (!-f $document_root$fastcgi_script_name) {
        return 404;
    }

}

}

7个回答

配置robots.txt禁止爬虫来爬就好了吧。。不过要是碰到流氓爬虫不理会robots.txt的配置,谷歌百度搜狗这种大部分是遵守的

如何使用robots.txt及其详解

 User-agent: *
Disallow: /
ggjge
ggjge 回复showbo: 就没有一个方法能配置一下nginx把这些爬虫禁止掉么??
大约 5 年之前 回复
showbo
支付宝加好友偷能量挖 回复ggjge: 那你悲剧了,度娘不遵守robots.txt。淘宝也加了禁止百度蜘蛛的,你site下taobao.com也收录了不少。不行你使用百度的站长工具,http://zhanzhang.baidu.com/在网站分析,抓取频次里面现在百度捉去次数。
大约 5 年之前 回复
ggjge
ggjge 回复showbo: log里还是有啊。。像这样123.125.71.29 - - [15/Dec/2014:14:01:57 +0800] "GET /domain_detail.php?clc=TP393.07 HTTP/1.1" 200 266296 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"。。。这是神马情况
大约 5 年之前 回复
showbo
支付宝加好友偷能量挖 回复ggjge: 检查你的日志文件。。
大约 5 年之前 回复
ggjge
ggjge 回复showbo: 那我能从什么地方看出来他们不爬了呢
大约 5 年之前 回复
showbo
支付宝加好友偷能量挖 回复ggjge: 是放在根目录下,注意文件名称,谷歌和百度会检查robots.txt文件,只要你禁止他们爬行
大约 5 年之前 回复
ggjge
ggjge 是放在网站前端代码的根目录下么?
大约 5 年之前 回复
ggjge
ggjge 我试了。。依然没用。。。
大约 5 年之前 回复

关键是两条,一个是robots.txt禁止爬虫,这个是否配置正确。
参考:http://bar.baidu.com/robots/
另一个是查询下访问的蜘蛛的ip是不是来自google。因为一些山寨流氓搜索引擎,比如某数字公司,会仿冒知名公司的useragent,同时完全不管robots.txt的存在。对于这些流氓搜索引擎,只能屏蔽ip了。

ggjge
ggjge 我试了。。依然不行。。。 wamdm@WAMDM52:~$ curl -I -A "Googlebot" cdblp.cn/index.php HTTP/1.1 200 OK Server: nginx/1.4.1 Date: Mon, 15 Dec 2014 03:47:08 GMT Content-Type: text/html Connection: keep-alive X-Powered-By: PHP/5.4.10 这是神马情况。。那个robots.txt是放在网页前端代码的根目录下么?
大约 5 年之前 回复

添加此配置之后,可以通过nginx -t命令先验证一下配置语法是否有问题,若没有问题,则可以通过nginx -s reload来应用配置。
只有reload之后,配置才生效

ggjge
ggjge 我有重启nginx的。。应该是可以的吧。。。
大约 5 年之前 回复

我试了。。依然不行。。。
wamdm@WAMDM52:~$ curl -I -A "Googlebot" cdblp.cn/index.php
HTTP/1.1 200 OK
Server: nginx/1.4.1
Date: Mon, 15 Dec 2014 03:47:08 GMT
Content-Type: text/html
Connection: keep-alive
X-Powered-By: PHP/5.4.10

这是神马情况。。那个robots.txt是放在网页前端代码的根目录下么?

ggjge
ggjge 回复save4me: 那还有什么别的办法么。。可以主动的禁止爬虫。。。
大约 5 年之前 回复
save4me
save4me robots.txt是放在网站根目录,但是这个是要爬虫自己解析,然后不爬你不想要它爬的页面。就好像一个人在背后贴个字条说不要打我,文明的人看到自然不会打,但是不是说所有人都不打他。打了又能怎样。robots.txt也是一样的道理。
大约 5 年之前 回复

把引号改成括号
if ($http_user_agent ~* (qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot)) {
return 403;
}

ggjge
ggjge 回复save4me: 可是我用chrome试了访问我的站点cdblp.cn。。。可以返回正常结果阿。。并且我的nginx的log里也有显示我的访问请求。。会不会是因为我的nginx下配有多个站点的原因呢?你要不用你的浏览器访问一下试试看行么?
大约 5 年之前 回复
save4me
save4me 对的,我用你的代码,用http://www.phpstudy.net/phpstudy/phpfind.zip个免安装的环境测试,在nginx的server下复制了你的设置。在Chrome直接访问,可以正常打开网页,如果模拟User-Agent为Googlebot,返回403。
大约 5 年之前 回复
ggjge
ggjge 回复save4me: 你的意思是我设置的这些返回403的条件已经生效了么?我的nginx是有rewrite的。。很多页面都有重写规则。。跟这个有关系么?
大约 5 年之前 回复
save4me
save4me 因为你的条件里面有空格,所以你最开始的写法是正确的,我刚才测试过了,在Chrome中,模拟把User-Agent设置成Googlebot,返回403。你用浏览器试试,另外测试一下nginx是否开启了rewrite。
大约 5 年之前 回复
ggjge
ggjge 这样启动nginx的时候直接报错了。。。求靠谱啊大哥。。。。
大约 5 年之前 回复

测试了你的网站,确实没有起作用。
你说你在nginx.conf的server字段(nginx.conf的server字段也是我自己加的),这个server字段是怎么写的?你把if ($http_user_agent ~* 的这个判断加到各个站点的.conf文件里面(当然你可以先添加到cdblp.cn的这个server节点里面测试一下)。可能是因为你自己建的server节点和cdblp.cn的server节点是相互独立的,所以没起作用。
如果还有问题,可以提出来。

ggjge
ggjge 写法就是if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { return 403; }。。直接写在server{...}里,没有在if的外面加location /之类的。。不知道用不用加额。。不过之前好像试过在if外面包一层location也是不行的。。。会是因为设了多站点所以配置跟普通的nginx不一样的原因么。。如果是的话应该怎么配呢?
大约 5 年之前 回复
ggjge
ggjge 我试过了。。把这个if语句加到站点的conf文件里server字段下。。还是不行的。。写法就是
大约 5 年之前 回复

我的配置是这样的,直接在server节点下面写的,没有外加location。你的server节点是怎么写的?可以贴出来看看,当然,可以把涉及到安全的部分设置替换掉。

power by phpStduy 2013 by 网址:www.phpStudy.net

#user nobody;
worker_processes 1;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;

events {
worker_connections 1024;
}

http {
include mime.types;
default_type application/octet-stream;

#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
#                  '$status $body_bytes_sent "$http_referer" '
#                  '"$http_user_agent" "$http_x_forwarded_for"';

#access_log  logs/access.log  main;

sendfile        on;
#tcp_nopush     on;

#keepalive_timeout  0;
keepalive_timeout  650;
#tcp_nodelay on;
fastcgi_connect_timeout 3000;
fastcgi_send_timeout 3000;
fastcgi_read_timeout 3000;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 128k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;

#gzip  on;
gzip on;
gzip_min_length  1k;
gzip_buffers     4 32k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types       text/plain application/x-javascript text/css application/xml;
gzip_vary on;
gzip_disable "MSIE [1-6].";

server_names_hash_bucket_size 128;
client_max_body_size     100m; 
client_header_buffer_size 256k;
large_client_header_buffers 4 256k;

server {
    #charset koi8-r;

    #access_log  logs/host.access.log  main;

    listen 80 default;
    ## SSL directives might go here
    server_name 127.0.0.1 localhost; ## Domain is here twice so server_name_in_redirect will favour the www
    root G:\WWW;

    location / {
        index index.html index.php; ## Allow a static html file to be shown first
        try_files $uri $uri/ @handler; ## If missing pass the URI to Magento's front handler
        expires 30d; ## Assume all files are cachable
    }

    location  /. { ## Disable .htaccess and other hidden files
        return 404;
    }

    location ~ .php/ { ## Forward paths like /js/index.php/x.js to relevant handler
        rewrite ^(.*.php)/ $1 last;
    }

    location ~ .php$ { ## Execute PHP scripts
        if (!-e $request_filename) { rewrite / /index.php last; } ## Catch 404s that try_files miss

        expires        off; ## Do not cache dynamic content
        fastcgi_pass   127.0.0.1:9000;
        #fastcgi_param  HTTPS $fastcgi_https;
        fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
        include        fastcgi_params; ## See /etc/nginx/fastcgi_params
    }

    if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {
        return 403;
    }

    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   html;
    }
}

}

ggjge
ggjge 我把nginx.con和站点的conf粘在问题里了。。麻烦您帮我看看吧。。谢谢!
大约 5 年之前 回复
ggjge
ggjge 恩。。怎么贴代码啊。。。我这里输入框只有一行额。。。
大约 5 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
nginx转发无法进行AD域认证
咨询大佬们一个问题: 我后端有一个iis站点,站点使用AD域认证模式。 前端使用nginx做了转发,将请求转发给这个iis站点。 目前测试下来发现转发后会提示弹窗认证,但是不论输入密码正确与错误都没法通过验证, 有谁知道这具体是nginx转发的问题呢?还是iis配置问题呢?
nginx配置 ssl 后依然报错
nginx 安装配置了 ssl,启动的时候还是报错 the "ssl" parameter requires ngx_http_ssl_module in /usr/local/nginx/conf/./bjskconfig/saasnode.conf:79
nginx配置多个SSL证书
# 首先是Nginx的版本 版本的话,是支持的: ![图片说明](https://img-ask.csdn.net/upload/201912/26/1577338820_605433.png) # 然后是nginx的配置 我配置了两个文件: ``` server { listen 443 ssl; #SSL协议访问端口号为443。此处如未添加ssl,可能会造成Nginx无法启动。 server_name example.cn; #将localhost修改为您证书绑定的域名,例如:www.example.com。 root /var/www/html; index index.html index.htm; ssl_certificate cert/3292735_example.cn.pem; #将domain name.pem替换成您证书的文件名。 ssl_certificate_key cert/3292735_example.cn.key; #将domain name.key替换成您证书的密钥文件名。 ssl_session_timeout 5m; ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4; #使用此加密套件。 ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #使用该协议进行配置。 ssl_prefer_server_ciphers on; location / { # root html; #站点目录。 index index.html index.htm; } } ``` ``` server { listen 443 ssl; #SSL协议访问端口号为443。此处如未添加ssl,可能会造成Nginx无法启动。 server_name app.example.cn; #将localhost修改为您证书绑定的域名,例如:www.example.com。 root /var/www/app; index index.html index.htm index.php; ssl_certificate cert/3292893_app.example.cn.pem; #将domain name.pem替换成您证书的文件名。 ssl_certificate_key cert/3292893_app.example.cn.key; #将domain name.key替换成您证书的密钥文件名。 ssl_session_timeout 5m; ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4; #使用此加密套件。 ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #使用该协议进行配置。 ssl_prefer_server_ciphers on; location / { # root app; #站点目录。 index index.html index.htm; } } ``` 这样配置后,使用nginx -t检查无错,但是在访问www.example.cn的时候,出现了问题: ![图片说明](https://img-ask.csdn.net/upload/201912/26/1577339026_998563.png) 请问是哪里的配置出现了问题吗?
nginx配置中访问域名www.xxx.com怎样定向到www.xxx.com/xxx/xxx/
nginx配置中访问域名www.xxx.com怎样定向到www.xxx.com/xxx/xxx/
nginx代理zuul导致cookie失效的问题
docker里部署nginx,nginx端口80,zuul端口9090,用户服务端口8080 浏览器访问nginx静态资源login.html登录![图片说明](https://img-ask.csdn.net/upload/202001/04/1578111148_680898.png) form表单通过nginx和zuul进入后端的用户服务/user/login登录成功后response.addCookie,结果浏览器得到响应后没有收到cookie 直接访问zuul或者proxy_pass代理8080端口都没问题,nginx代理zuul后就拿不到了,请问是跨域的问题吗 这是nginx配置 ``` upstream backup { server 192.168.1.112:9090; } server { listen 80; server_name localhost; #charset koi8-r; #access_log /var/log/nginx/host.access.log main; location / { root /usr/share/nginx/html; index index.html index.html; } location ~ ^/(user|goods|pay) { proxy_pass http://backup; proxy_set_header X-Real-IP $remote_addr; proxy_set_header Host $host; proxy_set_header X-Scheme $scheme; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-For $remote_addr; proxy_pass_header Server; proxy_set_header Cookie $http_cookie; } } ```
nginx版本与依赖包有关系吗
nginx老版本的依赖,如pcre、zlib等,在nginx升级后能否继续使用,nginx升级与依赖包的版本有关系吗
NGINX要发挥作用,实现负载均衡至少需要几台服务器呢?
1.NGINX要发挥作用,实现负载均衡至少需要几台服务器呢?(是三台吗?一台安装NGINX,其余两台分别部署Tomcat,启动web项目?然后由NGINX进行负载均衡反向代理吗?)(或者是两台吗?NGINX可以与其中一台Tomcat服务器共用一个主机?) 2.一台服务器上有安装NGINX的必要吗?(虽说一台机器NGINX可以分布式不同的Tomcat,但是我只有一个web项目呢?并没有多个网站) 3.当并发量高于多少的时候直接访问Tomcat和通过访问NGINX反向代理才能看出差距呢?(也就是说,当并发量高于多少才有必要使用NGINX) 4.一台高配性能的服务器,通过Tomcat部署项目,然后由Tomcat直接访问项目和两台半高配性能服务器(合起来相当于一台高配)使用了NGINX反向代理,负载均衡相比,那个稳定性更好,效果更好。
关于高并发,当瞬间请求过大,nginx直接屏蔽掉超出部分
具体: 当瞬时请求量过大,超过预制的最高值,服务器直接屏蔽此请求。 1 我记得nginx有个模块,专门干这个东西,忘了叫什么名字了,这个好像付费 2 这个东西可以用filter来做吗?也不知道看谁的代码了,好像看见过这个东西,实在是找不着了。
Nginx 后台服务怎么访问nginx中的前端页面
Nginx 后台服务怎么访问nginx中的前端页面; 就是外网部署的是nginx前端页面,内网部署的是后端服务,那么后端服务怎么进入到前端页面呢
nginx反向代理,nginx服务器 本身是走所有流量吗?
我的理解是nginx 是反向代理,后台有很多服务 当客户端接nginx服务器,eginx服务器通过反向代理会实际请求后台的多个服务器,然后将后台服务器返回的内容返回给请求的客户端,这样后台服务器越多可以增加性能,提高计算,但是所有的客户端请求流量和后台返回的流量都要通过nginx服务器吗?这样的话感觉nginx服务器就没什么太大的必要 ,有没有什么办法eginx服务器只是起到路由作用 通过反向代理建立实际请求客户端 与实际后台服务器的连接 之后 网咯流量就不走engix服务器了
nginx如何配置https使得请求能够访问本地后端接口
静态页面和后端都在同一台服务器上,后端是springboot打的jar包 前端通过nginx代理到本地,如何配置使得ajax请求转发的到本地后端接口? 目前配置如下,总是404 ![图片说明](https://img-ask.csdn.net/upload/201911/19/1574129340_927249.png)
nginx1.17.4下编译安装openssl+nginx-upload-module-2.3.0报错
nginx 版本 1.17.4 使用命令: ./configure --with-pcre=../pcre-8.43 --with-zlib=../zlib-1.2.11 --with-stream --with-http_stub_status_module --add-module=../nginx-upload-module-2.3.0 --with-openssl=../openssl-fips-2.0.16 --with-http_ssl_module make时会报错提示: ![图片说明](https://img-ask.csdn.net/upload/201911/26/1574753562_652830.png)
请教关于 nginx限制搜索引擎爬虫IP白名单
请问在哪里可以获取到各大搜索引擎的IP?最好是官方的。如果可以的话真心希望能够发送我一份,感激不尽!
有nginx的大神吗!IDEA配置nginx的时候提示unknown version是怎么回事啊!!
![图片说明](https://img-ask.csdn.net/upload/201912/20/1576825189_40636.jpg) 用IDEA配置了nginx显示unknown version。。 如果正确配置了的话是会显示版本信息的,然后我用cmd运行nginx查询版本信息时也没反应,日志里也没报错 ![图片说明](https://img-ask.csdn.net/upload/201912/20/1576825359_676593.jpg) 很僵硬,完全不知道怎么回事 在IDEA配置的时候弹出的提示 ![图片说明](https://img-ask.csdn.net/upload/201912/20/1576825383_655894.jpg) ![图片说明](https://img-ask.csdn.net/upload/201912/20/1576825426_676085.png) 希望各位大手子能帮小弟指点迷津!!折腾半天了不知道怎么解决
同一个域名,如何通过nginx配置文件,实现URL参数指定PHP版本运行?
同一个域名,如何通过nginx配置文件,实现URL参数指定PHP版本运行? 例如:https://域名/web/index.php?c=home&a=welcome&do=account_ext&m=zjhj_bd&version_id=1 路径内包含"m=zjhj_bd"则指定其使用PHP7.2运行,若路径内不包含“m=zjhj_bd”则默认PHP5.6运行
Nginx启动时service nginx start出现错误
命令service nginx start 出现错误 Starting nginx (via systemctl):  Job for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for details.                                                            [FAILED] 然后查看详情systemctl status nginx.service systemctl status nginx.service ● nginx.service - SYSV: Nginx is an HTTP(S) server, HTTP(S) reverse proxy and IMAP/POP3 proxy server    Loaded: loaded (/etc/rc.d/init.d/nginx; bad; vendor preset: disabled)    Active: failed (Result: exit-code) since Sun 2019-07-07 15:51:25 CST; 8s ago      Docs: man:systemd-sysv-generator(8)   Process: 22685 ExecStart=/etc/rc.d/init.d/nginx start (code=exited, status=5)Jul 07 15:51:25 iZwz9gionemu6x0y9pvxihZ systemd[1]: Starting SYSV: Nginx is an HTTP(S) server, HTTP(S) reverse proxy and IMAP/POP3...ver... Jul 07 15:51:25 iZwz9gionemu6x0y9pvxihZ systemd[1]: nginx.service: control process exited, code=exited status=5 Jul 07 15:51:25 iZwz9gionemu6x0y9pvxihZ systemd[1]: Failed to start SYSV: Nginx is an HTTP(S) server, HTTP(S) reverse proxy and IM...erver. Jul 07 15:51:25 iZwz9gionemu6x0y9pvxihZ systemd[1]: Unit nginx.service entered failed state. Jul 07 15:51:25 iZwz9gionemu6x0y9pvxihZ systemd[1]: nginx.service failed. 是什么问题啊
nginx配置怎么加代码啊?我不知道nginx在哪里
nginx配置怎么加代码啊?我不知道nginx在哪里 我下载了Typecho,发文章的时候点不开,我又不会代码,百度半天说是要在nginx加一行代码fastcgi_split_path_info ^(.+?\.php)(/.*)$; 我又不知道怎么加
nginx如何转发相同请求到不同服务器
# nginx转发 nginx 怎么可以实现,相同的一次请求,分发给两台不同的服务器,比如请求A,同时将这个请求转发给服务器B,和服务器C。 一个相同的请求想同时转发到:<br> http://a:api/;<br> http://b:api/;
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
字节跳动视频编解码面经
三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时想着能进去就不错了,管他哪个岗呢,就同意了面试...
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
Python 基础(一):入门必备知识
目录1 标识符2 关键字3 引号4 编码5 输入输出6 缩进7 多行8 注释9 数据类型10 运算符10.1 常用运算符10.2 运算符优先级 1 标识符 标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。 以下划线开头的标识符有特殊含义,单下划线开头的标识符,如:_xxx ,表示不能直接访问的类属性,需通过类提供
兼职程序员一般可以从什么平台接私活?
这个问题我进行了系统性的总结,以下将进行言简意赅的说明和渠道提供,希望对各位小猿/小媛们有帮助~ 根据我们的经验,程序员兼职主要分为三种:兼职职位众包、项目整包和自由职业者驻场。 所谓的兼职职位众包,指的是需求方这边有自有工程师配合,只需要某个职位的工程师开发某个模块的项目。比如开发一个 app,后端接口有人开发,但是缺少 iOS 前端开发工程师,那么他们就会发布一个职位招聘前端,来配合公司一...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
写了很久,这是一份最适合/贴切普通大众/科班/非科班的『学习路线』
说实话,对于学习路线这种文章我一般是不写的,大家看我的文章也知道,我是很少写建议别人怎么样怎么样的文章,更多的是,写自己的真实经历,然后供大家去参考,这样子,我内心也比较踏实,也不怕误导他人。 但是,最近好多人问我学习路线,而且很多大一大二的,说自己很迷茫,看到我那篇 普普通通,我的三年大学 之后很受激励,觉得自己也能行,(是的,别太浪,你一定能行)希望我能给他个学习路线,说
经典算法(5)杨辉三角
写在前面: 我是 扬帆向海,这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录,如果您对 Java、算法 感兴趣,可以关注我的动态,我们一起学习。 用知识改变命运,让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
一 说明 如果是初学者,建议去网上寻找安装Mysql的文章安装,以及使用navicat连接数据库,以后的示例基本是使用mysql数据库管理系统; 二 准备前提 需要建立一张学生表,列分别是id,名称,年龄,学生信息;本示例中文章篇幅原因SQL注释略; 建表语句: CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // dosho
致 Python 初学者
文章目录1. 前言2. 明确学习目标,不急于求成,不好高骛远3. 在开始学习 Python 之前,你需要做一些准备2.1 Python 的各种发行版2.2 安装 Python2.3 选择一款趁手的开发工具3. 习惯使用IDLE,这是学习python最好的方式4. 严格遵从编码规范5. 代码的运行、调试5. 模块管理5.1 同时安装了py2/py35.2 使用Anaconda,或者通过IDE来安装模
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,
程序员:我终于知道post和get的区别
IT界知名的程序员曾说:对于那些月薪三万以下,自称IT工程师的码农们,其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居,但只是他们一厢情愿罢了。 此话一出,不知激起了多少(码农)程序员的愤怒,却又无可奈何,于是码农问程序员。 码农:你知道get和post请求到底有什么区别? 程序员:你看这篇就知道了。 码农:你月薪三万了? 程序员:嗯。 码农:你是怎么做到的? 程序员:
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
面试官如何考察你的思维方式?
1.两种思维方式在求职面试中,经常会考察这种问题:北京有多少量特斯拉汽车? 某胡同口的煎饼摊一年能卖出多少个煎饼? 深圳有多少个产品经理? 一辆公交车里能装下多少个乒乓球? 一
碎片化的时代,如何学习
今天周末,和大家聊聊学习这件事情。 在如今这个社会,我们的时间被各类 APP 撕的粉碎。 刷知乎、刷微博、刷朋友圈; 看论坛、看博客、看公号; 等等形形色色的信息和知识获取方式一个都不错过。 貌似学了很多,但是却感觉没什么用。 要解决上面这些问题,首先要分清楚一点,什么是信息,什么是知识。 那什么是信息呢? 你一切听到的、看到的,都是信息,比如微博上的明星出轨、微信中的表情大战、抖音上的...
so easy! 10行代码写个"狗屁不通"文章生成器
前几天,GitHub 有个开源项目特别火,只要输入标题就可以生成一篇长长的文章。 背后实现代码一定很复杂吧,里面一定有很多高深莫测的机器学习等复杂算法 不过,当我看了源代码之后 这程序不到50行 尽管我有多年的Python经验,但我竟然一时也没有看懂 当然啦,原作者也说了,这个代码也是在无聊中诞生的,平时撸码是不写中文变量名的, 中文...
知乎高赞:中国有什么拿得出手的开源软件产品?(整理自本人原创回答)
知乎高赞:中国有什么拿得出手的开源软件产品? 在知乎上,有个问题问“中国有什么拿得出手的开源软件产品(在 GitHub 等社区受欢迎度较好的)?” 事实上,还不少呢~ 本人于2019.7.6进行了较为全面的回答,对这些受欢迎的 Github 开源项目分类整理如下: 分布式计算、云平台相关工具类 1.SkyWalking,作者吴晟、刘浩杨 等等 仓库地址: apache/skywalking 更...
基础拾遗:除了&和&&的区别,你还要知道位运算的这5个运算符
&和&&都可作逻辑与的运算符,表示逻辑与(and),&是位运算符,你还需要知道这5个位运算符,基础很重要,云运算其实很骚!
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问