文章851
标签121
分类10

[踩坑] Nginx网站使用CDN之后禁止用户真实IP访问的方法

今天发现 有个IP 一直在连接 websocket 服务, 脑袋疼呀, 需要封禁IP.

服务层级 : CDN -> Nginx -> Ws服务

发现有个客户端IP 疯狂重连, 我就想着 Nginx deny 22.22.22.22; 发现没有用, 根本限制不住.
上网找了下, NginxIP 只能限制直连的IP remote_addr , 我们前面有 CDNIP Nginx deny 不好使.

找了个靠谱的文章 搬运一下. 也收藏一下.

原文地址 : Nginx网站使用CDN之后禁止用户真实IP访问的方法

做过面向公网 WEB 运维的苦逼们肯定见识过各种恶意扫描、拉取、注入等图谋不轨行为吧?对于直接对外的 WEB 服务器,我们可以直接通过 iptablesNginxdeny 指令或者是程序来 ban 掉这些恶意请求。

而对于套了一层 CDN 或代理的网站,这些方法可能就失效了。尤其是个人网站,可能就一台 VPS,然后套一个免费的 CDN 就行走在互联网了。并不是每个 CDN 都能精准的拦截各种恶意请求的,更闹心的是很多 CDN 还不支持用户在 CDN 上添加 BAN 规则,比如腾讯云 CDN。。。

因此,就有了本文的折腾分享。

一、真假难辨

如何禁止访问,我们先了解下常见的 3 种网站访问模式:

①、用户直接访问对外服务的普通网站
浏览器 --> DNS 解析 --> WEB 数据处理 --> 数据吐到浏览器渲染展示

②、用户访问使用了 CDN 的网站
浏览器 --> DNS 解析 --> CDN 节点 --> WEB 数据处理 --> 数据吐到浏览器渲染展示

③、用户通过代理上网访问了我们的网站
浏览器 --> 代理上网 --> DNS 解析 --> 上述 2 种模式均可能

对于第一种模式,我要禁止这个用户的访问很简单,可以直接通过 iptables 或者 Nginxdeny 指令来禁止均可:

iptabels:

iptables -I INPUT -s 用户 ip -j DROP

Nginx 的 deny 指令:

语法deny address / CIDR / unix: / all;
默认值
配置段http, server, location, limit_except
顺 序从上往下

Demo:

location / {
     deny 用户 IP 或 IP 段;
}

但对于后面 2 种模式就无能为力了,因为 iptablesdeny 都只能针对直连 IP,而后面 2 种模式中,WEB 服务器直连 IP 是 CDN 节点或者代理服务器,此时使用 iptabledeny 就只能把 CDN 节点 或代理 IP 给封了,可能误杀一大片正常用户了,而真正的罪魁祸首轻轻松松换一个代理 IP 又能继续请求了。

那该怎么办?

二、火眼金睛

如果长期关注张戈博客的朋友,应该还记得之前转载过一篇分享 NginxCDN 加速之后,获取用户真实 IP 做并发访问限制的方法。说明 Nginx 还是可以实实在在的拿到用户真实 IP 地址的,那么事情就好办了。

要拿到用户真实 IP,只要在 Nginxhttp 模块内加入如下配置:

#获取用户真实IP,并赋值给变量$clientRealIP
map $http_x_forwarded_for  $clientRealIp {
        ""      $remote_addr;
        ~^(?P<firstAddr>[0-9\.]+),?.*$  $firstAddr;
}

那么,$clientRealIP 就是用户真实 IP 了,其实就是匹配了 $http_x_forwarded_for 的第一个值,具体原理前文也简单分享过:

其实,当一个 CDN 或者透明代理服务器把用户的请求转到后面服务器的时候,这个 CDN 服务器会在 Http 的头中加入一个记录

X-Forwarded-For : 用户 IP, 代理服务器 IP
如果中间经历了不止一个代理服务器,这个记录会是这样
X-Forwarded-For : 用户 IP, 代理服务器 1-IP, 代理服务器 2-IP, 代理服务器 3-IP, ….
可以看到经过好多层代理之后, 用户的真实 IP 在第一个位置, 后面会跟一串中间代理服务器的 IP 地址,从这里取到用户真实的 IP 地址,针对这个 IP 地址做限制就可以了。

而且代码中还配合使用了 $remote_addr,因此 $clientRealIP 还能兼容上文中第①种直接访问模式,不像 $http_x_forwarded_for 在直接访问模式中将会是空值!

所以,$clientRealIP 还能配置到 Nginx 日志格式中,替代传统的 $remote_addr 使用,推荐!

三、隔山打牛

既然已经拿到了真实 IP,却不能使用 iptablesdeny 指令,是否无力感油然而生?

哈哈,在强大的 Nginx 面前只要想得到,你就做得到!通过对 $clientRealIP 这个变量的判断,Nginx 就能实现隔山打牛的目的,而且规则简单易懂:

#如果真实IP为 121.42.0.18、121.42.0.19,那么返回403
if ($clientRealIp ~* "121.42.0.18|121.42.0.19") {
        #如果你的nginx安装了echo模块,还能如下输出语言,狠狠的发泄你的不满(但不兼容返回403,试试200吧)!
        #add_header Content-Type text/plain;
        #echo "son of a bitch,you mother fucker,go fuck yourself!";
        return 403;
        break;
}

把这个保存为 deny_ip.conf ,上传到 Nginxconf 文件夹,然后在要生效的网站 server 模块中引入这个配置文件,并 Reload 重载 Nginx 即可生效:

#禁止某些用户访问 include deny_ip.conf;

如果再想添加其他要禁止的 IP,只需要编辑这个文件,插入要禁止的 IP,使用分隔符 | 隔开即可,记得每次修改都需要 reload 重载 Nginx 才能生效。

四、奇淫巧计

为了更方便的添加和删除这些黑名单 IP,昨晚熬夜写了一个小脚本,一键添加和删除,懒人有福了!

#!/bin/bash
###################################################################
#  Deny Real IP for Nginx;  Author: Jager <ge@zhangge.net>        #
# For more information please visit https://zhangge.net/5096.html #
#-----------------------------------------------------------------#
#  Copyright ©2016 zhangge.net. All rights reserved.              #
###################################################################

NGINX_BIN=/usr/local/nginx/sbin/nginx
DENY_CONF=/usr/local/nginx/conf/deny_ip.conf

COLOR_RED=$(    echo -e "\e[31;49m" )
COLOR_GREEN=$(  echo -e "\e[32;49m" )
COLOR_RESET=$(  echo -e "\e[0m"     )

rep_info() { echo;echo -e "${COLOR_GREEN}$*${COLOR_RESET}";echo; }
rep_error(){ echo;echo -e "${COLOR_RED}$*${COLOR_RESET}";echo;exit 1; }

show_help()
{
printf "
###################################################################
#  Deny Real IP for Nginx;  Author: Jager <ge@zhangge.net>        #
# For more information please visit https://zhangge.net/5096.html #
#-----------------------------------------------------------------#
#  Copyright ©2016 zhangge.net. All rights reserved.              #
###################################################################

Usage: $0 [OPTIONS]

OPTIONS:
-h | --help   : Show help of this script
-a | --add    : Add a deny ip to nginx, for example: ./$0 -a 192.168.1.1
-c | --create : Create deny config file($DENY_CONF) for Nginx
-d | --del    : Delete a ip from deny list, for example: ./$0 -d 192.168.1.1
-s | --show   : Show current deny list

"
}

reload_nginx()
{
    $NGINX_BIN -t >/dev/null 2>&1 && \
    $NGINX_BIN -s reload && \
    return 0
}

show_list()
{
   awk -F '["){|]' '/if/ {for(i=2;i<=NF;i++) if ($i!="") printf $i"\n"}' $DENY_CONF 
}

pre_check()
{
    test -f $NGINX_BIN || rep_error "$NGINX_BIN not found,Plz check and edit."
    test -f $DENY_CONF || rep_error "$DENY_CONF not found,Plz check and edit." 
    MATCH_COUNT=$(show_list | grep -w $1 | wc -l)
    return $MATCH_COUNT
}

create_rule()
{
test -f $DENY_CONF && \
rep_error "$DENY_CONF already exist!."
cat >$DENY_CONF<<EOF
if (\$clientRealIp ~* "8.8.8.8") {
    #add_header Content-Type text/plain;
    #echo "son of a bitch,you mother fucker,go fuck yourself!"; 
    return 403;
    break;
}
EOF
test -f $DENY_CONF && \
rep_info "$DENY_CONF create success!" && \
cat $DENY_CONF && \
exit 0

rep_error "$DENY_CONF create failed!" && \
exit 1

}

add_ip()
{
    pre_check $1
    if [[ $? -eq 0 ]];then
        sed -i "s/\")/|$1&/g" $DENY_CONF && \
        reload_nginx && \
        rep_info "add $1 to deny_list success." || \
        rep_error "add $1 to deny_list failed."
    else
        rep_error "$1 has been in deny list!"
        exit
    fi
}

del_ip()
{
    pre_check $1
    if [[ $? -ne 0 ]];then
        sed -ie "s/\(|$1\|$1|\)//g" $DENY_CONF && \
        reload_nginx && \
        rep_info "del $1 from deny_list success." || \
        rep_error "del $1 from deny_list failed."
    else
        rep_error "$1 not found in deny list!"
        exit
    fi
}

case $1 in
    "-s"|"--show" )
        show_list
        exit
        ;;
    "-h"|"--help" )
        show_help
        exit
        ;;
    "-c"|"--create" )
        create_rule
    ;;
esac

while [ $2 ];do
    case $1 in
        "-a"|"--add" )
            add_ip $2;
            ;;
        "-d"|"--del" )
            del_ip $2
            ;;
        * )
            show_help
            ;; 
    esac
    exit
done
show_help

使用方法:

①、根据实际情况修改第 9、10 行 Nginx 二进制文件及其 deny 配置文件路径
②、然后将此脚本保存为 deny_ctrl.sh 上传到服务器任意目录,比如放到 /root
③、给脚本赋予可执行权限:chmod +x deny_ctrl.sh 即可使用
④、使用参数:

Usage: deny_ctrl.sh [OPTIONS]
 OPTIONS:
 -h | --help : 显示帮助信息
 -a | --add : 添加一个黑名单 IP, 例如: ./deny_ctrl.sh -a 192.168.1.1
 -c | --create : 初始化创建一个禁止 IP 的配置文件,需要自行 include 到需要的网站 server 模块
 -d | --del : 删除一个黑名单 IP,例如: ./deny_ctrl.sh -d 192.168.1.1
 -s | --show : 显示当前已拉黑 IP 清单

初次使用,先执行 ./deny_ctrl.sh -c 创建一下 Nginx 相关配置文件:deny_ip.conf,默认内容如下:

if ($clientRealIp ~* "8.8.8.8") {
    #add_header Content-Type text/plain;
    #echo "son of a bitch,you mother fucker,go fuck yourself!"; 
    return 403;
    break;
}

8.8.8.8 是为了占位,规避为空的坑爹情况,实际使用中也请注意,必须要有一个 IP 占位,否则可能导致误杀哦!

生成这个文件之后,编辑网站对应的配置文件,比如 zhangge.net.conf

server {} 模块内部插入 include deny_ip.conf; (注意有英文分号)即可

比如:

server
    {
        listen 80;   
        server_name zhangge.net;
        index index.html index.htm index.php default.html default.htm default.php;
        root  /home/wwwroot/zhangge.net;

        include agent_deny.conf;  #新增此行
        #其他略 ...

最后,使用 nginx -s reload 重载 Nginx 即可。

后面需要添加黑名单或删除黑名单都可以使用 deny_ctrl.sh 脚本来操作了!

最后,顺便说明一下,本文分享的方法仅作为使用 CDN 网站遇到恶意 IP 的一种手工拉黑方案。而自动化限制的方案可以参考博客之前的分享:NginxCDN 加速之后,获取用户真实 IP 做并发访问限制的方法

感谢作者的文章 作者博客: https://zhangge.net

Redis 字符串命令 set 的更多使用

今天看了同时的代码, 发现自己对redis的了解就是渣渣呀.

$redis->set($key, $data, ['nx', 'ex' => $frequency]]

字符串的应用, 一般我们就是用作缓存, 或者自增键加锁使用. 其他业务很少用.

看到上面代码第一眼时我就懵逼了, 三参数可以是数组.
先解释下上面代码意思 : $key 是否存在, 存在则设 $frequencyttl有效期.

说下使用场景: 我们弄了个预警服务, 怕重复报警, 限制频率 $frequency秒内仅报警一次.

nx, ex 的介绍 细节如下面文档:

SET

SET key value [EX seconds] [PX milliseconds] [NX|XX]

将字符串值 value 关联到 key

如果 key 已经持有其他值, SET 就覆写旧值,无视类型。

对于某个原本带有生存时间(TTL)的键来说, 当 SET 命令成功在这个键上执行时, 这个键原有的 TTL 将被清除。

可选参数
Redis 2.6.12 版本开始, SET 命令的行为可以通过一系列参数来修改:

EX second :设置键的过期时间为 second 秒。 SET key value EX second 效果等同于 SETEX key second value 。
PX millisecond :设置键的过期时间为 millisecond 毫秒。 SET key value PX millisecond 效果等同于 PSETEX key millisecond value
NX :只在键不存在时,才对键进行设置操作。 SET key value NX 效果等同于 SETNX key value
XX :只在键已经存在时,才对键进行设置操作。

文档地址 : http://doc.redisfans.com/string/set.html

Nginx 设置ip白名单

通过allow, deny模块

allow 45.43.23.21;
deny all;

各模块下使用方式

http{
   ...
   allow 45.43.23.21;
   deny all;
   ...
}

server{
    ...
    allow 45.43.23.21;
    deny all;
    ...
}


location / {
   allow 45.43.23.21;
   deny all;
}

通过geo模块

http模块

http {
    ........
    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    geo $remote_addr $geo {
           default 1; #1表示禁止访问
           127.0.0.1 0; #0表示可以访问
    }

    include /usr/local/nginx/conf.d/*.conf;
}

server模块

server {
    listen 80;
    server_name jenkins.aa.bb;
    location / {
        # 如果不是白名单则 显示403 禁止访问
        if ( $geo  = 1 ) {
            return 403;
        }
        proxy_set_header        Host $host:$server_port;
        proxy_set_header        X-Real-IP $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header        X-Forwarded-Proto $scheme;
        proxy_pass          http://127.0.0.1:59932;
        proxy_read_timeout  90;
        proxy_http_version 1.1;
        proxy_request_buffering off;
    }
}

geo语法

Syntax:     geo [$address] $variable { ... }
Default:    —
Context:    http
address 默认是 [Math Processing Error] http_x_forwarded_for才能获取到客户端ip

通过geo对指定ip地址流量限制

http{
     #定义白名单ip列表变量
     geo $whiteiplist {
         default 1 ;
         127.0.0.1/32 0;
         10.0.0.0/8 0;
         64.223.160.0/19 0;
     }
     
     map $whiteiplist $limit{
         1 $binary_remote_addr ;
         0 "";
     }
     
     #配置请求限制内容
     limit_conn_zone $limit zone=conn:10m;
     limit_req_zone $limit zone=allips:10m rate=20r/s;
     
     server{
         listen       8080;
         server_name  test.qiangsh.com;
                  
         location /app {
           proxy_pass http://192.168.1.111:8888/app;
           limit_conn conn 50;
           limit_rate 500k;
           limit_req zone=allips burst=5 nodelay;
         }
     }
}
# 测试方法:
# ab -c 100 -n 300 http://test.qiangsh.com:8080/app/docs/nginx_guide.pdf
  1. geo指令定义一个白名单$whiteiplist, 默认值为1, 所有都受限制。
    如果客户端IP与白名单列出的IP相匹配,则$whiteiplist值为0也就是不受限制。
  2. map指令是将$whiteiplist值为1的,也就是受限制的IP,映射为客户端IP。将$whiteiplist值为0的,也就是白名单IP,映射为空的字符串。
  3. limit_conn_zonelimit_req_zone指令对于键为空值的将会被忽略,从而实现对于列出来的IP不做限制。
  4. $remote_addr$binary_remote_addr 区别, $remote_addr 是7-15字节,$binary_remote_addr是4字节ipv4, 16字节ipv6
  5. 以上命令的限制是指白名单内的不限制, 不在白名单内的, 每个ip允许50个连接, 每个连接限速500k, 10m的容器,
    按照32bytes/session, 可以处理320000个`` 每秒20个请求, 超过25(20+5,

其中前20个是有时间间隔匀速控制的, 后5个是缓存, 如果100ms内有10个请求, 则会通过7个)个的立即丢弃, 返回503

Mac M1 安装 homebrew

因为macbook发布的M1是基于arm架构的,导致很多软件在短时间没无法兼容,其中包括php的很多集成开发环境软件。于是需要手动配置。网上的信息也是零七八碎,故制作了这个完整的教程。

本教程基于的macbook air M1 2020 ,以`homebrew的方式。

安装 ARM 版 Homebrew

ARM版Homebrew需要安装在/opt/homebrew路径下,早期的时候需要手动创建目录执行命令,目前使用最新脚本不需要手动操作。

直接执行:

/bin/bash -c "$(curl -fsSL https://gitee.com/ineo6/homebrew-install/raw/master/install.sh)"

然后还需设置环境变量,具体操作步骤如下,一定要仔细阅读。

PS: 终端类型根据执行命令echo $SHELL显示的结果:

/bin/bash => bash => .bash_profile
/bin/zsh => zsh => .zprofile

如果遇到环境变量无效问题,建议回过头来查看终端类型,再做正确的设置。

macOS Catalina(10.15.x) 版开始,Mac使用zsh作为默认Shell,使用.zprofile,所以对应命令:

echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zprofile
eval "$(/opt/homebrew/bin/brew shellenv)"

如果是macOS Mojave 及更低版本,并且没有自己配置过zsh,使用.bash_profile

echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.bash_profile
eval "$(/opt/homebrew/bin/brew shellenv)"

扩展阅读:在 Mac 上将 zsh 用作默认 Shell

安装 X86 版 Homebrew

因为目前很多软件包没有支持ARM架构,我们也可以考虑使用x86版的Homebrew

在命令前面添加arch -x86_64,就可以按X86模式执行该命令,比如:

arch -x86_64 /bin/bash -c "$(curl -fsSL https://gitee.com/ineo6/homebrew-install/raw/master/install.sh)"

多版本共存
如果你同时安装了ARMX86两个版本,那你需要设置别名,把命令区分开。

同样是.zprofile或者.bash_profile里面添加:

至于操作哪个文件,请参考前文关于终端类型的描述,下文如有类似文字,保持一样的操作。

alias abrew='arch -arm64 /opt/homebrew/bin/brew'
alias ibrew='arch -x86_64 /usr/local/bin/brew'

abrewibrew可以根据你的喜好自定义。

然后再执行source ~/.zprofile或source ~/.bash_profile命令更新文件。

设置镜像

注意:本文中的安装脚本会设置中科大源镜像,如果你也想设置caskbottles的镜像,请按下面注释部分选择执行代码。

更详细的教程可以参考前面「mac下镜像飞速安装Homebrew教程」

执行时根据实际情况修改"$(brew --repo)"代码中的brew。

意思是如果你只是使用一个版本Homebrew,直接执行命令即可,如果你想多个版本共存或者使用了别名,就把brew关键字替换为别名名称,如前面的abrewibrew

# brew
git -C "$(brew --repo)" remote set-url origin https://mirrors.ustc.edu.cn/brew.git

# core
git -C "$(brew --repo homebrew/core)" remote set-url origin https://mirrors.ustc.edu.cn/homebrew-core.git

# cask
git -C "$(brew --repo homebrew/cask)" remote set-url origin https://mirrors.ustc.edu.cn/homebrew-cask.git

# bottles for zsh 和下面2选1
echo 'export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.ustc.edu.cn/homebrew-bottles/bottles' >> ~/.zprofile
source ~/.zprofile

# bottles for bash 和上面2选1
echo 'export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.ustc.edu.cn/homebrew-bottles/bottles' >> ~/.bash_profile
source ~/.bash_profile

具体镜像设置参考 mac下镜像飞速安装Homebrew教程 “设置镜像”一节。

Go 语言指针符号 * 和 &

符号 & 的意思是对变量取地址
如:变量a的地址是&a

符号 * 的意思是对指针取值,
如:*&a,就是a变量所在地址的值,当然也就是a的值了

先看一段代码,人工运行一下,看看自己能做对几题?

package main

import "fmt"

func main() {
    var a int = 1 
    var b *int = &a
    var c **int = &b
    var x int = *b
    fmt.Println("a = ",a)
    fmt.Println("&a = ",&a)
    fmt.Println("*&a = ",*&a)
    fmt.Println("b = ",b)
    fmt.Println("&b = ",&b)
    fmt.Println("*&b = ",*&b)
    fmt.Println("*b = ",*b)
    fmt.Println("c = ",c)
    fmt.Println("*c = ",*c)
    fmt.Println("&c = ",&c)
    fmt.Println("*&c = ",*&c)
    fmt.Println("**c = ",**c)
    fmt.Println("***&*&*&*&c = ",***&*&*&*&*&c)
    fmt.Println("x = ",x)
}

简单的解释
*& 可以互相抵消 但是注意
*& 】可以抵消掉,但【 &* 】是不可以抵消的
a*&a 是一样的,都是a的值,值为1 (因为*&互相抵消掉了)
a*&*&*&*&a是一样的,都是1 (因为4个*&互相抵消掉了)

因为有
var b *int = &a
所以
a*&a*b是一样的,都是a的值,值为1 (把b当做&a看)

因为有
var c **int = &b
所以
**c**&b是一样的,把&约去后

会发现**cb是一样的 (从这里也不难看出,cb也是一样的)
又因为上面得到的&ab是一样的 所以**c&a是一样的,
再次把&约去后*c和a是一样的,都是1

你也试着运行一下吧 ~

运行结果

$ go run main.go 
a     =     1
&a     =     0xc200000018
*&a     =     1
b     =     0xc200000018
&b     =     0xc200000020
*&b     =     0xc200000018
*b     =     1
c     =     0xc200000020
*c     =     0xc200000018
&c     =     0xc200000028
*&c     =     0xc200000020
**c     =     1
***&*&*&*&c     =     1
x     =     1

两个符号抵消顺序
*&可以在任何时间抵消掉,但&*不可以被抵消的,因为顺序不对

fmt.Println("*&a\t=\t",*&a)  //成功抵消掉,打印出1,即a的值
fmt.Println("&*a\t=\t",&*a)  //无法抵消,会报错
">