前端必须 - Nginx 负载平衡和缓存实践-天涯论坛

u1jodi1q 发表于 2024-11-2 16:44:30

前端必须 - Nginx 负载平衡和缓存实践

<img src="https://mmbiz.qpic.cn/mmbiz_png/z5Pdm7u7moZX3aibUfaJQFvdywKzIOhHpfWDQrOcFAbESs3rNlEfvbQCPlaxt7OhaZBhvdgEYtKobBfEFOmb0lw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<h3 style="color: black; text-align: left; margin-bottom: 10px;">基本篇</h3>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">1、环境</h2>
服务器版本：CentOS 7.2
为了保准学习周期不遇到奇怪的事情，请保准以下四点（大神选取性无视）
确认系统网络
确认yum可用
确认关闭iptables
确认停用selinux#查看iptables状态systemctl
 status firewalld.service#关闭防火墙（临时关闭）
systemctl stop firewalld.service#查看SELinux状态
getenforce#临时关闭SELinuxsetenforce 0
安装有些系统基本工具，正常状况系统都会自带(无在装哦)yum -y install
gcc gcc-c++ autoconf pcre pcre-devel make automakeyum -y install
 wget httpd-tools vim
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2、Nginx是什么？</h2>
Nginx是一个开源且高性能、靠谱的HTTP中间件、代理服务其他的HTTP服务：

HTTPD-Apache基金会
IIS-微软
GWS-Google(不对外开放)
近几年，Nginx的市场占有率越来越高，一度飙升，为何呢？接下来咱们就晓得了！
<h2 style="color: black; text-align: left; margin-bottom: 10px;">3、咱们为何选取Nginx？</h2>
1. IO多路复用epoll（IO复用）
怎样理解呢？举个例子吧！
有A、B、C三个老师，她们都遇到一个困难，要帮忙一个班级的学生处理课堂作业。
老师A采用从第1排起始一个学生一个学生轮流解答的方式去回答问题，老师A浪费了非常多时间，并且有的学生作业还无完成呢，老师就来了，反反复复效率极慢。
老师B是一个忍者，他发掘老师A的办法行不通，于是他运用了影分身术，分身出好几个自己同一时间去帮好几个朋友回答问题，最后还没回答完，老师B消耗光了能量累倒了。
老师C比较精明，他告诉学生，谁完成为了作业举手，有举手的朋友他才去指点问题，他让学生主动发声，掰开了“并发”。这个老师C便是Nginx。

2. 轻量级
功能模块少 - Nginx仅保存了HTTP需要的模块，其他都用插件的方式，后天添加
代码模块化 - 更适合二次研发，如阿里巴巴Tengine
3. CPU亲和
把CPU核心和Nginx工作进程绑定，把每一个worker进程固定在一个CPU上执行，减少切换CPU的cache miss，从而加强性能。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">3、安装与目录</h2>
自己运用了鸟哥的lnmp集成包 https://lnmp.org，简单方便-举荐！#执行这句语句，按照指引，将安装 nginx php mysql 可进入lnmp官网查看更仔细的过程#默认安装目录/usr/localwget -c http://soft.vpser.net/lnmp/lnmp1.4.tar.gz && tar zxf lnmp1.4.tar.gz &&cd
 lnmp1.4 && ./install.sh lnmp#默认安装目录/usr/local
<h2 style="color: black; text-align: left; margin-bottom: 10px;">4、基本配置</h2>#打开主配置文件，若你是用lnmp环境安装vim
 /usr/local/nginx/conf/nginx.conf
----------------------------------------user                    #设置nginx服务的系统运用用户worker_processes        #工作进程数 通常状况与CPU核数保持一致error_log               #nginx的错误日志pid                     #nginx起步时的pid
events {    worker_connections    #每一个进程准许最大连接数    use                   #nginx运用的内核模型
}
咱们运用 nginx 的 http 服务，在配置文件 nginx.conf 中的 http 区域内，配置无数个 server ，每一个 server 对应这一个虚拟主机或域名
http {    ... ...        #后面再仔细介绍 http 配置项目
    server {        listen 80                          #监听端口;        server_name localhost              #位置        location / {                       #拜访首页路径            root /xxx/xxx/index.html       #默认目录index index.html index.htm#默认文件
        }        error_page  500 504   /50x.html    #当显现以上状态码时从新定义到50x.html        location = /50x.html {             #当拜访50x.html时            root /xxx/xxx/html             #50x.html 页面所在位置
        }
    }
    server {        ... ...
    }
}
一个 server 能够显现多个 location ，咱们对区别的拜访路径进行区别状况的配置咱们再来瞧瞧 http 的配置详情
http
 {    sendfile  on                  #有效传输文件的模式 必定要开启    keepalive_timeout   65        #客户端服务端请求超时时间log_format  main   XXX#定义日志格式 代号为main    access_log  /usr/local/access.log  main     #日志保留位置 格式代码 main
}
<h2 style="color: black; text-align: left; margin-bottom: 10px;">5、模块</h2>
查看 nginx 已开启和编联进去的模块，模块太多了，就不在这长篇大论，有需要自动百度吧~#大写V查看所有模块，小写v查看版本
nginx -V# 查看此配置文件 是不是存在语法错误nginx -tc /usr/local/nginx/conf/nginx.conf<h3 style="color: black; text-align: left; margin-bottom: 10px;">场景实现篇</h3>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">1、静态资源WEB服务</h2>
1.静态资源类型
非服务器动态运行生成的文件，换句话说，便是能够直接在服务器上找到对应文件的请求
浏览器端渲染：HTML,CSS,JS
照片：JPEG,GIF,PNG
视频：FLV,MPEG
文件：TXT，任意下载文件
2.静态资源服务场景-CDN
什么是CDN？例如一个北京用户要请求一个文件，而文件放在的新疆的资源存储中心，倘若直接请求新疆距离太远，延迟久。运用nginx静态资源回源，分发给北京的资源存储中心，让用户请求的动态定位到北京的资源存储中心请求，实现传输延迟的最小化
2.nginx静态资源配置
配置域：http、server、location#文件高速读取
http {     sendfile   on
;
}#在 sendfile 开启的状况下，开启 tcp_nopush 加强网络包传输效率#tcp_nopush 将文件一次性一块传输给客户端，就好似你有十个包裹，快递员一次送一个，来回十趟，开启后，快递员讲等待你十个包裹都派件，一趟一块送给你
http {     sendfile   on
;     tcp_nopush on
;
}#tcp_nodelay 开启实时传输，传输方式与 tcp_nopush 相反，追求实时性，然则它仅有在长连接下才生效
http {     sendfile   on
;tcp_nopushon
;     tcp_nodelay on
;
}#将拜访的文件压缩传输 （减少文件资源体积，加强传输速度）#当拜访内容以gif或jpg结尾的资源时
location ~ .*\.(gif|jpg)$ {    gzip on; #开启    gzip_http_version 1.1; #服务器传输版本gzip_comp_level2; #压缩比，越高压缩越多，压缩越高可能会消耗服务器性能gzip_types   text/plain application/javascript application/x-javascript text/javascript text/css application/xml application/xml+rss image/jpeg image/gif image/png;#压缩文件类型    root /opt/app/code;     #对应目录（去该目录下寻找对应文件）
}#直接拜访已压缩文件#当拜访路径以download开头时，如www.baidu.com/download/test.img#去/opt/app/code目录下寻找test.img.gz文件，返回到前端时已经是能够浏览的img文件
location ~ load^/download {    gzip_static on #开启;    tcp_nopush on
;
    root /opt/app/code;
}
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2、浏览器缓存</h2>
HTTP协议定义的缓存机制（如：Expires; Cache-control等）减少服务端的消耗，降低延迟

1.浏览器无缓存
浏览器请求 -> 无缓存 -> 请求WEB服务器 -> 请求相应 -> 呈现
在呈现周期会按照缓存的设置在浏览器中生成缓存
2.浏览器有缓存
浏览器请求 -> 有缓存 -> 校验本地缓存时间是不是过期 -> 无过期 -> 呈现
若过期从新请求WEB服务器
3.语法配置location ~ .*\.(html|htm)$
 {    expires 12h;    #缓存12小时
}
服务器响应静态文件时，请求头信息会带上 etag 和 last_modified_since 2个标签值，浏览器下次去请求时，头信息发送这两个标签，服务器检测文件有无出现变化，如无,直接头信息返 etag 和last_modified_since，状态码为304 ，浏览器晓得内容无改变,于是直接调用本地缓存，这个过程亦请求了服务，然则传着的内容极少
<h2 style="color: black; text-align: left; margin-bottom: 10px;">3、跨站拜访</h2>
研发nginx跨站拜访设置location ~ .*\.(html|htm)$
 {     add_header
 Access-Control-Allow-Origin *;     add_header
 Access-Control-Allow-Methods GET,POST,PUT,DELETE,OPTIONS;     #Access-Control-Allow-Credentials true #准许cookie跨域
}
在响应中指定 Access-Control-Allow-Credentials 为 true 时，Access-Control-Allow-Origin 不可指定为 *，需要指定到详细域名
关联跨域内容可参考 Laravel 跨域功能中间件 运用代码实现跨域，原理与nginx跨域配置相同
<h2 style="color: black; text-align: left; margin-bottom: 10px;">4、防盗链</h2>
防止服务器内的静态资源被其他网站所套用此处介绍的 nginx 防盗链为基本方式，其它更加深入的方式将在之后的文案介绍

首要，需要理解一个nginx变量$http_referer #暗示当前请求上一次页面拜访的位置，换句话说，拜访 www.baidu.com 主页，这是第1次拜访，因此 $http_referer 为空，然则 拜访此页面的时候还需要获取一张首页照片，再请求这张照片的时候 $http_referer 就为 www.baidu.com
而后配置location ~ .*\.(jpg|gif)$
 {    #valid_referers 暗示咱们准许那些 $http_referer 来拜访    #none 暗示无带 $http_referer，如第1次拜访时 $http_referer 为空    #blocked 暗示 $http_referer 不是标准的位置，非正常域名等    #只准许此ip    valid_referers none blocked 127
.xxx.xxx.xx    if ($invalid_referer) {     #不满足状况下变量值为1        return 403
;
    }
}
<h2 style="color: black; text-align: left; margin-bottom: 10px;">5、HTTP代理服务</h2>
Nginx能够实现多种代理方式
HTTP
ICMPPOPIMAP
HTTPS
RTMP
1. 代理区别
区别在于代理的对象不同样
正向代理代理的对象是客户端反向代理代理的对象是服务端

2. 反向代理
语法：proxy_pass URL
默认：——
位置：loaction#代理端口#场景：服务器80端口开放，8080端口对外关闭，客户端需要拜访到8080#在nginx中配置proxy_pass代理转发时，倘若在proxy_pass后面的url加/，暗示绝对根路径；倘若无/，暗示相对路径，把匹配的路径部分亦给代理走
server {    listen 80
;
    location / {        proxy_pass http://127.0.0.1:8080/;        proxy_redirect default
;
        proxy_set_header Host $http_host;        proxy_set_header X-Real-IP $remote_addr; #获取客户端真实IP        proxy_connect_timeout 30; #超时时间        proxy_send_timeout 60
;        proxy_read_timeout 60
;        proxy_buffer_size 32
k;        proxy_buffering on; #开启缓冲区,减少磁盘io        proxy_buffers 4 128
k;proxy_busy_buffers_size256
k;        proxy_max_temp_file_size 256k; #当超过内存准许储蓄体积，存到文件
    }}<h3 style="color: black; text-align: left; margin-bottom: 10px;">负载平衡和缓存服务</h3>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">1、负载平衡</h2>
负载平衡的实现办法便是咱们上章介绍的反向代理 。将客户的请求经过 nginx 分发（反向代理）到一组多台区别的服务器上
这一组服务器咱们叫作为服务池（upstream server），池内的每一个服务器叫作为一个 单元，服务池内将对每一个单元进行请求轮训，实现负载平衡#配置语法：upstream name ...
默认：——
位置：httpupstream #自定义组名 {    server x1.baidu.com;    #能够是域名
server x2.baidu.com;    #server x3.baidu.com                            #down         不参与负载平衡                            #weight=5;    权重，越高分配越多                            #backup;      预留的备份服务器                            #max_fails    准许失败的次数                            #fail_timeout 超过失败次数后，服务暂停时间                            #max_coons    限制最大的接受的连接数                            #按照服务器性能区别，配置适合的参数    #server 106.xx.xx.xxx;        能够是ip    #server 106.xx.xx.xxx:8080;   能够带端口号    #server unix:/tmp/xxx;        支出socket方式
}
假设咱们有三台服务器，并且假设它们的IP位置，前端负载平衡服务器A（127.0.0.1），后台服务器B（127.0.0.2），后台服务器C（127.0.0.3）
新建文件 proxy.conf，内容如下，上一章介绍的反向代理配置proxy_redirect default
;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;proxy_connect_timeout 30
;proxy_send_timeout 60
;proxy_read_timeout 60
;proxy_buffer_size 32
k;
proxy_buffering on;proxy_buffers 4 128
k;proxy_busy_buffers_size 256
k;proxy_max_temp_file_size 256
k;#服务器A的配置
http {
    ...
    upstream xxx {        server 127.0.0.2
;        server 127.0.0.3
;
    }
    server {        liseten 80
;
        server_name localhost;
        location / {            proxy_pass http://xxx     #upstream 对应自定义名叫作            include
 proxy.conf;
        }
    }
}#服务器B、服务器C的配置
server {    liseten 80
;
    server_name localhost;
    location / {
         index  index.html
    }
}
调度算法
轮训：按时间次序逐一分配到区别的后端服务器
加权轮训：weight值越大，分配到的几率越高
ip_hash：每一个请求按拜访IP的hash结果分配，这般来自同一个IP固定拜访一个后端服务器
least_conn：最少链接数，哪个设备连接数少就分发给谁
url_hash：根据拜访的URL的hash结果来分配请求，每一个URL定向到同一个后端服务器
hash关键数值：hash自定义key
ip_hash 配置
  upstream xxx {
        ip_hash;        server 127.0.0.2
;        server 127.0.0.3
;
  }
ip_hash存在缺陷，当前端服务器再多一层时，将获取不到用户的正确IP，获取的将是前一个前端服务器的IP，因此呢 nginx1.7.2版本推出了 url_hash
url_hash 配置  upstream
 xxx {        hash $request_uri
;        server 127.0.0.2
;        server 127.0.0.3
;
  }
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2、缓存服务</h2>
1. 缓存类型
服务端缓存：缓存存储在后端服务器，如redis,memcache
代理缓存：缓存存储在代理服务器或中间件上，它的内容是从后端服务器获取的，然则保留在自己本地
客户端缓存：缓存在浏览器内的
2. nginx 代理缓存客户端请求nginx，nginx查看本地是不是有缓存数据，若有直接返回给客户端，若无再去后端服务器请求
http {    proxy_cache_path    /var/www/cache #缓存位置                        levels=1:2 #目录分级                        keys_zone=test_cache:10m #开启的keys空间名字:空间体积(1m能够存放8000个key)                        max_size=10g #目录最大体积(超过时，不常用的将被删除)                        inactive=60m #60分钟内无被拜访的缓存将清理                        use_temp_path=pff; #是不是开启存放临时文件目录，关闭默认存储在缓存位置
    server {
        ...
        location / {proxy_cache test_cache;#开启缓存对应的名叫作，在keys_zone命名好            proxy_cache_valid 200 304 12h;    #状态码为200 304的缓存12小时            proxy_cache_valid any 10m;    #其他状态缓存10小时            proxy_cache_key $host$uri$is_args$args;    #设置key值            add_header Nginx-Cache "$upstream_cache_status"
;
        }
    }
}
当有个特定请求咱们不需要缓存的时候，在上面配置的内容中加入以下配置
server {
    ...    if ($request_uri ~ ^/(login|register) ) {    #当请求位置有login或register时        set $nocache = 1;    #设置一个自定义变量为true
    }
    location / {        proxy_no_cache $nocache $arg_nocache $arg_comment
;        proxy_no_cache $http_pragma $http_authoriztion
;
    }
}
3. 分片请求
初期版本 nginx 对大文件的分片请求不支持缓存，1.9版本后slice模块实现了这个功能前端发起请求，nginx去获取这个请求文件的体积，若超过咱们的定义slice的体积，会进行切片，分割成多个小的请求去请求后端，到前端就作为一个一个独立的缓存文件

优良：每一个子请求收到的数据都会形成独立文件，一个请求中断了，其他请求不受影响，本来状况请求中断，再次请求文件将从头起始，而开启分片请求，就接下去获取未请求的小文件
劣势：当文件很大或slice很小时，可能会引起文件描述符耗尽等状况 语法：   slice size;    #当大文件请求时，设置size为每一个小文件的体积
默认：   slice 0; 位置：   http/server/location<h3 style="color: black; text-align: left; margin-bottom: 10px;">平常问题</h3>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">1、相同 server_name 多个虚拟主机优先级</h2>#当显现虚拟主机域名相同的状况，重启nginx时，会显现警告⚠️处理，然则并不不会阻止nginx继续运用server
 {    listen 80
;    server_name
 www.baidu.com
...
}
server {    listen 80
;    server_name
 www.baidu.com
    ...
}
...
优先选取最新读取到的配置文件，当多个文件是经过include时，文件排序越靠前，越早被读取
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2、location 匹配优先级</h2> =        #进行普通字符精确匹配，完全匹配 ^~       #进行普通字符匹配，当前暗示前缀匹配~\~*#暗示执行一个正则匹配()#当程序运用精确匹配时，一但匹配成功，将停止其他匹配#当正则匹配成功时，会继续接下来的匹配，寻找是不是还有更精细的匹配
<h2 style="color: black; text-align: left; margin-bottom: 10px;">3、try_files的运用</h2>
按次序检测文件是不是存在
location / {    try_files $uri $uri
/ /index.php;
}#先查询$uri下是不是有文件存在，若存在直接返回给用户#若$url下无文件存在，再次拜访$uri/的路径是不是有文件存在#还是无文件存在，交给index.php处理
例：
location / {    root /test
/index.html    try_files $uri @test
}location @test
 {
proxy_pass http://127.0.0.1：9090;
}#拜访 / 时，查看 /test/index.html 文件是不是存在#若不存在，让9090端口的程序去处理这个请求
<h2 style="color: black; text-align: left; margin-bottom: 10px;">4、alias和root的区别</h2>location /request_path/image/
 {    root /local_path/image/
;
}#当咱们拜访 http://xxx.com/request_path/image/cat.png时#将拜访 http://xxx.com/request_path/image/local_path/image/cat.png 下的文件location /request_path/image/
 {alias/local_path/image/
;
}#当咱们拜访 http://xxx.com/request_path/image/cat.png时#将拜访 http://xxx.com/local_path/image/cat.png 下的文件
<h2 style="color: black; text-align: left; margin-bottom: 10px;">5、倘若用户真实IP</h2>
当一个请求经过多个代理服务器时，用户的IP将会被代理服务器IP覆盖#在第1个代理服务器中设置    set x_real_ip=$remote_addr#最后一个代理服务器中获取    $x_real_ip
=IP1
<h2 style="color: black; text-align: left; margin-bottom: 10px;">6、Nginx 平常错误码</h2>413 Request Entity Too Large    #上传文件过大，设置 client_max_body_size503 bad gateway                 #后端服务无响应504 Gateway Time-out            #后端服务执行超时来自：SegmentFault，作者：海岛链接：https://segmentfault.com/a/1190000014893012
扫码关注，不错失任何一个干货
<img src="data:image/svg+xml,%3C%3Fxml version=1.0 encoding=UTF-8%3F%3E%3Csvg width=1px height=1px viewBox=0 0 1 1 version=1.1 xmlns=http://www.w3.org/2000/svg xmlns:xlink=http://www.w3.org/1999/xlink%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=none stroke-width=1 fill=none fill-rule=evenodd fill-opacity=0%3E%3Cg transform=translate(-249.000000, -126.000000) fill=%23FFFFFF%3E%3Crect x=249 y=126 width=1 height=1%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E" style="width: 50%; margin-bottom: 20px;">
-- 前端技术江湖 --
点赞是最大的支持<img src="data:image/svg+xml,%3C%3Fxml version=1.0 encoding=UTF-8%3F%3E%3Csvg width=1px height=1px viewBox=0 0 1 1 version=1.1 xmlns=http://www.w3.org/2000/svg xmlns:xlink=http://www.w3.org/1999/xlink%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=none stroke-width=1 fill=none fill-rule=evenodd fill-opacity=0%3E%3Cg transform=translate(-249.000000, -126.000000) fill=%23FFFFFF%3E%3Crect x=249 y=126 width=1 height=1%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E" style="width: 50%; margin-bottom: 20px;">

m5k1umn 发表于 2024-11-10 14:37:06

大势所趋，用于讽刺一些制作目的就是为了跟风玩梗，博取眼球的作品。

页: [1]

天涯论坛's Archiver

前端必须 - Nginx 负载平衡和缓存实践