第 1 章 Nginx 简介
1.1 Nginx 概述
Nginx (“engine x”) 是一个高性能的 HTTP 和反向代理服务器,特点是占有内存少,并发能力强,事实上 nginx 的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用 nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。
1.2 Nginx 作为 web 服务器
Nginx 可以作为静态页面的 web 服务器,同时还支持 CGI 协议的动态语言,比如 perl、 php等。但是不支持 java。 Java 程序只能通过与 tomcat 配合完成。 Nginx 专为性能优化而开发,性能是其最重要的考量,实现上非常注重效率 ,能经受高负载的考验,有报告表明能支持高达 50,000 个并发连接数。
1.3 正向代理
如果把局域网外的 Internet 想象成一个巨大的资源库,则局域网中的客户端要访
问 Internet,则需要通过代理服务器来访问,这种代理服务就称为正向代理
1.4 反向代理
反向代理,其实客户端对代理是无感知的,因为客户端不需要任何配置就可以访问,我们只需要将请求发送到反向代理服务器,由反向代理服务器去选择目标服务器获取数据后,在返回给客户端,此时反向代理服务器和目标服务器对外就是一个服务器,暴露的是代理服务器地址,隐藏了真实服务器 IP 地址 。
1.5 负载均衡
客户端发送多个请求到服务器,服务器处理请求,有一些可能要与数据库进行交互,服务器处理完毕后,再将结果返回给客户端。这种架构模式对于早期的系统相对单一,并发请求相对较少的情况下是比较适合的,成本也低。但是随着信息数量的不断增长,访问量和数据量的飞速增长,以及系统业务的复杂度增加,这种架构会造成服务器相应客户端的请求日益缓慢,并发量特别大的时候,还容易
造成服务器直接崩溃。很明显这是由于服务器性能的瓶颈造成的问题,那么如何解决这种情况呢?
我们首先想到的可能是升级服务器的配置,比如提高 CPU 执行频率,加大内存等提高机器的物理性能来解决此问题,但是我们知道摩尔定律的日益失效,硬件的性能提升已经不能满足日益提升的需求了。最明显的一个例子,天猫双十一当天,某个热销商品的瞬时访问量是极其庞大的,那么类似上面的系统架构,将机器都增加到现有的顶级物理配置,都是不能够满足需求的。那么怎么办呢?
上面的分析我们去掉了增加服务器物理配置来解决问题的办法,也就是说纵向解决问题的办法行不通了,那么横向增加服务器的数量呢?
这时候集群的概念产生了,单个服务器解决不了,我们增加服务器的数量,然后将请求分发到各个服务器上,将原先请求集中到单个 服务器上的情况改为将请求分发到多个服务器上,将负载分发到不同的服务器,也就是我们所说的负载均衡。
1.6 动静分离
为了加快网站的解析速度,可以把动态页面和静态页面由不同的服务器来解析,加快解析速度。降低原来单个服务器的压力。
第 2 章 Nginx 安装
2.1 下载 地址
2.2 安装 nginx
安装依赖
pcre-8.32-17.el7.x86_64
openssl-1.0.2k-19.el7.x86_64
zlib-1.2.7-18.el7.x86_64
1
2wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz
wget http://nginx.org/download/nginx-1.12.2.tar.gz1
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
安装nginx
- 解压缩 nginx-xx.tar.gz 包。
- 进入解压缩目录, 执行./configure。
- make && make install
查看开放的端口号
firewall-cmd –list-all设置开放的端口号
firewall-cmd –add-service=http –permanent
sudo firewall-cmd –add-port=80/tcp –permanent重启防火墙
firewall-cmd –reload
第 3 章 nginx 常用的命令和配置文件
3.1 nginx 常用的命令
查看帮助文档
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16[root@hadoop01 software]# cd /usr/local/nginx/
[root@hadoop01 nginx]# ./sbin/nginx -h
nginx version: nginx/1.12.2
Usage: nginx [-?hvVtTq] [-s signal] [-c filename] [-p prefix] [-g directives]
Options:
-?,-h : this help
-v : show version and exit
-V : show version and configure options then exit
-t : test configuration and exit
-T : test configuration, dump it and exit
-q : suppress non-error messages during configuration testing
-s signal : send signal to a master process: stop, quit, reopen, reload
-p prefix : set prefix path (default: /usr/local/nginx/)
-c filename : set configuration file (default: conf/nginx.conf)
-g directives : set global directives out of configuration file启动命令
在/usr/local/nginx/sbin 目录下执行 ./nginx
关闭命令
在/usr/local/nginx/sbin 目录下执行 ./nginx -s stop重新加载命令
在/usr/local/nginx/sbin 目录下执行 ./nginx -s reload
3.2 nginx.conf 配置文件
nginx 安装目录下,其默认的配置文件都放在这个目录的 conf 目录下,而主配置文件nginx.conf 也在其中,后续对 nginx 的使用基本上都是对此配置文件进行相应的修改 。
1 | [root@hadoop01 nginx]# ls |
nginx.conf 配置文件分为三部分 :
第一部分:全局块
从配置文件开始到 events 块之间的内容,主要会设置一些影响 nginx 服务器整体运行的配置指令,主要包括配置运行 Nginx 服务器的用户(组)、允许生成的 worker process 数, 进程 PID 存放路径、日志存放路径和类型以及配置文件的引入等。
这是 Nginx 服务器并发处理服务的关键配置, worker_processes 值越大,可以支持的并发处理量也越多,但是会受到硬件、软件等设备的制约 。
第二部分:events块
events 块涉及的指令主要影响 Nginx 服务器与用户的网络连接,常用的设置包括是否开启对多 work process下的网络连接进行序列化,是否允许同时接收多个网络连接,选取哪种事件驱动模型来处理连接请求,每个 word process 可以同时支持的最大连接数等。
这部分的配置对 Nginx 的性能影响较大,在实际中应该灵活配置。
第三部分: http 块
这算是 Nginx 服务器配置中最频繁的部分,代理、缓存和日志定义等绝大多数功能和第三方模块的配置都在这里。
需要注意的是: http 块也可以包括 http 全局块、 server 块。http 全局块
http 全局块配置的指令包括文件引入、 MIME-TYPE 定义、日志自定义、连接超时时间、单链接请求数上限等。
server 块
这块和虚拟主机有密切关系,虚拟主机从用户角度看,和一台独立的硬件主机是完全一样的,该技术的产生是为了节省互联网服务器硬件成本。
每个 http 块可以包括多个 server 块,而每个 server 块就相当于一个虚拟主机。
每个 server 块也分为全局 server 块,以及可以同时包含多个 locaton 块。全局 server 块
最常见的配置是本虚拟机主机的监听配置和本虚拟主机的名称或 IP 配置。location 块
一个 server 块可以配置多个 location 块。这块的主要作用是基于 Nginx 服务器接收到的请求字符串(例如 server_name/uri-string),对虚拟主机名称(也可以是 IP 别名)之外的字符串(例如 前面的 /uri-string)进行匹配,对特定的请求进行处理。地址定向、数据缓存和应答控制等功能,还有许多第三方模块的配置也在这里进行。
第 4 章 nginx 配置实例-反向代理
4.1 反向代理实例一
实现效果
使用 nginx 反向代理,访问 www.spark.com 直接跳转到spark页面(192.168.100.10:8080)
准备工作
启动spark
1
2
3
4
5
6
7
8
9
10# 进入SPARK_HOME
[root@hadoop01 ~]# cd /opt/spark-2.4.4-bin-hadoop2.7/
[root@hadoop01 spark-2.4.4-bin-hadoop2.7]# ./sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-2.4.4-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop01.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-2.4.4-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop01.out
[root@hadoop01 spark-2.4.4-bin-hadoop2.7]# jps
9302 Worker
9336 Jps
9209 Master
[root@hadoop01 spark-2.4.4-bin-hadoop2.7]#注:通过
http://192.168.100.10:8080/
可在浏览器进行登陆,如果登陆不上,查看端口是否开放。查看端口开放命令:firewall-cmd –query-port=8080/tcp
开放端口命令:firewall-cmd –zone=public –add-port=8080/tcp –permanent重启firewall:firewall-cmd –reload
window配置hosts文件,进行域名与IP的映射
路径:C:\Windows\System32\drivers\etc\hosts
添加:
192.168.100.10 www.spark.com
注:通过http://www.spark.com:8080/在浏览器中登陆验证,看域名映射是否生效
修改nginx.conf文件, 进行请求转发的配置(反向代理配置)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15server {
listen 80;
server_name 192.168.100.10;
location / {
root html;
proxy_pass http://192.168.100.10:8080;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}修改http块中的server块:
server_name修改为所在主机的IP
在location中添加proxy_pass http://192.168.100.10:8080;
注意末尾分号
验证
在浏览器中输入http://www.spark.com/
,看其是否可以跳转至spark页面
4.2 反向代理实例二
实现效果
使用 nginx 反向代理, 根据访问的路径跳转到不同端口的服务中
nginx 监听端口为 9001,
访问 http://192.168.100.10:9001/index_80 直接跳转到127.0.0.0:8000/index_80
访问 http://192.168.100.10:9001/index_81 直接跳转到127.0.0.0:8001/index_81
准备工作
启动两个模拟端口(用flask启动)
1
2
3
4# dir tree
├── app.py
└── templates
└── index.html8000端口
./app.py
内容:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15from flask import Flask
from flask import render_template, redirect
app = Flask(__name__, static_url_path='')
def hello_world():
return 'Hello World!'
def index():
return render_template("index.html")
if __name__ == '__main__':
app.run()./templates/index.html
内容:1
2
3
4
5
6
7
8
<html>
<head>
</head>
<body>
8001...
</body>
</html>启动项目:
python -m flask run -p 8000
8001端口
./app.py
内容:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15from flask import Flask
from flask import render_template, redirect
app = Flask(__name__, static_url_path='')
def hello_world():
return 'Hello World!'
def index():
return render_template("index.html")
if __name__ == '__main__':
app.run()./templates/index.html
内容:1
2
3
4
5
6
7
8
<html>
<head>
</head>
<body>
8001...
</body>
</html>启动项目:
python -m flask run -p 8001
修改nginx.conf文件, 进行请求转发的配置(反向代理配置)
1
2
3
4
5
6
7
8
9
10server {
listen 9001;
server_name 192.168.100.10;
location ~ /index_80 {
proxy_pass http://localhost:8000;
}
location ~ /index_81 {
proxy_pass http://localhost:8001;
}
}
验证
在浏览器中输入 http://192.168.100.10:9001/index_80和 http://192.168.100.10:9001/index_81进行验证
location 指令说明
该指令用于匹配 URL,语法如下:
1 | location [= | ~ | ~* | ^~] url { |
说明:
= :用于不含正则表达式的 uri 前,要求请求字符串与 uri 严格匹配,如果匹配成功,就停止继续向下搜索并立即处理该请求。
~:用于表示 uri 包含正则表达式,并且区分大小写。
~*:用于表示 uri 包含正则表达式,并且不区分大小写。
^~:用于不含正则表达式的 uri 前,要求 Nginx 服务器找到标识 uri 和请求字符串匹配度最高的 location 后,立即使用此 location 处理请求,而不再使用 location块中的正则 uri 和请求字符串做匹配。
注意:如果 uri 包含正则表达式,则必须要有 ~ 或者 ~* 标识。
第 5 章 nginx 配置实例-负载均衡
随着互联网信息的爆炸性增长,负载均衡(load balance)已经不再是一个很陌生的话题,顾名思义,负载均衡即是将负载分摊到不同的服务单元,既保证服务的可用性,又保证响应足够快,给用户很好的体验。快速增长的访问量和数据流量催生了各式各样的负载均衡产品,很多专业的负载均衡硬件提供了很好的功能,但却价格不菲,这使得负载均衡软件大受欢迎,nginx 就是其中的一个,在 linux 下有 Nginx、 LVS、 Haproxy 等等服务可以提供负载均衡服务,而且 Nginx 提供了几种分配方式(策略):
轮询(默认)
每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器 down 掉,能自动剔除。weight
weight 代表权,重默认为 1,权重越高被分配的客户端越多指定轮询几率, weight 和访问比率成正比,用于后端服务器性能不均的情况。 例如:1
2
3
4upstream server_pool{
server 192.168.5.21 weight=10;
server 192.168.5.22 weight=10;
}ip_hash
每个请求按访问 ip 的 hash 结果分配,这样每个访客固定访问一个后端服务器,可以解决 session 的问题。 例如:1
2
3
4
5upstream server_pool{
ip_hash;
server 192.168.5.21:80;
server 192.168.5.22:80;
}fair(第三方)
按后端服务器的响应时间来分配请求,响应时间短的优先分配。1
2
3
4
5upstream server_pool{
server 192.168.5.21:80;
server 192.168.5.22:80;
fair;
}
5.1 示例
实现效果
页面输入http://192.168.100.10/index
,实现负载均衡,转发在8000和8001端口中。
准备工作
启动两个测试端口
访问 http://192.168.100.10:8000/index,响应内容是
我是8000端口
访问 http://192.168.100.10:8001/index,响应内容是我是8001端口
修改nginx.conf文件, 进行请求转发的配置(负载均衡配置)
1
2
3
4
5
6
7
8
9
10
11
12upstream myserver {
server localhost:8000;
server localhost:8001;
}
server {
listen 8500;
server_name 192.168.100.10;
location = /index {
proxy_pass http://myserver;
}
}
第6 章 nginx 配置实例-动静分离
Nginx 动静分离简单来说就是把动态跟静态请求分开,不能理解成只是单纯的把动态页面和静态页面物理分离。严格意义上说应该是动态请求跟静态请求分开,可以理解成使用 Nginx处理静态页面, Tomcat 处理动态页面。动静分离从目前实现角度来讲大致分为两种:
一种是纯粹把静态文件独立成单独的域名,放在独立的服务器上,也是目前主流推崇的方案;
另外一种方法就是动态跟静态文件混合在一起发布,通过 nginx 来分开。
通过 location 指定不同的后缀名实现不同的请求转发。通过 expires 参数设置,可以使浏览器缓存过期时间,减少与服务器之前的请求和流量。具体 Expires 定义:是给一个资源设定一个过期时间,也就是说无需去服务端验证,直接通过浏览器自身确认是否过期即可,所以不会产生额外的流量。此种方法非常适合不经常变动的资源。(如果经常更新的文件,不建议使用 Expires 来缓存),我这里设置 3d,表示在这 3 天之内访问这个 URL,发送一个请求,比对服务器该文件最后更新时间没有变化,则不会从服务器抓取,返回状态码304,如果有修改,则直接从服务器重新下载,返回状态码 200。
1 | location /www/ { |
第 7 章 nginx 原理与优化参数配置
master-workers 的机制的好处
首先,对于每个 worker 进程来说,独立的进程,不需要加锁,所以省掉了锁带来的开销,同时在编程以及问题查找时,也会方便很多。其次,采用独立的进程,可以让互相之间不会影响,一个进程退出后,其它进程还在工作,服务不会中断, master 进程则很快启动新的worker 进程。当然, worker 进程的异常退出,肯定是程序有 bug 了,异常退出,会导致当前 worker 上的所有请求失败,不过不会影响到所有请求,所以降低了风险。
需要设置多少个 worker
Nginx 同 redis 类似都采用了 io 多路复用机制,每个 worker 都是一个独立的进程,但每个进程里只有一个主线程,通过异步非阻塞的方式来处理请求, 即使是成千上万个请求也不在话下。每个 worker 的线程可以把一个 cpu 的性能发挥到极致。所以 worker 数和服务器的 cpu数相等是最为适宜的。设少了会浪费 cpu,设多了会造成 cpu 频繁切换上下文带来的损耗。
1 | #设置 worker 数量。 |
连接数 worker_connection
这个值是表示每个 worker 进程所能建立连接的最大值,所以,一个 nginx 能建立的最大连接数,应该是 worker_connections * worker_processes。当然,这里说的是最大连接数,对于HTTP 请 求 本 地 资 源 来 说 , 能 够 支 持 的 最 大 并 发 数 量 是 worker_connections * worker_processes,如果是支持 http1.1 的浏览器每次访问要占两个连接,所以普通的静态访问最大并发数是: worker_connections * worker_processes /2,而如果是 HTTP 作 为反向代
理来说,最大并发数量应该是 worker_connections * worker_processes / 4。因为作为反向代理服务器,每个并发会建立与客户端的连接和与后端服务的连接,会占用两个连接。