Работа сервера Nginx и алгоритмов выбора блока расположения

Введение

Nginx — один из самых популярных веб-серверов в мире. Он может успешно выдерживать высокую нагрузку с множеством одновременных подключений клиентов и функционировать как веб-сервер, почтовый сервер или обратный прокси-сервер.

В этом учебном модуле мы обсудим некоторые скрытые аспекты, определяющие, как Nginx обрабатывает запросы клиентов. Понимание этих идей поможет избежать догадок при проектировании сервера и блоков расположения, а также сделать обработку запросов более предсказуемой.

Конфигурации блока Nginx

Nginx логически разделяет на блоки конфигурации, обслуживающие разные виды контента, и размещает эти блоки в иерархической структуре. При каждом поступлении клиентского запроса Nginx определяет, какие блоки конфигурации следует использовать для его обработки. Об этом процессе мы и расскажем в этом учебном модуле.

В первую очередь мы расскажем о блоках server и location.

Блок server — это часть конфигурации Nginx, которая определяет виртуальный сервер, используемый для обработки запросов заданного типа. Администраторы часто настраивают несколько блоков server и определяют, какой из них будет отвечать за конкретное соединение на основании запрошенного доменного имени, порта и IP-адреса.

Блок location располагается внутри блока server и определяет, как Nginx будет обрабатывать запросы различных ресурсов и URI для родительского сервера. Администратор, использующий эти блоки, может разделить пространство URI любым удобным способом. Это чрезвычайно гибкая модель.

Как Nginx решает, какой серверный блок будет обрабатывать запрос

Поскольку Nginx разрешает администратору определять несколько серверных блоков, работающих как отдельные экземпляры виртуального веб-сервера, ему требуется процедура, определяющая, какие серверные блоки будут использоваться для выполнения запроса.

Для этого используется фиксированная система проверок, служащих для подбора оптимального совпадения. Главные директивы серверного блока, которые учитывает Nginx в этом процессе — директивы listen и server_name.

Синтаксический анализ директивы “listen” для поиска возможных совпадений

Прежде всего, Nginx смотрит IP-адрес и порт запроса. Он сверяет их с директивой listen каждого сервера, создавая список серверных блоков, которые могут обработать данный запрос.

Директива listen обычно определяет IP-адрес и порт, на которые отвечает серверный блок. Любой серверный блок, не включающий директиву listen, по умолчанию имеет параметры прослушивания 0.0.0.0:80 (или 0.0.0.0:8080, если Nginx запускается обычным пользователем без привилегий root). Это позволяет данным блокам отвечать на запросы любого интерфейса на порту 80, но данное значение по умолчанию не имеет большого веса в процессе выбора сервера.

Директиву listen можно задать следующим образом:

• Сочетание IP-адреса и порта.
• Отдельный IP-адрес, который будет прослушивать порт 80 по умолчанию.
• Одиночный порт, который прослушивает каждый интерфейс этого порта.
• Путь к сокету Unix.

Последняя опция обычно влияет только на передачу запросов между разными серверами.

Вначале Nginx попробует выбрать серверный блок, на который будет отправлен запрос, на основе специфики директивы listen, используя следующие правила:

• Nginx преобразует все неполные директивы listen, заменяя отсутствующие значения значениями по умолчанию так, что каждый блок оценивается по IP-адресу и порту. Вот несколько примеров такого преобразования:
  • Блок без директивы listen использует значение 0.0.0.0:80.
  • Блок с заданным IP-адресом 111.111.111.111 без номера порта использует значение 111.111.111.111:80
  • Блок с заданным портом 8888 без IP-адреса использует значение 0.0.0.0:8888
• Затем Nginx пытается собрать список серверных блоков, наиболее точно соответствующих запросу по IP-адресу и порту. Это означает, что блок со значением IP-адреса 0.0.0.0 (соответствующим любому интерфейсу) не будет выбран, если будут найден блоки, где указан конкретный IP-адрес. Точное совпадение порта обязательно в любом случае.
• Если будет найдено одно наиболее точное совпадение, запрос будет обработан с помощью данного серверного блока. Если будет найдено несколько серверных блоков с одинаковым уровнем соответствия, Nginx начнет оценку директивы server_name каждого серверного блока.

Важно понимать, что Nginx будет использовать для оценки директиву server_name, только если будет нужно выбрать из серверных блоков с одинаковым уровнем соответствия в директиве listen. Например, в случае размещения example.com на порту 80 с IP-адресом 192.168.1.10, запрос example.com всегда будет обслуживаться первым блоком из данного примера невзирая на директиву server_name во втором блоке.

server {
    listen 192.168.1.10;

    . . .

}

server {
    listen 80;
    server_name example.com;

    . . .

}

В случае равного уровня соответствия нескольких серверных блоков следующим шагом будет проверка директивы server_name.

Проверка директивы “server_name” для выбора совпадения

Для оценки запросов с равноценным уровнем соответствия директив listen Nginx проверяет заголовок “Host” запроса. Это значение соответствует домену или IP-адресу, к которым клиент пытается подключиться.

Nginx пытается подобрать наилучшее значение на основе директивы server_name в каждом из серверных блоков, которые являются наилучшим соответствием. Nginx оценивает их по следующей формуле:

• Nginx сначала попытается найти серверный блок со значением server_name, точно соответствующим значению в заголовке запроса “Host”. Если такой элемент найден, для обслуживания запроса будет использован соответствующий блок. Если найдется несколько точных совпадений, используется первый вариант.
• Если точных совпадений найдено не будет, Nginx будет пытаться найти серверный блок с директивой server_name, соответствующей первому подстановочному символу (обозначается символом * в начале названия в конфигурации). Если такой блок будет найден, он будет использоваться для обслуживания запроса. Если будут найдены несколько совпадений, для обслуживания запроса будет использоваться самое длинное из них.
• Если совпадений с начальным подстановочным символом не будет, Nginx начнет искать серверный блок со значением server_name, соответствующим конечному подстановочному символу (указывается именем сервера с символом * в конфигурации). Если такой блок будет найден, он будет использоваться для обслуживания запроса. Если будут найдены несколько совпадений, для обслуживания запроса будет использоваться самое длинное из них.
• Если совпадений с использованием конечного подстановочного символа найдено не будет, Nginx будет оценивать серверные блоки, определяющие server_name, с помощью регулярных выражений (обозначаются символом ~ перед названием). Для выполнения запроса будет использоваться первая директива server_name с регулярным выражением, соответствующим заголовку “Host”.
• Если совпадений с регулярными выражениями не будет, Nginx выберет серверный блок по умолчанию для этого IP-адреса и порта.

Каждая комбинация IP-адреса и порта имеет серверный блок, который будет по умолчанию использоваться, если с помощью вышеописанных методов не удастся принять решение. Для комбинации IP-адреса и порта это будет первый блок в конфигурации или блок, содержащий опцию default_server в директиве listen (имеет приоритет перед алгоритмом на основе первого найденного). Для каждой комбинации IP-адреса и порта может существовать только одна декларация default_server.

Примеры

Если будет определена директива server_name, которая точно соответствует значению заголовка “Host”, для обработки запроса будет выбран соответствующий серверный блок.

В этом примере, если для запроса задать заголовку “Host” значение “host1.example.com”, будет выбран второй сервер:

server {
    listen 80;
    server_name *.example.com;

    . . .

}

server {
    listen 80;
    server_name host1.example.com;

    . . .

}

Если точного совпадения найдено не будет, Nginx проверяет наличие параметра server_name с подходящим начальным подстановочным символом. Для выполнения запроса будет выбрано самое длинное совпадение, начинающееся с подстановочного символа.

В этом примере, если заголовок “Host” запроса будет иметь значение “www.example.org”, будет выбран второй серверный блок:

server {
    listen 80;
    server_name www.example.*;

    . . .

}

server {
    listen 80;
    server_name *.example.org;

    . . .

}

server {
    listen 80;
    server_name *.org;

    . . .

}

Если не будет найдено совпадения с начальным подстановочным символом, Nginx проверит наличие совпадения с подстановочным символом в конце выражения. На этом шаге для обслуживания запроса выбирается наиболее длинное совпадение, заканчивающееся подстановочным символом.

Например, если заголовок “Host” запроса имеет значение “www.example.com”, будет выбран третий серверный блок:

server {
    listen 80;
    server_name host1.example.com;

    . . .

}

server {
    listen 80;
    server_name example.com;

    . . .

}

server {
    listen 80;
    server_name www.example.*;

    . . .

}

Если совпадений с подстановочными символами найдено не будет, Nginx попытается подобрать директивы server_name, использующие регулярные выражения. Первое совпадающее регулярное выражение будет выбрано для реагирования на запрос.

Например, если заголовок “Host” будет иметь значение “www.example.com”, для выполнения запроса будет выбран второй серверный блок:

server {
    listen 80;
    server_name example.com;

    . . .

}

server {
    listen 80;
    server_name ~^(www|host1).*\.example\.com$;

    . . .

}

server {
    listen 80;
    server_name ~^(subdomain|set|www|host1).*\.example\.com$;

    . . .

}

Если никакие из вышеуказанных шагов не обеспечат выполнение запроса, запрос будет передан серверу по умолчанию для соответствующей комбинации IP-адреса и порта.

Совпадающие блоки расположения

Аналогично процессу, который Nginx использует для выбора серверного блока для обработки запроса, Nginx также имеет стабильный алгоритм для определения блока расположения сервера, который будет использоваться для обработки запросов.

Синтаксис блока расположения

Прежде чем рассказывать о том, как Nginx определяет, какой блок расположения использовать для обработки запросов, давайте посмотрим синтаксис, который можно увидеть в определениях блоков расположения. Блоки расположения находятся в серверных блоках (или других блоках расположения) и используются, чтобы решить, как обрабатывать URI запроса (часть запроса после доменного имени или IP-адрес/порта).

Блоки расположения обычно принимают следующую форму:

location optional_modifier location_match {

    . . .

}

location_match выше определяет, что Nginx следует проверять в отношении URI запроса. Наличие или отсутствие модификатора в примере выше влияет на то, как Nginx пытается подобрать соответствие блока расположения. Далее перечислены модификаторы, используемые для интерпретации блока расположения:

• (нет): если модификаторов нет, расположение определяется как соответствие префикса. Это означает, что расположение будет сверяться с началом URI запроса для определения совпадения.
• =: если используется знак равенства, блок будет считаться совпадающим, если URI запроса точно соответствует указанному расположению.
• ~: знак тильды означает, что это расположение будет интерпретироваться как совпадение с регулярным выражением с учетом регистра.
• ~*: знак тильды со звездочкой означают, что блок расположения будет интерпретироваться как совпадение с регулярным выражением без учета регистра.
• ^~: знак елочки с тильдой означают, что если этот блок будет выбран как лучшее соответствие без регулярных выражений, сопоставление по регулярным выражением проводиться не будет.

Примеры, демонстрирующие синтаксис блока расположения

В качестве примера соответствия префиксов можно выбрать следующий блок расположения для реагирования на URI запроса вида /site, /site/page1/index.html или /site/index.html:

location /site {

    . . .

}

Как пример точного соответствия URI запроса, этот блок всегда будет использоваться для ответа на URI запроса вида /page1. Он не будет использоваться для ответа на URI запроса /page1/index.html. Помните, что если выбран этот блок, и если запрос выполняется с использованием страницы индекса, произойдет внутренняя переадресация на другое расположение, которое фактически и будет обрабатывать запрос:

location = /page1 {

    . . .

}

Как пример расположения, которое следует интерпретировать как регулярное выражение с учетом регистра, этот блок можно использовать для обработки запросов /tortoise.jpg, но не запросов /FLOWER.PNG:

location ~ \.(jpe?g|png|gif|ico)$ {

    . . .

}

Ниже показан похожий блок, поддерживающий сопоставление без учета регистра. Этот блок может обрабатывать как запросы /tortoise.jpg, так и запросы /FLOWER.PNG:

location ~* \.(jpe?g|png|gif|ico)$ {

    . . .

}

Наконец, этот блок не даст выполнять сопоставление с регулярными выражениями, если будет признан лучшим совпадением без регулярного выражения. Он сможет обрабатывать запросы /costumes/ninja.html:

location ^~ /costumes {

    . . .

}

Как видите, модификаторы показывают, как следует интерпретировать блок расположения. Однако это не говорит нам, какой алгоритм Nginx использует для определения блока расположения, в который будет отправлен запрос. Этот вопрос мы рассмотрим далее.

Как Nginx выбирает расположение для обработки запросов

Nginx выбирает расположение, которое будет использоваться для обработки запроса аналогично выбору серверного блока. Он выполняет процесс, определяющий наилучший блок расположения для любого заданного запроса. Понимание этого процесса очень важно для возможности надежной и точной настройки Nginx.

Учитывая описанные выше типы деклараций расположения, Nginx оценивает возможные контексты расположения, сравнивая URI запроса с каждым расположением. Для этого используется следующий алгоритм:

• Для начала Nginx проверяет все совпадения расположения на базе префиксов (все типы расположений без регулярных выражений). Каждое расположение сверяется с полным URI запроса.
• Во-первых, Nginx ищет точное совпадение. Если блок расположения, использующий модификатор =, будет точно соответствовать URI запроса, этот блок расположения сразу же будет выбран для обслуживания запроса.
• Если точное соответствие (с модификатором =) блока расположения найдено не будет, Nginx перейдет к оценке неточных префиксов. Он определит самое длинное совпадающее расположение префикса для указанного URI запроса, которое будет оценено следующим образом:
  • Если совпадающее расположение с самым длинным префиксом имеет модификатор ^~, Nginx немедленно прекращает поиск и выбирает это расположение для обслуживания запроса.
  • Если совпадающее расположение с самым длинным префиксом не имеет модификатор ^~, Nginx временно сохраняет его, чтобы можно было сместить фокус поиска.
• После определения и сохранения совпадающего расположения с самым длинным префиксом Nginx переходит к оценке расположений с регулярными выражениями (с учетом регистра и без учета регистра). Если расположения с регулярными выражениями будут найдены внутри совпадающего расположения с самым длинным префиксом, Nginx переместит их наверх списка расположений с регулярными выражениями для проверки. Затем Nginx попытается подбирать расположения регулярных выражений последовательно. Первое регулярное выражение, соответствующее URI запроса, будет сразу же выбрано для обслуживания запроса.
• Если не будет найдено никаких расположений регулярных выражений, соответствующих URI запроса, для обслуживания запроса будет выбрано ранее сохраненное расположение префикса.

Важно понимать, что по умолчанию Nginx будет отдавать совпадениям регулярных выражений приоритет перед совпадениями префиксов. Однако он вначале оценивает расположения префиксов, позволяя администратору переопределить этот приоритет, используя модификаторы = и ^~ при определении расположения.

Также важно отметить, что хотя расположения префиксов обычно определяются на основе самого длинного и точного совпадения, оценка регулярных выражений останавливается при обнаружении первого совпадения. Это означает, что расположение в конфигурации важно для расположения регулярных выражений.

Наконец, важно понимать, что совпадения регулярных выражений с самым длинным совпадением префикса будут иметь больший приоритет при оценке регулярных выражений Nginx. Они будут оцениваться по порядку до начала оценки любых других совпадений регулярных выражений. Максим Дунин, разработчик Nginx, дающий очень много полезных советов, объясняет в этом сообщении принципы работы данной части алгоритма выбора.

Когда оценка блока расположения переходит к другим расположениям?

Обычно, когда для обслуживания запроса выбирается блок расположения, запрос полностью обрабатывается в этом контексте, начиная с этого момента. Обработка запроса определяется только выбранным расположением и унаследованными директивами без вмешательства других родственных блоков расположения.

Хотя это общее правило, позволяющее прогнозируемо проектировать блоки расположения, важно понимать, что иногда определенные директивы в выбранном расположении могут активировать новый поиск расположения. Исключения из правила использования только одного блока расположения могут влиять на фактический процесс обработки запроса и не соответствовать вашим ожиданиям при проектировании блоков расположения.

Вот некоторые директивы, которые могут активировать подобную внутреннюю переадресацию:

• index
• try_files
• rewrite
• error_page

Давайте вкратце рассмотрим их.

Директива index всегда вызывает внутреннюю переадресацию, если используется для обработки запроса. Точные совпадения расположения часто используются для ускорения процесса выбора с немедленным завершением алгоритма. Однако, если точное совпадение расположения представляет собой каталог, есть вероятность, что запрос будет переадресован для фактической обработки в другое расположение.

В этом примере первому расположению соответствует URI запроса /exact, но для обработки запроса директива index, унаследованная блоком, активирует внутреннюю переадресацию во второй блок:

index index.html;

location = /exact {

    . . .

}

location / {

    . . .

}

Если в примере выше вы захотите ограничить исполнение первым блоком, вам нужно будет подобрать другой метод выполнения запроса каталога. Например, вы можете задать недопустимый index этого блока и включить autoindex:

location = /exact {
    index nothing_will_match;
    autoindex on;
}

location  / {

    . . .

}

Этот способ позволит предотвратить переключение контекста index, но в большинстве конфигураций он не будет полезен. Более точное совпадение каталогов может помочь в таких случаях как перезапись запроса (в результате чего также выполняется новый поиск расположения).

Также расположение обработки может переоцениваться при использовании директивы try_files. Эта директива предписывает Nginx проверить существование набора файлов или каталогов с определенным именем. Последним параметром может быть URI, на который Nginx осуществляет внутреннюю переадресацию.

Рассмотрим следующую конфигурацию:

root /var/www/main;
location / {
    try_files $uri $uri.html $uri/ /fallback/index.html;
}

location /fallback {
    root /var/www/another;
}

В примере выше, если мы делаем запрос /blahblah, запрос получит первое расположение. Оно попытается найти файл с именем blahblah в каталоге /var/www/main. Если это не получится сделать, будет выполнен поиск файла с именем blahblah.html. Затем будет выполнен поиск каталога blahblah/ в каталоге /var/www/main. Если все эти попытки закончатся неудачно, будет выполнена переадресация на /fallback/index.html. В этом случае будет активирован другой поиск расположения, который будет перехвачен вторым блоком расположения. Он выдаст файл /var/www/another/fallback/index.html.

Также смена блока расположения возможна при использовании директивы rewrite. При использовании параметра last с директивой rewrite или при ее использовании без каких-либо параметров Nginx выполняет поиск нового подходящего расположения на основе результатов перезаписи.

Например, если мы изменим последний пример и включим в него директиву rewrite, мы увидим, что запрос будет иногда передаваться во второе расположение без использования директивы try_files:

root /var/www/main;
location / {
    rewrite ^/rewriteme/(.*)$ /$1 last;
    try_files $uri $uri.html $uri/ /fallback/index.html;
}

location /fallback {
    root /var/www/another;
}

В примере выше запрос /rewriteme/hello будет первоначально обработан первым блоком расположения. Он будет перезаписан в /hello, и будет выполнен поиск расположения. В этом случае совпадением опять будет первое расположение, и будет выполнена обычная обработка try_files, возможно с возвратом к /fallback/index.html, если ничего не будет найдено (посредством внутренней переадресации try_files, как описано выше).

Однако в случае запроса /rewriteme/fallback/hello первый блок опять будет соответствовать. В этом случае снова будет применена перезапись, в данном случае на /fallback/hello. Затем запрос будет выполнен вторым блоком расположения.

Похожая ситуация происходит с директивой return при отправке кодов состояния 301 или 302. В данном случае разница заключается в том, чтобы обработать совершенно новый запрос в форме внешней видимой переадресации. Такая же ситуация может возникнуть с директивой rewrite при использовании флагов redirect или permanent. Однако эти поиски расположения не должны быть неожиданными, поскольку внешняя видимая переадресация всегда приводит к созданию нового запроса.

Директива error_page может вызвать внутреннюю переадресацию, аналогичную созданной try_files. Эта директива используется, чтобы определить, что должно происходить при получении определенных кодов состояния. Она практически никогда не выполняется вместе с try_files, потому что обрабатывает весь жизненный цикл запроса.

Рассмотрим следующий пример:

root /var/www/main;

location / {
    error_page 404 /another/whoops.html;
}

location /another {
    root /var/www;
}

Каждый запрос, кроме начинающихся с /another, будет обрабатываться первым блоком, который будет выводить файлы из /var/www/main. Однако, если файл не будет найден (статус 404), будет выполнена внутренняя переадресация на /another/whoops.html, в результате чего будет активирован новый поиск расположения, который попадет на второй блок. Файл будет выводиться из /var/www/another/whoops.html.

Как видите, понимание обстоятельств, в которых Nginx активирует новый поиск расположения, может помочь прогнозировать поведение, которое вы будете наблюдать при отправке запросов.

Заключение

Понимание способов обработки запросов клиентов в Nginx может значительно упростить работу администратора. Вы сможете понимать, какой серверный блок будет выбирать Nginx в ответ на запрос каждого клиента. Также вы поймете, как определить выбираемый блок расположения на основе URI запроса. Понимание того, как Nginx выбирает разные блоки, позволит вам отслеживать применяемые Nginx контексты для обслуживания каждого запроса.