Cómo inspeccionar las redes de Kubernetes

Introducción

Kubernetes es un sistema de orquestación de contenedores que puede gestionar aplicaciones en contenedores a través de un clúster de nodos de servidor. Para el mantenimiento de la conectividad de red entre todos los contenedores de un clúster se requieren técnicas avanzadas de red. En este artículo, abordaremos brevemente algunas herramientas y técnicas para inspeccionar esta configuración de red.

Estas herramientas pueden ser útiles si depura errores de conectividad, investiga problemas de rendimiento de la red o explora Kubernetes para aprender cómo funciona.

Si desea conocer más sobre Kubernetes en general, en nuestra guía Introducción a Kubernetes se abarcan los aspectos básicos. Para acceder a una descripción general específica de Kubernetes, lea Análisis exhaustivo de las redes de Kubernetes.

Primeros pasos

Para este tutorial se espera que tenga un clúster de Kubernetes, con kubectl instalado localmente y configurado para conectarse al clúster.

Las siguientes secciones contienen muchos comandos pensados para ejecutarse en un nodo de Kubernetes. Tendrán el siguiente aspecto:

echo 'this is a node command'

Los comandos que deben ejecutarse en su máquina local tendrán el siguiente aspecto:

echo 'this is a local command'

Encontrar el IP del clúster de un pod

Para encontrar la dirección IP del clúster de un pod de Kubernetes, utilice el comando kubectl get pod en su máquina local, con la opción -o wide. Esta opción mostrará más información, incluido el nodo en el que reside el pod y ek IP del clúster del pod.

kubectl get pod -o wide

Output
NAME                           READY     STATUS    RESTARTS   AGE       IP            NODE
hello-world-5b446dd74b-7c7pk   1/1       Running   0          22m       10.244.18.4   node-one
hello-world-5b446dd74b-pxtzt   1/1       Running   0          22m       10.244.3.4    node-two

La columna IP contendrá la dirección IP del clúster interno de cada pod.

Si no ve el pod que busca, asegúrese de estar posicionado en el espacio de nombres correcto. Puede listar todos los pods en todos los espacios de nombres añadiendo el indicador --all-namespaces.

Encontrar el IP de un servicio

También se puede encontrar un IP de servicio con kubectl. En este caso listaremos todos los servicios en todos los espacios de nombres:

kubectl get service --all-namespaces

Output
NAMESPACE     NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
default       kubernetes                 ClusterIP   10.32.0.1       <none>        443/TCP         6d
kube-system   csi-attacher-doplugin      ClusterIP   10.32.159.128   <none>        12345/TCP       6d
kube-system   csi-provisioner-doplugin   ClusterIP   10.32.61.61     <none>        12345/TCP       6d
kube-system   kube-dns                   ClusterIP   10.32.0.10      <none>        53/UDP,53/TCP   6d
kube-system   kubernetes-dashboard       ClusterIP   10.32.226.209   <none>        443/TCP         6d

El IP del servicio se encuentra en la columna CLUSTER-IP.

Buscar e ingresar espacios de nombres de red de pods

A cada pod de Kubernetes se le asigna su propio espacio de nombres de red. Los espacios de nombres de red (o netns) son una primitiva red de Linux que proporciona aislamiento entre dispositivos de red.

Puede ser útil ejecutar comandos desde dentro de los netns de un pod, para comprobar la resolución de DNS o la conectividad general de la red. Para ello, primero tenemos que buscar el ID de proceso de uno de los contenedores de un pod. En el caso de Docker, podemos hacerlo con una serie de dos comandos. Primero, listar los contenedores que se ejecutan en un nodo:

docker ps

Output
CONTAINER ID        IMAGE                                   COMMAND                  CREATED             STATUS              PORTS               NAMES
173ee46a3926        gcr.io/google-samples/node-hello        "/bin/sh -c 'node se…"   9 days ago          Up 9 days                               k8s_hello-world_hello-world-5b446dd74b-pxtzt_default_386a9073-7e35-11e8-8a3d-bae97d2c1afd_0
11ad51cb72df        k8s.gcr.io/pause-amd64:3.1              "/pause"                 9 days ago          Up 9 days                               k8s_POD_hello-world-5b446dd74b-pxtzt_default_386a9073-7e35-11e8-8a3d-bae97d2c1afd_0
. . .

Encuentre el **ID de contenedor **o nombre de cualquier contenedor en el pod que le interese. En la imagen anterior, mostramos dos contenedores:

• El primer contenedor es la aplicación hello-world que se ejecuta en el pod hello-world.
• El segundo es un contenedor de pausa que funciona en el pod hello-world. Este contenedor existe únicamente para preservar el espacio de nombres de red del pod.

Para obtener el ID de proceso de cualquiera de los contenedores, tome nota del ID o nombre del contenedor y utilícelo en el siguiente comando docker.

docker inspect --format '{{ .State.Pid }}' container-id-or-name

Output
14552

Se emitirá un ID de proceso (o PID). Ahora podemos utilizar el programa nsenter para ejecutar un comando en el espacio de nombres de red de ese proceso:

nsenter -t your-container-pid -n ip addr

Asegúrese de utilizar su propio PID, y reemplace ip addr por el comando que le gustaría ejecutar dentro del espacio de nombres de red del pod.

Encontrar la interfaz Ethernet virtual de un pod

El espacio de nombres de red de cada pod se comunica con netns root del nodo a través de un conducto Ethernet virtual. Del lado del nodo, este conducto aparece como un dispositivo que normalmente comienza con veth y termina en un identificador único, como veth77f2275 o veth01. Dentro del pod, este conducto aparece como eth0.

Puede ser útil para correlacionar el dispositivo veth que se empareja con un pod determinado. Para ello, listaremos todos los dispositivos de red del nodo y luego los dispositivos del espacio de nombres de red del pod. A continuación, podremos correlacionar los números de dispositivo entre los dos listados para realizar la conexión.

Primero, ejecute ip addr en el espacio de nombres de red del pod con nsenter. Consulte la sección anterior Buscar e ingresar espacios de nombres de red de pods para obtener información sobre cómo hacer esto:

nsenter -t your-container-pid -n ip addr

Output
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
10: eth0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
    link/ether 02:42:0a:f4:03:04 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.3.4/24 brd 10.244.3.255 scope global eth0
       valid_lft forever preferred_lft forever

El comando emitirá una lista de las interfaces del pod. Observe el número if11 después de eth0@ en la imagen de ejemplo. Esto significa que el eth0 de este pod está vinculado a la interfaz 11 del nodo. Ahora ejecute ip addr en el espacio de nombres predeterminado del nodo para listar sus interfaces:

ip addr

Output
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever

. . .

7: veth77f2275@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master docker0 state UP group default
    link/ether 26:05:99:58:0d:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::2405:99ff:fe58:db9/64 scope link
       valid_lft forever preferred_lft forever
9: vethd36cef3@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master docker0 state UP group default
    link/ether ae:05:21:a2:9a:2b brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::ac05:21ff:fea2:9a2b/64 scope link
       valid_lft forever preferred_lft forever
11: veth4f7342d@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master docker0 state UP group default
    link/ether e6:4d:7b:6f:56:4c brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet6 fe80::e44d:7bff:fe6f:564c/64 scope link
       valid_lft forever preferred_lft forever

La interfaz 11 es veth4f7342d en esta imagen de ejemplo. Este es el conducto Ethernet virtual al pod que investigaremos.

Inspeccionar el seguimiento de la conexión del conntrack

Antes de la versión 1.11, en Kubernetes se utilizaban iptables NAT y el módulo kernel del conntrack para controlar las conexiones. Para listar todas las conexiones actualmente controladas, utilice el comando conntrack:

conntrack -L

Para buscar continuamente nuevas conexiones, utilice el indicador -E:

conntrack -E

Para listar las conexiones controladas por conntrack a una dirección de destino concreta, utilice el indicador -d:

conntrack -L -d 10.32.0.1

Si sus nodos tienen problemas para establecer conexiones fiables con los servicios, es posible que la tabla de seguimiento de conexiones esté llena y que se inhabiliten las nuevas conexiones. En este caso, es posible que vea mensajes como los siguientes en sus registros de sistema:

Jul 12 15:32:11 worker-528 kernel: nf_conntrack: table full, dropping packet.

Existe una configuración de sysctl para el número máximo de conexiones que se controlarán. Puede hacer una lista de su valor actual con el siguiente comando:

sysctl net.netfilter.nf_conntrack_max

Output
net.netfilter.nf_conntrack_max = 131072

Para establecer un nuevo valor, utilice el indicador -w:

sysctl -w net.netfilter.nf_conntrack_max=198000

Para que este ajuste sea permanente, agréguelo al archivo sysctl.conf:

. . .
net.ipv4.netfilter.ip_conntrack_max = 198000

Inspeccionar reglas de iptables

Antes de la versión 1.11, Kubernetes utilizaba iptables NAT para implementar la conversión de IP virtuales y el balanceo de carga para los IP de servicios.

Para volcar todas las reglas de iptables en un nodo, utilice el comando iptables-save:

iptables-save

Dado que el resultado puede ser muy extenso, es posible que desee realizar una transferencia a un archivo (iptables-save > output.txt) o a un localizador (iptables-save | less) para revisar más fácilmente las reglas.

Para listar solo las reglas de NAT del servicio de Kubernetes, utilice el comando iptables y el indicador -L a fin de especificar la cadena correcta:

iptables -t nat -L KUBE-SERVICES

Output
Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-SVC-TCOU7JCQXEZGVUNU  udp  --  anywhere             10.32.0.10           /* kube-system/kube-dns:dns cluster IP */ udp dpt:domain
KUBE-SVC-ERIFXISQEP7F7OF4  tcp  --  anywhere             10.32.0.10           /* kube-system/kube-dns:dns-tcp cluster IP */ tcp dpt:domain
KUBE-SVC-XGLOHA7QRQ3V22RZ  tcp  --  anywhere             10.32.226.209        /* kube-system/kubernetes-dashboard: cluster IP */ tcp dpt:https
. . .

Consultas al DNS del clúster

Una forma de depurar la resolución del DNS de su clúster es implementar un contenedor de depuración con todas las herramientas que necesite y utilizar kubectl para ejecutar nslookup en él. Esto se describe en la documentación oficial de Kubernetes.

Otra forma de consultar el clúster DNS es utilizar dig y nsenter de un nodo. Si dig no está instalado, puede instalarse con apt en las distribuciones de Linux basadas en Debian:

apt install dnsutils

Primero, busque el IP del clúster del servicio kube-dns:

kubectl get service -n kube-system kube-dns

Output
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
kube-dns   ClusterIP   10.32.0.10   <none>        53/UDP,53/TCP   15d

El IP del clúster se resalta arriba. A continuación, utilizaremos nsenter para ejecutar dig en el espacio de nombres de un contenedor. Consulte la sección Encontrar e ingresar espacios de nombres de red de pod para obtener más información al respecto:

nsenter -t 14346 -n dig kubernetes.default.svc.cluster.local @10.32.0.10

Este comando dig busca el nombre de dominio completo del servicio de service-name.namespace.svc.cluster.local y especifica el IP de servicio del DNS del clúster (@10.32.0.10) .

Revisión de la información de IPVS

A partir de la versión 1.11, kube-proxy puede configurar IPVS para gestionar la conversión de los IP de servicios virtuales a IP de pod. Puede listar la tabla de conversión de IP con ipvsadm:

ipvsadm -Ln

Output
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  100.64.0.1:443 rr
  -> 178.128.226.86:443           Masq    1      0          0
TCP  100.64.0.10:53 rr
  -> 100.96.1.3:53                Masq    1      0          0
  -> 100.96.1.4:53                Masq    1      0          0
UDP  100.64.0.10:53 rr
  -> 100.96.1.3:53                Masq    1      0          0
  -> 100.96.1.4:53                Masq    1      0          0

Para mostrar un solo IP de servicio, utilice la opción -t y especifique el IP deseado:

ipvsadm -Ln -t 100.64.0.10:53

Output
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  100.64.0.10:53 rr
  -> 100.96.1.3:53                Masq    1      0          0
  -> 100.96.1.4:53                Masq    1      0          0

Conclusión

A lo largo de este artículo, revisamos comandos y técnicas para explorar e inspeccionar los detalles de la red de su clúster de Kubernetes. Para obtener más información sobre Kubernetes, consulte el tema de nuestros tutoriales de Kubernetes y la documentación oficial de Kubernetes.