zaki work log

作業ログやら生活ログやらなんやら

pod内からkubectlを実行する場合はkubeconfigファイルは不要でRBACを設定すれば良い

kubectlコマンドって$HOME/.kube/configファイルか、--kubeconfigかKUBECONFIG環境変数に指定したファイルの接続情報を見て実行するものと思ってたので、「podの中からkubectlコマンドを実行したいときはsecretとか経由でkubeconfigファイルを注入する必要がある」と思っていたけど、実はこれ以外にも接続情報を参照する仕組みがあり、特にpod内からの実行に特化した構成になっているので確認してみた。

コンテナは、Pod内での実行中に環境変数KUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORT_HTTPSを取得することで、Kubernetes APIサーバーのHTTPSのURLを作成することができます。

kubernetes.io

デフォルトでは、kubectlは最初にPod内で動作しているか、つまりクラスター内で動作しているかどうかを判断します。まず、KUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORTの環境変数を確認し、サービスアカウントのトークンファイルが/var/run/secrets/kubernetes.io/serviceaccount/tokenに存在するかどうかを確認します。3つともクラスター内で見つかった場合、クラスター内認証とみなされます。

kubernetes.io

検証用pod作成

zaki@cloud-dev2:~$ kubectl run work-pod --image=fedora --command -- tail -f /dev/null
pod/work-pod created

環境変数

[root@work-pod /]# env | sort | grep -i kubernetes
KUBERNETES_PORT=tcp://10.43.0.1:443
KUBERNETES_PORT_443_TCP=tcp://10.43.0.1:443
KUBERNETES_PORT_443_TCP_ADDR=10.43.0.1
KUBERNETES_PORT_443_TCP_PORT=443
KUBERNETES_PORT_443_TCP_PROTO=tcp
KUBERNETES_SERVICE_HOST=10.43.0.1
KUBERNETES_SERVICE_PORT=443
KUBERNETES_SERVICE_PORT_HTTPS=443

トークン状態

[root@work-pod /]# df -h
Filesystem      Size  Used Avail Use% Mounted on
overlay          35G   27G  8.2G  77% /
tmpfs            64M     0   64M   0% /dev
/dev/sda1        35G   27G  8.2G  77% /etc/hosts
shm              64M     0   64M   0% /dev/shm
tmpfs           7.8G   12K  7.8G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs           3.9G     0  3.9G   0% /proc/acpi
tmpfs           3.9G     0  3.9G   0% /proc/scsi
tmpfs           3.9G     0  3.9G   0% /sys/firmware

トークンはここ

[root@work-pod /]# ls /run/secrets/kubernetes.io/serviceaccount/
ca.crt  namespace  token
[root@work-pod /]# cat /run/secrets/kubernetes.io/serviceaccount/token 
eyJhbGciOiJSUzI1NiIsImtpZCI6IjZtcWVjZ0FTZHRUcEFl.............[snip]

この定義はpodの状態でも確認できる。

zaki@cloud-dev2:~$ kubectl get pod work-pod -o yaml
apiVersion: v1
kind: Pod
metadata:
  name: work-pod
  namespace: default
  :
  :
spec:
  containers:
  - command:
    - tail
    - -f
    - /dev/null
    image: fedora
    :
    :
    volumeMounts:
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: kube-api-access-kr824
      readOnly: true
  :
  :
  volumes:
  - name: kube-api-access-kr824
    projected:
      defaultMode: 420
      sources:
      - serviceAccountToken:
          expirationSeconds: 3607
          path: token
        :
        :

kubectlインストール

確認のためのコマンドインストール。

zaki@cloud-dev2:~$ kubectl exec -it work-pod -- bash
[root@work-pod /]# 

[root@work-pod /]# curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 56.7M  100 56.7M    0     0  74.3M      0 --:--:-- --:--:-- --:--:-- 74.2M
[root@work-pod /]# chmod 755 kubectl 
[root@work-pod /]# mv kubectl /usr/local/bin/
[root@work-pod /]# 

version確認

[root@work-pod /]# kubectl version
Client Version: v1.36.0
Kustomize Version: v5.8.1
Server Version: v1.35.3+k3s1

既にAPIサーバーに接続できている。
これはpodがデプロイされているKubernetesクラスターの情報。

zaki@cloud-dev2:~$ kubectl get node
NAME        STATUS   ROLES                  AGE    VERSION
k3s-node1   Ready    control-plane,master   519d   v1.35.3+k3s1

kubectl実行状態

この通り、get系の操作でもForbiddenエラーとなる。
つまり接続はできているけど権限不足の状態。

[root@work-pod /]# kubectl get node
Error from server (Forbidden): nodes is forbidden: User "system:serviceaccount:default:default" cannot list resource "nodes" in API group "" at the cluster scope
[root@work-pod /]# kubectl get pod
Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" in the namespace "default"
[root@work-pod /]# 

Role設定

下記内容で「podに対するget/listをServiceAccountに対して許可」する。

---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: sample
  namespace: default
rules:
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
  - list
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: sample
  namespace: default
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: sample
subjects:
- kind: ServiceAccount
  name: default
  namespace: default
zaki@cloud-dev2:~$ kubectl apply -f kubectl-role.yaml 
role.rbac.authorization.k8s.io/sample created
rolebinding.rbac.authorization.k8s.io/sample created

RBAC設定後の実行

kubectl get podのみ成功。(想定通り)

[root@work-pod /]# kubectl get pod
NAME       READY   STATUS    RESTARTS   AGE
work-pod   1/1     Running   0          4m31s
[root@work-pod /]# kubectl get deploy
Error from server (Forbidden): deployments.apps is forbidden: User "system:serviceaccount:default:default" cannot list resource "deployments" in API group "apps" in the namespace "default"
[root@work-pod /]# kubectl get pod -A
Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" at the cluster scope
[root@work-pod /]# kubectl get node
Error from server (Forbidden): nodes is forbidden: User "system:serviceaccount:default:default" cannot list resource "nodes" in API group "" at the cluster scope

デバッグ出力

kubectl getの実行時のデバッグ出力レベルを-v=6まで上げると接続先ホスト情報が見える。

[root@work-pod /]# kubectl get pod -v=6
I0425 01:40:36.714857     128 merged_client_builder.go:165] Using in-cluster namespace
I0425 01:40:36.715070     128 merged_client_builder.go:122] Using in-cluster configuration
I0425 01:40:36.715275     128 envvar.go:195] "Feature gate default state" feature="ClientsAllowCARotation" enabled=true
I0425 01:40:36.715289     128 envvar.go:195] "Feature gate default state" feature="ClientsAllowCBOR" enabled=false
I0425 01:40:36.715297     128 envvar.go:195] "Feature gate default state" feature="ClientsPreferCBOR" enabled=false
I0425 01:40:36.715304     128 envvar.go:195] "Feature gate default state" feature="InformerResourceVersion" enabled=true
I0425 01:40:36.715311     128 envvar.go:195] "Feature gate default state" feature="InOrderInformers" enabled=true
I0425 01:40:36.715318     128 envvar.go:195] "Feature gate default state" feature="AtomicFIFO" enabled=true
I0425 01:40:36.715348     128 envvar.go:195] "Feature gate default state" feature="ClientsAllowTLSCacheGC" enabled=true
I0425 01:40:36.715356     128 envvar.go:195] "Feature gate default state" feature="InOrderInformersBatchProcess" enabled=true
I0425 01:40:36.715368     128 envvar.go:195] "Feature gate default state" feature="WatchListClient" enabled=true
I0425 01:40:36.715373     128 envvar.go:195] "Feature gate default state" feature="UnlockWhileProcessingFIFO" enabled=true
I0425 01:40:36.718396     128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/api?timeout=32s" status="200 OK" milliseconds=1
I0425 01:40:36.724421     128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/apis?timeout=32s" status="200 OK" milliseconds=1
I0425 01:40:36.727404     128 cached_discovery.go:88] skipped caching discovery info, no resources found
I0425 01:40:36.728957     128 cached_discovery.go:88] skipped caching discovery info, no resources found
I0425 01:40:36.730328     128 cached_discovery.go:88] skipped caching discovery info, no resources found
I0425 01:40:36.731987     128 merged_client_builder.go:122] Using in-cluster configuration
I0425 01:40:36.734138     128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/api/v1/namespaces/default/pods?limit=500" status="200 OK" milliseconds=1
NAME       READY   STATUS    RESTARTS   AGE
work-pod   1/1     Running   0          5m30s

この通り、最初に確認したKUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORT_HTTPSのホスト・ポート番号が使われている。

コンテナじゃなくVMだと?

たまたまkubectlも何も入ってないVMがあったのでお試し。

[zaki@fedora-dev ~]$ which kubectl
/usr/bin/which: no kubectl in (/home/zaki/.local/share/mise/installs/ffmpeg/8.0/bin:/home/zaki/.local/share/mise/installs/nasm/2.16/bin:/home/zaki/.local/share/mise/installs/usage/2.2.2:/home/zaki/.local/bin:/home/zaki/bin:/usr/local/bin:/usr/bin)

miseは入ってたのでこれで入れる。

[zaki@fedora-dev ~]$ mise use kubectl
mise ~/.config/mise/config.toml tools: kubectl@1.36.0
[zaki@fedora-dev ~]$ kubectl version
Client Version: v1.36.0
Kustomize Version: v5.8.1
The connection to the server localhost:8080 was refused - did you specify the right host or port?

接続先情報は無い状態。
環境変数をセットする。pod内からのアクセスとアドレスやポートは異なるので注意。
(実行ホストから見たKubernetes APIサーバーのアドレスとポートを指定する)

[zaki@fedora-dev ~]$ export KUBERNETES_SERVICE_HOST=192.168.0.75
[zaki@fedora-dev ~]$ export KUBERNETES_SERVICE_PORT=6443
[zaki@fedora-dev ~]$ 
[zaki@fedora-dev ~]$ kubectl version
Client Version: v1.36.0
Kustomize Version: v5.8.1
The connection to the server localhost:8080 was refused - did you specify the right host or port?

これだけだと接続先情報として認識しないのでトークンファイルを作成する。

[zaki@fedora-dev ~]$ sudo mkdir -p /var/run/secrets/kubernetes.io/serviceaccount/
[zaki@fedora-dev ~]$ 
[zaki@fedora-dev ~]$ sudo tee /var/run/secrets/kubernetes.io/serviceaccount/token <<__EOL__
> ....
> __EOL__

これで接続しようとはするが、証明書ファイルが無いためエラー。

[zaki@fedora-dev ~]$ kubectl version
E0425 02:36:03.652313    3614 config.go:562] Expected to load root CA config from /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, but got err: open /var/run/secrets/kubernetes.io/serviceaccount/ca.crt: no such file or directory
Client Version: v1.36.0
Kustomize Version: v5.8.1
Unable to connect to the server: tls: failed to verify certificate: x509: certificate signed by unknown authority

メッセージにある通り、証明書ファイルも作成。ファイルはpod内のファイル(tokenと同じディレクトリにある)をそのままコピーする。(手抜き)

[zaki@fedora-dev ~]$ sudo tee /var/run/secrets/kubernetes.io/serviceaccount/ca.crt <<__EOL__
> -----BEGIN CERTIFICATE-----
MIIBdzCCAR2gAwIBAgIBADAKBggqhkjOPQQDAjAjMSEwHwYDVQQDDBhrM3Mtc2Vy
dmVyLWNhQDE3MzIxMDM1OTMwHhcNMjQxMTIwMTE1MzEzWhcNMzQxMTE4MTE1MzEz
...
[zaki@fedora-dev ~]$ kubectl version
Client Version: v1.36.0
Kustomize Version: v5.8.1
Server Version: v1.35.3+k3s1

接続成功。

[zaki@fedora-dev ~]$ kubectl get pod
NAME       READY   STATUS    RESTARTS   AGE
work-pod   1/1     Running   0          62m
[zaki@fedora-dev ~]$ kubectl get pod -A
Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" at the cluster scope

pod内からの実行と同様にdefaultネームスペースのpodのget/listは動作するが、それ以外は権限を付与してないためエラーになる動作を確認。

ちなみにpod内で使っている証明書はConfigMapにあるものがマウントされているので、それをコピーしてもOK

zaki@cloud-dev2:~$ kubectl get cm kube-root-ca.crt -o jsonpath='{.data.ca\.crt}'
-----BEGIN CERTIFICATE-----
MIIBdzCCAR2gAwIBAgIBADAKBggqhkjOPQQDAjAjMSEwHwYDVQQDDBhrM3Mtc2Vy
dmVyLWNhQDE3MzIxMDM1OTMwHhcNMjQxMTIwMTE1MzEzWhcNMzQxMTE4MTE1MzEz
...
...

ということで、podからkubectlを実行する際は、kubeconfigファイルの用意の必要はなく、実行したいコマンドの内容に合わせたRBACをServiceAccountを設定しておけば良い。kubectlコマンドを使用せずRESTでの実行も、pod内に必要な接続情報はデフォルトで揃っているので、それを使えばOK
例えばCronJobで定期的にKubernetesクラスターのリソースをごにょごにょしたい場合、とかね。

(追記) kubectl config状態

kubeconfigファイルのようにクラスター情報を保持していない関係か、kubectl configの結果は以下の通りブランク。

[root@work-pod /]# kubectl config get-contexts
CURRENT   NAME   CLUSTER   AUTHINFO   NAMESPACE
[root@work-pod /]# kubectl config current-context 
error: current-context is not set
[root@work-pod /]# kubectl config view
apiVersion: v1
clusters: null
contexts: null
current-context: ""
kind: Config
users: null

RBAC資料

kubernetes.io