kubectlコマンドって$HOME/.kube/configファイルか、--kubeconfigかKUBECONFIG環境変数に指定したファイルの接続情報を見て実行するものと思ってたので、「podの中からkubectlコマンドを実行したいときはsecretとか経由でkubeconfigファイルを注入する必要がある」と思っていたけど、実はこれ以外にも接続情報を参照する仕組みがあり、特にpod内からの実行に特化した構成になっているので確認してみた。
コンテナは、Pod内での実行中に環境変数
KUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORT_HTTPSを取得することで、Kubernetes APIサーバーのHTTPSのURLを作成することができます。
デフォルトでは、
kubectlは最初にPod内で動作しているか、つまりクラスター内で動作しているかどうかを判断します。まず、KUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORTの環境変数を確認し、サービスアカウントのトークンファイルが/var/run/secrets/kubernetes.io/serviceaccount/tokenに存在するかどうかを確認します。3つともクラスター内で見つかった場合、クラスター内認証とみなされます。
- 検証用pod作成
- 環境変数
- トークン状態
- kubectlインストール
- version確認
- kubectl実行状態
- Role設定
- RBAC設定後の実行
- デバッグ出力
- コンテナじゃなくVMだと?
- (追記) kubectl config状態
検証用pod作成
zaki@cloud-dev2:~$ kubectl run work-pod --image=fedora --command -- tail -f /dev/null pod/work-pod created
環境変数
[root@work-pod /]# env | sort | grep -i kubernetes KUBERNETES_PORT=tcp://10.43.0.1:443 KUBERNETES_PORT_443_TCP=tcp://10.43.0.1:443 KUBERNETES_PORT_443_TCP_ADDR=10.43.0.1 KUBERNETES_PORT_443_TCP_PORT=443 KUBERNETES_PORT_443_TCP_PROTO=tcp KUBERNETES_SERVICE_HOST=10.43.0.1 KUBERNETES_SERVICE_PORT=443 KUBERNETES_SERVICE_PORT_HTTPS=443
トークン状態
[root@work-pod /]# df -h Filesystem Size Used Avail Use% Mounted on overlay 35G 27G 8.2G 77% / tmpfs 64M 0 64M 0% /dev /dev/sda1 35G 27G 8.2G 77% /etc/hosts shm 64M 0 64M 0% /dev/shm tmpfs 7.8G 12K 7.8G 1% /run/secrets/kubernetes.io/serviceaccount tmpfs 3.9G 0 3.9G 0% /proc/acpi tmpfs 3.9G 0 3.9G 0% /proc/scsi tmpfs 3.9G 0 3.9G 0% /sys/firmware
トークンはここ
[root@work-pod /]# ls /run/secrets/kubernetes.io/serviceaccount/ ca.crt namespace token [root@work-pod /]# cat /run/secrets/kubernetes.io/serviceaccount/token eyJhbGciOiJSUzI1NiIsImtpZCI6IjZtcWVjZ0FTZHRUcEFl.............[snip]
この定義はpodの状態でも確認できる。
zaki@cloud-dev2:~$ kubectl get pod work-pod -o yaml
apiVersion: v1
kind: Pod
metadata:
name: work-pod
namespace: default
:
:
spec:
containers:
- command:
- tail
- -f
- /dev/null
image: fedora
:
:
volumeMounts:
- mountPath: /var/run/secrets/kubernetes.io/serviceaccount
name: kube-api-access-kr824
readOnly: true
:
:
volumes:
- name: kube-api-access-kr824
projected:
defaultMode: 420
sources:
- serviceAccountToken:
expirationSeconds: 3607
path: token
:
:
kubectlインストール
確認のためのコマンドインストール。
zaki@cloud-dev2:~$ kubectl exec -it work-pod -- bash
[root@work-pod /]#
[root@work-pod /]# curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 56.7M 100 56.7M 0 0 74.3M 0 --:--:-- --:--:-- --:--:-- 74.2M
[root@work-pod /]# chmod 755 kubectl
[root@work-pod /]# mv kubectl /usr/local/bin/
[root@work-pod /]#
version確認
[root@work-pod /]# kubectl version Client Version: v1.36.0 Kustomize Version: v5.8.1 Server Version: v1.35.3+k3s1
既にAPIサーバーに接続できている。
これはpodがデプロイされているKubernetesクラスターの情報。
zaki@cloud-dev2:~$ kubectl get node NAME STATUS ROLES AGE VERSION k3s-node1 Ready control-plane,master 519d v1.35.3+k3s1
kubectl実行状態
この通り、get系の操作でもForbiddenエラーとなる。
つまり接続はできているけど権限不足の状態。
[root@work-pod /]# kubectl get node Error from server (Forbidden): nodes is forbidden: User "system:serviceaccount:default:default" cannot list resource "nodes" in API group "" at the cluster scope [root@work-pod /]# kubectl get pod Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" in the namespace "default" [root@work-pod /]#
Role設定
下記内容で「podに対するget/listをServiceAccountに対して許可」する。
--- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: sample namespace: default rules: - apiGroups: - "" resources: - pods verbs: - get - list --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: sample namespace: default roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: sample subjects: - kind: ServiceAccount name: default namespace: default
zaki@cloud-dev2:~$ kubectl apply -f kubectl-role.yaml role.rbac.authorization.k8s.io/sample created rolebinding.rbac.authorization.k8s.io/sample created
RBAC設定後の実行
kubectl get podのみ成功。(想定通り)
[root@work-pod /]# kubectl get pod NAME READY STATUS RESTARTS AGE work-pod 1/1 Running 0 4m31s [root@work-pod /]# kubectl get deploy Error from server (Forbidden): deployments.apps is forbidden: User "system:serviceaccount:default:default" cannot list resource "deployments" in API group "apps" in the namespace "default" [root@work-pod /]# kubectl get pod -A Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" at the cluster scope [root@work-pod /]# kubectl get node Error from server (Forbidden): nodes is forbidden: User "system:serviceaccount:default:default" cannot list resource "nodes" in API group "" at the cluster scope
デバッグ出力
kubectl getの実行時のデバッグ出力レベルを-v=6まで上げると接続先ホスト情報が見える。
[root@work-pod /]# kubectl get pod -v=6 I0425 01:40:36.714857 128 merged_client_builder.go:165] Using in-cluster namespace I0425 01:40:36.715070 128 merged_client_builder.go:122] Using in-cluster configuration I0425 01:40:36.715275 128 envvar.go:195] "Feature gate default state" feature="ClientsAllowCARotation" enabled=true I0425 01:40:36.715289 128 envvar.go:195] "Feature gate default state" feature="ClientsAllowCBOR" enabled=false I0425 01:40:36.715297 128 envvar.go:195] "Feature gate default state" feature="ClientsPreferCBOR" enabled=false I0425 01:40:36.715304 128 envvar.go:195] "Feature gate default state" feature="InformerResourceVersion" enabled=true I0425 01:40:36.715311 128 envvar.go:195] "Feature gate default state" feature="InOrderInformers" enabled=true I0425 01:40:36.715318 128 envvar.go:195] "Feature gate default state" feature="AtomicFIFO" enabled=true I0425 01:40:36.715348 128 envvar.go:195] "Feature gate default state" feature="ClientsAllowTLSCacheGC" enabled=true I0425 01:40:36.715356 128 envvar.go:195] "Feature gate default state" feature="InOrderInformersBatchProcess" enabled=true I0425 01:40:36.715368 128 envvar.go:195] "Feature gate default state" feature="WatchListClient" enabled=true I0425 01:40:36.715373 128 envvar.go:195] "Feature gate default state" feature="UnlockWhileProcessingFIFO" enabled=true I0425 01:40:36.718396 128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/api?timeout=32s" status="200 OK" milliseconds=1 I0425 01:40:36.724421 128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/apis?timeout=32s" status="200 OK" milliseconds=1 I0425 01:40:36.727404 128 cached_discovery.go:88] skipped caching discovery info, no resources found I0425 01:40:36.728957 128 cached_discovery.go:88] skipped caching discovery info, no resources found I0425 01:40:36.730328 128 cached_discovery.go:88] skipped caching discovery info, no resources found I0425 01:40:36.731987 128 merged_client_builder.go:122] Using in-cluster configuration I0425 01:40:36.734138 128 round_trippers.go:632] "Response" verb="GET" url="https://10.43.0.1:443/api/v1/namespaces/default/pods?limit=500" status="200 OK" milliseconds=1 NAME READY STATUS RESTARTS AGE work-pod 1/1 Running 0 5m30s
この通り、最初に確認したKUBERNETES_SERVICE_HOSTとKUBERNETES_SERVICE_PORT_HTTPSのホスト・ポート番号が使われている。
コンテナじゃなくVMだと?
たまたまkubectlも何も入ってないVMがあったのでお試し。
[zaki@fedora-dev ~]$ which kubectl /usr/bin/which: no kubectl in (/home/zaki/.local/share/mise/installs/ffmpeg/8.0/bin:/home/zaki/.local/share/mise/installs/nasm/2.16/bin:/home/zaki/.local/share/mise/installs/usage/2.2.2:/home/zaki/.local/bin:/home/zaki/bin:/usr/local/bin:/usr/bin)
miseは入ってたのでこれで入れる。
[zaki@fedora-dev ~]$ mise use kubectl mise ~/.config/mise/config.toml tools: kubectl@1.36.0 [zaki@fedora-dev ~]$ kubectl version Client Version: v1.36.0 Kustomize Version: v5.8.1 The connection to the server localhost:8080 was refused - did you specify the right host or port?
接続先情報は無い状態。
環境変数をセットする。pod内からのアクセスとアドレスやポートは異なるので注意。
(実行ホストから見たKubernetes APIサーバーのアドレスとポートを指定する)
[zaki@fedora-dev ~]$ export KUBERNETES_SERVICE_HOST=192.168.0.75 [zaki@fedora-dev ~]$ export KUBERNETES_SERVICE_PORT=6443 [zaki@fedora-dev ~]$ [zaki@fedora-dev ~]$ kubectl version Client Version: v1.36.0 Kustomize Version: v5.8.1 The connection to the server localhost:8080 was refused - did you specify the right host or port?
これだけだと接続先情報として認識しないのでトークンファイルを作成する。
[zaki@fedora-dev ~]$ sudo mkdir -p /var/run/secrets/kubernetes.io/serviceaccount/ [zaki@fedora-dev ~]$ [zaki@fedora-dev ~]$ sudo tee /var/run/secrets/kubernetes.io/serviceaccount/token <<__EOL__ > .... > __EOL__
これで接続しようとはするが、証明書ファイルが無いためエラー。
[zaki@fedora-dev ~]$ kubectl version E0425 02:36:03.652313 3614 config.go:562] Expected to load root CA config from /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, but got err: open /var/run/secrets/kubernetes.io/serviceaccount/ca.crt: no such file or directory Client Version: v1.36.0 Kustomize Version: v5.8.1 Unable to connect to the server: tls: failed to verify certificate: x509: certificate signed by unknown authority
メッセージにある通り、証明書ファイルも作成。ファイルはpod内のファイル(tokenと同じディレクトリにある)をそのままコピーする。(手抜き)
[zaki@fedora-dev ~]$ sudo tee /var/run/secrets/kubernetes.io/serviceaccount/ca.crt <<__EOL__ > -----BEGIN CERTIFICATE----- MIIBdzCCAR2gAwIBAgIBADAKBggqhkjOPQQDAjAjMSEwHwYDVQQDDBhrM3Mtc2Vy dmVyLWNhQDE3MzIxMDM1OTMwHhcNMjQxMTIwMTE1MzEzWhcNMzQxMTE4MTE1MzEz ...
[zaki@fedora-dev ~]$ kubectl version Client Version: v1.36.0 Kustomize Version: v5.8.1 Server Version: v1.35.3+k3s1
接続成功。
[zaki@fedora-dev ~]$ kubectl get pod NAME READY STATUS RESTARTS AGE work-pod 1/1 Running 0 62m [zaki@fedora-dev ~]$ kubectl get pod -A Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:default:default" cannot list resource "pods" in API group "" at the cluster scope
pod内からの実行と同様にdefaultネームスペースのpodのget/listは動作するが、それ以外は権限を付与してないためエラーになる動作を確認。
ちなみにpod内で使っている証明書はConfigMapにあるものがマウントされているので、それをコピーしてもOK
zaki@cloud-dev2:~$ kubectl get cm kube-root-ca.crt -o jsonpath='{.data.ca\.crt}'
-----BEGIN CERTIFICATE-----
MIIBdzCCAR2gAwIBAgIBADAKBggqhkjOPQQDAjAjMSEwHwYDVQQDDBhrM3Mtc2Vy
dmVyLWNhQDE3MzIxMDM1OTMwHhcNMjQxMTIwMTE1MzEzWhcNMzQxMTE4MTE1MzEz
...
...
ということで、podからkubectlを実行する際は、kubeconfigファイルの用意の必要はなく、実行したいコマンドの内容に合わせたRBACをServiceAccountを設定しておけば良い。kubectlコマンドを使用せずRESTでの実行も、pod内に必要な接続情報はデフォルトで揃っているので、それを使えばOK
例えばCronJobで定期的にKubernetesクラスターのリソースをごにょごにょしたい場合、とかね。
(追記) kubectl config状態
kubeconfigファイルのようにクラスター情報を保持していない関係か、kubectl configの結果は以下の通りブランク。
[root@work-pod /]# kubectl config get-contexts CURRENT NAME CLUSTER AUTHINFO NAMESPACE [root@work-pod /]# kubectl config current-context error: current-context is not set [root@work-pod /]# kubectl config view apiVersion: v1 clusters: null contexts: null current-context: "" kind: Config users: null
RBAC資料