zaki work log

作業ログやら生活ログやらなんやら

[Ansible] acme_certificateモジュールでACMEのDNS-01チャレンジを使った証明書作成

2021年に基本のHTTP-01チャレンジを使った実装を試してたけど、HTTP/HTTPSのwebサーバーの場合以外だとこの方式は使えないので、替わりにDNSのTXTレコードを使った方式であるDNS-01チャレンジを試してみた。

HTTP-01チャレンジの実装例は以下

zaki-hmkc.hatenablog.com

HTTP-01チャレンジとの差異

ACMEのやりとりとしてはHTTP-01の場合と流れは同じで、DNS-01の場合は以下のようになる。

  1. 認証局用のアカウントキーを用意
  2. サーバー証明書の秘密鍵を用意
  3. サーバー証明書の秘密鍵からCSRを作成
  4. アカウントキーとCSRを入力としてCAにACMEのチャレンジ要求
  5. チャレンジ要求のレスポンスの内容を使ってDNSサーバーにTXTレコードを作成
  6. チャレンジの検証を要求し、証明書を取得する

No.5のみHTTP-01チャレンジと異なる。
HTTP-01の場合は「webサーバーの指定のパスにレスポンスのトークンファイルを置くと」いう手順だったのが、DNSのTXTレコードに同様の情報を作成するという内容に変化。

No.4と6はACMEクライアント(今回はacme_certificateモジュール)の「DNS-01を使うよ」というパラメタを指定する。

他はHTTP-01チャレンジの場合と同じ内容。
またAnsibleタスク実装例は証明書を作成するまでで、証明書を使ったアプリケーションサーバーの起動等はHTTP-01チャレンジと異なり省略。(動作は確認済み)

環境

各製品1世代以上前のもの。

  • Ansible: ansible-core 2.20.4
  • community.crypt: 3.1.1
  • Python: 3.14.2
  • CA: HashiCorp Vault 1.21.2 (プライベート環境のK3sへセルフホスティング)
  • DNS: Dnsmasq 2.91 (on Proxmox VE)

CAにHashiCorp VaultのACMEの機能を使った証明書作成自動化については以下参照。

zaki-hmkc.hatenablog.com

community.cryptの3.2.0でチャレンジ方式のdns-account-01とdns-persist-01が追加されているっぽい。

playbook例

github.com

タスク実装のポイント

全体の流れはHTTP-01チャレンジの時のブログに書いてるので合わせて参照。

zaki-hmkc.hatenablog.com

community.crypto.acme_certificate

使用するパラメタはHTTP-01の実装があるならコピーして利用可能。
ただしDNS-01チャレンジのための challenge: dns-01 のみ追加する。(デフォルトhttp-01のため省略するとHTTP-01チャレンジとなる)

  - name: Create a challenge for {{ server_fqdn }} using a account key file.
    community.crypto.acme_certificate:
      account_key_src: "/etc/pki/tls/certs/{{ server_fqdn }}/account.key"
      account_email: "{{ email }}"
      csr: "/etc/pki/tls/certs/{{ server_fqdn }}/{{ server_fqdn }}.csr"
      dest: "/etc/pki/tls/certs/{{ server_fqdn }}/{{ server_fqdn }}.crt"
      validate_certs: "{{ validate_certs }}"
      challenge: dns-01
      acme_directory: "{{ acme_directory }}"
      acme_version: 2
      terms_agreed: true
      remaining_days: 60
    register: acme_challenge

これはチャレンジ要求だけでなく、検証と証明書の要求も同様。
(試してないけどチャレンジ要求の場合はレスポンスを見る限り全方式のチャレンジデータを返しているので、方式の指定は下記の検証&証明書要求の時だけで良いかも)

  - name: Let the challenge be validated and retrieve the cert and intermediate certificate
    community.crypto.acme_certificate:
      validate_certs: "{{ validate_certs }}"
      challenge: dns-01
      acme_directory: "{{ acme_directory }}"
      acme_version: 2
      terms_agreed: true
      account_key_src: "/etc/pki/tls/certs/{{ server_fqdn }}/account.key"
      csr: "/etc/pki/tls/certs/{{ server_fqdn }}/{{ server_fqdn }}.csr"
      dest: "/etc/pki/tls/certs/{{ server_fqdn }}/{{ server_fqdn }}.crt"
      data: "{{ acme_challenge }}"

TXTレコード作成

Amazon Route 53やAzure DNSなどのマネージドサービスを使ってるならそれ用のモジュールを使用したり、モジュールは無いがRESTで更新できるならansible.builtin.uriを使うなどする。
acme_certificateのExamplesにはRoute 53の実装例が掲載されているので参考にする。

docs.ansible.com

今回はローカル環境のDNS運用に使っているDnsmasqのため、「TXTレコード定義のファイルを作成しサービス再起動」という処理を行っている。

  - name: add TXT record to dns server
    copy:
      dest: "/etc/dnsmasq.d/{{ server_fqdn }}.conf"
      content: |
        txt-record={{ record }},"{{ value }}"
    vars:
        record: "{{ acme_challenge.challenge_data[server_fqdn]['dns-01'].record }}"
        value:  "{{ acme_challenge.challenge_data[server_fqdn]['dns-01'].resource_value }}"
    delegate_to: "{{ dns_delegate_host }}"
    become: "{{ dns_delegate_become }}"

  - name: restart DNS server
    systemd:
      name: dnsmasq.service
      state: restarted
    delegate_to: "{{ dns_delegate_host }}"
    become: "{{ dns_delegate_become }}"

内容は上記の通りで、delegate_toで証明書作成の対象からDNSサーバーへ接続先を切り替え、/etc/dnsmasq.d/{{ server_fqdn }}.confにTXTレコードを定義したファイルを作成している。
作成される定義ファイルの内容は以下の通り。

txt-record=<定義するレコード名>,"TXTレコードの値"

レコード定義の内容は以下の通りで、それぞれチャレンジレスポンスのchallenge_data.<FQDN>.dns-01.recordとchallenge_data.<FQDN>.dns-01.resource_valueに入っているので、registerで拾ってセットする。

delegate_toについては以下。

zaki-hmkc.hatenablog.com


ACMEを使った証明書作成(HTTP-01チャレンジ)はAnsibleクックブックにも載っているので(ちょっと古いけど)ご参考まで。

book.impress.co.jp

Ansible Vaultで暗号化したファイルはモジュールのパラメタに指定しても復号処理されるのかの動作確認メモ

Ansible Vaultで暗号化されたインベントリやvarsみたいなAnsible本体が入力とするファイルは、Ansible実行時に(復号のパスワードが与えられていれば)自動的に元のファイルに復号されて処理される。

zaki-hmkc.hatenablog.com

一方で、パラメタにファイルのパスを指定するタイプのモジュールでAnsible Vaultで暗号化されたファイルを指定した場合は、同じように自動的に復号されて処理されるのか?というのが気になったので確認してみた。

結論から言うとモジュールの実装次第の模様。

復号されるモジュール例

簡単にピックアップした中では、以下のモジュールはAnsible Vaultの復号に対応してた。

  • ansible.builtin.copyのsrc
  • ansible.builtin.templateのsrc

このsrcにAnsible Vaultで暗号化されたファイルを指定した場合、復号パスワードの指定なしに実行すると「A vault password or secret must be specified to decrypt ...」とエラーになるし、CLIなら--ask-vault-passでパスワードを与えれば復号されて処理される。

ちなみにあとからドキュメントをチェックした限り、以下モジュールは自動復号に対応しているっぽい。

  • copy
  • template
  • unarchive
  • script
  • assemble

docs.ansible.com

assembleって初めて聞いたかも。知らない。。

復号されないモジュール例

これも適当にピックアップしたが、以下は復号処理は入っておらず、暗号化された内容のファイルとして処理されるため、正しく動作しない。

  • community.crypto.openssl_csrのprivatekey_path
  • community.crypto.acme_certificateのaccount_key_src

どちらもcommunity.crypto.openssl_privatekeyで作成できる秘密鍵のパスを指定するものだがこの鍵がAnsible Vaultで暗号化されていると、CSR作成の場合は「Wrong passphrase provided for private key」とパスフレーズが必要と認識され(実際はパスフレーズでガードされているわけではないが)、ACMEのアカウントキーの場合は鍵のパースエラーとなった。
もちろんAnsible Vaultで暗号化されていると認識もされないため、--ask-vault-passを指定しても動作に変化は無し。

これは想像だが、前述のドキュメントの書きっぷりからして、おそらくAnsible Vaultの復号に対応してるモジュールは基本的には無いような感じがする。

自前で作成したモジュールを使った動作確認

サンプルとして、srcとdestの二つのファイルパスをパラメタに持ち、srcからdestへ単純にファイルコピーするモジュールを用意。
呼び出し元タスクの実装としては以下の通り。

---
- name: sample module test
  hosts: localhost
  gather_facts: false

  tasks:
  - zaki_lknr.sample.copy:
      src: template.txt.j2
      dest: /var/tmp/ansible-sample.txt

自前でファイルコピーするモジュール

github.com

モジュール本体はChatGPTに出力してもらったけど、モジュールのみで入力処理を実装(例えばPythonライブラリを使ってモジュールのPythonコード内でファイルのI/Oを完結)すると、Ansible Vaultによって暗号化されてるかどうかは関与しない動作なのを確認。

コピーそのものはshutil.copy2(src, dest)で処理している。

このモジュールを使ったタスクを実際に動作させると、srcにAnsible Vaultで暗号化されたファイルを指定した場合、暗号化された状態のままコピーする動作となる。
前述opensslの鍵ファイルの場合と同様に--ask-vault-passの有無に関係なく動作する。

Ansible Vaultの復号処理対応

github.com

これもChatGPTに出力されたコード。
srcがローカルにあるファイルということでActionプラグインで「事前処理」として復号することで、モジュールプラグインのcopyへの変更は無しに実現できる。
ポイントは下記の実装で、この内容で「ファイルをロード、Ansible Vaultで暗号化されているなら復号した上で」という処理になる。

        # Resolve the real file.
        #
        # decrypt=True:
        #   If source is an Ansible Vault encrypted file,
        #   Ansible decrypts it on the controller.
        try:
            source = self._loader.get_real_file(
                source,
                decrypt=decrypt,
            )

まとめ?

まとめるには情報がそこまで出そろってない感じはするが、既存モジュールでAnsible Vaultによる暗号化ファイルをパラメタに指定したい場合は、そもそもモジュールが対応しているか確認が必要。
対応していない場合は全く違うやり方を考えるか、モジュールを改造したりラッパーコレクションを作るかするなど一工夫が必要かも。この辺は別途暇があったら試そうかな。。(試さないフラグ)


docs.ansible.com

docs.ansible.com

そういやAction Pluginってあまり知らないなぁ

[Kubernetes] NFSをPVのストレージとして動的プロビジョニングおためし

普段使いしてるK3sだとhostpathの動的PVが初めから使えるのでストレージはあまり困らないけど、マルチノード構成で使うと一度作成したストレージがノードに固定されてpodがevictできなかったりするので、身近にある使えるストレージということで今さらながらNFSを動的にプロビジョニングする構成をお試し。
といっても、Kubernetes用のNFSのCSIドライバが公式で用意されてるので難しいことは何もなかった。
kubectlで入れる手順もあるが、Helmチャートが用意されてるので、こちらで試した。

github.com

いまさらこの手の「試してみた」ブログに価値を見出せなくなってきたけど、下書きに残ったままだったので供養。
(仕事ですでにkubectlもansibleも何か月も叩いてないぜ)

Helmチャートのリポジトリ追加と更新

helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
helm repo update

values.yaml作成

values.yamlの作成、初期値は以下で作成できる。
(が、実際に使用するパラメタの分量的に、ほとんど使用しない)

helm show values csi-driver-nfs/csi-driver-nfs > values.yaml

イメージやコントローラーの設定はデフォルトのままで動作するので基本そのまま(=削除)、ファイル末尾にあるNFSへのアクセス情報になる storageClass の設定があれば良い。
reclaimPolicyがDeleteの場合とRetainの場合それぞれの定義のテンプレートがあるので、使いたい方の定義を残す。(storageClassesを使えば両方のストレージクラスを作成できるらしい。未確認)

というわけで、手元で構成した場合のvalues.yaml全量が以下。

## StorageClass resource example:
storageClass:
  create: true
  name: nfs-csi
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"
  parameters:
    server: 192.168.0/6
    share: /export/nfs/dev-pv1
  reclaimPolicy: Retain
  volumeBindingMode: Immediate
  mountOptions:
    - nfsvers=4.1

1つのNFSサーバーを複数のK8sクラスターで共用する場合は、衝突回避のためにクラスター毎にサブディレクトリを作っておくとよさげ。
また、NFSの設定はroot_squashを設定すると(アプリ側からmode/ownerの制御ができずに?)書き込みできなかったのでno_root_squash設定。(この辺りはあまりチューニングしてないので最適解あるかも)

デプロイ

helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system -f values.yaml
zaki@node01:~$ helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system -f values.yaml
NAME: csi-driver-nfs
LAST DEPLOYED: Sat Aug 29 07:14:36 2026
NAMESPACE: kube-system
STATUS: deployed
REVISION: 1
DESCRIPTION: Install complete
TEST SUITE: None
NOTES:
The CSI NFS Driver is getting deployed to your cluster.

To check CSI NFS Driver pods status, please run:

  kubectl --namespace=kube-system get pods --selector="app.kubernetes.io/instance=csi-driver-nfs" --watch

これでStorage Classを始め各種リソースがデプロイされる。

zaki@node01:~$ sudo kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  16d
nfs-csi                nfs.csi.k8s.io          Retain          Immediate              true                   51s
zaki@node01:~$ sudo kubectl get pod -n kube-system
NAME                                      READY   STATUS      RESTARTS        AGE
coredns-54996dc9b4-wrjtn                  1/1     Running     1 (5d19h ago)   16d
csi-nfs-controller-6598d5bc8c-44tbg       5/5     Running     2 (32s ago)     2m25s
csi-nfs-node-xr6n9                        3/3     Running     0               2m25s
csi-nfs-node-zkhdn                        3/3     Running     0               2m25s
helm-install-traefik-crd-bxkld            0/1     Completed   0               16d
helm-install-traefik-vnfzl                0/1     Completed   1 (16d ago)     16d
local-path-provisioner-58d557dc48-54mkq   1/1     Running     1 (5d19h ago)   16d
metrics-server-6dc596dfb8-7qx56           1/1     Running     1 (5d19h ago)   16d
svclb-traefik-820d1e75-2l2vx              2/2     Running     2 (5d19h ago)   16d
svclb-traefik-820d1e75-vcnlg              2/2     Running     2 (5d19h ago)   16d
traefik-59b7647586-mvbsb                  1/1     Running     1 (5d19h ago)   16d

サンプルpodをデプロイして動作確認

PVを使うStatefulSetをk3sの2ノードクラスタへデプロイ。
使ったマニフェストは以下

github.com

zaki@node01:~/manifest$ sudo kubectl apply -f database.yaml
statefulset.apps/postgresql-db created
service/postgresql-db created
secret/postgresql-conf created

node02へデプロイされた。

zaki@node01:~/manifest$ sudo kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                               STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
pvc-5def8dca-cdaa-4907-8437-bb69729bf93e   8Gi        RWO            Retain           Bound    default/db-volume-postgresql-db-0   nfs-csi        <unset>                          20s
zaki@node01:~/manifest$ sudo kubectl get pod -o wide
NAME              READY   STATUS    RESTARTS   AGE    IP          NODE     NOMINATED NODE   READINESS GATES
postgresql-db-0   1/1     Running   0          104s   10.42.1.6   node02   <none>           <none>

ここでnode02をdrainしてみる。

zaki@node01:~/manifest$ sudo kubectl drain node02 --force --ignore-daemonsets --delete-emptydir-data
node/node02 already cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/csi-nfs-node-xr6n9, kube-system/svclb-traefik-820d1e75-2l2vx
evicting pod default/postgresql-db-0
evicting pod kube-system/traefik-59b7647586-mvbsb
evicting pod kube-system/csi-nfs-controller-6598d5bc8c-44tbg
pod/postgresql-db-0 evicted
pod/traefik-59b7647586-mvbsb evicted
pod/csi-nfs-controller-6598d5bc8c-44tbg evicted
node/node02 drained
zaki@node01:~/manifest$ sudo kubectl get pod -o wide
NAME              READY   STATUS              RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
postgresql-db-0   0/1     ContainerCreating   0          16s   <none>   node01   <none>           <none>

ちゃんとnode01へ移行できている。

ちなみにhostpathの場合

zaki@node01:~/manifest$ sudo kubectl get pod,pvc -o wide -n db
NAME                  READY   STATUS    RESTARTS   AGE   IP          NODE     NOMINATED NODE   READINESS GATES
pod/postgresql-db-0   1/1     Running   0          33s   10.42.1.8   node02   <none>           <none>

NAME                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE   VOLUMEMODE
persistentvolumeclaim/db-volume-postgresql-db-0   Bound    pvc-6aac9010-f4ac-4036-ab50-f8c29f7f80de   8Gi        RWO            local-path     <unset>                 33s   Filesystem

drainしても以下の通りデプロイ可能なノードが無いためスケジュール不可となる。

zaki@node01:~/manifest$ sudo kubectl drain node02 --force --ignore-daemonsets --delete-emptydir-data
node/node02 cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/csi-nfs-node-xr6n9, kube-system/svclb-traefik-820d1e75-2l2vx
evicting pod db/postgresql-db-0
pod/postgresql-db-0 evicted
node/node02 drained

zaki@node01:~/manifest$ sudo kubectl get pod -o wide -n db
NAME              READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
postgresql-db-0   0/1     Pending   0          10s   <none>   <none>   <none>           <none>

イベントには以下が記録される。

23s         Warning   FailedScheduling        pod/postgresql-db-0                               0/2 nodes are available: 1 node(s) didn't match PersistentVolume's node affinity, 1 node(s) were unschedulable. no new claims to deallocate, preemption: 0/2 nodes are available: 2 Preemption is not helpful for scheduling.

環境

  • K3s: v1.36.3+k3s1
  • Helm: v4.2.3
  • csi-driver-nfs: 4.13.4 (app version/chart version共に)

(レシピ) おいしいヨキソバの作り方⛵️ヨーソロー!

半年前にヨキソバのブログを書いたけど、あの時はいわゆる「作ってみた」だったので、今回は「作り方」について。
というのも、米久さんがコラボレシピを公開して以来、あれから半年以上の間に週1回程度のペースでずっと自分なりのヨキソバを作り続けて、出来栄えもかなり安定してきたので、これはそろそろ作り方を一度まとめてみてもよいかなと思ったり…(笑)

zaki-hmkc.hatenablog.com

特に直近のヨキソバの完成度はかなり良かった。(自画自賛)(ケッチャプってなんやねん…)

今日のお昼はヨキソバ!ヨーソロー!!🫡⛵️ #青空ごはん部 #渡辺曜 #ヨキソバ 今日のケッチャプお絵描き、とても上手く描けたと思うんだけどどうかな!?

— zaki (@jp-z.jp) 2026-09-01T03:56:13.301Z
bsky.app

材料(1人前)

  • 焼きそば … 3食100円くらいのそこらのスーパーで売ってるやつ1食分
  • カット野菜 … 100g分
  • 豚こま※ … 80g
  • 卵 … 1個
  • 白だし … 小1(任意)
  • みりん … 大1
  • 料理酒 … 大1
  • 中濃ソース … 小2
  • 天かす … 適量(任意)
  • 青のり … 適量(任意)
  • ケチャップ … ポムケチャ適量
  • ごま油 … 適量(焼きそば用)
  • サラダ油 … 適量(薄焼き卵用)
  • フラッグ … 本家は⚓マーク

※ 豚こま以外でも基本何でも牛でもひき肉でも好きなお肉使えばOKです。
ウインナーソーセージだと3本くらいを斜め切りしたもの(カット無しだと大きすぎ・輪切りは小さすぎなので、斜め切りがバランスが良い)や、他には渡辺商店で買って来たベーコンなど、冷蔵庫にあるものを使うと良いです。(ベーコンは薄切りだと食べ応え少ないので厚切りがオススメ)
カット野菜は、キャベツ・ニンジン・ピーマンが入っていれば完璧だけど、基本的に冷蔵庫にある残り物の野菜でOKです。
天かすと青のりはお好みで。

ケチャップについては、お絵描きがしやすいという点で、創作オムライスのポムの樹で販売しているポムケチャを強くオススメ。 ポムケチャは粘度がそこそこあってノズルが細いので、細かいお絵描きがやりやすいです。ただし、使い始めや、常温保存してると液状になりやすいので、冷やしておくとお絵描きしやすい。
一方、カ〇メなど一般的などこでも購入できるケチャップはうまく描けない…その場合はケチャップアートでググっていい感じに描いてください。

あと調理道具。
前のブログにも書いてたけど、焼きそばをつくるフライパンのサイズは特に何でも良いけど、1人前のヨキソバのための卵焼きを作るフライパンは径18cmくらいものものがベスト。
それを超えるフライパンで薄焼き卵を作ると、焼きそばの上に乗せたときに焼きそばが完全に隠れてしまうので…
コンロがふたくち以上ある場合は、マルチタスクするためにフライパンも二つあると効率的に作業できます。

以下は作り始めの頃、22cmのフライパンで焼きそばも薄焼き卵も作った場合(意識してかなりズラしてる)

今日もまた全速前進ヨーソロー! ヨキソバ! #青空ごはん部 #ラブライブサンシャイン もしかして「Y」を描くのが苦手…? てかやっぱ22cmのフライパンだと薄焼き卵がでかい。18cmくらいが良さそう

— zaki (@jp-z.jp) 2026-01-13T03:47:26.357Z
bsky.app

作り方

1. 卵を溶く

薄焼き卵を作るため、まず卵を適当な器に割り入れて、よくかき混ぜておきます。
これは先にやっておくのを忘れて具材を炒めた後に用意しようとすると、だいぶ焦ってしまうので、事前に準備しておくのがオススメ。
このとき溶き卵に白だしを入れておくと味が付いて美味しいです。(無くても良いです)

2. 豚こまを炒める

油を引いたフライパンで、用意したお肉を炒めます。
豚肉のようにちゃんと火を通さないといけないものは、この時点でちゃんと色が変わるまで炒めておきます。
お肉の色が変わったら、小皿にあげておきます。

シャウエッセンのような加熱食肉製品の場合は、先行した炒め作業ではなく次の野菜と一緒に炒めてもOKです。(退避不要)

お肉と野菜を炒めるときの油は個人的にはごま油が好き。

3. 野菜を炒める

お肉を炒めて皿に退避した後、同じフライパンで続けてキャベツがしんなりするまで野菜を炒めます。
油が少ないかなと思う場合は足す。

炒めてる間に、麺をほぐれ易くするために、焼きそばの麺を電子レンジで40~60秒ほど加熱しておく。

4. 麺を焼き付ける

炒めた野菜をフライパンの端に寄せて、空いたスペースにレンチンした焼きそばを投入し、香ばしさを出すために焼き色を付ける。

5. 卵焼きの作成開始 (ふたくちコンロの場合)

※ ひとくちコンロの場合はパラレル作業ができないので、焼きそばを作り終えた後に卵を焼く手順になるので、ここはいったんスキップ。

コンロが複数ある場合、麺を投入して焼き付けてるタイミングで卵焼きを作り始めます。
フライパン(小)にサラダ油を引いて、溶いておいた卵を投入。
油は多めに入れておくと、焼きそばの上に乗せるときに失敗しにくいです。

焼き始めたら火を中火→弱火にして、焼きそばの作業にスイッチ。

6. 焼きそばへ、みりん・料理酒・ソースの投入

焼きそば付属の作り方だと「水」を入れて麺をほぐすようになってるはずだけど、水の替わりにまず「みりん」を麺の部分に投入。みりんの蒸気で麺をほぐす。
ある程度ほぐせたら、続いて「料理酒」を投入し、同じようにほぐす。
この辺りのタイミングで、前の処理で炒めて皿に退避しておいた豚こま(お肉)を、野菜の部分へ再投入しておく。

みりんと料理酒の水分が少なくなって麺がほぐれきったら、焼きそば付属の粉末ソースを 麺の部分へ 投入。
ここでのポイントは、まだ麺と具材は混ぜないようにし、麺の部分だけで粉末ソースをよく混ぜ合わせる。(ここで具材を含めて混ぜると味が薄くなってしまうので)

みりんと酒を使うメリットは、とにかく味と風味が濃厚になって美味しさがレベルアップすること。焼きそばで済ませたい場合でも、これだけでも格別に味が変わるのでぜひ試してほしい。

www.buzzfeed.com

7. 具材へ中濃ソースを追加

麺の部分に付属ソースを投入すると麺の味付けはOKだけど、逆に具材の味付けが弱くなるので、ここで中濃ソースを具材部分に投入。
これで味付けは大体揃ったので、野菜・肉・麺をよく混ぜ合わせる。

8. 焼きそばを皿に盛りつける

全体的に混ざって火が通ったら、お皿に盛りつける。
お皿に盛ったあとにお好みで青のりや天かすも入れる。

ヨキソバを作る上で「高さ」は割と重要なファクターなので、盛り付け時は「広く平らに」ではなく「狭く高く」を意識するとより良いです。
高さをブーストするために天かすを使うのもアリ。
盛り付け時は、薄焼き卵を乗せたときに隙間から良い感じに麺・お肉・野菜がバランスよく見えように整えておく面を作っておくとより良い。

とはいえ本家のあの盛り方、多分3人前くらいあるんだよな…(笑)

9. 薄焼き卵を焼きそばへ乗せる

ひとくちコンロの場合は、ここから薄焼き卵を作り始める。ふたくち以上の場合は、良い感じに焼けてきてるころ合いのはず。
卵へ全体的に火が入って汁っぽさが無くなったら焼きそばへオン

ポイントはフライパン上の卵をそのままスライドさせるように焼きそばの上に乗せること。言い方を変えると、フライパンに接地していた面が焼きそば側・上側はそのまま上側のまま。
初めはひっくり返すように乗せてたけど、焼き色が目立ってしまって特にそうするメリットがなかったので、スライドさせた方がよいと結論。

上手く行ったらこんな感じ。

卵焼きを乗せるとき、卵焼きが綺麗に焼けてる部分(ケチャップでお絵描きするエリア)と、焼きそばを皿に盛りつけるときに野菜やお肉の見栄えを整えた部分を重ねておくと写真映えします。

10. 仕上げのお絵描き

最後にケチャップでお絵描き。
描く順番は以下が描きやすい。

  1. 外側の円を奥から
  2. YO

ケチャップの出具合の確認のために小皿に一度出してみても良いけど、外側の円を奥の方から描き始めるとケチャップの状態で事故ってもダメージが少ないのでオススメ。
フラッグが無い場合は、薄焼き卵の中央に「YO」を描けば良いけど、フラッグを使う場合は半円部分に描く。
「O」の中のスマイルマークや太陽、点ではなく線を意識するといい感じになります。
ちなみに焼きそばの熱は意外と長持ちして冷めにくいので(卵焼きでガードされてるから?)、ゆっくり落ち着いて描いても大丈夫。

仕上げにフラッグを刺して、グッズを並べて…
はい、美味しいヨキソバ!ヨーソロー!!

みりんで作った焼きそばがそもそも美味しい上に、卵とケチャップのアクセントがかなり良いので、ぜひお試しを。

これまでの成果物はこちら。

www.bluefeed.app

なんで今頃こんなレシピをまとめてるんだろうという気もするけど、ラブライブ!サンシャイン!!を初めて見てまだ1年も経ってないのでね…(笑)

OpenShift Data Foundationのストレージクラスターへのノードのスケールアウト手順(ノード追加)

先日構築したOpenShift Data Foundation、ここへOpenShiftクラスターへのworkerノードを追加し、そのノードをストレージクラスターへ追加するの手順について(カウント数の更新がわかりづらかったので)まとめた。
workerノード追加については以下の通り。(本エントリでは割愛)

zaki-hmkc.hatenablog.com

日本語になってるドキュメントは4.16までだった

docs.redhat.com

docs.redhat.com

ver4.21はこちら

docs.redhat.com

docs.redhat.com

全体の流れ

  1. RHOCPにworkerノードを追加する
  2. ノードへラベル追加 (UI or CLI)
  3. Local Volume DiscoveryをEditしノード追加
  4. Local Volume SetsをEditしノード追加
  5. Storage Cluster定義のカウント数を更新

まとめると簡単なんだけど、マシンスペックが足りずにその調整に苦労した。笑

before状態

node label状態

ノードのラベル状態は以下の通り。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get node --show-labels | grep storage
ocp1.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,cluster.ocs.openshift.io/openshift-storage=,kubernetes.io/arch=amd64,kubernetes.io/hostname=ocp1.naru.jp-z.jp,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node-role.kubernetes.io/worker=,node.openshift.io/os_id=rhel
ocp2.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,cluster.ocs.openshift.io/openshift-storage=,kubernetes.io/arch=amd64,kubernetes.io/hostname=ocp2.naru.jp-z.jp,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node-role.kubernetes.io/worker=,node.openshift.io/os_id=rhel
ocp3.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,cluster.ocs.openshift.io/openshift-storage=,kubernetes.io/arch=amd64,kubernetes.io/hostname=ocp3.naru.jp-z.jp,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node-role.kubernetes.io/worker=,node.openshift.io/os_id=rhel
ocp4.naru.jp-z.jp   Ready    worker                        4d2h    v1.35.5   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,cluster.ocs.openshift.io/openshift-storage=,kubernetes.io/arch=amd64,kubernetes.io/hostname=ocp4.naru.jp-z.jp,kubernetes.io/os=linux,node-role.kubernetes.io/worker=,node.openshift.io/os_id=rhel

人類の目にはちょっと見づらいので、「cluster.ocs.openshift.io/openshift-storageラベルが付いているノード一覧」を出力すると以下の通り。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get node --show-labels | grep storage | awk '{print $1}'
ocp1.naru.jp-z.jp
ocp2.naru.jp-z.jp
ocp3.naru.jp-z.jp
ocp4.naru.jp-z.jp

つまりstorage関連のラベルが付いてるのは初期構築時の4ノードのみ。後から追加したocp5は設定されていない、という状態。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get node
NAME                STATUS   ROLES                         AGE     VERSION
ocp1.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5
ocp2.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5
ocp3.naru.jp-z.jp   Ready    control-plane,master,worker   10d     v1.35.5
ocp4.naru.jp-z.jp   Ready    worker                        4d2h    v1.35.5
ocp5.naru.jp-z.jp   Ready    worker                        3d21h   v1.35.5

local volume discovery状態

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get localvolumediscoveries -n openshift-local-storage auto-discover-devices -o yaml
apiVersion: local.storage.openshift.io/v1alpha1
kind: LocalVolumeDiscovery
metadata:
  creationTimestamp: "2026-06-18T04:41:35Z"
  generation: 1
  name: auto-discover-devices
  namespace: openshift-local-storage
  resourceVersion: "707629"
  uid: ae6b0298-ce01-406c-b508-504a26667d38
spec:
  nodeSelector:
    nodeSelectorTerms:
    - matchExpressions:
      - key: kubernetes.io/hostname
        operator: In
        values:
        - ocp1.naru.jp-z.jp
        - ocp2.naru.jp-z.jp
        - ocp3.naru.jp-z.jp
        - ocp4.naru.jp-z.jp
  tolerations:
  - effect: NoSchedule
    key: node.ocs.openshift.io/storage
    operator: Equal
    value: "true"
status:
  conditions:
  - lastTransitionTime: "2026-06-18T14:40:47Z"
    message: running 2 out of 4 discovery daemons
    status: "False"
    type: Progressing
  observedGeneration: 1
  phase: Discovering

local volume set 状態

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get localvolumeset -n openshift-local-storage local-volume -o yaml
apiVersion: local.storage.openshift.io/v1alpha1
kind: LocalVolumeSet
metadata:
  creationTimestamp: "2026-06-18T04:44:28Z"
  finalizers:
  - storage.openshift.com/local-volume-protection
  generation: 1
  name: local-volume
  namespace: openshift-local-storage
  resourceVersion: "1074496"
  uid: 5cbaab96-6048-414c-b212-70b561c69820
spec:
  deviceInclusionSpec:
    deviceMechanicalProperties:
    - NonRotational
    deviceTypes:
    - disk
    - part
    minSize: 1Gi
  nodeSelector:
    nodeSelectorTerms:
    - matchExpressions:
      - key: kubernetes.io/hostname
        operator: In
        values:
        - ocp1.naru.jp-z.jp
        - ocp2.naru.jp-z.jp
        - ocp3.naru.jp-z.jp
        - ocp4.naru.jp-z.jp
  storageClassName: local-volume
  tolerations:
  - effect: NoSchedule
    key: node.ocs.openshift.io/storage
    operator: Equal
    value: "true"
  volumeMode: Block
status:
  conditions:
  - lastTransitionTime: "2026-06-18T04:44:28Z"
    message: 'DiskMaker: 2/4 Unavailable.'
    status: "False"
    type: DaemonSetsAvailable
  - lastTransitionTime: "2026-06-18T04:44:28Z"
    message: Operator reconciled successfully.
    status: "True"
    type: Available
  observedGeneration: 1
  totalProvisionedDeviceCount: 4

storage clusterのトポロジー状態

リソース状態(抜粋)

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get storagecluster -n openshift-storage ocs-storagecluster -o yaml
apiVersion: ocs.openshift.io/v1
kind: StorageCluster
metadata:
  name: ocs-storagecluster
  namespace: openshift-storage
  :
spec:
  :
  flexibleScaling: true
  :
  storageDeviceSets:
  - config: {}
    count: 4
    dataPVCTemplate:
      metadata: {}
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: "1"
        storageClassName: local-volume
        volumeMode: Block
      status: {}
    deviceClass: ssd
    :
status:
  conditions:
  :
  - lastHeartbeatTime: "2026-06-22T04:57:06Z"
    lastTransitionTime: "2026-06-18T08:34:35Z"
    message: 'CephCluster health is HEALTH_WARN. Details: [SLOW_OPS: HEALTH_WARN -
      579 slow ops, oldest one blocked for 231 sec, mon.b has slow ops]'
    reason: CephClusterHealthNotOK
    status: "False"
    type: Upgradeable
  currentMonCount: 3
  defaultCephDeviceClass: ssd
  failureDomain: host
  failureDomainKey: kubernetes.io/hostname
  failureDomainValues:
  - ocp1.naru.jp-z.jp
  - ocp2.naru.jp-z.jp
  - ocp3.naru.jp-z.jp
  - ocp4.naru.jp-z.jp
  images:
    :
  lastAppliedResourceProfile: lean
  nodeTopologies:
    labels:
      kubernetes.io/hostname:
      - ocp1.naru.jp-z.jp
      - ocp2.naru.jp-z.jp
      - ocp3.naru.jp-z.jp
      - ocp4.naru.jp-z.jp
  phase: Progressing
  relatedObjects:
    :
  storageProviderEndpoint: 172.30.135.93:50051
  version: 4.21.8
zaki@cloud-dev2:~/local/ocp/lab-ocp$ 

ストレージクラスターへのノード追加のリソース更新

CLIだとoc labelやoc editでシュッとできるだろうから、ここはあえてUIで実施。

ラベルの追加

ノード一覧の「︙」かノード詳細の「アクション▼」ボタンから「ラベルの編集」押下

ここに cluster.ocs.openshift.io/openshift-storage を入力・Enterして「保存」押下。

これでノードにラベルが追加される。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get node --show-labels | grep storage | awk '{print $1}'
ocp1.naru.jp-z.jp
ocp2.naru.jp-z.jp
ocp3.naru.jp-z.jp
ocp4.naru.jp-z.jp
ocp5.naru.jp-z.jp

この時点でストレージクラスターのトポロジーでは認識される。

が、まだ設定が足りていないのでディスクは認識しておらず、Data Foundationでみれる容量は増えていない(100GBx4ノードのまま)ので、この設定を追加する。

Local Volume Discovery更新

「インストール済みOperator」から「Local Storage」を選択、「Local Volume Discovery」タブを開いて1つあるはずのリソースの「︙」メニューの「LocalVolumeDiscoveryの編集」でYAMLエディタを起動し、リストに追加ノード名を入力したら「保存」

Local Volume Sets更新

同様に、「Local Volume Discovery」タブの隣の「Local Volume Sets」で「Local Volume Setsの編集」でYAMLエディタを起動、リストに追加ノード名を入力

ノードの確認

docs.redhat.com

手順にはpodの確認とあるが見当たらない…?

OpenShift Web コンソールで、 Workloads > Pods をクリックし、新しいノードで少なくとも以下の Pod が Running 状態になっていることを確認します。

  • csi-cephfsplugin-*
  • csi-rbdplugin-*

https://docs.redhat.com/ja/documentation/red_hat_openshift_data_foundation/4.16/html/scaling_storage/_scaling_out_storage_capacity_on_a_bare_metal_cluster

容量の追加

上記作業のあと1時間くらい経過しても、そこからノード再起動しても動きがないのでドキュメントをよく見ると、続きの作業があった。
あったというか現バージョンのドキュメントには記載が見当たらず、4.10のドキュメントに載っている手順を試したらうまくいった、みたいな。(しかもシングルページじゃないと見通しが悪くて拾えなかった)

docs.redhat.com

なお、この時点でPVは追加ノード分のものが作成されてるが、PVCが無い状態。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pv,pvc -n openshift-storage
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                                                        STORAGECLASS                  VOLUMEATTRIBUTESCLASS   REASON   AGE
persistentvolume/local-pv-1dbcc61c                          100Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-local-volume-0-data-0wwm4n   local-volume                  <unset>                          4d2h
persistentvolume/local-pv-4cec40bd                          100Gi      RWO            Delete           Available                                                                local-volume                  <unset>                          112m
persistentvolume/local-pv-938ad694                          111Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-local-volume-0-data-2zrpcl   local-volume                  <unset>                          4d2h
persistentvolume/local-pv-bf961c46                          100Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-local-volume-0-data-3gv6b9   local-volume                  <unset>                          4d2h
persistentvolume/local-pv-c0b5e8a9                          100Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-local-volume-0-data-1jdk55   local-volume                  <unset>                          4d2h
persistentvolume/pvc-2689abc2-264e-4fe0-a075-7d83cf4865db   8Gi        RWO            Delete           Bound       default/db-volume-postgresql-db-0                            ocs-storagecluster-ceph-rbd   <unset>                          4d1h
persistentvolume/pvc-a2b230c9-e2cd-4a28-9d09-9479f69cc966   50Gi       RWOP           Delete           Bound       openshift-storage/noobaa-db-pg-cluster-1                     ocs-storagecluster-ceph-rbd   <unset>                          4d1h

NAME                                                             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   AGE
persistentvolumeclaim/noobaa-db-pg-cluster-1                     Bound    pvc-a2b230c9-e2cd-4a28-9d09-9479f69cc966   50Gi       RWOP           ocs-storagecluster-ceph-rbd   <unset>                 4d1h
persistentvolumeclaim/ocs-deviceset-local-volume-0-data-0wwm4n   Bound    local-pv-1dbcc61c                          100Gi      RWO            local-volume                  <unset>                 4d2h
persistentvolumeclaim/ocs-deviceset-local-volume-0-data-1jdk55   Bound    local-pv-c0b5e8a9                          100Gi      RWO            local-volume                  <unset>                 4d2h
persistentvolumeclaim/ocs-deviceset-local-volume-0-data-2zrpcl   Bound    local-pv-938ad694                          111Gi      RWO            local-volume                  <unset>                 4d2h
persistentvolumeclaim/ocs-deviceset-local-volume-0-data-3gv6b9   Bound    local-pv-bf961c46                          100Gi      RWO            local-volume                  <unset>                 4d2h

「柔軟なスケーリング」の確認

良く読み込めてないけど「1ノードずつ追加できるかどうか」の設定。以下を確認

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get storagecluster -n openshift-storage ocs-storagecluster -o yaml
apiVersion: ocs.openshift.io/v1
kind: StorageCluster
metadata:
  name: ocs-storagecluster
  namespace: openshift-storage
spec:
  flexibleScaling: true
status:
  failureDomain: host
  failureDomainKey: kubernetes.io/hostname
  failureDomainValues:
  - ocp1.naru.jp-z.jp
  - ocp2.naru.jp-z.jp
  - ocp3.naru.jp-z.jp
  - ocp4.naru.jp-z.jp
  - ocp5.naru.jp-z.jp

flexibleScaling: trueとあるので対応してる。

ノードのカウント数の更新

ここを更新する必要があった

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get storagecluster -n openshift-storage ocs-storagecluster -o yaml
apiVersion: ocs.openshift.io/v1
kind: StorageCluster
metadata:
  name: ocs-storagecluster
  namespace: openshift-storage
spec:
  storageDeviceSets:
  - config: {}
    count: 4

ドキュメントには「ホーム」→「検索」でstorageclusterと入力とあるが、おそらく「ストレージ」→「Storage cluster」のアクションメニューの「Storage Clusterの編集」でも同じだと思う。

上記count: 4の値を、1ノード追加し5ノードになるためcount: 5に更新。

しばらくすると追加ノードを認識して処理が始まる。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -n openshift-storage -o wide | grep ocp5
cnpg-controller-manager-9f974457-t9zq5                            1/1     Running     166 (4m52s ago)   3d23h   10.128.2.13     ocp5.naru.jp-z.jp   <none>           <none>
noobaa-operator-9795b598b-z9p2n                                   1/1     Running     37 (5m1s ago)     3d23h   10.128.2.12     ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonvhc9x   2/2     Running     8                 4d      10.128.2.5      ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-pvhhw            3/3     Running     21                4d      192.168.0.129   ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-xmdt4    2/2     Running     9                 4d      10.128.2.8      ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-rww94               3/3     Running     24 (30m ago)      4d      192.168.0.129   ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-4nn9ghh   0/1     Init:1/2    0                 44s     10.128.2.39     ocp5.naru.jp-z.jp   <none>           <none>
storageclient-737342087af10580-status-reporter-29701898-7pbwx     0/1     Completed   0                 17s     10.128.2.40     ocp5.naru.jp-z.jp   <none>           <none>

このまま待ってても全体のノードスペックが足りなかったのでVMのCPU/メモリ量を調整して、なんとか追加ノードのディスクも認識。利用可能ディスク容量が増加している。(100GB x 4ノード → 5ノード増量による計500GB)

ただ、まだObject Resiliencyが有効になっておらず、pending周りのpodが残っているため、更にノードサイズを微調整。

Object Resiliencyがようやく「正常」になった。
かわりにクラスターステータスが「Unhealthy」になってしまったけど…まぁPVのデプロイは可能だったので一応動作してる。きっと。

ストレージ回りのpodとクラスター状態

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -n openshift-storage -o wide 
NAME                                                              READY   STATUS      RESTARTS          AGE     IP              NODE                NOMINATED NODE   READINESS GATES
ceph-csi-controller-manager-5ff568fbcf-xjr5g                      1/1     Running     55 (6m20s ago)    8h      10.130.0.17     ocp4.naru.jp-z.jp   <none>           <none>
cnpg-controller-manager-9f974457-ndxt9                            1/1     Running     130 (7m26s ago)   5d3h    10.128.2.10     ocp5.naru.jp-z.jp   <none>           <none>
csi-addons-controller-manager-fd9cff86b-l9q4c                     1/1     Running     51 (6m20s ago)    8h      10.130.0.27     ocp4.naru.jp-z.jp   <none>           <none>
noobaa-core-0                                                     2/2     Running     2                 9h      10.130.0.21     ocp4.naru.jp-z.jp   <none>           <none>
noobaa-db-pg-cluster-1                                            1/1     Running     1                 7h53m   10.131.0.33     ocp1.naru.jp-z.jp   <none>           <none>
noobaa-db-pg-cluster-2                                            1/1     Running     1                 7h52m   10.128.2.22     ocp5.naru.jp-z.jp   <none>           <none>
noobaa-endpoint-86bdf54f59-xsqr8                                  1/1     Running     1                 7h48m   10.131.0.34     ocp1.naru.jp-z.jp   <none>           <none>
noobaa-operator-9795b598b-6rwdj                                   1/1     Running     5 (75m ago)       9h      10.128.2.31     ocp5.naru.jp-z.jp   <none>           <none>
ocs-client-operator-console-7f698dc55f-m2q4x                      1/1     Running     1                 8h      10.130.0.20     ocp4.naru.jp-z.jp   <none>           <none>
ocs-client-operator-controller-manager-d4b584f8f-whcg2            1/1     Running     1                 8h      10.130.0.23     ocp4.naru.jp-z.jp   <none>           <none>
ocs-metrics-exporter-fcf4f89b9-vf5kr                              3/3     Running     21 (4h5m ago)     9d      10.128.0.80     ocp2.naru.jp-z.jp   <none>           <none>
ocs-operator-64b6898fff-zfgjr                                     1/1     Running     41 (7m53s ago)    8h      10.130.0.18     ocp4.naru.jp-z.jp   <none>           <none>
ocs-provider-server-95dd54d99-rxk7z                               1/1     Running     1                 8h      10.130.0.24     ocp4.naru.jp-z.jp   <none>           <none>
odf-blackbox-exporter-58895f8779-9hj9n                            1/1     Running     6                 9d      10.128.0.81     ocp2.naru.jp-z.jp   <none>           <none>
odf-console-584dfb8549-hctf9                                      1/1     Running     1                 8h      10.130.0.15     ocp4.naru.jp-z.jp   <none>           <none>
odf-external-snapshotter-operator-57d8d4bccf-7lw7l                1/1     Running     498 (5m57s ago)   9d      10.128.0.54     ocp2.naru.jp-z.jp   <none>           <none>
odf-operator-controller-manager-bf8776768-vm7b8                   1/1     Running     39 (7m43s ago)    8h      10.130.0.13     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-ctrlplugin-b54988d989d2tl   8/8     Running     18 (26m ago)      8h      10.128.2.3      ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-ctrlplugin-b54988d98kcvq7   8/8     Running     12 (4h5m ago)     8h      10.130.0.16     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addon4g29h   2/2     Running     18 (44m ago)      9d      10.130.0.60     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addon4stst   2/2     Running     16                9d      10.131.0.37     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonsftf6   2/2     Running     17                9d      10.129.0.66     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonvhc9x   2/2     Running     17                9d      10.128.2.5      ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonwj9t4   2/2     Running     17                9d      10.128.0.64     ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-j8lwg            3/3     Running     43                9d      192.168.0.128   ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-lcn2c            3/3     Running     47                9d      192.168.0.126   ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-pvhhw            3/3     Running     42                9d      192.168.0.129   ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-wv8ws            3/3     Running     57 (4h44m ago)    9d      192.168.0.127   ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-xf95b            3/3     Running     40                9d      192.168.0.125   ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-ctrlplugin-5fd588f68b-87dtx    8/8     Running     374 (6m52s ago)   9d      10.129.0.69     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-ctrlplugin-5fd588f68b-ww9rq    8/8     Running     50 (7m18s ago)    8h      10.131.0.27     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-8bx2p               3/3     Running     59 (4h44m ago)    9d      192.168.0.127   ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-br9wc               3/3     Running     49 (4h41m ago)    9d      192.168.0.128   ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-947z6    2/2     Running     18 (3h18m ago)    9d      10.131.0.36     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-qcj87    2/2     Running     15                9d      10.128.0.63     ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-vn9c8    2/2     Running     17                9d      10.129.0.65     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-wgrfl    2/2     Running     15                9d      10.130.0.59     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-xmdt4    2/2     Running     18                9d      10.128.2.8      ocp5.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-h5wpt               3/3     Running     49 (4h41m ago)    9d      192.168.0.125   ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-jf66t               3/3     Running     47                9d      192.168.0.126   ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-rww94               3/3     Running     47 (4h41m ago)    9d      192.168.0.129   ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp1.naru.jp-z.jp-687dc9fcdf-w6ftj       1/1     Running     1                 8h      10.131.0.11     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp2.naru.jp-z.jp-596dc6d65d-kr2j7       1/1     Running     1                 7h53m   10.128.0.7      ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp3.naru.jp-z.jp-588b77b85c-d9bfw       1/1     Running     7                 9d      10.129.0.62     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp4.naru.jp-z.jp-75bb5d9458-dg4dm       1/1     Running     1                 8h      10.130.0.26     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp5.naru.jp-z.jp-78bdd9b69f-5hsf5       1/1     Running     1                 7h53m   10.128.2.18     ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp1.naru.jp-z.jp-56cddb4b97-j4m2k             2/2     Running     2                 8h      10.131.0.29     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp2.naru.jp-z.jp-7b7f4bc58d-9h2w8             2/2     Running     2                 7h53m   10.128.0.8      ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp3.naru.jp-z.jp-547bccdf77-6k255             2/2     Running     14                9d      10.129.0.63     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp4.naru.jp-z.jp-5d88dd6548-2fgrv             2/2     Running     2                 8h      10.130.0.9      ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp5.naru.jp-z.jp-6b8d5978c9-hmknw             2/2     Running     2                 7h53m   10.128.2.20     ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-cdfbcbf66rtzm   2/2     Running     2                 8h      10.130.0.14     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mds-ocs-storagecluster-cephfilesystem-b-6f44cf6cqcp24   2/2     Running     14                9d      10.129.0.61     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mgr-a-64d8b9d449-bwwbv                                  3/3     Running     15 (4h40m ago)    8h      10.128.0.21     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-mgr-b-5d4ff99cbc-g8zss                                  3/3     Running     29 (4h41m ago)    9d      10.129.0.48     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-a-57d5664cf4-xn56g                                  2/2     Running     36 (7m17s ago)    8h      10.130.0.8      ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-b-776689597b-k4txt                                  2/2     Running     14                9d      10.129.0.47     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-c-7d68457df5-4v6vq                                  2/2     Running     44 (6m33s ago)    8h      10.131.0.5      ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-operator-58bb468475-smmnp                               1/1     Running     1                 8h      10.130.0.11     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-0-6bd95d6786-nqlsb                                  2/2     Running     14                9d      10.129.0.73     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-1-6f89d76c7d-htw9k                                  2/2     Running     2                 8h      10.131.0.9      ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-2-7dd8c4b68f-w2n96                                  2/2     Running     2                 8h      10.130.0.10     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-3-59fd958856-lwc46                                  2/2     Running     12                9d      10.128.0.84     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-4-69c45db84d-sc62h                                  2/2     Running     6                 5d3h    10.128.2.55     ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-2zbmx86   0/1     Completed   0                 9d      <none>          ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-3gbwws9   0/1     Completed   0                 9d      <none>          ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-4nn9ghh   0/1     Completed   0                 5d3h    <none>          ocp5.naru.jp-z.jp   <none>           <none>
rook-ceph-rgw-ocs-storagecluster-cephobjectstore-a-678884dkd6c7   2/2     Running     2                 8h      10.128.2.7      ocp5.naru.jp-z.jp   <none>           <none>
storageclient-737342087af10580-status-reporter-29709312-wgfvn     0/1     Error       0                 7m54s   10.128.2.253    ocp5.naru.jp-z.jp   <none>           <none>
storageclient-737342087af10580-status-reporter-29709319-fz7fv     0/1     Completed   0                 63s     10.128.3.3      ocp5.naru.jp-z.jp   <none>           <none>
storageclient-737342087af10580-status-reporter-29709320-45ktd     0/1     Completed   0                 3s      10.128.3.4      ocp5.naru.jp-z.jp   <none>           <none>
ux-backend-server-76fb995545-h648x                                2/2     Running     2                 8h      10.130.0.12     ocp4.naru.jp-z.jp   <none>           <none>

このときの5ノードのリソース消費量

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc adm top node
NAME                CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)   
ocp1.naru.jp-z.jp   1369m        18%      12068Mi         55%         
ocp2.naru.jp-z.jp   3718m        49%      13594Mi         74%         
ocp3.naru.jp-z.jp   1726m        23%      16835Mi         54%         
ocp4.naru.jp-z.jp   530m         7%       5547Mi          26%         
ocp5.naru.jp-z.jp   287m         4%       4321Mi          27%      

消費量はそこまででもないけど、Rquestの値がやっぱもう限界状態。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc describe node | grep "Allocated resources:" -A8
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                7153m (95%)    9959m (132%)
  memory             21587Mi (98%)  19164Mi (87%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                5914m (78%)    7160m (95%)
  memory             17616Mi (95%)  12404Mi (67%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                7348m (97%)    10860m (144%)
  memory             20523Mi (66%)  17872Mi (57%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
Events:
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                6701m (89%)    14484m (193%)
  memory             18763Mi (89%)  24538Mi (117%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                5014m (77%)    9560m (147%)
  memory             14371Mi (90%)  17928Mi (113%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)

最終的にVMのサイズ調整した結果のノードスペック一覧

ocp-1 ocp-2 ocp-3 ocp-4 ocp-5
hard VM(PVE) VM(PVE) Bare VM(PVE) VM(PVE)
node role Control Plane Control Plane Control Plane worker worker
CPU 8 8 8 (i7-2600S) 8 7
Memory 23GB 19.5GB 32GB 23GB 17GB
Disk(OS) 100GB 100GB 1TB 100GB 100GB
Disk(ODF) 100GB 100GB 120GB 100GB 100GB

ODF構築時にもコメント残したけど、「ODFそのものの検証が目的でない検証環境なら、おとなしくNFSを使うのが無難」です。スペック的に個人環境でやるもんじゃない…

オンプレOpenShiftへのOpenShift Data Foundation構築の作業メモ

OpenShift Data Foundation(ODF)をインストールした時の作業ログです。
ただし、ブロックストレージは使えるようになってるけど、一部完全にはインストール完了していません。
上手くいったパターンは時間はかかっても自動的に正常ステータスに遷移したけど、初回構築したSNO構成から最終的に5ノード(ControlPlaneが1、workerが4)構成だとNGで、その原因は特定できておらず。

環境

(直近の記事のSNOにworkerノードを追加したクラスターとは別に再構築した)3ノード構成のOpenShiftにワーカーを1台追加した4ノード構成(Control Planeは3)のRHOCPクラスターが対象。
workerとControl Plane 2ノード(計3ノード)はProxmox VEクラスタ上のVM(CPU種別はhost)で、あと1台は部屋に転がってたShuttle製Sandy BridgeのキューブベアPCでクラスター構築。(こんな古いPCでもOpenShiftはインストール可能)

ocp-1 ocp-2 ocp-3 ocp-4
hard VM(PVE) VM(PVE) Bare VM(PVE)
node role Control Plane Control Plane Control Plane worker
CPU 6 7 8 (i7-2600S) 7
Memory 24GB 18GB 32GB 24GB
Disk(OS) 100GB 100GB 1TB 100GB
Disk(ODF) 100GB 100GB 120GB 100GB

OCP-V等はインストールせずに、RHOCPクラスター構築直後の状態からOpenShift Data Foundationをインストール、という条件。

その他バージョン情報

  • OpenShift Container Platform: 4.22.0
  • RHEL CoreOS: 9.8.20260520-0
  • Local Storage Operator: 4.22.0-202606081658
  • OpenShift Data Foundation: 4.21.8-rhodf

Operatorのインストール

Local Storage Operator

オンプレOpenShiftだとノードに持っている(OSを入れたディスクとは別の)ディスクを使う構成になるため、「Local Storage Operator」が必要。
(OpenShift Data Foundation Operatorインストール後のストレージクラスター作成中に必要になるが、依存で入ったりするわけでなく個別に入れる必要があるため、先に入れておく)

インストールはソフトウェアカタログで「Local」で検索すれば出てくる。
パラメタはデフォルトでOK

記事作成時点でバージョンは4.22.0-202606081658

OpenShift Data Foundation

Local Storage OperatorをインストールしたらOpenShift Data Foundation本体をインストールする。
ソフトウェアカタログで「Data」で検索すれば出てくる。
これもインストール時のパラメタはデフォルトでOK

Clientが付いている方はOpenShift Data Foundationを入れると自動で入る。
なお、インストール後リロードすると左側メニューのストレージ以下に項目が増える。

記事作成時点でバージョンは4.21.8-rhodf

ストレージクラスターの作成

OpenShift Data Foundationがインストールできたら、ストレージクラスターを作成する。

パラメタは(あまりよくわかってないけど)以下の通り(で試してみた)。

  • バッキングストレージ: ローカルデバイスを使用した新規StorageClassの作成
  • 詳細設定: 「CephRBDをデフォルトのStorageClassとして使用する」のみ (デフォルト)
  • ローカルボリュームセットの作成
    • localvolumeSet名: local-volume
    • StorageClass名: local-volume(自動入力)
    • ディスクのフィルター: すべてのノードのディスク
    • 詳細: 変更なし
  • セキュリティーおよびネットワーク: デフォルト

「ローカルボリュームセットの作成」の段階で、入力したリソース名(↑だとlocal-volume)でLocalVolumeSetリソースがopenshift-local-storageネームスペースに作成される。
ただし、3ノード以上で、使用するストレージはSSDであることが条件。

ノードがVMの場合のSSDについてはProxmox VEのVMであればディスクの設定で「SSDエミュレーション」にチェックを入れればOK

ローカルボリュームセットの作成を行うと、その時点で以下のように確認できる。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get LocalVolumeSet -n openshift-local-storage local-volume -o yaml
apiVersion: local.storage.openshift.io/v1alpha1
kind: LocalVolumeSet
metadata:
  creationTimestamp: "2026-06-18T04:44:28Z"
  finalizers:
  - storage.openshift.com/local-volume-protection
  generation: 1
  name: local-volume
  namespace: openshift-local-storage
  resourceVersion: "661917"
  uid: 5cbaab96-6048-414c-b212-70b561c69820
spec:
  deviceInclusionSpec:
    deviceMechanicalProperties:
    - NonRotational
    deviceTypes:
    - disk
    - part
    minSize: 1Gi
  nodeSelector:
    nodeSelectorTerms:
    - matchExpressions:
      - key: kubernetes.io/hostname
        operator: In
        values:
        - ocp1.naru.jp-z.jp
        - ocp2.naru.jp-z.jp
        - ocp3.naru.jp-z.jp
        - ocp4.naru.jp-z.jp
  storageClassName: local-volume
  tolerations:
  - effect: NoSchedule
    key: node.ocs.openshift.io/storage
    operator: Equal
    value: "true"
  volumeMode: Block
status:
  conditions:
  - lastTransitionTime: "2026-06-18T04:44:28Z"
    message: 'DiskMaker: 2/4 Unavailable.'
    status: "False"
    type: DaemonSetsAvailable
  - lastTransitionTime: "2026-06-18T04:44:28Z"
    message: Operator reconciled successfully.
    status: "True"
    type: Available
  observedGeneration: 1
  totalProvisionedDeviceCount: 4

LocalVolumeSetリソースが作成されると、ここでストレージクラスターの作成のための最小要件が表示される。
モードが複数あり、要件が最小のもので、合計で以下のスペックが必要。
これはOpenShiftクラスターではなくODFクラスターのノード要件なので、全てOSF用のディスクを積んでいる必要があり、ODFクラスターの要件外のノードのCPU/メモリは換算されない。
この要件を満たさないと、次へ進むボタンが有効化されない。

  • CPU: 24CPU
  • メモリ: 72GiB

ここでようやく赤帽エンジニアブログで「しかしながら、ODFはその構成上非常に多くのリソースを使用します。潤沢なリソースがない環境での利用は難しい」と記載されている理由が判明する。笑
リソース不足でインストール不可の場合でも、この場面までは進めることができLocalVolumeSetリソースは作成済みになっているため、もしキャンセルする場合はLocalVolumeSetリソースを削除すれば良い(たぶん)

ちなみに要件を満たす構成でも、インストール可能なノードのスキャンが完了すると微妙に要件がアップする(何度か試した限り毎回微増してた)

ここをパスできれば、セキュリティーとネットワーク設定(デフォルトでOK)になり、最後の確認画面まで進める。

「Create storage system」ボタン押下で処理開始する。

(ベアメタルのCPUは15年前のものでVMのCPU数は倍近くオーバーコミットしてる)手元の環境で30分くらい経過して、「Data Foundation」の画面で「クラスターステータス」が「正常」に遷移。

以下の通り、全てのPodがReadyではなくオブジェクトストレージが使用できない状態だけど、ブロックストレージとしては使用可能状態。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -n openshift-storage -o wide
NAME                                                              READY   STATUS      RESTARTS        AGE     IP              NODE                NOMINATED NODE   READINESS GATES
ceph-csi-controller-manager-5ff568fbcf-4jgpr                      1/1     Running     5 (7m26s ago)   34m     10.130.0.22     ocp4.naru.jp-z.jp   <none>           <none>
cnpg-controller-manager-9f974457-b9qsp                            1/1     Running     0               3m17s   10.129.0.75     ocp3.naru.jp-z.jp   <none>           <none>
csi-addons-controller-manager-fd9cff86b-wtw6z                     1/1     Running     1 (7m47s ago)   11m     10.130.0.61     ocp4.naru.jp-z.jp   <none>           <none>
noobaa-db-pg-cluster-1-initdb-mhsp2                               0/1     Pending     0               2m43s   <none>          <none>              <none>           <none>
noobaa-operator-9795b598b-4fmqn                                   1/1     Running     0               3m18s   10.131.0.53     ocp1.naru.jp-z.jp   <none>           <none>
ocs-client-operator-console-7f698dc55f-bwfvj                      1/1     Running     0               34m     10.130.0.19     ocp4.naru.jp-z.jp   <none>           <none>
ocs-client-operator-controller-manager-d4b584f8f-5vb4s            1/1     Running     0               34m     10.130.0.18     ocp4.naru.jp-z.jp   <none>           <none>
ocs-operator-64b6898fff-gdctd                                     1/1     Running     3 (9m40s ago)   35m     10.130.0.15     ocp4.naru.jp-z.jp   <none>           <none>
ocs-provider-server-95dd54d99-2pdb9                               1/1     Running     0               34m     10.130.0.16     ocp4.naru.jp-z.jp   <none>           <none>
odf-console-584dfb8549-dt2c4                                      1/1     Running     0               75m     10.130.0.11     ocp4.naru.jp-z.jp   <none>           <none>
odf-external-snapshotter-operator-57d8d4bccf-7lw7l                1/1     Running     4 (7m59s ago)   12m     10.128.0.54     ocp2.naru.jp-z.jp   <none>           <none>
odf-operator-controller-manager-bf8776768-rbsv4                   1/1     Running     4 (7m22s ago)   75m     10.130.0.10     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-ctrlplugin-b54988d98w2w2x   8/8     Running     0               5m35s   10.130.0.67     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-ctrlplugin-b54988d98wsf7j   8/8     Running     2 (7m26s ago)   12m     10.131.0.35     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addon4g29h   2/2     Running     0               12m     10.130.0.60     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addon4stst   2/2     Running     0               12m     10.131.0.37     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonsftf6   2/2     Running     0               12m     10.129.0.66     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-csi-addonwj9t4   2/2     Running     0               12m     10.128.0.64     ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-j8lwg            3/3     Running     0               12m     192.168.0.128   ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-lcn2c            3/3     Running     0               12m     192.168.0.126   ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-wv8ws            3/3     Running     0               12m     192.168.0.127   ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.cephfs.csi.ceph.com-nodeplugin-xf95b            3/3     Running     0               12m     192.168.0.125   ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-ctrlplugin-5fd588f68b-87dtx    8/8     Running     0               5m34s   10.129.0.69     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-ctrlplugin-5fd588f68b-klbcb    8/8     Running     1 (10m ago)     12m     10.130.0.58     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-8bx2p               3/3     Running     0               12m     192.168.0.127   ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-br9wc               3/3     Running     0               12m     192.168.0.128   ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-947z6    2/2     Running     0               12m     10.131.0.36     ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-qcj87    2/2     Running     0               12m     10.128.0.63     ocp2.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-vn9c8    2/2     Running     0               12m     10.129.0.65     ocp3.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-csi-addons-wgrfl    2/2     Running     0               12m     10.130.0.59     ocp4.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-h5wpt               3/3     Running     0               12m     192.168.0.125   ocp1.naru.jp-z.jp   <none>           <none>
openshift-storage.rbd.csi.ceph.com-nodeplugin-jf66t               3/3     Running     0               12m     192.168.0.126   ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp1.naru.jp-z.jp-687dc9fcdf-49k6j       1/1     Running     0               18m     10.131.0.26     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp2.naru.jp-z.jp-596dc6d65d-5p4wt       1/1     Running     0               5m      10.128.0.83     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp3.naru.jp-z.jp-588b77b85c-d9bfw       1/1     Running     0               13m     10.129.0.62     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-crashcollector-ocp4.naru.jp-z.jp-75bb5d9458-hmkcm       1/1     Running     0               13m     10.130.0.53     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp1.naru.jp-z.jp-56cddb4b97-rgm6r             2/2     Running     0               18m     10.131.0.27     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp2.naru.jp-z.jp-7b7f4bc58d-rlg9b             2/2     Running     0               5m      10.128.0.80     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp3.naru.jp-z.jp-547bccdf77-6k255             2/2     Running     0               13m     10.129.0.63     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-exporter-ocp4.naru.jp-z.jp-5d88dd6548-5cm9g             2/2     Running     0               13m     10.130.0.54     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-cdfbcbf6fbx5w   2/2     Running     0               13m     10.130.0.52     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mds-ocs-storagecluster-cephfilesystem-b-6f44cf6cqcp24   2/2     Running     0               13m     10.129.0.61     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mgr-a-64d8b9d449-wzmq4                                  3/3     Running     0               18m     10.130.0.39     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mgr-b-5d4ff99cbc-g8zss                                  3/3     Running     0               18m     10.129.0.48     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-a-57d5664cf4-lf458                                  2/2     Running     2 (9m ago)      29m     10.130.0.26     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-b-776689597b-k4txt                                  2/2     Running     0               28m     10.129.0.47     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-mon-c-7d68457df5-m95r7                                  2/2     Running     3 (7m26s ago)   23m     10.131.0.18     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-operator-58bb468475-lbthh                               1/1     Running     0               12m     10.130.0.57     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-0-6bd95d6786-nqlsb                                  2/2     Running     0               4m26s   10.129.0.73     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-1-6f89d76c7d-bqzrz                                  2/2     Running     0               5m29s   10.131.0.49     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-2-7dd8c4b68f-djbjg                                  2/2     Running     0               4m      10.130.0.68     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-3-cd65bd665-7hmxg                                   2/2     Running     0               5m35s   10.128.0.73     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-0w45xc4   0/1     Completed   0               18m     10.130.0.43     ocp4.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-1j4drwh   0/1     Completed   0               18m     10.131.0.28     ocp1.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-2zbmx86   0/1     Completed   0               18m     10.129.0.51     ocp3.naru.jp-z.jp   <none>           <none>
rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-3gbwws9   0/1     Completed   0               5m59s   10.128.0.67     ocp2.naru.jp-z.jp   <none>           <none>
rook-ceph-rgw-ocs-storagecluster-cephobjectstore-a-678884dw27wf   0/2     Pending     0               3m1s    <none>          <none>              <none>           <none>
storageclient-737342087af10580-status-reporter-29696019-cqczh     0/1     Completed   0               6s      10.131.0.59     ocp1.naru.jp-z.jp   <none>           <none>
ux-backend-server-76fb995545-xkcmr                                2/2     Running     3 (74m ago)     74m     10.130.0.12     ocp4.naru.jp-z.jp   <none>           <none>
zaki@cloud-dev2:~/local/ocp/lab-ocp$ 

Pendingになっているrook-ceph-rgw-ocs-storagecluster-cephobjectstore-a-678884dw27wfは、以下の通り。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -n openshift-storage rook-ceph-rgw-ocs-storagecluster-cephobjectstore-a-678884dw27wf -o yaml
apiVersion: v1
kind: Pod
metadata:
  name: rook-ceph-rgw-ocs-storagecluster-cephobjectstore-a-678884dw27wf
  namespace: openshift-storage
  :
  :
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: cluster.ocs.openshift.io/openshift-storage
            operator: Exists
    podAntiAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - podAffinityTerm:
          labelSelector:
            matchLabels:
              app: rook-ceph-rgw
              ceph_daemon_id: ocs-storagecluster-cephobjectstore
              rgw: ocs-storagecluster-cephobjectstore
              rook_cluster: openshift-storage
              rook_object_store: ocs-storagecluster-cephobjectstore
          topologyKey: kubernetes.io/hostname
        weight: 50
  :
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2026-06-18T05:36:05Z"
    message: '0/4 nodes are available: 1 Insufficient memory, 3 Insufficient cpu.
      no new claims to deallocate, preemption: 0/4 nodes are available: 1 Insufficient
      memory, 3 Insufficient cpu.'
    observedGeneration: 1
    reason: Unschedulable
    status: "False"
    type: PodScheduled
  phase: Pending
  qosClass: Burstable

リソース状況については後述

ストレージお試し

簡単なマニフェストを使ってPVを使うサンプルPodをデプロイ。
使ったのはStatefulSetのPostgreSQLのPod

github.com

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc apply -f ~/local/src/k8s-samples/sample-db/database.yaml 
statefulset.apps/postgresql-db created
service/postgresql-db created
secret/postgresql-conf configured

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod,svc,pvc
NAME                  READY   STATUS    RESTARTS   AGE
pod/postgresql-db-0   1/1     Running   0          50s

NAME                    TYPE           CLUSTER-IP      EXTERNAL-IP                            PORT(S)    AGE
service/kubernetes      ClusterIP      172.30.0.1      <none>                                 443/TCP    6d2h
service/openshift       ExternalName   <none>          kubernetes.default.svc.cluster.local   <none>     6d2h
service/postgresql-db   ClusterIP      172.30.119.97   <none>                                 5432/TCP   51s

NAME                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   AGE
persistentvolumeclaim/db-volume-postgresql-db-0   Bound    pvc-2689abc2-264e-4fe0-a075-7d83cf4865db   8Gi        RWO            ocs-storagecluster-ceph-rbd   <unset>                 50s

PodもPVもちゃんとデプロイされているし、deleteして別ノードでもデプロイされる。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -o wide
NAME              READY   STATUS    RESTARTS   AGE   IP            NODE                NOMINATED NODE   READINESS GATES
postgresql-db-0   1/1     Running   1          20h   10.131.0.99   ocp1.naru.jp-z.jp   <none>           <none>

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc delete pod postgresql-db-0 
pod "postgresql-db-0" deleted from default namespace

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -o wide
NAME              READY   STATUS              RESTARTS   AGE   IP       NODE                NOMINATED NODE   READINESS GATES
postgresql-db-0   0/1     ContainerCreating   0          2s    <none>   ocp5.naru.jp-z.jp   <none>           <none>
zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc get pod -o wide
NAME              READY   STATUS    RESTARTS   AGE   IP            NODE                NOMINATED NODE   READINESS GATES
postgresql-db-0   1/1     Running   0          24s   10.128.2.77   ocp5.naru.jp-z.jp   <none>           <none>

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc exec postgresql-db-0 -- ls -F /var/lib/pgsql/
data/
lost+found/

無事にOpenShift Data FoundationによってブロックストレージのPVが使えるようになった。

構築がうまくいってなかった場合との違いについて考える

5月上旬に以下で構築したクラスター(現在削除済み)だとOpenShift Data Foundationのインストールはうまくいかなかったので今回再構築したが、どこに差があったのかメモ。

zaki-hmkc.hatenablog.com

サーバー構成の差異

SNOから増設 再構築
Control Plane 1 3
worker 4 1
ODF node 5 4
ODF node CPU 29 28
ODF node MEM 85.91GiB 95.81GiB
ODF node storage 1.14TiB 411GiB

ODF用のストレージ容量については、SNOから増設したクラスターはVM4台が60GB(x4)+ベアメタルは1TBというアンバランスな構成で、再構築クラスターは120GBの安価なSSDを1個調達してVM4台が100GB(x3)+ベアメタル128GBという容量差を少なくした構成に変更している。

KubernetesクラスターとしてのControl Planeノードの数の差異はODFにはたぶん影響しないとは思うけどね。

リソース使用状態

おそらく再構築してうまくいった原因はこれ。
下記は(オブジェクトストレージ回りでpendingはあるがブロックストレージは使用可になってる、という点で)構築がうまくいってる状態のtop nodeの状態。
これだけを見ると余裕はありそうに見える。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc adm top node
NAME                CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)   
ocp1.naru.jp-z.jp   901m         16%      8565Mi          37%         
ocp2.naru.jp-z.jp   3025m        46%      13000Mi         77%         
ocp3.naru.jp-z.jp   1774m        23%      14246Mi         46%         
ocp4.naru.jp-z.jp   629m         9%       3821Mi          17% 

しかし、nodeのdescribeでallocated resourceを見ると、CPUとMemoryのどちらかのRequestsの値が各ノードでほぼ上限に達しているため、このマシンスペックへの構築でも、ODFのみでほぼ満席という状態になっているのを確認できた。

zaki@cloud-dev2:~/local/ocp/lab-ocp$ oc describe node | grep "Allocated resources:" -A8
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                5445m (99%)    8460m (153%)
  memory             14249Mi (62%)  13532Mi (59%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                5305m (81%)    4650m (71%)
  memory             16842Mi (99%)  8184Mi (48%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                7469m (99%)    10960m (146%)
  memory             20949Mi (67%)  18172Mi (58%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)
Events:
--
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests       Limits
  --------           --------       ------
  cpu                6429m (98%)    17885m (275%)
  memory             15887Mi (72%)  26570Mi (121%)
  ephemeral-storage  0 (0%)         0 (0%)
  hugepages-1Gi      0 (0%)         0 (0%)
  hugepages-2Mi      0 (0%)         0 (0%)

SNOからノードを増設したクラスターでは、OCP-Vを入れた後のODFインストールだったため、単純にリソースが足りていなかった可能性は高い。
通常はPodデプロイ時にスケジューリング不可の場合はPendingの状態をget podで確認できるがそういう動きではなかったので、もっと手前の段階で処理が進んでいなかった、ということになるかもしれない。あいにくその状況を示すログ等は確認できなかったが。

上手く行ってないときはスケジュール不可でpendingになっているPodがなかったため、この辺りのリソース状態は未確認。

よく出ていたエラーなどメモ

CephMgrIsAbsent

SNOから増設したクラスターではストレージクラスターのweb画面で下記をよく見かけた。

CephMgrIsAbsent
2026年5月31日 16:50
Ceph Manager has disappeared from Prometheus target discovery.

docs.redhat.com

トラシューのページ見ても「Contact Red Hat support」とあって若干お手上げだが、状況的としては構築が途中で停まってしまい本来起動するはずのrook-ceph-mgrが正常に動作していないため「Ceph Managerが見つからないよ」という状態が発生している。「CephMgrIsAbsent」は結果であって原因ではないため、なぜCeph Managerが起動しないかは結局わからず。

github.com

rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-####### の CrashLoopBackOff

rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-#######が繰り返しCrashLoopBackOffになる。

zaki@cloud-dev2:~/local/ocp$ oc logs -n openshift-storage rook-ceph-osd-prepare-ocs-deviceset-local-volume-0-data-15869x5 
:
2026-06-05 05:46:27.431085 D | cephclient: config file @ /etc/ceph/ceph.conf:
[global]
fsid                = a0845bba-1be3-4791-8737-2c7ee53138e8
mon initial members = c a b
mon host            = [v2:172.30.102.77:3300],[v2:172.30.25.55:3300],[v2:172.30.67.93:3300]
:
:
2026-06-05 05:46:28.169138 D | exec: Running command: stdbuf -oL ceph-volume --log-path /tmp/ceph-log raw list /mnt/ocs-deviceset-local-volume-0-data-15wvg7 --format json
2026-06-05 05:46:28.424282 D | cephosd: {
    "1fa4d257-13a2-4a7a-860a-0c9a2fdf97d4": {
        "ceph_fsid": "4e2c72b0-c033-4873-b80b-f1297fd1d121",
        "device": "/mnt/ocs-deviceset-local-volume-0-data-15wvg7",
        "osd_id": 0,
        "osd_uuid": "1fa4d257-13a2-4a7a-860a-0c9a2fdf97d4",
        "type": "bluestore"
    }
}
2026-06-05 05:46:28.438024 C | rookcmd: failed to configure devices: failed to get device already provisioned by ceph-volume raw: osd.0: "1fa4d257-13a2-4a7a-860a-0c9a2fdf97d4" belonging to a different ceph cluster "4e2c72b0-c033-4873-b80b-f1297fd1d121"

ログを確認するとこの通りで、現在構築しようとしているCephクラスターのIDはa0845bba-1be3-4791-8737-2c7ee53138e8だが、ディスクには4e2c72b0-c033-4873-b80b-f1297fd1d121というIDの情報が残っている、というもの。
特にソフトウェア類を一度インストールの後に削除・同じディスク構成で再構築しようとすると前の情報がゴミとして残って発生することが多いっぽい。

解消するには(仮想環境なら)ディスクを作り直すか、wipefs -a /dev/sdbで削除する。(が、手元の環境ではこの作業だけでは解消しなかったのでほんとに大丈夫かは未確認)

wipefsコマンドについては下記が詳しい

hana-shin.hatenablog.com


ODFそのものの検証が目的でない検証環境なら、おとなしくNFSを使うのが無難。。


pc.watch.impress.co.jp

余談というか日記だけど、ベアメタルのノードに使ってるマシンのShuttle SH67H3、この1か月の間に突如電源が入らなくなって、でも性能はともかくCPUコア8・メモリ32GBのマシンはk8sノードとしては貴重なので同じパーツを使いまわせそうな古いPCをAmazon整備品で見繕って交換しようとしたけど、いろいろ試した結果マシンや電源がおかしいのでなくメモリモジュール(8GBx4)のうち1枚が死んだらしく、それを抜くと既存マシンでも起動することがわかったので、DDR3の8GBメモリなら今でも3000円くらいで入手できるので追加購入する、というハードよりの調整が大変でした(笑)

ちなみにこのマシン、静音PC専門店のオリオスペックさんで当時購入した電源ファンレスのACアダプタ仕様にカスタムされたもの。

[OpenShift] Assisted Installerで構築したオンプレRHOCPにノード追加

タイトル通り。ここではSNO構成のクラスターにワーカーノードを追加した。

第10章 シングルノード OpenShift クラスター用のワーカーノード | Nodes | OpenShift Container Platform | 4.20 | Red Hat Documentation

環境は下記構成のSNOのOpenShift環境。(4.21.11)
基本的には新規構築時のノード設定と同様。

zaki-hmkc.hatenablog.com

SNOのOpenShiftにワーカーノードを追加して負荷を分散させるというのはシナリオとしてあるようだけど、クラスター名とかに"sno"を入れたのは失敗だったな(笑)

ノードマシンを用意

以下スペックで準備 (workerも8コア・16GBと思い込んでてケチったつもりが盛りすぎてた)

  • CPU 6core
  • RAM 16GB
  • ストレージ 120GB

新規構築と同様、NICのMACアドレスをメモしておく。

Assisted Installer

OpenShiftのコンソールの「Fleet management」->「Clusters」から対象クラスターを選択、「Add Hosts」タブを選択。
※ 「Resources」->「Assisted Installer」のクラスター一覧だと「Add Hosts」メニューは無いので注意。

「Add hosts」ボタン押下で新規構築時のノード設定と同じダイアログが開くので、同じ要領で追加ノードの情報を入力、ISOファイルをダウンロードし、VMでマウントしてブートする。

Cluster Managerの画面でノードを認識したら「Install ready hosts」押下して進める。
※ これDNSサーバーの設定追加してなかったのでホスト名がMACアドレスになっている。後述。

Cluster Managerでinstall完了のように見えても、そのままだとノードは追加されない。

zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS   ROLES                         AGE   VERSION
sno1.naru.jp-z.jp   Ready    control-plane,master,worker   11d   v1.34.6

前回トラシュー記事を書いた時と同じで、pending状態のcsrがあるのでapproveする。
実行するコマンドは oc get csr -o name | xargs oc adm certificate approve

zaki@cloud-dev2:~/local/ocp$ oc get csr
NAME        AGE   SIGNERNAME                                    REQUESTOR                                                                   REQUESTEDDURATION   CONDITION
csr-4b5vh   48s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Pending
csr-jntxn   92m   kubernetes.io/kube-apiserver-client           system:ovn-node:sno1.naru.jp-z.jp                                           24h                 Approved,Issued
csr-m5nk7   98m   kubernetes.io/kube-apiserver-client           system:multus:sno1.naru.jp-z.jp                                             24h                 Approved,Issued

zaki@cloud-dev2:~/local/ocp$ oc get csr -o name | xargs oc adm certificate approve 
certificatesigningrequest.certificates.k8s.io/csr-4b5vh approved
certificatesigningrequest.certificates.k8s.io/csr-jntxn approved
certificatesigningrequest.certificates.k8s.io/csr-m5nk7 approved

zaki@cloud-dev2:~/local/ocp$ oc get csr
NAME        AGE   SIGNERNAME                                    REQUESTOR                                                                   REQUESTEDDURATION   CONDITION
csr-4b5vh   93s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Approved,Issued
csr-jntxn   93m   kubernetes.io/kube-apiserver-client           system:ovn-node:sno1.naru.jp-z.jp                                           24h                 Approved,Issued
csr-m5nk7   98m   kubernetes.io/kube-apiserver-client           system:multus:sno1.naru.jp-z.jp                                             24h                 Approved,Issued

これでノードが追加され、Readyになるための処理が開始される。ただpendingのcsrはこのあとも生えてくるので、見つけ次第都度approveする。

zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS     ROLES                         AGE   VERSION
bc-24-11-50-40-f3   NotReady   worker                        19s   v1.34.6
sno1.naru.jp-z.jp   Ready      control-plane,master,worker   11d   v1.34.6
zaki@cloud-dev2:~/local/ocp$ oc get csr
NAME        AGE     SIGNERNAME                                    REQUESTOR                                                                   REQUESTEDDURATION   CONDITION
csr-4b5vh   9m23s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Approved,Issued
csr-6qkqc   7m21s   kubernetes.io/kubelet-serving                 system:node:bc-24-11-50-40-f3                                               <none>              Pending
csr-jntxn   100m    kubernetes.io/kube-apiserver-client           system:ovn-node:sno1.naru.jp-z.jp                                           24h                 Approved,Issued
csr-m5nk7   106m    kubernetes.io/kube-apiserver-client           system:multus:sno1.naru.jp-z.jp                                             24h                 Approved,Issued
zaki@cloud-dev2:~/local/ocp$ oc get csr -o name | xargs oc adm certificate approve 
certificatesigningrequest.certificates.k8s.io/csr-4b5vh approved
certificatesigningrequest.certificates.k8s.io/csr-6qkqc approved
certificatesigningrequest.certificates.k8s.io/csr-jntxn approved
certificatesigningrequest.certificates.k8s.io/csr-m5nk7 approved
certificatesigningrequest.certificates.k8s.io/csr-mcqzc approved

csrの様子をみつつしばらく経過するとReadyになる。

zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS   ROLES                         AGE   VERSION
bc-24-11-50-40-f3   Ready    worker                        13m   v1.34.6
sno1.naru.jp-z.jp   Ready    control-plane,master,worker   11d   v1.34.6

webコンソールでもこの通り。

Cluster Managerだと全ノードを一覧する画面が見当たらなくて処理が完了しているのかイマイチわからなかったけど、「Details」を見ると全ノード合計のリソース値になってるので大丈夫だと思われ。(自身なし)

ホスト名について

前述の通りDNS設定抜きでノード追加すると、MACアドレスがそのままノード名として認識するが、OS設定としてのホスト名も同様になっている。

zaki@cloud-dev2:~$ ssh core@192.168.0.111 -i ~/.ssh/id_rsa_4096
The authenticity of host '192.168.0.111 (192.168.0.111)' can't be established.
ED25519 key fingerprint is SHA256:6S64wDPzP+6i1dKkaoTnLiubSQaKgLSzvcj779TzAcg.
This key is not known by any other names.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.0.111' (ED25519) to the list of known hosts.
Red Hat Enterprise Linux CoreOS 9.6.20260414-0
  Part of OpenShift 4.21, RHCOS is a Kubernetes-native operating system
  managed by the Machine Config Operator (`clusteroperator/machine-config`).

WARNING: Direct SSH access to machines is not recommended; instead,
make configuration changes via `machineconfig` objects:
  https://docs.openshift.com/container-platform/4.21/architecture/architecture-rhcos.html

---
[core@bc-24-11-50-40-f3 ~]$ 
[core@bc-24-11-50-40-f3 ~]$ hostname
bc-24-11-50-40-f3

「Install ready hosts」押下前にホスト名部分をクリックすれば手動で設定可能。(この時点でDNS設定も更新しましょう)

ノードの削除

ホスト名を設定してなくてMACアドレス状態になってしまったので、いったんノード削除して再構築してみる。

6.2.5. クラスターからのノードの削除 | Nodes | OpenShift Container Platform | 4.20 | Red Hat Documentation

クラウドサービスに統合されている場合はMachineSetリソース管理らしいが、ここはオンプレ。Nodeをdeleteしてやれば良い。
(確認する手順は「6.2.5.1. ベアメタルクラスターからのノードの削除」となる)

ドキュメントにはcordonしてdrainとあってdrainだけで良さそうだけど、一応ドキュメントの手順に従ってみる。

zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS   ROLES                         AGE   VERSION
bc-24-11-50-40-f3   Ready    worker                        20h   v1.34.6
sno1.naru.jp-z.jp   Ready    control-plane,master,worker   11d   v1.34.6

### cordonを実行してpodがスケジュールされないようにする
zaki@cloud-dev2:~/local/ocp$ oc adm cordon bc-24-11-50-40-f3 
node/bc-24-11-50-40-f3 cordoned
zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS                     ROLES                         AGE   VERSION
bc-24-11-50-40-f3   Ready,SchedulingDisabled   worker                        20h   v1.34.6
sno1.naru.jp-z.jp   Ready                      control-plane,master,worker   11d   v1.34.6

この時点ではまだbc-24-11-50-40-f3上のpodはrunningのまま

zaki@cloud-dev2:~/local/ocp$ oc adm drain bc-24-11-50-40-f3 --force=true
node/bc-24-11-50-40-f3 already cordoned
error: unable to drain node "bc-24-11-50-40-f3" due to error: [cannot delete Pods with local storage (use --delete-emptydir-data to override): default/virt-launcher-fedora-cyan-blackbird-23-2vtrn, cannot delete DaemonSet-managed Pods (use --ignore-daemonsets to ignore): openshift-cluster-node-tuning-operator/tuned-dv2vt, openshift-cnv/bridge-marker-zwpqm, openshift-cnv/hostpath-provisioner-csi-9nzls, openshift-cnv/kube-cni-linux-bridge-plugin-9bsk9, openshift-cnv/virt-handler-cp6qw, openshift-dns/dns-default-qkgsv, openshift-dns/node-resolver-f5j27, openshift-image-registry/node-ca-vhvzp, openshift-ingress-canary/ingress-canary-z2q25, openshift-insights/insights-runtime-extractor-2hhbk, openshift-machine-config-operator/machine-config-daemon-zjgnv, openshift-monitoring/node-exporter-gkfdl, openshift-multus/multus-additional-cni-plugins-6kdqf, openshift-multus/multus-t8zmv, openshift-multus/network-metrics-daemon-55r7s, openshift-network-diagnostics/network-check-target-jcsx9, openshift-network-operator/iptables-alerter-7g2jm, openshift-nmstate/nmstate-handler-wg66l, openshift-ovn-kubernetes/ovnkube-node-j5827], continuing command...
There are pending nodes to be drained:
 bc-24-11-50-40-f3
cannot delete Pods with local storage (use --delete-emptydir-data to override): default/virt-launcher-fedora-cyan-blackbird-23-2vtrn
cannot delete DaemonSet-managed Pods (use --ignore-daemonsets to ignore): openshift-cluster-node-tuning-operator/tuned-dv2vt, openshift-cnv/bridge-marker-zwpqm, openshift-cnv/hostpath-provisioner-csi-9nzls, openshift-cnv/kube-cni-linux-bridge-plugin-9bsk9, openshift-cnv/virt-handler-cp6qw, openshift-dns/dns-default-qkgsv, openshift-dns/node-resolver-f5j27, openshift-image-registry/node-ca-vhvzp, openshift-ingress-canary/ingress-canary-z2q25, openshift-insights/insights-runtime-extractor-2hhbk, openshift-machine-config-operator/machine-config-daemon-zjgnv, openshift-monitoring/node-exporter-gkfdl, openshift-multus/multus-additional-cni-plugins-6kdqf, openshift-multus/multus-t8zmv, openshift-multus/network-metrics-daemon-55r7s, openshift-network-diagnostics/network-check-target-jcsx9, openshift-network-operator/iptables-alerter-7g2jm, openshift-nmstate/nmstate-handler-wg66l, openshift-ovn-kubernetes/ovnkube-node-j5827

オプション足りないよなーと思ったけどその通り。
daemonsetと削除系フラグを追加して再実行。
(※ ここで強制削除しているpod/virt-launcher-fedora-cyan-blackbird-23-2vtrnは、削除予定ノード上にあるhostPathを使ったVirtualMachineを管理してるpodなんだけど、podは消えたけどVMは消えなかったので、起動できないVMが残骸として残った)

zaki@cloud-dev2:~/local/ocp$ oc adm drain bc-24-11-50-40-f3 --force=true --delete-emptydir-data --ignore-daemonsets 
node/bc-24-11-50-40-f3 already cordoned
Warning: ignoring DaemonSet-managed Pods: openshift-cluster-node-tuning-operator/tuned-dv2vt, openshift-cnv/bridge-marker-zwpqm, openshift-cnv/hostpath-provisioner-csi-9nzls, openshift-cnv/kube-cni-linux-bridge-plugin-9bsk9, openshift-cnv/virt-handler-cp6qw, openshift-dns/dns-default-qkgsv, openshift-dns/node-resolver-f5j27, openshift-image-registry/node-ca-vhvzp, openshift-ingress-canary/ingress-canary-z2q25, openshift-insights/insights-runtime-extractor-2hhbk, openshift-machine-config-operator/machine-config-daemon-zjgnv, openshift-monitoring/node-exporter-gkfdl, openshift-multus/multus-additional-cni-plugins-6kdqf, openshift-multus/multus-t8zmv, openshift-multus/network-metrics-daemon-55r7s, openshift-network-diagnostics/network-check-target-jcsx9, openshift-network-operator/iptables-alerter-7g2jm, openshift-nmstate/nmstate-handler-wg66l, openshift-ovn-kubernetes/ovnkube-node-j5827
evicting pod openshift-monitoring/telemeter-client-5fb6966cbc-mgqdz
evicting pod openshift-image-registry/image-pruner-29648160-44prv
evicting pod default/virt-launcher-fedora-cyan-blackbird-23-2vtrn
evicting pod openshift-cnv/hpp-pool-local-bc-24-11-50-40-f3-784fc95654-tcj56
pod/image-pruner-29648160-44prv evicted
pod/hpp-pool-local-bc-24-11-50-40-f3-784fc95654-tcj56 evicted
pod/telemeter-client-5fb6966cbc-mgqdz evicted
pod/virt-launcher-fedora-cyan-blackbird-23-2vtrn evicted
node/bc-24-11-50-40-f3 drained

これでノード削除。

zaki@cloud-dev2:~/local/ocp$ oc delete node bc-24-11-50-40-f3 
node "bc-24-11-50-40-f3" deleted
zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS   ROLES                         AGE   VERSION
sno1.naru.jp-z.jp   Ready    control-plane,master,worker   11d   v1.34.6

これで追加したworkerノードをシャットダウンする。
get pod -o wideの状態も最初の1ノード目のみでrunningになってることが確認できる。

・・・ただCluster Managerの方はこの時点では残ったままだ。
1時間くらいするとDetailsのTotal vCPUは正しい値になった。
さらに待てばノードは行方不明状態になるので、メニューからremoveできる。
(メッセージの雰囲気から、ノード削除については状態が同期されなさそう)

ノードの再作成

DNS設定を行った上で同じ操作を実施。念のためNICを再作成してMACアドレスを変化させている。
(が、ベアメタルだとこの手は使えないので、同一MACアドレスでもきっと大丈夫)

あと初回は気が付かなかったけど、Roleの部分のドロップダウンメニューでWorker以外としてもノード追加ができそう。(Control plane以外はなじみが無いのでわからんけど)

zaki@cloud-dev2:~/local/ocp$ oc get csr
NAME        AGE   SIGNERNAME                                    REQUESTOR                                                                   REQUESTEDDURATION   CONDITION
csr-6fhlw   27s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Pending
csr-j5cgc   30m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Pending
csr-rmwdf   15m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   <none>              Pending
zaki@cloud-dev2:~/local/ocp$ oc get csr -o name | xargs oc adm certificate approve 
certificatesigningrequest.certificates.k8s.io/csr-6fhlw approved
certificatesigningrequest.certificates.k8s.io/csr-j5cgc approved
certificatesigningrequest.certificates.k8s.io/csr-rmwdf approved
zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS     ROLES                         AGE   VERSION
sno1.naru.jp-z.jp   Ready      control-plane,master,worker   12d   v1.34.6
sno2.naru.jp-z.jp   NotReady   worker                        5s    v1.34.6

csrを何度かapproveしてこの通り、DNSで設定したノード名としてクラスターに追加された。

zaki@cloud-dev2:~/local/ocp$ oc get node
NAME                STATUS   ROLES                         AGE   VERSION
sno1.naru.jp-z.jp   Ready    control-plane,master,worker   12d   v1.34.6
sno2.naru.jp-z.jp   Ready    worker                        11m   v1.34.6

手作業のノード追加はCluster Managerの画面に出てこないのでうっかり見落としがちだけど、DNS設定(特に逆引きのはず)を忘れないように。
※ Assisted Installerで入力するのはIPアドレスのみなので、IPアドレスからホスト名を引ける必要がある…はず。

[core@sno2 ~]$ dig -x 192.168.0.111

; <<>> DiG 9.16.23-RH <<>> -x 192.168.0.111
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 21311
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;111.0.168.192.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
111.0.168.192.in-addr.arpa. 0   IN      PTR     sno2.naru.jp-z.jp.

;; Query time: 1 msec
;; SERVER: 192.168.0.4#53(192.168.0.4)
;; WHEN: Sat May 16 04:22:17 UTC 2026
;; MSG SIZE  rcvd: 86

たぶん追加ノードとか関係なく、ホストに対して逆引きのDNS設定をちゃんとしておくとノード名として使われるのかも。
(初回クラスター構築時はノードのDNSは設定してあったので)