zaki work log

作業ログやら生活ログやらなんやら

[Ansible / Podman] もうこのぉ、venvを使った実行環境は終わりだ (Ansible RunnerとAnsible Builderお試し)

トキメk…じゃなくてAnsible RunnerやAnsible Builderの話で、Ansibleとコンテナ環境の話題がとても盛り上がってるところに乗り遅れつつある*1ので、マイペースに動作確認してみた作業ログ。
コンテナの中身寄り情報あり。

環境

Fedora 34で確認。

[zaki@fedora-node ~]$ cat /etc/fedora-release 
Fedora release 34 (Thirty Four)

Pythonは3.9.4

(runner) [zaki@fedora-node ~]$ python --version
Python 3.9.4

BuilderとRunnerのバージョン

(runner) [zaki@fedora-node ~]$ ansible-builder --version
1.0.1
(runner) [zaki@fedora-node ~]$ ansible-runner --version
2.0.1

ちなみにDockerとPodmanは両方入ってる環境。
周りがみんなDocker使ってるのでPodmanで確認。

(runner) [zaki@fedora-node ~]$ podman --version
podman version 3.2.2
(runner) [zaki@fedora-node ~]$ docker --version
Docker version 20.10.6, build 370c289

Podmanはdnfでシュッっとインストールできて設定も特に不要。

$ sudo dnf install podman

ちなみに、Ansible RunnerとBuilderはデフォルトではコンテナエンジンにPodmanが使用される。

Ansible Builder

[zaki@fedora-node ~]$ python -m venv python/venv/runner
[zaki@fedora-node ~]$ . python/venv/runner/bin/activate
(runner) [zaki@fedora-node ~]$ 
(runner) [zaki@fedora-node ~]$ pip install --upgrade pip

インストール

ansible-builder.readthedocs.io

pip install ansible-builder
(runner) [zaki@fedora-node ~]$ pip install --upgrade pip
Requirement already satisfied: pip in ./python/venv/runner/lib/python3.9/site-packages (21.0.1)
Collecting pip
  Using cached pip-21.1.3-py3-none-any.whl (1.5 MB)
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 21.0.1
    Uninstalling pip-21.0.1:
      Successfully uninstalled pip-21.0.1
Successfully installed pip-21.1.3
(runner) [zaki@fedora-node ~]$ pip install ansible-builder
Collecting ansible-builder
  Downloading ansible_builder-1.0.1-py3-none-any.whl (16 kB)
Collecting bindep
  Downloading bindep-2.9.0-py2.py3-none-any.whl (32 kB)
Collecting PyYAML
  Using cached PyYAML-5.4.1-cp39-cp39-manylinux1_x86_64.whl (630 kB)
Collecting requirements-parser
  Downloading requirements-parser-0.2.0.tar.gz (6.3 kB)
Collecting Parsley
  Downloading Parsley-1.3-py2.py3-none-any.whl (88 kB)
     |████████████████████████████████| 88 kB 3.6 MB/s 
Collecting distro
  Using cached distro-1.5.0-py2.py3-none-any.whl (18 kB)
Collecting pbr>=2.0.0
  Downloading pbr-5.6.0-py2.py3-none-any.whl (111 kB)
     |████████████████████████████████| 111 kB 10.8 MB/s 
Using legacy 'setup.py install' for requirements-parser, since package 'wheel' is not installed.
Installing collected packages: pbr, Parsley, distro, requirements-parser, PyYAML, bindep, ansible-builder
    Running setup.py install for requirements-parser ... done
Successfully installed Parsley-1.3 PyYAML-5.4.1 ansible-builder-1.0.1 bindep-2.9.0 distro-1.5.0 pbr-5.6.0 requirements-parser-0.2.0
(runner) [zaki@fedora-node ansible-ee]$ ansible-builder --version
1.0.1

execution environment definition

ansible-builder.readthedocs.io

YAMLファイルを作成するようになってるけど、特にファイル名の指定がなさそう?
と思ったけどこっちか。

ansible-builder.readthedocs.io

デフォルトではカレントのexecution-environment.ymlを見るっぽい。

(runner) [zaki@fedora-node ansible-ee]$ ansible-builder build --help
:
:
optional arguments:
  -h, --help            show this help message and exit
:
  -f FILENAME, --file FILENAME
                        The definition of the execution environment (default: execution-environment.yml)

なるほど、ファイル名は任意に指定可能みたい。
とりあえずデフォルトのexecution-environment.ymlでやっていく。

以下の定義はExecution Environment Definitionから。

---
version: 1

build_arg_defaults:
  EE_BASE_IMAGE: 'quay.io/ansible/ansible-runner:stable-2.10-devel'

ansible_config: 'ansible.cfg'

dependencies:
  galaxy: requirements.yml
  python: requirements.txt
  system: bindep.txt

additional_build_steps:
  prepend: |
    RUN whoami
    RUN cat /etc/os-release
  append:
    - RUN echo This is a post-install command!
    - RUN ls -la /etc

ベースイメージに指定してるのは、サンプル通りでquay.io/ansible/ansible-runner:stable-2.10-develで、Ansible 2.10のイメージ。 選択できるベースのイメージのタグは、現時点(2021.07.22)でこの辺りかな?

quay.io

  • stable-2.11-devel (latest)
  • stable-2.10-devel
  • stable-2.9-devel

dependenciesに指定するのは、

  • galaxy: ansible-galaxy collection installするコレクションの定義
  • requirements.txt: 追加でpip installするPythonパッケージの定義
  • bindep.txt: おそらく、OS(今回はコンテナだけど)で追加インストールするパッケージ一覧っぽい

docs.opendev.org

requirements.yml

お試しでKubernetesとNetboxのコレクションを指定。

---
collections:
  - name: kubernetes.core
    version: 2.1.1
  - name: netbox.netbox
    version: 3.1.1

requirements.txt

たとえばjson_query使う場合などはこんな感じ。

jmespath

bindep.txt

お試しで以下の通り。

git

コントロールノード上に必要なコマンドを追加しないといけないときはこれに指定すれば良さそう。

ビルド

まずはオプション何も指定せずにやってみる。
(イメージビルドでtagしていないといろいろアレだけど)

(runner) [zaki@fedora-node ansible-ee]$ ansible-builder build 
Running command:
  podman build -f context/Containerfile -t ansible-execution-env:latest context
...showing last 20 lines of output...
--> e34f056f5eb
STEP 3: USER root
--> 9a704c0920c
STEP 4: ADD _build/ansible.cfg ~/.ansible.cfg
--> 17c5ffa6fb5
STEP 5: ADD _build /build
--> 95fe088171b
STEP 6: WORKDIR /build
--> 66c5fcbc890
STEP 7: RUN ansible-galaxy role install -r requirements.yml --roles-path /usr/share/ansible/roles
Skipping install, no requirements found
--> fe014f0f998
STEP 8: RUN ansible-galaxy collection install $ANSIBLE_GALAXY_CLI_COLLECTION_OPTS -r requirements.yml --collections-path /usr/share/ansible/collections
Starting galaxy collection install process
Process install dependency map
ERROR! Invalid collection name 'netbox', name must be in the format <namespace>.<collection>.
Please make sure namespace and collection name contains characters from [a-zA-Z0-9_] only.
STEP 9: FROM quay.io/ansible/ansible-builder:latest AS builder
Trying to pull quay.io/ansible/ansible-builder:latest...
Error: error building at STEP "RUN ansible-galaxy collection install $ANSIBLE_GALAXY_CLI_COLLECTION_OPTS -r requirements.yml --collections-path /usr/share/ansible/collections": error while running runtime: exit status 1

An error occured (rc=125), see output line(s) above for details.
(runner) [zaki@fedora-node ansible-ee]$ 

ん、netboxのcollectionのFQCN指定ミスりました。(netbox.netboxにすべきところをnetboxだけしか書いてなかった)

出力を見た感じ、中身は普通のイメージビルドね。あとdockerでなくpodmanが使われている。

(runner) [zaki@fedora-node ansible-ee]$ ansible-builder build --help
:
:
  --container-runtime {podman,docker}
                        Specifies which container runtime to use (default: podman)
(runner) [zaki@fedora-node ansible-ee]$ ansible-builder build 
File context/_build/requirements.yml had modifications and will be rewritten
Running command:
  podman build -f context/Containerfile -t ansible-execution-env:latest context
Complete! The build context can be found at: /home/zaki/ansible-ee/context

できた。(timeつけておけばよかった)

(runner) [zaki@fedora-node ansible-ee]$ podman image ls
REPOSITORY                       TAG                IMAGE ID      CREATED        SIZE
localhost/ansible-execution-env  latest             79a18fb0244f  5 minutes ago  800 MB
<none>                           <none>             0d9f9ebaef03  6 minutes ago  677 MB
<none>                           <none>             83aa24b33b99  7 minutes ago  729 MB
<none>                           <none>             fe014f0f9986  9 minutes ago  723 MB
quay.io/ansible/ansible-runner   stable-2.10-devel  6354f87b1cb2  7 hours ago    723 MB
quay.io/ansible/ansible-builder  latest             c38a5c4514a4  7 hours ago    630 MB

ベースが723MBでそれなりにあって、ビルド結果は800MBになってる。

イメージの中身をちょっと見てみる

(runner) [zaki@fedora-node ansible-ee]$ podman run -it --rm localhost/ansible-execution-env bash

これでコンテナのbash起動できる。(この辺りはDocker/Podmanの使い方)

ベースのディストリビューション

bash-4.4# cat /etc/redhat-release 
CentOS Linux release 8.4.2105

ディストリビューションは現状ではCentOS 8だった。 ここはたぶんディストリビューションに依存する使い方にはならないと思うので(apt系では無いくらいを覚えておけば)あまり気にしなくていいかな?

bindepの指定

bash-4.4# git --version
git version 2.27.0

入っている。

(runner) [zaki@fedora-node ~]$ podman run -it --rm quay.io/ansible/ansible-runner:stable-2.10-devel bash
bash-4.4# git --version
git version 2.27.0

と思ったけど、ベースイメージの時点で最初から入っていた。(gitをインストールする、という指定は不要かな)

後述したけどgccを入れれば、インストールされることを確認。

Pythonパッケージ

bash-4.4# pip list
Package           Version
----------------- ---------------
ansible-base      2.10.12.post0
ansible-runner    2.0.0.0a4.dev61
asn1crypto        1.2.0
Babel             2.7.0
bcrypt            3.2.0
cachetools        4.2.2
certifi           2021.5.30
cffi              1.13.2
chardet           3.0.4
cryptography      2.8
decorator         5.0.9
docutils          0.17.1
dumb-init         1.2.5
google-auth       1.33.1
gssapi            1.6.14
idna              2.8
Jinja2            2.10.3
jmespath          0.10.0
jsonpatch         1.32
jsonpointer       2.1
kubernetes        17.17.0
lockfile          0.12.2
lxml              4.4.1
MarkupSafe        1.1.1
ncclient          0.6.12
ntlm-auth         1.5.0
oauthlib          3.1.1
packaging         21.0
paramiko          2.7.2
pexpect           4.8.0
pip               21.1.3
ply               3.11
ptyprocess        0.7.0
pyasn1            0.4.8
pyasn1-modules    0.2.8
pycparser         2.19
pykerberos        1.2.1
PyNaCl            1.4.0
pyOpenSSL         19.1.0
pyparsing         2.4.7
pypsrp            0.5.0
PySocks           1.7.1
pyspnego          0.1.6
python-daemon     2.3.0
python-dateutil   2.8.2
pytz              2019.3
pywinrm           0.4.2
PyYAML            5.4.1
requests          2.22.0
requests-credssp  1.2.0
requests-ntlm     1.1.0
requests-oauthlib 1.3.0
rsa               4.7.2
setuptools        41.6.0
six               1.12.0
toml              0.10.2
urllib3           1.25.7
websocket-client  1.1.0
wheel             0.33.6
xmltodict         0.12.0

jmespathが入っている。

今回の場合の、ベースイメージとの差分はこんな感じ。

[zaki@fedora-node ~]$ diff -u <(podman run --rm quay.io/ansible/ansible-runner:stable-2.10-devel pip freeze | sort) <(podman run --rm localhost/ansible-execution-env pip freeze | sort)
--- /dev/fd/63  2021-07-22 16:57:46.000908246 +0900
+++ /dev/fd/62  2021-07-22 16:57:46.000908246 +0900
@@ -8,24 +8,33 @@
 ansible-runner @ file:///output/wheels/ansible_runner-2.0.0.0a4.dev61-py3-none-any.whl
 asn1crypto==1.2.0
 bcrypt==3.2.0
+cachetools==4.2.2
+certifi==2021.5.30
 cffi==1.13.2
 chardet==3.0.4
 cryptography==2.8
 decorator==5.0.9
 docutils==0.17.1
 dumb-init==1.2.5
+google-auth==1.33.1
 gssapi==1.6.14
 idna==2.8
+jmespath==0.10.0
+jsonpatch==1.32
+jsonpointer==2.1
+kubernetes==17.17.0
 lockfile==0.12.2
 lxml==4.4.1
 ncclient==0.6.12
 ntlm-auth==1.5.0
+oauthlib==3.1.1
 packaging==21.0
 paramiko==2.7.2
 pexpect==4.8.0
 ply==3.11
 ptyprocess==0.7.0
 pyOpenSSL==19.1.0
+pyasn1-modules==0.2.8
 pyasn1==0.4.8
 pycparser==2.19
 pykerberos==1.2.1
@@ -33,12 +42,16 @@
 pypsrp==0.5.0
 pyspnego==0.1.6
 python-daemon==2.3.0
+python-dateutil==2.8.2
 pytz==2019.3
 pywinrm==0.4.2
 requests-credssp==1.2.0
 requests-ntlm==1.1.0
+requests-oauthlib==1.3.0
 requests==2.22.0
+rsa==4.7.2
 six==1.12.0
 toml==0.10.2
 urllib3==1.25.7
+websocket-client==1.1.0
 xmltodict==0.12.0

コレクション

bash-4.4# ansible-galaxy collection list

# /usr/share/ansible/collections/ansible_collections
Collection      Version
--------------- -------
kubernetes.core 2.1.1  
netbox.netbox   3.1.1  

Ansibleバージョン

bash-4.4# ansible --version
ansible 2.10.12.post0
  config file = None
  configured module search path = ['/home/runner/.ansible/plugins/modules', '/usr/share/ansible/plugins/modules']
  ansible python module location = /usr/local/lib/python3.8/site-packages/ansible
  executable location = /usr/local/bin/ansible
  python version = 3.8.6 (default, Jan 29 2021, 17:38:16) [GCC 8.4.1 20200928 (Red Hat 8.4.1-1)]

シェル起動直下のファイル

bash-4.4# pwd
/runner
bash-4.4# ls -F
artifacts/  env/  inventory/  project/
bash-4.4# find
.
./artifacts
./env
./inventory
./project

ビルドに使われたファイル

Dockerfile相当のファイルなどは、context/Containerfileに出力される。
イメージに組み込まれたファイル類はcontext/_build/以下。

(runner) [zaki@fedora-node ansible-ee]$ find context/
context/
context/_build
context/_build/requirements.yml
context/_build/requirements.txt
context/_build/bindep.txt
context/_build/ansible.cfg
context/Containerfile

Dockerfileに相当するcontext/Containerfileの中身は以下の通り。
マルチステージビルドで3段階のビルドを行ってる。

ARG EE_BASE_IMAGE=quay.io/ansible/ansible-runner:stable-2.10-devel
ARG EE_BUILDER_IMAGE=quay.io/ansible/ansible-builder:latest

FROM $EE_BASE_IMAGE as galaxy
ARG ANSIBLE_GALAXY_CLI_COLLECTION_OPTS=
USER root

ADD _build/ansible.cfg ~/.ansible.cfg

ADD _build /build
WORKDIR /build

RUN ansible-galaxy role install -r requirements.yml --roles-path /usr/share/ansible/roles
RUN ansible-galaxy collection install $ANSIBLE_GALAXY_CLI_COLLECTION_OPTS -r requirements.yml --collections-path /usr/share/ansible/collections

FROM $EE_BUILDER_IMAGE as builder

COPY --from=galaxy /usr/share/ansible /usr/share/ansible

ADD _build/requirements.txt requirements.txt
ADD _build/bindep.txt bindep.txt
RUN ansible-builder introspect --sanitize --user-pip=requirements.txt --user-bindep=bindep.txt --write-bindep=/tmp/src/bindep.txt --write-pip=/tmp/src/requirements.txt
RUN assemble

FROM $EE_BASE_IMAGE
USER root
RUN whoami
RUN cat /etc/os-release

COPY --from=galaxy /usr/share/ansible /usr/share/ansible

COPY --from=builder /output/ /output/
RUN /output/install-from-bindep && rm -rf /output/wheels
RUN echo This is a post-install command!
RUN ls -la /etc

リビルドする場合 (bindep.txtにgcc追加)

例えばbindep.txtを更新した場合でも、再実行すればbuilderがちゃんと検知してくれる。

git
gcc

gccを追加して再実行。今度はtag指定あり。

(runner) [zaki@fedora-node ansible-ee]$ ansible-builder build -t devel:latest
File context/_build/bindep.txt had modifications and will be rewritten
Running command:
  podman build -f context/Containerfile -t devel:latest context
Complete! The build context can be found at: /home/zaki/ansible-ee/context
(runner) [zaki@fedora-node ansible-ee]$ podman image ls
REPOSITORY                       TAG                IMAGE ID      CREATED         SIZE
localhost/devel                  latest             131d82f1aa27  45 seconds ago  886 MB
<none>                           <none>             50d91977e012  2 minutes ago   783 MB
<none>                           <none>             acf4c57bb6f6  3 minutes ago   729 MB
localhost/ansible-execution-env  latest             79a18fb0244f  16 hours ago    800 MB
<none>                           <none>             0d9f9ebaef03  16 hours ago    677 MB
<none>                           <none>             83aa24b33b99  16 hours ago    729 MB
<none>                           <none>             fe014f0f9986  16 hours ago    723 MB
quay.io/ansible/ansible-runner   stable-2.10-devel  6354f87b1cb2  23 hours ago    723 MB
quay.io/ansible/ansible-builder  latest             c38a5c4514a4  23 hours ago    630 MB
(runner) [zaki@fedora-node ansible-ee]$ podman run -it --rm localhost/devel bash
bash-4.4# gcc --version
gcc (GCC) 8.4.1 20200928 (Red Hat 8.4.1-1)
Copyright (C) 2018 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

ちゃんとパッケージインストールも確認できた。
これはデフォルトでは入っていない。

(runner) [zaki@fedora-node ansible-ee]$ podman run -it --rm quay.io/ansible/ansible-runner:stable-2.10-devel bash
bash-4.4# gcc
bash: gcc: command not found

Ansible Runner

ansible-runner.readthedocs.io

ん-、こっちはGetting StartedとかQuick Startみたいな節がない。
Introduction to Ansible Runner かな?

install

ansible-runner.readthedocs.io

Runnerはインストール方法がpip installだけでなく、パッケージインストールもできる模様。 builderで作ったイメージの実行方法は環境によっていろいろ合わせられるって感じかな。

とりあえずpipで。

(runner) [zaki@fedora-node ~]$ pip install ansible-runner
Collecting ansible-runner
  Downloading ansible_runner-2.0.1-py3-none-any.whl (77 kB)
     |████████████████████████████████| 77 kB 2.6 MB/s 
Collecting python-daemon
  Downloading python_daemon-2.3.0-py2.py3-none-any.whl (35 kB)
Requirement already satisfied: pyyaml in ./python/venv/runner/lib/python3.9/site-packages (from ansible-runner) (5.4.1)
Collecting pexpect>=4.5
  Downloading pexpect-4.8.0-py2.py3-none-any.whl (59 kB)
     |████████████████████████████████| 59 kB 1.7 MB/s 
Collecting six
  Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)
Collecting ptyprocess>=0.5
  Downloading ptyprocess-0.7.0-py2.py3-none-any.whl (13 kB)
Collecting lockfile>=0.10
  Downloading lockfile-0.12.2-py2.py3-none-any.whl (13 kB)
Requirement already satisfied: setuptools in ./python/venv/runner/lib/python3.9/site-packages (from python-daemon->ansible-runner) (53.0.0)
Collecting docutils
  Downloading docutils-0.17.1-py2.py3-none-any.whl (575 kB)
     |████████████████████████████████| 575 kB 12.8 MB/s 
Installing collected packages: ptyprocess, lockfile, docutils, six, python-daemon, pexpect, ansible-runner
Successfully installed ansible-runner-2.0.1 docutils-0.17.1 lockfile-0.12.2 pexpect-4.8.0 ptyprocess-0.7.0 python-daemon-2.3.0 six-1.16.0
(runner) [zaki@fedora-node ~]$ ansible-runner --version
2.0.1

adhoc (失敗)

ansible-runner.readthedocs.io

Running Ansible adhocの項。

(runner) [zaki@fedora-node ansible-runner]$ ansible-runner adhoc localhost -m ping
usage: ansible-runner [-h] [--version] [--debug] [--logfile LOGFILE] [-b BINARY]
                      [-i IDENT] [--rotate-artifacts ROTATE_ARTIFACTS]
                      [--artifact-dir ARTIFACT_DIR] [--project-dir PROJECT_DIR]
                      [--inventory INVENTORY] [-j] [--omit-event-data]
                      [--only-failed-event-data] [-q] [-v]
                      {run,start,stop,is-alive,transmit,worker,process} ...
ansible-runner: error: argument command: invalid choice: 'adhoc' (choose from 'run', 'start', 'stop', 'is-alive', 'transmit', 'worker', 'process')

サブコマンド無かった。

(runner) [zaki@fedora-node ~]$ ansible-runner --help

[...]

subcommands:
  COMMAND PRIVATE_DATA_DIR [ARGS]

  {run,start,stop,is-alive,transmit,worker,process}
                        Command to invoke
    run                 Run ansible-runner in the foreground
    start               Start an ansible-runner process in the background
    stop                Stop an ansible-runner process that's running in the background
    is-alive            Check if a an ansible-runner process in the background is still running.
    transmit            Send a job to a remote ansible-runner process
    worker              Execute work streamed from a controlling instance
    process             Receive the output of remote ansible-runner work and distribute the results

というか、次の項の「Running Ansible ansible-playbook」のplaybookってサブコマンドも無いような…見てるドキュメントが違うとかバージョンが違うとかかな。。

ansible-runner.readthedocs.io

こっちかな?

とりあえずadhocあたりのサブコマンド周りはスキップ。

ping to localhost

ディレクトリ構造

Runner Input Directory Hierarchyを見ると、実行の基準のディレクトリから以下のディレクトリを使うようになってる模様

  • env
  • inventory
  • project

ssh_keyなんかはenv以下に置くらしい。

設定とplaybook作成

一番何もしてなさそうなplaybookをお試しで。
ディレクトリ構造ベースにファイル作成する。

以下で使ってるrunner-filesというディレクトリ名は任意 (引数で指定するだけ)

(runner) [zaki@fedora-node ~]$ find runner-files/
runner-files/
runner-files/env
runner-files/env/settings
runner-files/inventory
runner-files/project
runner-files/project/playbook.yml

分かりにくかったけど、env/settingsで実行環境としてコンテナ(podmandocker)を使う設定にないと、実行ノードのansible-playbookを探して実行しようとするため、入れていない場合はエラーになる。

(runner) [zaki@fedora-node ~]$ ansible-runner run runner-files/ -p playbook.yml 
The command was not found or was not executable: ansible-playbook.

env/settingsは最低限以下の通り。
process_isolationtrue指定し、process_isolation_executableにコンテナエンジンを指定。
container_imageに実行するAnsible Runnerのイメージ名を指定。(これがいままでのvenvに相当する)

process_isolation: true
process_isolation_executable: podman
container_image: localhost/ansible-execution-env:latest

project/playbook.ymlは以下の通り。

---
- hosts: localhost
  gather_facts: false

  tasks:
  - name: ping
    ping:

実行時のplaybookの指定は-pで、ノードOS上のplaybookのファイルパスではなく、projectディレクトリ内のファイル名を指定する。

(runner) [zaki@fedora-node ~]$ ansible-runner run runner-files/ -p playbook.yml 
[WARNING]: Unable to parse /runner/inventory/hosts as an inventory source
[WARNING]: No inventory was parsed, only implicit localhost is available
[WARNING]: provided hosts list is empty, only localhost is available. Note that
the implicit localhost does not match 'all'

PLAY [localhost] ***************************************************************

TASK [ping] ********************************************************************
ok: [localhost]

PLAY RECAP *********************************************************************
localhost                  : ok=1    changed=0    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0   

一度実行すると、artifactsディレクトリができる。

(runner) [zaki@fedora-node ~]$ ls runner-files/artifacts/
0e86e736-127b-4f31-ba87-7582fb150861  5f237ac7-eaa6-41de-9ff2-c56cb9529061
35951222-37e1-42ba-b9cd-7886a4f2e674  ba21e63e-5589-450c-85f4-cada04600d40

中を確認すると、Ansibleの実行結果やログなどが格納される。
実行後にコンテナの残骸は残らないのでここを確認すればよさそう。

(runner) [zaki@fedora-node ~]$ podman container ls -a
CONTAINER ID  IMAGE       COMMAND     CREATED     STATUS      PORTS       NAMES

-v付けてもちゃんと反応する。

(runner) [zaki@fedora-node ~]$ ansible-runner run runner-files/ -p playbook.yml -v
No config file found; using defaults
[WARNING]: Unable to parse /runner/inventory/hosts as an inventory source
[WARNING]: No inventory was parsed, only implicit localhost is available
[WARNING]: provided hosts list is empty, only localhost is available. Note that
the implicit localhost does not match 'all'

PLAY [localhost] ***************************************************************

TASK [ping] ********************************************************************
ok: [localhost] => {"changed": false, "ping": "pong"}

PLAY RECAP *********************************************************************
localhost                  : ok=1    changed=0    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0   

Ansible Runnerを実行した時のコンテナIDがディレクトリ名に使われてると思うけど、どのIDで実行されてるかが実行時にわからないな。。
ちなみに実行時のlocalhostはノードOSでなくコンテナ内。

  - name: print hostname
    debug:
      msg: "{{ lookup('pipe', 'hostname') }}"

これを実行すると、

TASK [print hostname] **********************************************************
ok: [localhost] => {
    "msg": "949bae49d041"
}

こんな感じ。

コレクション使用 + ssh接続のターゲットノード

せっかくKubernetesコレクションを入れたので、podの状態を拾うplaybookをproject/k8s.ymlに作成。

---
- hosts: k8s_cluster
  gather_facts: false

  tasks:
  - name: k8s get pods
    kubernetes.core.k8s_info:
      namespace: example
      kind: Pod

インベントリはディレクトリ構成通りinventory/hostsに作成

[k8s_cluster]
192.168.0.44

接続ユーザー

ターゲットノードへの接続情報ないのでエラーになるのはわかってるけど、ひとまずこれで実行。

(runner) [zaki@fedora-node ~]$ ansible-runner run -v runner-files/ -p k8s.yml
No config file found; using defaults

PLAY [k8s_cluster] *************************************************************

TASK [k8s get pods] ************************************************************
fatal: [192.168.0.44]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: Warning: Permanently added '192.168.0.44' (ECDSA) to the list of known hosts.\r\nroot@192.168.0.44: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).", "unreachable": true}

PLAY RECAP *********************************************************************
192.168.0.44               : ok=0    changed=0    unreachable=1    failed=0    skipped=0    rescued=0    ignored=0   

なるほど、rootユーザーで接続しようとしてる。というよりはユーザー名未指定なので、コンテナ内の実行ユーザーが使われてて、それがrootってことだと思われる。

(runner) [zaki@fedora-node ~]$ podman run -it --rm localhost/ansible-execution-env iduid=0(root) gid=0(root) groups=0(root)

ユーザー名を以下のように指定して、

[k8s_cluster]
192.168.0.44 ansible_user=zaki

まだ認証情報の設定してないのでエラーになる想定だけどユーザー名は制御できてるかの確認。

(runner) [zaki@fedora-node ~]$ ansible-runner run -v runner-files/ -p k8s.yml
No config file found; using defaults

PLAY [k8s_cluster] *************************************************************

TASK [k8s get pods] ************************************************************
fatal: [192.168.0.44]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: Warning: Permanently added '192.168.0.44' (ECDSA) to the list of known hosts.\r\nzaki@192.168.0.44: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).", "unreachable": true}

PLAY RECAP *********************************************************************
192.168.0.44               : ok=0    changed=0    unreachable=1    failed=0    skipped=0    rescued=0    ignored=0   

接続先がzaki@192.168.0.44になってる。大丈夫。

ssh秘密鍵

ベストプラクティスとは思えないけど必要な秘密鍵を配置

(runner) [zaki@fedora-node ~]$ cp .ssh/id_rsa runner-files/env/ssh_key

env/ssh_keyのドキュメントを見る限り、現バージョンではssh秘密鍵は一つしか使用できないようだけど、既に複数ファイルを使用できるような対応が進んでる模様。

実行

(runner) [zaki@fedora-node ~]$ ansible-runner run -v runner-files/ -p k8s.yml
Identity added: /runner/artifacts/d690476a-e0d3-4fcb-98ea-1924e4deeb91/ssh_key_data (/runner/artifacts/d690476a-e0d3-4fcb-98ea-1924e4deeb91/ssh_key_data)
No config file found; using defaults

PLAY [k8s_cluster] *************************************************************

TASK [k8s get pods] ************************************************************
ok: [192.168.0.44] => {"api_found": true, "changed": false, "resources": [{"apiVersion": "v1", "kind": "Pod", "metadata": {"creationTimestamp": "2021-05-16T23:36:35Z", "generateName": "sample-http-6c94f59975-", "labels": {"app": "sample-http", "pod-template-hash": "6c94f59975"}, "managedFields": [{"apiVersion": "v1", "fieldsType": "FieldsV1", "fieldsV1": { ......

動きました。 (Kubernetesモジュールはターゲットにopenshiftパッケージが必要などのモジュール特有の要件は従来通り)

Dockerの場合

指定方法は--helpで確認できる。
実行は未確認。

builder

$ ansible-builder build --container-runtime docker

runner

env/settingファイルのprocess_isolation_executabledocker指定するか、

$ ansible-runner run --process-isolation-executable docker

かな?

ざっくりまとめ

  • これからのAnsible実行環境はvevnでなくコンテナ
  • 実行環境としてのコンテナイメージがAnsible Runner
  • 今までvenvなどで作ってた自分用の実行環境はAnsible Runnerのベースイメージでビルドする
  • ビルドに使用するのがAnsible Builder

そういえばコンテナ実行になると、Docker Connectionプラグインとかちゃんと使えるのかな?dindな構成になるのかな。

あと、OSパッケージインストール周りでリポジトリ追加したい場合なんかは現状不明。

参考情報

usage-automate.hatenablog.com

ansible-builder.readthedocs.io

ansible-runner.readthedocs.io


さらばvenv
コレクションのインストールとか、venv使ったPythonのランタイム関係ファイルのみを隔離した環境って、Ansible視点だと事故起こり過ぎで好きじゃなかったのでコンテナ利用は嬉しいな。

*1:社内で話題になってる日に限って健康診断でいなかったりリアルタイムでキャッチアップできてなかったので。笑

Ansible Night Online 2021.07で「タグの継承を知らずにやらかした話」というLT登壇した振り返り

Ansible NightでLT登壇しましたので、その振り返りブログです。(1年ぶり2回目)

ansible-users.connpass.com

振り返りといっても、LTでも触れましたが、以前記事にしたものを再構築してLT登壇だったので、詳細は過去記事参照…ということで、主に資料のリンクや感想など。

資料

speakerdeck.com

内容の概要

Ansibleのタグ(に限らないけど)は、呼び出し階層のあるとこで指定すると呼び出し先に継承されるので気を付けよう、という話…というかそれを知らずに以前やらかしたのでそれについてLTしました。

今回のテーマが「やらかしAnsible / ハマったところ」だったので、以前リアルにやらかしてしまってその内容を技術観点で一度下記でまとめてはいて、「いつかこの内容で話したいなー」とは思っていたので参加してみました。

zaki-hmkc.hatenablog.com

こっちのブログはソースコードの中とか結構ディープなとこまで見てるので、ぜひチェックしてみてください。
あと、初公開のときから少しずつ追記したりもしてます。(import / includeなど)

基本はスライド最後のページの内容をチェックしつつ↑のブログを参考にしていただければ。

  • 実行されるタスクやタグを確認できるオプションを活用してください (ただしimportしたタスクが対象)
    • --list-tasks
    • --list-tags
  • 機能が継承されるのもimportしたタスク
    • 機能継承されるのはタグだけではない (when, check_mode, ignore_errorsなど…)
  • includeは機能継承されないけど実行時に動的に読み込まれるので--list-tasksなどでリストアップできない

申し込みとか準備とか

いつか話してみたいなとは思いつつ、でも「いつ話す機会が来てもいいように準備してた」わけでは全くないので、いつも通り申し込んでから準備しました。
が、ここ最近ずっといろいろ忙しくて、(他のIT勉強会にもあまり参加できなかったり、ソシャゲのログインボーナスもらう余裕もなくて)ギリギリまで参加は迷ってたけど、結局開催の3日前に申し込みました。資料作成間に合ってよかったです。。

感想とかいろいろ

自分のLTでなくて、一番最初のセッションの「モジュールがつくりやすくなったよ!Ansible Collections概要紹介 & 対応してみたベンダー体験談」ですが、

f:id:zaki-hmkc:20210722153341p:plain

去年の年末のアドベントカレンダーで書いた記事が紹介されてた…!!
目の前で自分のアウトプットを参考情報として紹介されるのは嬉しいですね。励みになりました。

qiita.com


スライドの表紙の写真、今回はなんとなく好きな風景の写真を使ってみたら、一発で場所を見破られたんだけどなぜだろうね

[YAML] 複数行テキストの行頭にインデントを設定するには (Ansible/Kubernetes)

YAMLで複数行のテキストを記述しつつ、その先頭にインデントを設定するにはどうするか。

YAMLの複数行テキスト

---
data:
  sample1-1.txt: |
    this file is sample file.
    curry tabetai!

YAML| を使って、次行から複数行のテキストを書ける。
この場合、sample1-1.txtというキーに対して、以下の2行のテキストが値になる。

this file is sample file.
curry tabetai!

インデント設定

このとき、各行に一律インデントを入れたい場合、YAMLでインデントをこのように増やしても、、

data:
  sample-indent1.txt: |
          this file is sample file.
          curry tabetai!
  #^^^^^ この部分

増やしたインデントはすべてYAMLの構造として解釈されるので、sample-indent1.txtの値はインデントの量にかかわらず、

this file is sample file.
curry tabetai!

となる。

増やしたインデントをYAMLの構造として解釈せずに、文字列値の中のスペースとして認識させるには、、
多分この「8.2.3. Block Nodes」だと思うんだけど、実は書いてあることがよくわからなかった。
プログラマーのための YAML 入門 (初級編)の「複数行の文字列」の章にも少しかかれてるけど、インデント指定のところは詳しい記述がない。

ということで、試してみた結果。

f:id:zaki-hmkc:20210717215212p:plain

|の後に数字を入力することで、キー文字列のインデント位置から何文字のスペースをYAML構造のインデントとして解釈するかを指定できる。
残りのスペースはYAMLのインデントとしては解釈されず、複数行テキスト内のスペース文字列として認識されるようになる。

この内容でConfigMapを作って、

---
apiVersion: v1
data:
  sample-indent2.txt: |4
            this file is sample file.
            curry tabetai!
kind: ConfigMap
metadata:
  name: yaml-multiline-sample

-o jsonで出力すると、この通り、各行先頭に6文字のスペースが入っていることを確認できる。

    "data": {
        "sample-indent2.txt": "      this file is sample file.\n      curry tabetai!\n",
    }

複数行表記で使用する記号の種類と効果

まずは前フリ

---
apiVersion: v1
data:
  sample1-1.txt: |
    this file is sample file.
    curry tabetai!

  sample1-2.txt: |+
    this file is sample file.
    curry tabetai!

  sample1-3.txt: |-
    this file is sample file.
    curry tabetai!

  sample2-1.txt: >
    this file is sample file.
    curry tabetai!

  sample2-2.txt: >+
    this file is sample file.
    curry tabetai!

  sample2-3.txt: >-
    this file is sample file.
    curry tabetai!

kind: ConfigMap
metadata:
  name: yaml-multiline-sample

この内容で定義したConfigMapをファイルとしてマウントすると、参照できるファイルは以下の通り。

|を使ったファイル

root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample1-1.txt 
this file is sample file.
curry tabetai!
root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample1-2.txt 
this file is sample file.
curry tabetai!

root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample1-3.txt 
this file is sample file.
curry tabetai!root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# 

>を使ったファイル

root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample2-1.txt 
this file is sample file. curry tabetai!
root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample2-2.txt 
this file is sample file. curry tabetai!

root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# cat sample2-3.txt 
this file is sample file. curry tabetai!root@configmap-app-68f8ddc68f-n4f2k:/var/tmp/configmap# 
$ kubectl get cm -n sample yaml-multiline-sample -o json
{
    "apiVersion": "v1",
    "data": {
        "sample1-1.txt": "this file is sample file.\ncurry tabetai!\n",
        "sample1-2.txt": "this file is sample file.\ncurry tabetai!\n\n",
        "sample1-3.txt": "this file is sample file.\ncurry tabetai!",
        "sample2-1.txt": "this file is sample file. curry tabetai!\n",
        "sample2-2.txt": "this file is sample file. curry tabetai!\n\n",
        "sample2-3.txt": "this file is sample file. curry tabetai!"
    },
    ...

+を指定した場合は、末尾に余計な改行が入っている。
対して-を指定した場合は、末尾に改行が無い。(そのためプロンプトが同じ行に表示される)

記号まとめ

  • 書き出し
    • |: 記述そのまま。ただし末尾に改行が複数ある場合は1つにまとめられる
    • >: 各行の末尾は改行でなくスペースに変換される
  • オプション
    • +: デフォルトの「末尾の複数改行を1つにする」機能がオフになる (書いたままになる)
    • -: 末尾の改行が削除される

ここも図にした方が分かりやすいと思うけど力尽きた()

インデント量の指定

---
apiVersion: v1
data:
  sample1-1.txt: |2
      this file is sample file.
      curry tabetai!

  sample1-2.txt: |+2
        this file is sample file.
        curry tabetai!

  sample1-3.txt: |-2
          this file is sample file.
          curry tabetai!

  sample2-1.txt: >2
      this file is sample file.
      curry tabetai!

  sample2-2.txt: >+2
        this file is sample file.
        curry tabetai!

  sample2-3.txt: >-2
          this file is sample file.
          curry tabetai!

kind: ConfigMap
metadata:
  name: yaml-multiline-sample

こうすると

    "data": {
        "sample1-1.txt": "  this file is sample file.\n  curry tabetai!\n",
        "sample1-2.txt": "    this file is sample file.\n    curry tabetai!\n\n",
        "sample1-3.txt": "      this file is sample file.\n      curry tabetai!",
        "sample2-1.txt": "  this file is sample file.\n  curry tabetai!\n",
        "sample2-2.txt": "    this file is sample file.\n    curry tabetai!\n\n",
        "sample2-3.txt": "      this file is sample file.\n      curry tabetai!"
    },

>との併用時は、>の機能である改行をスペースに変換する機能がオフになるっぽい?

Ansibleの場合は

---
- hosts: localhost
  gather_facts: false
  vars:
    data:
      sample1-1.txt: |2
          this file is sample file.
          curry tabetai!

      sample1-2.txt: |+2
            this file is sample file.
            curry tabetai!

      sample1-3.txt: |-2
              this file is sample file.
              curry tabetai!

      sample2-1.txt: >2
          this file is sample file.
          curry tabetai!

      sample2-2.txt: >+2
            this file is sample file.
            curry tabetai!

      sample2-3.txt: >-2
              this file is sample file.
              curry tabetai!

  tasks:
    - name: print data
      ansible.builtin.debug:
        msg: "{{ data }}"

このplaybookをJSON形式で出力すると

$ ANSIBLE_STDOUT_CALLBACK=json ansible-playbook yaml-multiline.yml
:
:
    "msg": {
        "sample1-1.txt": "  this file is sample file.\n  curry tabetai!\n",
        "sample1-2.txt": "    this file is sample file.\n    curry tabetai!\n\n",
        "sample1-3.txt": "      this file is sample file.\n      curry tabetai!",
        "sample2-1.txt": "  this file is sample file.\n  curry tabetai!\n",
        "sample2-2.txt": "    this file is sample file.\n    curry tabetai!\n\n",
        "sample2-3.txt": "      this file is sample file.\n      curry tabetai!"
    }

Kubernetes(のConfigMap)の場合と同じ結果になる。

[Kubernetes] MetalLBがHelmを使ったインストールに対応してたのでお試し(on kind)

任意のKubernetesクラスタでLoadBalancerタイプのServiceを使えるようにできるMetalLBが0.10.0からHelmを使ったインストールに対応してるようなので試してみた。

以前書いたMetalLBって何?的なエントリはこちら。

zaki-hmkc.hatenablog.com

環境

Helm は3.6.2

$ helm version --short
v3.6.2+gee407bd

Kubernetesクラスタはkindを使ってv1.21.1で作成。

$ kubectl get node
NAME                 STATUS   ROLES                  AGE   VERSION
july-control-plane   Ready    control-plane,master   75s   v1.21.1
july-worker          Ready    <none>                 40s   v1.21.1
july-worker2         Ready    <none>                 40s   v1.21.1

kindクラスタ自体はtype:LoadBalancer Serviceに対応してないので、デプロイしようとしてもこの通り使えない。(pendingのまま)

$ kc get pod,svc -n sample-app 
NAME                               READY   STATUS              RESTARTS   AGE
pod/sample-http-6c94f59975-7bskg   0/1     ContainerCreating   0          3s
pod/sample-http-6c94f59975-fvjcr   1/1     Running             0          3s

NAME                   TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
service/sample-http2   LoadBalancer   10.96.41.222   <pending>     80:32215/TCP   3s

MetalLBインストール with Helm

手順は公式ドキュメントの通り。
https://metallb.universe.tf/installation/#installation-with-helm

リポジトリ追加

[zaki@cloud-dev ~]$ helm repo add metallb https://metallb.github.io/metallb
"metallb" has been added to your repositories
[zaki@cloud-dev ~]$ helm repo list
NAME                    URL                                               
prometheus-community    https://prometheus-community.github.io/helm-charts
rook-release            https://charts.rook.io/release                    
stable                  https://charts.helm.sh/stable                     
grafana                 https://grafana.github.io/helm-charts             
elastic                 https://helm.elastic.co                           
metallb                 https://metallb.github.io/metallb        

チャートとデフォルト値の確認

インストールできるチャートはこんな感じ。

[zaki@cloud-dev ~]$ helm search repo metallb
NAME            CHART VERSION   APP VERSION     DESCRIPTION                                       
metallb/metallb 0.10.2          v0.10.2         A network load-balancer implementation for Kube...
stable/metallb  0.12.1          0.8.1           DEPRECATED MetalLB is a load-balancer implement...

デフォルト値は以下で確認できる。

$ helm show values metallb/metallb

SecurityContextとか微妙に違うけど、値はここの内容かな?
https://github.com/metallb/metallb/blob/main/charts/metallb/values.yaml

インストール

カスタマイズYAMLでtype:LoadBalancer Serviceに割り当てるアドレスを設定できるのでファイルを作成。
従来のConfigMapの設定だとアドレスレンジを記述するけど、HelmのカスタマイズYAMLはネットワークアドレスとマスクを記載するようになってる。(従来の書き方の可否は試してない)

ちなみにkindクラスタでLoadBalancerに使えるアドレスレンジは、docker network lsで確認できるkindって名前のDockerのブリッジネットワークのアドレスをdocker network inspect kindで確認できるので、そこから余りそうなアドレスを使うってやりかたで合ってたっぽい。

手元の環境のkindクラスタで使うDockerコンテナのアドレス設定はこんな感じ。

[zaki@cloud-dev ~]$ docker network inspect -f '{{.IPAM.Config}}' kind
[{172.19.0.0/16  172.19.0.1 map[]} {fc00:f853:ccd:e793::/64  fc00:f853:ccd:e793::1 map[]}]

これを元にkindクラスタ用のアドレス設定。

configInline:
  address-pools:
  - name: default
    protocol: layer2
    addresses:
    - 172.19.255.0/24

このファイルを指定してHelmチャートをインストール

[zaki@cloud-dev ~]$ helm install metallb metallb/metallb -f ~/local/kind/helm/values/values.yaml 
W0702 07:42:47.328620   36865 warnings.go:70] policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
W0702 07:42:47.331087   36865 warnings.go:70] policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
W0702 07:42:47.371780   36865 warnings.go:70] policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
W0702 07:42:47.372231   36865 warnings.go:70] policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
NAME: metallb
LAST DEPLOYED: Fri Jul  2 07:42:47 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
MetalLB is now running in the cluster.
LoadBalancer Services in your cluster are now available on the IPs you
defined in MetalLB's configuration:

config:
  address-pools:
  - addresses:
    - 172.19.255.0/24
    name: default
    protocol: layer2

To see IP assignments, try `kubectl get services`.

あ、defaultネームスペースにデプロイされてる。

[zaki@cloud-dev ~]$ kubectl get pod,cm -n default
NAME                                      READY   STATUS    RESTARTS   AGE
pod/metallb-controller-748756655f-b9r85   1/1     Running   0          35s
pod/metallb-speaker-mn59v                 1/1     Running   0          35s
pod/metallb-speaker-rttht                 1/1     Running   0          35s
pod/metallb-speaker-wdkqn                 1/1     Running   0          35s

NAME                         DATA   AGE
configmap/kube-root-ca.crt   1      40m
configmap/metallb            1      35s
[zaki@cloud-dev ~]$ kubectl get pod,svc -n sample-app
NAME                               READY   STATUS    RESTARTS   AGE
pod/sample-http-6c94f59975-7bskg   1/1     Running   0          84s
pod/sample-http-6c94f59975-fvjcr   1/1     Running   0          84s

NAME                   TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)        AGE
service/sample-http2   LoadBalancer   10.96.41.222   172.19.255.0   80:32215/TCP   84s

[zaki@cloud-dev ~]$ curl 172.19.255.0
<html><body><h1>It works!</h1></body></html>

動いた。

MetalLB本体をデプロイするネームスペースはdefaultでも良いのね。

カスタマイズYAML無しでインストールした場合

カスタマイズYAML無しでインストールした場合はConfigMapが作成されないので、そのままではtype:LoadBalancer Serviceは作成できないけど、あとからでもConfigMapを作成すればOK

apiVersion: v1
kind: ConfigMap
metadata:
  name: metallb
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 172.19.255.0-172.19.255.50

ただ、従来の手動でインストールした場合と、ConfigMapのリソース名が異なるので注意。(以前はconfigだったはずだけど、Helm版はmetallbになってる)


サンプルに使ったhttpサーバーのマニフェストはこれ。

github.com

[Ansible / AWS] ダイナミックインベントリを使ってEC2接続先を動的に取得してAnsible実行お試し

Ansibleのダイナミックインベントリを使ったEC2アクセスについて、以前試したような試してないような記憶がおぼろげで、メモも無かったので簡単にまとめてみた。

docs.ansible.com

必要パッケージ

$ pip install boto3 botocore

クラウド上のEC2状態

こんな感じでpublic ipありでAmazon LinuxのEC2が3台動いてる。

f:id:zaki-hmkc:20210621085524p:plain

今回はダイナミックインベントリを使って、このEC2の「IPアドレスをチェックしてインベントリに指定する」という作業を省略する方法について確認する。

アクセスキー設定

後述のインベントリファイルのパラメタにaws_access_keyaws_secret_keyはあるけど、今回はansible-playbookを実行する側に環境変数で設定。

AWS_SECRET_ACCESS_KEY=****
AWS_ACCESS_KEY_ID=****

インベントリファイル

見落としててプチハマりしたんだけど、インベントリファイル名は指定があり、aws_ec2.ymlまたはaws_ec2.yamlで終わるファイル名でなければならない。

Uses a YAML configuration file that ends with aws_ec2.(yml|yaml).

これを踏まえてインベントリのファイル名はaws_ec2.ymlや、分かりやすいようにinventory_aws_ec2.ymlなどにしておく。
プラグインamazon.awsコレクションのaws_ec2インベントリプラグインを指定する。これはamazon.awsコレクションをansible-galaxy collection install amazon.awsでインストールすれば使用できる。
(Ansibleのインストールをcoreのみでなくフルセットで入れてれば付属しているはず)

---
plugin: amazon.aws.aws_ec2

最低限動かすにはこれだけの記述と、トークン情報を環境変数で設定しておけば、

$ ansible-inventory -i inventory-aws_ec2.yml --graph
@all:
  |--@aws_ec2:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@ungrouped:
$

このようにホストグループallでEC2のホスト情報を取得できるようになる。
リージョン指定しないと全リージョンなめてる感じなのかそこそこ時間かかるので、以下のようにリージョンを特定できるなら指定しておけば速度が少し上がる。

---
plugin: amazon.aws.aws_ec2
regions:
  - ap-northeast-1

プレイブック

allまたはaws_ec2グループは使えるので、これでお試し。

---
- hosts: all
  gather_facts: false

  tasks:
    - name: ping
      ping:
$ ansible-playbook -i inventory-aws_ec2.yml --user ec2-user --private-key=~/.ssh/id_aws_terraform playbook.yml 

PLAY [all] ************************************************************************************************************

TASK [ping] ***********************************************************************************************************
[WARNING]: Platform linux on host ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com is using the discovered Python
interpreter at /usr/bin/python, but future installation of another Python interpreter could change the meaning of that
path. See https://docs.ansible.com/ansible/2.10/reference_appendices/interpreter_discovery.html for more information.
ok: [ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com]
[WARNING]: Platform linux on host ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com is using the discovered Python
interpreter at /usr/bin/python, but future installation of another Python interpreter could change the meaning of that
path. See https://docs.ansible.com/ansible/2.10/reference_appendices/interpreter_discovery.html for more information.
ok: [ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com]
[WARNING]: Platform linux on host ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com is using the discovered
Python interpreter at /usr/bin/python, but future installation of another Python interpreter could change the meaning
of that path. See https://docs.ansible.com/ansible/2.10/reference_appendices/interpreter_discovery.html for more
information.
ok: [ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com]

PLAY RECAP ************************************************************************************************************
ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com : ok=1    changed=0    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0   
ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com : ok=1    changed=0    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0   
ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com : ok=1    changed=0    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0   

(a2.10) [zaki@cloud-dev aws (master)]$ 

Pythonインタプリタのパスについての警告がでてるけど、SSHアクセスしてpingモジュールの実行に成功することを確認。

ホストグループ指定の設定

今回はタグを使ってみる。

現状

  • bastion-0
  • app
  • db

の3種のNameタグがつけられたEC2インスタンスがあるので、(各タグが設定されたEC2は1台ずつしかないので面白くないけど)タグ名を使ってホストグループ設定できるようにしてみる。

設定はkeyed_groupsでキー名にtagsとどのタグを使うかを指定する。今回はNameタグなのでtags.Nameを指定。

---
plugin: amazon.aws.aws_ec2
regions:
  - ap-northeast-1
keyed_groups:
  - key: tags.Name
$ ansible-inventory -i inventory-aws_ec2.yml --graph
@all:
  |--@_app:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |--@_bastion_0:
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |--@_db:
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@aws_ec2:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@ungrouped:
$

この通り、Nameタグを使ったグルーピングができるようになる。
グループ名は_タグ名がデフォルトだけど、prefix: tagname_とか指定すれば、prefix指定ができる。

---
plugin: amazon.aws.aws_ec2
regions:
  - ap-northeast-1
keyed_groups:
  - key: tags.Name
    prefix: tagname_

この内容であれば、

$ ansible-inventory -i inventory-aws_ec2.yml --graph
@all:
  |--@aws_ec2:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__app:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__bastion_0:
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__db:
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@ungrouped:

こんな感じ。 あ、_が余計だな。

グループのキーとして指定できる一覧がぱっと見見つからないけど、Examplesを見た感じ、アーキテクチャインスタンスタイプ、リージョンなどいろいろ指定できそう。(AZは無い?)

  - key: architecture
  - key: instance_type
  - key: placement.region
$ ansible-inventory -i inventory-aws_ec2.yml --graph
@all:
  |--@_ap_northeast_1:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@_t3_nano:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@_x86_64:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@aws_ec2:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__app:
  |  |--ec2-13-112-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__bastion_0:
  |  |--ec2-13-113-***-***.ap-northeast-1.compute.amazonaws.com
  |--@tagname__db:
  |  |--ec2-18-179-***-***.ap-northeast-1.compute.amazonaws.com
  |--@ungrouped:

環境

$ ansible --version
ansible 2.10.7
  config file = /home/zaki/.ansible.cfg
  configured module search path = ['/home/zaki/.ansible/plugins/modules', '/usr/share/ansible/plugins/modules']
  ansible python module location = /home/zaki/src/ansible-sample/venv/a2.10/lib64/python3.6/site-packages/ansible
  executable location = /home/zaki/src/ansible-sample/venv/a2.10/bin/ansible
  python version = 3.6.8 (default, Nov 16 2020, 16:55:22) [GCC 4.8.5 20150623 (Red Hat 4.8.5-44)]

まとめ

aws_ec2ダイナミックインベントリを使うことで、EC2のIPアドレスを把握してなくても予め設定しておいたタグ名などを使ってターゲットノードとしてアクセスできることを確認できた。
クラウドのコンピュートインスタンスをリソースを使い捨てにするためIPアドレスを固定せずに使用する場合、クラウドサービスのAPIを使って動的にアドレスを取得する仕組みがあるのは便利。
対象のアドレスをダイナミックインベントリを使って取得した後の認証などは従来と同じなので、SSH公開鍵認証設定などを使ってアクセスする。

[Docker Compose] cpu / memory / ログサイズの制限を指定する

元ネタはこちら。

zaki-hmkc.hatenablog.com

zaki-hmkc.hatenablog.com

元ネタではDocker(dockerコマンド)単体で制限設定を行ってましたが、同じことをDocker Compose (v3)で指定する場合はどうするかについて。

docs.docker.com

cpu / memory

deploy/resourcesで設定します。
例えばCPUは0.3、メモリは512MBであれば以下の通り。

docker runであれば--cpus 0.3 -m 512mと同等。

    deploy:
      resources:
        limits:
          cpus: '0.3'
          memory: 512m

デプロイされたコンテナをinspectすると以下のように出力される。

        "HostConfig": {
            [...]
            "Memory": 536870912,
            "NanoCpus": 300000000,

ちなみに、Composeのリソース設定のマニュアル見るまで気付かなかったけど、Kubernetesrequestsと同じようなreservationsって指定もできるみたい?(動作未確認 / K8sと同じならその起動時に指定分のリソースが無かったら起動できない、かな?)

なお、この指定はDocker Compose File v3の書式。v2だと異なります。

ログサイズ

loggingで設定します。

ログドライバにjson-fileを使用し、そのサイズを10KBに制限するには以下の通り。
json-fileで使えるオプションについてはJSON File logging driverを参照。

    logging:
      driver: json-file
      options:
        max-size: 10k

これでデプロイされたコンテナをinspectすると、以下の内容を確認できる。

        "HostConfig": {
            [...]
            "LogConfig": {
                "Type": "json-file",
                "Config": {
                    "max-size": "10k"
                }
            },

json-file以外、例えばSyslogドライバであればそれぞれのドライバのドキュメントを参照。

docs.docker.com

(参考) 全体のDocker Composeファイル

version: '3'
services:
  my-httpd:
    image: httpd
    ports:
    - 24080:80
    deploy:
      resources:
        limits:
          cpus: '0.3'
          memory: 512m
    logging:
      driver: json-file
      options:
        max-size: 10k
  client:
    image: centos:7
    command:
    - "tail"
    - "-f"
    - "/dev/null"

[Linux] GitHubに登録している公開鍵を ~/.ssh/authorized_keys に取り込む

取り込むというか単にcurlで取得できるよ、という小ネタ。

少し前からUbuntuのOSインストール時にGitHubに登録してるSSH公開鍵を設定できるようになってたりしてますが、GitHubの公開鍵は特定のURLで簡単に参照できるので、OSインストール後でも任意のタイミングで設定できます。

GitHubの公開鍵のURL

GitHubに登録した公開鍵は以下のURLでアクセスできます。

https://github.com/{GITHUB_USERNAME}.keys

私(zaki-lknr)の場合だと以下。

https://github.com/zaki-lknr.keys

authorized_keysへ公開鍵の登録

OpenSSHの場合は、公開鍵は~/.ssh/authorized_keysに保存すればOK

$ curl https://github.com/zaki-lknr.keys -o /home/zaki/.ssh/authorized_keys

すでに~/.ssh/authorized_keysに別の公開鍵が登録してある場合は↑だと上書きしてしまうので、

$ curl https://github.com/zaki-lknr.keys >> /home/zaki/.ssh/authorized_keys

などで追記します。

kickstartインストールで設定する

以前ここで公開鍵を埋め込んで実装してたけど、OSインストール直後の状態でインターネットにアクセスできるのであればkickstartインストールの%postに組み込めます。

%post
mkdir -m 700 /home/zaki/.ssh
curl https://github.com/zaki-lknr.keys -o /home/zaki/.ssh/authorized_keys
chmod 600 /home/zaki/.ssh/authorized_keys
chown -R zaki:zaki /home/zaki/.ssh
%end

こんな感じ。

(ちなみに/.sshは755でauthorized_keysは644でもリモートから公開鍵認証できるなぁ…sshd設定かな)

zaki-hmkc.hatenablog.com