GEOM | 徒然なるままに

GEOM MULTIPATH でマルチパスを構成する (2)

seichan — Fri, 15 Dec 2023 13:00:00 +0000

GEOM MULTIPATH は，ストレージ IO を複数のインターフェイスで冗長させることができるものです．

前回は「GEOM MULTIPATH でマルチパスを構成する (1)」で iSCSI ターゲットおよびイニシエーターのマルチパスに向けた設定追加を解説しました．

今回は GEOM MULTIPATH について纏めます．

GEOM に関するお話

FreeBSD で Multipath を構成する

FreeBSD で Multipath を構成する

前回，ターゲットおよびイニシエーターの設定を行い以下のとおりでディスクが見えている状態となっています．

# iscsictl -L
Target name                          Target portal    State
iqn.2023-12.iscsi.org.seichan:target0 172.16.255.254   Connected: da4 da5
iqn.2023-12.iscsi.org.seichan:target1 172.16.255.254   Connected: da3
iqn.2023-12.iscsi.org.seichan:target2 172.16.255.254   Connected: da2
iqn.2023-12.iscsi.org.seichan:target0 172.17.255.254   Connected: da7 da9
iqn.2023-12.iscsi.org.seichan:target1 172.17.255.254   Connected: da8
iqn.2023-12.iscsi.org.seichan:target2 172.17.255.254   Connected: da6

これらディスクはペア (同じデバイスを指している) の組み合わせと GEOM MULTIPATH で束ねた際の名前を表にまとめます．

GEOM MULTIPATH名	iSCSI1上のデバイス	iSCSI2上のデバイス
target0_0	da4	da7
target0_1	da5	da9
target1_0	da3	da8
target2_0	da2	da6

GEOM MULTIPATH は gmultipath というコマンドを通じて利用・管理を行います．簡単に触れますが，詳細はコマンドのオプションの詳細は FreeBSD のマニュアル「gmultipath」を見てください．

# gmultipath
usage: gmultipath create [-vAR] name prov ...
       gmultipath label [-vAR] name prov ...
       gmultipath configure [-vAPR] name
       gmultipath add [-v] name prov
       gmultipath remove [-v] name prov
       gmultipath prefer [-v] prov ...
       gmultipath fail [-v] name prov
       gmultipath restore [-v] name prov
       gmultipath rotate [-v] name
       gmultipath getactive [-v] name
       gmultipath destroy [-v] name
       gmultipath stop [-v] name
       gmultipath clear [-v] prov ...
       gmultipath help
       gmultipath list [-a] [name ...]
       gmultipath status [-ags] [name ...]
       gmultipath load [-v]
       gmultipath unload [-v]

マルチパスでディスクを束ねる

まずは毎度のことながらカーネルモジュールをロードします．

# kldload geom_multipath

# kldstat
Id Refs Address                Size Name
 1   18 0xffffffff80200000  1f3e2d0 kernel
 2    1 0xffffffff8213f000     9290 geom_gate.ko
 3    1 0xffffffff82319000     3218 intpm.ko
 4    1 0xffffffff8231d000     2180 smbus.ko
 5    1 0xffffffff82320000     7490 vmci.ko
 6    1 0xffffffff82328000     f0ac iscsi.ko
 7    1 0xffffffff82338000     589c geom_multipath.ko

また，再起動後に備えて /boot/loader.conf にも記載します．

# cat /boot/loader.conf
geom_multipath_load="YES"

gmultipath label コマンドでディスクを束ねることが可能です．オプションとして -A と -R が指定可能で，指定しない場合は -P が使用されるとマニュアルにはあります．

-A
Active / Active でアクティブなパスを全て使い IO を処理する。帯域がパスの数分ある状態。
-R
Active / Readonly で通常はアクティブなパスを用いて IO 処理を行う。アクティブパスが切れたら RO として読み取りだけ可能な状態。(これを使うケースはないのでは…)
-P
Active / Passive で通常はアクティブなパスを用いて IO 処理を行う。アクティブパスが切れたらもう一方のパスを利用して IO 処理を行う。

通常は Active / Active か Active / Passive を利用する事になると思います．da4 と da7 を Active / Active で target0_0 として束ねる場合のコマンドは次のとおりとなります。

# gmultipath label -A target0_0 da4 da7

エラーが出なければ成功しています．gmultipath list コマンドで状態を確認してみます．

# gmultipath list
Geom name: target0_0
Type: AUTOMATIC
Mode: Active/Active
UUID: 42183e3b-996f-11ee-810f-0050568da523
State: OPTIMAL
Providers:
1. Name: multipath/target0_0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   State: OPTIMAL
Consumers:
1. Name: da4
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
2. Name: da7
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE

プロバイダーが target0_0，コンシューマーが da4 と da7 であるということ，モードが Active/Active であることが確認できました．

このデバイスをフォーマットしてマウント，利用をしてみます．

# newfs /dev/multipath/target0_0
/dev/multipath/target0_0: 102400.0MB (209715192 sectors) block size 32768, fragment size 4096
        using 164 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,

# mount /dev/multipath/target0_0 /mnt

読み書きは普通にできるとして，マルチパスで Active / Active として iSCSI トラフィックが分散されているのかを確認してみたいと思います．
dd を用いて img_X.img ファイルを生成するスクリプトを実行したうえで前後の netstat の結果を見てみました．
vmx1 および vmx2 のカウンターが上がっているため，両方のインターフェイスが利用されている状態が確認できます．

# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   188843     0     0   20397284   184083     0   29538342     0
vmx1      - 172.16.255.0/ 172.16.255.1        188298     -     -   17728412   191281     -   26959584     -
vmx2   1500       00:50:56:8d:e6:8c   185433     0     0   18967600   182735     0   24141602     0
vmx2      - 172.17.255.0/ 172.17.255.1        184892     -     -   16346652   186394     -   21581828     -


# ls /mnt
.snap           img_11.img      img_15.img      img_19.img      img_22.img      img_6.img
img_0.img       img_12.img      img_16.img      img_2.img       img_3.img       img_7.img
img_1.img       img_13.img      img_17.img      img_20.img      img_4.img       img_8.img
img_10.img      img_14.img      img_18.img      img_21.img      img_5.img       img_9.img


# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   227611     0     0   22982526   187352     0  139989136     0
vmx1      - 172.16.255.0/ 172.16.255.1        227065     -     -   19770856   267128     -  137364612     -
vmx2   1500       00:50:56:8d:e6:8c   223336     0     0   21524808   186269     0  132049886     0
vmx2      - 172.17.255.0/ 172.17.255.1        222794     -     -   18373172   260514     -  129440636     -

マルチパスのモードを変更する

先ほどは Active / Active でマルチパスを構成していましたが，これを Active / Passive に変更してみます．

gmultipath configure コマンドでモードの変更が可能です．指定できるオプションは label と変わりません．

# gmultipath configure -P target0_0

# gmultipath list
Geom name: target0_0
Type: AUTOMATIC
Mode: Active/Passive
UUID: 42183e3b-996f-11ee-810f-0050568da523
State: OPTIMAL
Providers:
1. Name: multipath/target0_0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: OPTIMAL
Consumers:
1. Name: da4
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r2w2e2
   State: ACTIVE
2. Name: da7
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r2w2e2
   State: PASSIVE

この状態で改めて dd のスクリプトを実行した前後の netstat の結果を確認します．
vmx1 のカウンターが上がっているため，vmx1 (Active 側) インターフェイスが利用されている状態が確認できます．

# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   233417     0     0   23392392   189912     0  154641112     0
vmx1      - 172.16.255.0/ 172.16.255.1        232868     -     -   20099300   277873     -  151980720     -
vmx2   1500       00:50:56:8d:e6:8c   224383     0     0   21619428   187169     0  132892558     0
vmx2      - 172.17.255.0/ 172.17.255.1        223838     -     -   18452996   261812     -  130270680     -

# ls /mnt
.snap           img_12.img      img_17.img      img_21.img      img_26.img      img_30.img      img_6.img
img_0.img       img_13.img      img_18.img      img_22.img      img_27.img      img_31.img      img_7.img
img_1.img       img_14.img      img_19.img      img_23.img      img_28.img      img_32.img      img_8.img
img_10.img      img_15.img      img_2.img       img_24.img      img_29.img      img_4.img       img_9.img
img_11.img      img_16.img      img_20.img      img_25.img      img_3.img       img_5.img

# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   343298     0     0   30681114   197348     0  469842448     0
vmx1      - 172.16.255.0/ 172.16.255.1        342749     -     -   25849688   493649     -  467077952     -
vmx2   1500       00:50:56:8d:e6:8c   224464     0     0   21627366   187250     0  132900496     0
vmx2      - 172.17.255.0/ 172.17.255.1        223919     -     -   18459800   261893     -  130277484     -

マルチパスの Active / Passive を切り替える

マルチパスで Active / Passive 構成をとろうとした際，複数のデバイス毎にアクティブインターフェイスを変えたい．という場合があると思います．
そんな場合に label でデバイスの指定順番で制御する事ができますが，後ほどでもアクティブパスを変更することが可能です．

パスの変更には gmultipath prefer コマンドを利用します．gmultipath getactive コマンドと共に設定および前後の確認を行ってみます．

# gmultipath getactive target0_0
da4

# gmultipath prefer target0_0 da7

# gmultipath getactive target0_0
da7

rotate コマンド実行前は da4 がアクティブパスでした．rotate 後は da7 がアクティブパスに変更されていますので，パスが切り替わった事が確認できます．

では先ほどと同様に，dd コマンドを用いたトラフィックの状況を確認してみます．
vmx2 のカウンターが上がっているため，実際の動作としても vmx2 がアクティブに変更されている状態が確認できます．

# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   352195     0     0   31310250   200892     0  492213664     0
vmx1      - 172.16.255.0/ 172.16.255.1        351643     -     -   26354128   510042     -  489399552     -
vmx2   1500       00:50:56:8d:e6:8c   225633     0     0   21741846   188412     0  133014532     0
vmx2      - 172.17.255.0/ 172.17.255.1        225085     -     -   18557776   263055     -  130375252     -

# ls /mnt
.snap           img_13.img      img_19.img      img_24.img      img_3.img       img_4.img
img_0.img       img_14.img      img_2.img       img_25.img      img_30.img      img_5.img
img_1.img       img_15.img      img_20.img      img_26.img      img_31.img      img_6.img
img_10.img      img_16.img      img_21.img      img_27.img      img_32.img      img_7.img
img_11.img      img_17.img      img_22.img      img_28.img      img_33.img      img_8.img
img_12.img      img_18.img      img_23.img      img_29.img      img_34.img      img_9.img

# netstat -i -b -n
Name    Mtu Network       Address              Ipkts Ierrs Idrop     Ibytes    Opkts Oerrs     Obytes  Coll
vmx1   1500       00:50:56:8d:e4:3c   352262     0     0   31316970   200964     0  492220720     0
vmx1      - 172.16.255.0/ 172.16.255.1        351709     -     -   26359864   510114     -  489405600     -
vmx2   1500       00:50:56:8d:e6:8c   343203     0     0   29539716   196342     0  470304936     0
vmx2      - 172.17.255.0/ 172.17.255.1        342654     -     -   24709620   493956     -  467554636     -

prefer は明示的にアクティブにするパス(デバイス) を指定しましたが，二つのパスの場合は gmultipath rotate でも十分に利用可能です．

# gmultipath rotate target0_0

# gmultipath getactive target0_0
da4

マルチパスを停止する

マルチパスを停止したい場合 gmultipath destroy コマンドを利用してマルチパスの解除，メタデータの削除ができます．

# gmultipath destroy target0_0

# gmultipath status
               Name   Status  Components
multipath/target1_0  OPTIMAL  da2 (ACTIVE)
                              da7 (ACTIVE)
multipath/target2_0  OPTIMAL  da3 (ACTIVE)
                              da5 (ACTIVE)
multipath/target0_1  OPTIMAL  da6 (ACTIVE)
                              da9 (ACTIVE)

他にも，一時的なパスの停止なども gmultipath コマンドで実施可能ですが，フェイルオーバーしてくれますし明示的にやるケースは少ないと思いますので紹介からは省いています．

以上 GEOM MULTIPATH の解説でした．

GEOM MULTIPATH でマルチパスを構成する (1)

seichan — Thu, 14 Dec 2023 13:00:00 +0000

GEOM MULTIPATH は，ストレージ IO を複数のインターフェイスで冗長させることができるものです．

iSCSI 環境を用いて，GEOM MULTIPATH によるマルチパスアクセスを構成してみます．
長くなるので，今回は iSCSI ターゲット / イニシエーターのマルチパスに向けた設定を解説し，GEOM MULTIPATH については次回に纏めます．

GEOM に関するお話

FreeBSD で Multipath なターゲットを設定する
1. 設定の再読み込み
FreeBSD で Multipath なイニシエーターを設定する

FreeBSD で Multipath なターゲットを設定する

先日の iSCSI ターゲット/イニシエーターは iSCSI 用ネットワークが一つでしたが，二つの iSCSI ネットワークの構成にアップグレードしていきます．
イメージとしてはこのようになります．

まずは，ターゲット (サーバー) 側でマルチパスに向けた設定に修正していきます．
修正と言ってもそんなに多くありません．やったこととしては，172.16.255.0/24 が元々あったネットワークです．これに 172.17.255.0/24 のネットワークを足した形となります．
各 auth-group および portal-group に 172.17.255.x を足しました．

ctl.conf の詳細については「FreeBSD で iSCSI を利用する (サーバー/ターゲット編)」を参照ください．

# cat /etc/ctl.conf
auth-group ag0 {
  chap-mutual "iscsi-user1" "Password-user1" "mutual-user" "Password-mutual"
  initiator-portal 172.16.255.0/24
  initiator-portal 172.17.255.0/24
}

auth-group ag1 {
  chap "iscsi-user2" "Password-user2"
  initiator-portal 172.16.255.1/24
  initiator-portal 172.17.255.1/24
}

auth-group ag2 {
  auth-type none
  initiator-portal 172.16.255.1/24
  initiator-portal 172.17.255.1/24
}


portal-group pg0 {
  discovery-auth-group no-authentication
  listen 172.16.255.254:3260
  listen 172.17.255.254:3260
}

target iqn.2023-12.iscsi.org.seichan:target0 {
  alias "target0"
  auth-group ag0
  portal-group pg0
  lun 0 {
    path /dev/da1
    option vendor "FreeBSD"
  }
  lun 1 {
    path /mnt/lun1.img
    option vendor "FreeBSD"
    blocksize 4096
    size 10G
  }
}

target iqn.2023-12.iscsi.org.seichan:target1 {
  alias "target1"
  auth-group ag1
  portal-group pg0
  lun 2 {
    path /mnt/lun2.img
    option vendor "FreeBSD"
    blocksize 4096
    size 10G
  }
}

target iqn.2023-12.iscsi.org.seichan:target2 {
  alias "target2"
  auth-group ag2
  portal-group pg0
  lun 3 {
    path /mnt/lun3.img
    option vendor "FreeBSD"
    blocksize 4096
    size 10G
  }
}

設定の再読み込み

次のコマンドでサービスに新しい設定を通知します．

# /etc/rc.d/ctld reload

以上でターゲット側は完了です．続いてイニシエーター側になります．

FreeBSD で Multipath なイニシエーターを設定する

イニシエーター側のマルチパスに向けた準備も大きな変更はありません．

以下が元々の設定ファイルになります．これを修正していきます．
設定ファイルの詳細については「FreeBSD で iSCSI を利用する (クライアント/イニシエーター編)」を参照してください．

# cat /etc/iscsi.conf
iscsi_target0 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target0;
  authmethod = chap;
  chapiname = "iscsi-user1";
  chapsecret = "Password-user1";
  tgtchapname = "mutual-user";
  tgtchapsecret = "Password-mutual";
}

iscsi_target1 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target1;
  authmethod = chap;
  chapiname = "iscsi-user2";
  chapsecret = "Password-user2";
}

iscsi_target2 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target2;
  authmethod = none;
}

どういう名前付けが良いのか悩みましたが，これが一番分かりやすそうだったのでこうしました．
各設定を 172.16.255 と 172.17.255 分増やした形となります．iscsi_target0_0 と iscsi_target_0_1 の違いはこのニックネームの部分と targetaddress のみとなります．
これをマルチパスを構成するデバイス分増やしていった形となります．

# cat /etc/iscsi.conf
iscsi_target0_0 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target0;
  authmethod = chap;
  chapiname = "iscsi-user1";
  chapsecret = "Password-user1";
  tgtchapname = "mutual-user";
  tgtchapsecret = "Password-mutual";
}

iscsi_target0_1 {
  targetaddress = 172.17.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target0;
  authmethod = chap;
  chapiname = "iscsi-user1";
  chapsecret = "Password-user1";
  tgtchapname = "mutual-user";
  tgtchapsecret = "Password-mutual";
}


iscsi_target1_0 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target1;
  authmethod = chap;
  chapiname = "iscsi-user2";
  chapsecret = "Password-user2";
}

iscsi_target1_1 {
  targetaddress = 172.17.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target1;
  authmethod = chap;
  chapiname = "iscsi-user2";
  chapsecret = "Password-user2";
}

iscsi_target2_0 {
  targetaddress = 172.16.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target2;
  authmethod = none;
}

iscsi_target2_1 {
  targetaddress = 172.17.255.254;
  targetname = iqn.2023-12.iscsi.org.seichan:target2;
  authmethod = none;
}

設定ファイルの修正が終わったら iscsictl を再起動します．本来は手動で追加するか，再起動を入れたほうがいいかもしれません．
サービスの再起動時，デバイスをマウントしていない事を確認してください．

# /etc/rc.d/iscsictl restart
iscsictl not running?
Starting iscsictl.
iscsictl: ISCSISADD: Device busy
iscsictl: ISCSISADD: Device busy
iscsictl: ISCSISADD: Device busy
/etc/rc.d/iscsictl: WARNING: failed to start iscsictl

# iscsictl -L
Target name                          Target portal    State
iqn.2023-12.iscsi.org.seichan:target0 172.16.255.254   Connected: da4 da5
iqn.2023-12.iscsi.org.seichan:target1 172.16.255.254   Connected: da3
iqn.2023-12.iscsi.org.seichan:target2 172.16.255.254   Connected: da2
iqn.2023-12.iscsi.org.seichan:target0 172.17.255.254   Connected: da7 da9
iqn.2023-12.iscsi.org.seichan:target1 172.17.255.254   Connected: da8
iqn.2023-12.iscsi.org.seichan:target2 172.17.255.254   Connected: da6

エラーが出ちゃってますが，iscsictl -L で見ると二つのネットワークから接続できている事が確認できました．
これで GEOM MULTIPATH で束ねる準備ができました．

GEOM PART でディスクパーティションの管理を行う

seichan — Wed, 13 Dec 2023 13:00:00 +0000

今回は GEOM PART によるディスクのパーティション管理について解説します．
今まで，パーティションを作成せずに newfs してマウントを行っていました．このようにパーティション自体は必須ではありません．
用途に応じて分割したい．だったり，複数のディスクの容量をパーティション単位で合わせたい．などだったりの際にパーティションによる管理を行います．

GEOM に関するお話

パーティションとは
1. パーティションの種別
  1. MBR
  2. GPT
gpart によるパーティションの管理
1. パーティションスキームを作成する
  1. MBR パーティションを作成する
  2. GPT パーティションを作成する
パーティションを作成する
パーティションの修正を行う
パーティション・スキームを削除する
1. パーティションを削除する
2. スキームを削除する

パーティションとは

そもそも，コンピューターにおけるパーティションとは何か．を簡単に説明します．

現実世界でも部屋の空間を仕切る為にパーティションを用いる事があると思います．これをコンピューター (ディスク) の世界で実現するものがパーティションです．

一つのディスクでパーティションが無い場合，OS 領域とデータ領域が混ざった状態になり，データが肥大してディスクが枯渇，OS に影響を及ぼす事があります．
これを，パーティションを OS 用データ用で分割して利用した場合，データ用が枯渇するのみで OS 用はまだ空きがある為システムとしての影響は最小化する事ができます．
パーティションの分割はこのようなイメージになります．

パーティションの種別

パーティションには大きく二つあります．(細かくはもっとあります) ここでは主要な二つのパーティションについて解説します

MBR

Master Boot Record の略称で 1983年より利用されている古いパーティションタイプになります．
ドライブの一番最初のセクターを MBR というのですが，これを含めてパーティションタイプとして呼ばれています．

MBR パーティションの構成はこのような形となり，基本パーティションとしては4つです．4つ目が拡張パーティションとして作成されるケースが多く，さらにこの中にパーティションを作成する事が可能です．

MBR パーティションには次のような特徴があります

パーティションの作成できる数に制限がある
- 基本パーティションは4つまでしか作る事ができない
OS の起動は基本パーティションからのみ実施可能
- 拡張パーティションからの起動はできない
MBR で扱えるディスクサイズは 2TB まで
- 2TB を超えるディスクを利用する場合は GPT にする必要がある
古くから利用されているため，様々な OS (昔の OS から今の OS) でサポートされている

2TB 未満のディスクにおいてはいまでも MBR は現役で利用されます．例えば USB メモリーや SD カードなどは MBR での利用が多いのではないでしょうか．

GPT

GUID Partition Table の略称です．ディスクが大容量化してきた事でパーティション自体も 2TB を超えるものが望まれてきており，新しい規格として登場しました．
GPT 自体はインテルが提唱した EFI 標準の一部となります．
現在の有効な (アクティブな・サポートされている) 利用されている OS は GPT を扱う事ができます．

GPT の構成はこのようになっています．

もう少し説明します．

保護MBR
一番先頭にあるセクターが MBR として構成してあり，MBR しか扱えないシステムに繋いだとしても破損を防ぐ目的で利用されます．
ここのレコードには，ディスク全体が一つのパーティションである旨の情報が記載されており，MBR しか利用できないシステムからは1つの大きなパーティションとして見えます．
プライマリー GPT ヘッダー
プライマリー GPT ヘッダーは，パーティションエントリーの場所，パーティションテーブル情報，サイズ情報及びチェックサムが記録されます．
パーティションエントリー
パーティションエントリーには，パーティションの種別を表す情報，パーティションの開始と終了のアドレスが記録されます．
GPT の仕様としては無制限に作成可能なのですが，OS によって制限があります．例えば Windows だと 128 個の制限があります．
バックアップパーティションエントリー
パーティションエントリーのバックアップです．先頭にあるパーティションエントリーが破損した場合に個々のエントリーで復元を試みます．
バックアップ GPT ヘッダー
GPT ヘッダーのバックアップです．先頭にあるパーティションエントリーが破損した場合に個々のエントリーで復元を試みます．

GPT パーティションには次のような特徴があります．

パーティションの作成できる数に制限はない
- OS による制限はあるので，そこは確認が必要
2TB 以上のパーティションを作成できる
- 仕様上一つのパーティションで作成できる最大は 8ZB
- OS により制限があり，Windows は 18EB となる
古い OS では利用ができない
- 互換性の観点で大きな空のパーティションに見える状態となり，破壊されるわけではない

gpart によるパーティションの管理

パーティションの説明が終わった所で，gpart によるパーティションの管理 (作成・修正・削除など) の説明に移ります．

パーティションスキームを作成する

MBR なのか GPT なのか，一番最初に決めて作成する必要があります．このパーティションスキームを作成する為のコマンドが gpart create になります．

MBR パーティションを作成する

MBR のパーティションを作成する場合，次のコマンドを実行します．
-s mbr で MBR パーティションを作成する．という事になり，作成するデバイスを引数に渡します．

# gpart create -s mbr da2
da2 created

エラーが無く，created が表示されたら成功です．実際にどのように出来ているのかは gpart list コマンドで確認が可能です．

# gpart list da2
Geom name: da2
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621439
first: 63
entries: 4
scheme: MBR
Consumers:
1. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0

scheme が MBR である事が確認できます．

GPT パーティションを作成する

コマンドは MBR と同様になり，スキームの指定が変わり，-s gpt を指定します．

# gpart create -s gpt da3
da3 created

エラーが無く，created が表示されたら成功です．実際にどのように出来ているのかは gpart list コマンドで確認が可能です．

# gpart list da3
Geom name: da3
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621434
first: 6
entries: 128
scheme: GPT
Consumers:
1. Name: da3
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0

パーティションを作成する

実際のパーティションを作成していきます．MBR / GPT 問わず基本的には変わりません．

以下の二つの例は MBR と GPT のディスクにおいてそれぞれ 5GB のパーティションを作成しています．gpart add がパーティションを作成するコマンドで，続いてパーティションの種別を指定しています．

da2 で指定しているのは freebsd となります．これは da2 が MBR で作成しているためとなります．
da3 では freebsd-ufs と指定しています．これは GPT で作成しているためこの指定が使えます．
freebsd-xxx 以外にも指定する事ができます．例えば，fat16 や fat32 なども指定できます．

-s はパーティションの容量です．M/G などの単位を含めた指定が可能です．

# gpart add -t freebsd -s 5G da2
da2s1 added

# gpart add -t freebsd-ufs -s 5G da3
da3p1 added

また，パーティションにラベル名を付与する事も可能です．残量を全て割り当てるため -s は除外しています．
-l でラベルを付与する事ができます．そして，MBR のパーティションにはラベルが付与できません．GPT へは付与ができます．その為 da2 はエラーとなっています．

# gpart add -t freebsd -l da2_2nd da2
gpart: Invalid argument

# gpart add -t freebsd-ufs -l da3_2nd da3
da3p2 added

ラベルが付与された da3 の状態を表示してみます．
da3p1 の label は null になっており，da3p2 の label が da3_2nd となっています．

# gpart list da3
Geom name: da3
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621434
first: 6
entries: 128
scheme: GPT
Providers:
1. Name: da3p1
   Mediasize: 5368709120 (5.0G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0
   efimedia: HD(1,GPT,de8403ac-981d-11ee-967a-0050568da523,0x8,0x140000)
   rawuuid: de8403ac-981d-11ee-967a-0050568da523
   rawtype: 516e7cb6-6ecf-11d6-8ff8-00022d09712b
   label: (null)
   length: 5368709120
   offset: 32768
   type: freebsd-ufs
   index: 1
   end: 1310727
   start: 8
2. Name: da3p2
   Mediasize: 5368643584 (5.0G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0
   efimedia: HD(2,GPT,bd0487eb-981f-11ee-967a-0050568da523,0x140008,0x13fff0)
   rawuuid: bd0487eb-981f-11ee-967a-0050568da523
   rawtype: 516e7cb6-6ecf-11d6-8ff8-00022d09712b
   label: da3_2nd
   length: 5368643584
   offset: 5368741888
   type: freebsd-ufs
   index: 2
   end: 2621431
   start: 1310728
Consumers:
1. Name: da3
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0

ラベルを付与した場合はラベルでのアクセスが可能です．newfs も mount もラベルに対して行う事が可能です．
従って，デバイスの順番が変わったとしてもラベルを用いたパス指定であれば変更の必要がありません．

# ls -l /dev/gpt
total 0
crw-r-----  1 root  operator  0x6f Dec 11 21:20 da3_2nd

# newfs /dev/gpt/da3_2nd
/dev/gpt/da3_2nd: 5119.9MB (10485632 sectors) block size 32768, fragment size 4096
        using 9 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776

# mount /dev/gpt/da3_2nd /mnt

パーティションの修正を行う

パーティション情報の修正も gpart で行う事が可能です．

容量を変更する (増やす)

今までの流れで da2 は二つ目のパーティション作成に失敗しており，容量が余っている状態です．ですので，一つ目のパーティションを拡張してみたいと思います．
パーティションのサイズ変更を行う場合は gpart resize を利用します．

オプションの -i はインデックスになります．何番目のパーティションを操作するかを指定します．今回サイズは指定していないためすべての領域を一つ目のパーティションに割り当てた事になります．

# gpart resize -i 1 da2
da2s1 resized

da2 の状態を見てみましょう．
da2s1 の容量が 10G となっており，すべての容量が割り当てられたことが確認できます．

# gpart list /dev/da2
Geom name: da2
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621439
first: 63
entries: 4
scheme: MBR
Providers:
1. Name: da2s1
   Mediasize: 10737156096 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0
   efimedia: HD(1,MBR,00000000,0x40,0x27ffc0)
   rawtype: 165
   length: 10737156096
   offset: 262144
   type: freebsd
   index: 1
   end: 2621439
   start: 64
Consumers:
1. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0

容量を変更する (減らす)

パーティションの容量を減らすことも可能です．
先ほど増やした da2 の容量をもとに戻す (5G) とした場合はこのようになります．
ただし，ファイルシステムの拡張はできても，縮小はできないため中のデータは無くなる前提になるのを理解してください．

# gpart resize -i 1 -s 5G da2
da2s1 resized

# gpart list /dev/da2
Geom name: da2
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621439
first: 63
entries: 4
scheme: MBR
Providers:
1. Name: da2s1
   Mediasize: 5368709120 (5.0G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0
   efimedia: HD(1,MBR,00000000,0x40,0x140000)
   rawtype: 165
   length: 5368709120
   offset: 262144
   type: freebsd
   index: 1
   end: 1310783
   start: 64
Consumers:
1. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0

ラベルを付ける・修正する

パーティションへのラベル付けができる旨説明をしました．後からラベルの付与，変更が可能ですのでその方法を紹介します．

da3p1 はラベルを付けずにパーティションを作成しましたので，これにラベルを付与したいと思います．
このような修正は gpart modify コマンドで実施します．

# gpart modify -i 1 -l da3_1st da3
da3p1 modified

パーティションタイプを変更する

パーティションタイプを付けた後，変えたい．という場合にも gpart modify で変更が可能です．

# gpart modify -i 1 -t freebsd-zfs da3
da3p1 modified

ラベルを付け，パーティションタイプを変更した da3s1 の結果は次のとおりとなります．

# gpart list da3
Geom name: da3
modified: false
state: OK
fwheads: 255
fwsectors: 63
last: 2621434
first: 6
entries: 128
scheme: GPT
Providers:
1. Name: da3p1
   Mediasize: 5368709120 (5.0G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r0w0e0
   efimedia: HD(1,GPT,de8403ac-981d-11ee-967a-0050568da523,0x8,0x140000)
   rawuuid: de8403ac-981d-11ee-967a-0050568da523
   rawtype: 516e7cba-6ecf-11d6-8ff8-00022d09712b
   label: da3_1st
   length: 5368709120
   offset: 32768
   type: freebsd-zfs
   index: 1
   end: 1310727
   start: 8

パーティション・スキームを削除する

スキーム，パーティションを削除する事も gpart で行うことができます．

パーティションを削除する

間違って作成した．最初から作り直したい．などなどの理由でパーティションを削除したい場合は gpart delete で可能です．
da3p2 を削除してみます．

# gpart delete -i 2 da3
da3p2 deleted

gpart list ではなく，gpart show で結果を見てみます．

# gpart show da3
=>      6  2621429  da3  GPT  (10G)
        6        2       - free -  (8.0K)
        8  1310720    1  freebsd-zfs  (5.0G)
  1310728  1310707       - free -  (5.0G)

スキームを削除する

スキーム情報を削除する場合は gpart destroy コマンドを利用します．
da3 を例にパーティションが残っている状態で実行してみます．

# gpart destroy da3
gpart: Device busy

このように Device busy のエラーとなります．
パーティションを全て削除してから再度実行すると次のとおりスキームの削除まで完了できます．

# gpart delete -i 1 da3
da3p1 deleted

# gpart destroy da3
da3 destroyed

以上で GEOM PART についての説明を終わりたいと思います．

GEOM LABEL で名前による管理を行う

seichan — Tue, 12 Dec 2023 13:00:00 +0000

今回は GEOM によるデバイスへのラベル付けが可能になる GEOM LABEL について纏めてみたいと思います．
ラベル (名前付け) による管理を用いる事で人間が分かりやすくなる．また，デバイス番号が変わった際にも気にする必要がなくなるというメリットがあります．
例えば，デバイスが追加されたおかげで元々のデバイス番号順が変わってしまった場合，/etc/fstab の修正が必要になったりしますが，これらもラベルを用いた設定にしておく事で修正が必要ない環境にする事ができます．

GEOM に関するお話

ラベル名での管理の利点
1. ラベル管理を行わない場合のデメリット
ラベルの種類
ラベルを付ける (glabel)
1. ラベルを用いてマウントを行う
GEOM LABEL を管理する
ラベルを削除する (stop/destroy)
1. ラベルを再開する (refresh)
ラベルを削除する (clear)

ラベル名での管理の利点

前書きでも書きましたが，ラベル名による管理のメリットについて以下記載します．

ラベルは，デバイス名やパーティション名に名前を付け，マウント時にラベル名を指定したマウントが出来るようになり，デバイス名を意識しなくてもよくなります．自分や自分の環境がそうなのですが，ディスクが何個もあり，RAID を構成するために同じ型番のディスクを何個も接続していたりします．さらに，ディスクを増やしたり減らしたり．なんて事があります．こうなると増減のタイミング等でデバイス名が変わる事になりますので，デバイス名での管理だと難しくなってしまいます．

こういったシチュエーションであらかじめラベルとしてディスクに名前を付けてあげれば，以降はラベル名での管理になるのでディスクにラベル名を印刷したテプラを貼っておくことで何かあった際のデバイス特定も容易になります．

こういった，デバイス名(番号)の管理から名前での管理に切り替えて少し運用負荷の軽減を狙ってみてはいかがでしょうか．

ラベル管理を行わない場合のデメリット

ラベルによる管理を行わない場合，デバイス番号が変わる事による弊害が生じる．は先に説明した通りです．例として，前回用意した iSCSI イニシエーターのマシンのローカルディスクを1つ増やしたケースでお話します．

元々左のような構成になっている環境に，イニシエーター側にディスクを一つ追加した場合となります．

左の時点ではこのような状態になっています．

# iscsictl -L
Target name                          Target portal    State
iqn.2023-12.iscsi.org.seichan:target0 172.16.255.254   Connected: da2 da4
iqn.2023-12.iscsi.org.seichan:target1 172.16.255.254   Connected: da3
iqn.2023-12.iscsi.org.seichan:target2 172.16.255.254   Connected: da1

# cat /etc/fstab
# Device        Mountpoint      FStype  Options Dump    Pass#
/dev/da0p2      /               ufs     rw      1       1
/dev/da0p3      none            swap    sw      0       0
/dev/da1        /iscsi/da1      ufs     rw,late 1       0

# camcontrol devlist
   at scbus0 target 0 lun 0 (pass0,cd0)
          at scbus2 target 0 lun 0 (pass1,da0)
             at scbus3 target 0 lun 3 (da1,pass2)
             at scbus4 target 0 lun 0 (da2,pass3)
             at scbus4 target 0 lun 1 (da4,pass5)
             at scbus5 target 0 lun 2 (da3,pass4)

このマシンにオンラインのまま1つディスクを追加してみます．
そうすると，daX は最後の番号にインクリメントされて生成されます．今回は da5 として認識しました．

pvscsi0: MSG: device addition at scsi0:1:0
da5 at pvscsi0 bus 0 scbus2 target 1 lun 0
da5:  Fixed Direct Access SPC-4 SCSI device
da5: 750.000MB/s transfers
da5: Command Queueing enabled
da5: 102400MB (209715200 512 byte sectors)
da5: quirks=0x140

# camcontrol devlist
   at scbus0 target 0 lun 0 (pass0,cd0)
          at scbus2 target 0 lun 0 (pass1,da0)
          at scbus2 target 1 lun 0 (da5,pass6)
             at scbus3 target 0 lun 3 (da1,pass2)
             at scbus4 target 0 lun 0 (da2,pass3)
             at scbus4 target 0 lun 1 (da4,pass5)
             at scbus5 target 0 lun 2 (da3,pass4)

この状態で再起動を行ってみるとどうなるか見てみましょう．

「/dev/da1: invalied fstype」というエラーが発生しました．一度 fstab の該当行をコメントアウトして起動，状態を見てみましょう．

# iscsictl -L
Target name                          Target portal    State
iqn.2023-12.iscsi.org.seichan:target0 172.16.255.254   Connected: da4 da5
iqn.2023-12.iscsi.org.seichan:target1 172.16.255.254   Connected: da3
iqn.2023-12.iscsi.org.seichan:target2 172.16.255.254   Connected: da2

# camcontrol devlist
   at scbus0 target 0 lun 0 (pass0,cd0)
          at scbus2 target 0 lun 0 (pass1,da0)
          at scbus2 target 1 lun 0 (pass2,da1)
             at scbus3 target 0 lun 3 (da2,pass3)
             at scbus4 target 0 lun 2 (da3,pass4)
             at scbus5 target 0 lun 0 (da4,pass5)
             at scbus5 target 0 lun 1 (da5,pass6)

元々 iSCSI デバイスとして見えていた da1 が da2 に変更になっています．
そして，追加したディスクが da5 から da1 に変更になりました．

デバイス名での管理を行っている場合，こういった番号が変更になってしまう事があり，それに伴い意図しない不具合・障害が発生する事になります．

ラベルの種類

GEOM LABEL クラスではいくつかのラベルの種類があります．正確にはファイルシステム毎にラベル機構が用意されています．また，これらのファイルシステムに依存せずにラベルを管理する方法もあります．

ファイルシステムで用意されているもので FreeBSD でよくつかわれそうなものとして以下が挙げられます．各ファイルシステム毎のディレクトリ以下にラベル名のデバイスファイルが生成されます．

UFS1/UFS2 のボリューム名 (/dev/ufs)
UFS1/UFS2 のファイルシステムID (/dev/ufsid)
FAT12/16/32 等の MSDOSFS (/dev/msdosfs)
CD-ROM 等の ISO9660 (/dev/iso9660)
NTFS (/dev/ntfs)

また，GPT パーティションではパーティション単位でもラベルを付与出来ます．

GPT ラベル (/dev/gpt)
GPT UUID (/dev/gptid)

ラベルを付ける (glabel)

glabel はファイルシステムに依存せずにラベルを管理する事が出来ます．ファイルシステムでラベルが用意されていない場合や複数のファイルシステムを扱うため，統一的に管理したい．なんていう場合に有用だと思います．

ラベルを付けるには，下のように glabel label [ラベル名] [デバイス名] という引数で実行します．
サブコマンドが label ではなく create の場合，ディスクにラベル名が書かれませんので再起動時にクリアされてしまいます．試験等の一時的なラベル付与等の場合は create を使いますが，恒久的にラベルを使いたい場合は label サブコマンドを指定してください．

# glabel label iscsi-lun3 /dev/da2

ラベルが設定されれば，以下のように status で確認することが出来ます．この例では今回設定したものだけ表示させています．

# glabel status
                                      Name  Status  Components
                    ufsid/6575ba6a5bc67fd7     N/A  da2
                  diskid/DISK-MYSERIAL0003     N/A  da2
                          label/iscsi-lun3     N/A  da2

また，glabel の場合は /dev/label 以下にデバイスファイルが生成されていますので，こちらでも確認が可能です．

# ls -l /dev/label
total 0
crw-r-----  1 root  operator  0x71 Dec 11 10:30 iscsi-lun3

ラベルを用いてマウントを行う

作成したラベルを用いたマウントを試行してみます．

# mount /dev/label/iscsi-lun3 /iscsi/da1

# df
Filesystem            1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2             19279260 3141160 14595760    18%    /
devfs                         1       1        0   100%    /dev
/dev/label/iscsi-lun3  10144028       8  9332500     0%    /iscsi/da1

ラベル名によるデバイスの指定が無事出来ましたので，これを再起動後も動作するように /etc/fstab に反映します．

# cat /etc/fstab
# Device        Mountpoint      FStype  Options Dump    Pass#
/dev/da0p2      /               ufs     rw      1       1
/dev/da0p3      none            swap    sw      0       0
/dev/label/iscsi-lun3 /iscsi/da1 ufs    rw,late 1       0

再起動後もこの状態で起動するのかを確認します．

正常に起動しました．また，マウントの状況も以下のとおり正常に行われています．

GEOM LABEL を管理する

glabel のオプション群について以下纏めていきます．
実際のオペレーションとしては glabel 単体よりも，gpart を使って．が多いかもしれませんが，自身の備忘録も兼ねて．

ラベルを付ける

上でも書きましたが，ラベルを付与するには glabel label [ラベル名] [デバイス名] という引数で実行します．
glabel create [ラベル名] [デバイス名] でも付与は可能ですが一時的なものとなります．
指定できるデバイス名は RW なデバイス (HDD,SSD 等) になります．

以下，未使用の da1 (ローカルディスク) でコマンドを実行，結果を見ていく形とします．

# glabel label local-hdd1 da1

ラベルの状態を確認する (status)

ラベルの状況を確認するコマンドとして status と list があります．status がサマリーで，list が詳細です．
status に渡せるものとしてデバイス名を渡すことができ，その場合はそのデバイスの情報だけが出力されます．

# glabel status
                                      Name  Status  Components
gptid/e49c97b1-8d16-11ee-ad0a-0050568da523     N/A  da0p1
                          label/iscsi-lun3     N/A  da2
                  diskid/DISK-MYSERIAL0002     N/A  da3
                    ufsid/6572f98e0f76158d     N/A  da4
                  diskid/DISK-MYSERIAL0000     N/A  da4
                  diskid/DISK-MYSERIAL0001     N/A  da5
                          label/local-hdd1     N/A  da1

# glabel status da1
            Name  Status  Components
label/local-hdd1     N/A  da1

ラベルの状態を確認する (list)

ラベルの状況を確認するコマンドとして status と list があります．status がサマリーで，list が詳細です．
list の場合はデバイスの容量やパーティション情報などのディスクの詳細も合わせて表示されます．

以下 list の結果ですが，長くなるのでローカルディスクとマウントしている iSCSI ボリュームのみ掲載しています．

# glabel list
Geom name: da0p1
Providers:
1. Name: gptid/e49c97b1-8d16-11ee-ad0a-0050568da523
   Mediasize: 524288 (512K)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 20480
   Mode: r0w0e0
   secoffset: 0
   offset: 0
   seclength: 1024
   length: 524288
   index: 0
Consumers:
1. Name: da0p1
   Mediasize: 524288 (512K)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 20480
   Mode: r0w0e0

Geom name: da2
Providers:
1. Name: label/iscsi-lun3
   Mediasize: 10737414144 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r1w1e1
   secoffset: 0
   offset: 0
   seclength: 20971512
   length: 10737414144
   index: 0
Consumers:
1. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 4096
   Stripesize: 32768
   Stripeoffset: 0
   Mode: r1w1e2

Geom name: da1
Providers:
1. Name: label/local-hdd1
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   secoffset: 0
   offset: 0
   seclength: 209715199
   length: 107374181888
   index: 0
Consumers:
1. Name: da1
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r0w0e0

オプションとしてデバイス名を付与する事でそのデバイスだけの詳細を表示する事ができます．

# glabel list da1
Geom name: da1
Providers:
1. Name: label/local-hdd1
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   secoffset: 0
   offset: 0
   seclength: 209715199
   length: 107374181888
   index: 0
Consumers:
1. Name: da1
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r0w0e0

ラベルを削除する (stop/destroy)

ラベル情報を一時的に破棄したい場合 glabel destroy (または stop) コマンドを利用します．
渡す引数ですが，デバイス名ではなくラベル名である事に注意してください．

# glabel destroy label/local-hdd1

# glabel status
                                      Name  Status  Components
gptid/e49c97b1-8d16-11ee-ad0a-0050568da523     N/A  da0p1
                          label/iscsi-lun3     N/A  da2
                  diskid/DISK-MYSERIAL0002     N/A  da3
                    ufsid/6572f98e0f76158d     N/A  da4
                  diskid/DISK-MYSERIAL0000     N/A  da4
                  diskid/DISK-MYSERIAL0001     N/A  da5

このように status に表示されない状態となります．
ただ，destroy / stop はメタデータの削除までは行われませんので復旧する事が可能です．

ラベルを再開する (refresh)

destroy / stop で破棄したラベルを戻したい場合は glabel refresh コマンドを利用します．
この場合はラベル名ではなく，デバイス名である事に注意してください．

# glabel refresh da1
Metadata from da1 refreshed.

# glabel status
                                      Name  Status  Components
gptid/e49c97b1-8d16-11ee-ad0a-0050568da523     N/A  da0p1
                          label/iscsi-lun3     N/A  da2
                  diskid/DISK-MYSERIAL0002     N/A  da3
                    ufsid/6572f98e0f76158d     N/A  da4
                  diskid/DISK-MYSERIAL0000     N/A  da4
                  diskid/DISK-MYSERIAL0001     N/A  da5
                          label/local-hdd1     N/A  da1

ラベルを削除する (clear)

destroy / stop は一時的な破棄で，メタデータは維持されると説明しました．メタデータも消去する場合は glabel clear を利用します．
clear の場合，ラベル名ではなくデバイス名となり，複数のラベルを持っている場合はそれらすべてが消去されますのでその点を認識してください．

# glabel clear da1

# glabel status
                                      Name  Status  Components
gptid/e49c97b1-8d16-11ee-ad0a-0050568da523     N/A  da0p1
                          label/iscsi-lun3     N/A  da2
                  diskid/DISK-MYSERIAL0002     N/A  da3
                    ufsid/6572f98e0f76158d     N/A  da4
                  diskid/DISK-MYSERIAL0000     N/A  da4
                  diskid/DISK-MYSERIAL0001     N/A  da5

clear で消去した場合，refresh で戻す事は不可能ですので，ラベルを戻したい/別の名前を付けたい場合は glabel label コマンドで改めてラベルを付与してください．

以上で GEOM LABEL についての説明を終わりたいと思います．

GEOM GATE を使ってみる

seichan — Sat, 09 Dec 2023 13:00:00 +0000

今回は GEOM によるネットワーク経由のデバイス共有の仕組みである GATE について纏めてみたいと思います．

GEOM に関するお話

GEOM GATE のイメージ
GEOM の利用 (サーバー側)
GEOM の利用 (クライアント側)
1. ハードディスクをマウントする
2. サーバー側で確認してみる
CD ドライブをマウントする
注意点

GEOM GATE のイメージ

GATE のイメージはこのような形です．gates が GEOM GATE でデバイスを提供する側 (サーバー) で，gatec が GEOM GATE でデバイスを提供される側 (クライアント) です．
サーバーではハードディスクである da1 と CD-ROM ドライブである cd0 を提供し，クライアントがネットワーク経由でマウントする．というイメージになります．

GEOM の利用 (サーバー側)

前準備として，カーネルモジュールのロードおよびサーバーデーモンの起動が必要になります．

server # kldload geom_gate.ko

server # kldstat
Id Refs Address                Size Name
 1   11 0xffffffff80200000  1f3e2d0 kernel
 2    1 0xffffffff82319000     3218 intpm.ko
 3    1 0xffffffff8231d000     2180 smbus.ko
 4    1 0xffffffff82320000     7490 vmci.ko
 5    1 0xffffffff82328000     4538 geom_gate.ko

再起動後も有効とするために /boot/loader.conf にも記載しましょう．

server # cat /boot/loader.conf
geom_gate_load="YES"

続いて，NFS で利用する /etc/exports のようなファイルを作成する必要があります．ファイルは /etc/gg.exports です．
構文も NFS の exports に似ている構文となります．
アクセスを許可するクライアント　RW/RO　提供するデバイス

上図イメージのとおり，da1 と cd0 を提供する gg.exports は次のとおりです．

192.168.241.41 RW /dev/da1
192.168.241.41 RO /dev/cd0

gg.exports ファイルの作成が終わったら，ggated デーモンを起動します．rc スクリプトになっていない為手動でプログラムを実行します．

server # ggated /etc/gg.exports

ggated /etc/gg.exports
8292  0  S+      0:00.00 grep ggate

以上でサーバー側の準備は完了です．

GEOM の利用 (クライアント側)

クライアント側もサーバーと同様に前準備として，カーネルモジュールのロードおよびサーバーデーモンの起動が必要になります．

client # kldload geom_gate.ko

client # kldstat
Id Refs Address                Size Name
 1   11 0xffffffff80200000  1f3e2d0 kernel
 2    1 0xffffffff82319000     3218 intpm.ko
 3    1 0xffffffff8231d000     2180 smbus.ko
 4    1 0xffffffff82320000     7490 vmci.ko
 5    1 0xffffffff82328000     4538 geom_gate.ko

再起動後も有効とするために /boot/loader.conf にも記載しましょう．

client # cat /boot/loader.conf
geom_gate_load="YES"

ハードディスクをマウントする

ggatec コマンドを利用して，サーバーのリソースをつかみます．
mount コマンドに似た構文となります．
create で GEOM GATE デバイスを生成します
-o は RW/RO/WO が指定可能です．
サーバーのアドレスおよび提供しているデバイス名を指定します．
成功すると ggate[x] というデバイスが作成されます．

client # ggatec create -o rw 192.168.241.43 /dev/da1
ggate0

ハードディスクを ggate0 というデバイスで接続出来たので，フォーマットしてマウントしてみます．

client # newfs /dev/ggate0
/dev/ggate0: 102400.0MB (209715200 sectors) block size 32768, fragment size 4096
        using 164 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,

client # mount /dev/ggate0 /mnt

client # df
Filesystem  1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2   19279260 3140820 14596100    18%    /
devfs               1       1        0   100%    /dev
/dev/ggate0 101561756       8 93436808     0%    /mnt

このように，通常のハードディスクと同様に扱う事が可能です．
実際にデータを置いてみます．

client # dd if=/dev/random of=/mnt/random.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.699479 secs (110700980 bytes/sec)

client # ls -l /mnt
total 1048868
drwxrwxr-x  2 root  operator         512 Dec  8 20:10 .snap
-rw-r--r--  1 root  wheel     1073741824 Dec  8 20:12 random.img

これをアンマウントし，サーバー側でディスクをマウントしてみて実際にデータが置かれているのか確認してみましょう．
まずはクライアント側でアンマウントし，そして ggate0 デバイスを削除します．

client # umount /mnt

client # ggatec destroy -u 0

サーバー側で確認してみる

サーバー側でも ggated を止めた方がいいのですが，掴まれていない場合は止めなくても扱えます．

このように，クライアント側で読み書きしたデータが確認できます．

server # mount /dev/da1 /mnt

server # ls -l /mnt
total 1048868
drwxrwxr-x  2 root  operator         512 Dec  8 20:10 .snap
-rw-r--r--  1 root  wheel     1073741824 Dec  8 20:12 random.img

server # umount /mnt

CD ドライブをマウントする

クライアントにて /dev/cd0 を指定して ggatec コマンドを実行します．
(イメージと合わせる為ハードディスクは再度マウントしています)

client # ggatec create -o rw 192.168.241.43 /dev/da1
ggate0

client # ggatec create -o ro 192.168.241.43 /dev/cd0
ggate1

ggate1 が CD ドライブとなりますので，これをマウントしてみます．
サーバー側の CD ドライブには，FreeBSD のインストーラーをセット済みでした．ls で見てみるとメディアの内容が表示されており，CD ドライブとしての利用が可能であることがわかります．

client # mount_cd9660 /dev/ggate1 /mnt

client # ls -l /mnt
total 92
-rw-r--r--   2 root  wheel   1023 Apr  7  2023 .cshrc
-rw-r--r--   2 root  wheel    507 Apr  7  2023 .profile
drwxr-xr-x   3 root  wheel   2048 Apr  7  2023 .rr_moved
-r--r--r--   1 root  wheel   6109 Apr  7  2023 COPYRIGHT
drwxr-xr-x   2 root  wheel   6144 Apr  7  2023 bin
drwxr-xr-x  14 root  wheel  10240 Apr  7  2023 boot
dr-xr-xr-x   2 root  wheel   2048 Apr  7  2023 dev
drwxr-xr-x  29 root  wheel  14336 Apr  7  2023 etc
drwxr-xr-x   5 root  wheel  10240 Apr  7  2023 lib
drwxr-xr-x   3 root  wheel   2048 Apr  7  2023 libexec
drwxr-xr-x   2 root  wheel   2048 Apr  7  2023 media
drwxr-xr-x   2 root  wheel   2048 Apr  7  2023 mnt
drwxr-xr-x   2 root  wheel   2048 Apr  7  2023 net
dr-xr-xr-x   2 root  wheel   2048 Apr  7  2023 proc
drwxr-xr-x   2 root  wheel   2048 Apr  7  2023 rescue
drwxr-xr-x   2 root  wheel   2048 Apr  7  2023 root
drwxr-xr-x   2 root  wheel  20480 Apr  7  2023 sbin
drwxrwxrwt   2 root  wheel   2048 Apr  7  2023 tmp
drwxr-xr-x  13 root  wheel   2048 Apr  7  2023 usr
drwxr-xr-x  24 root  wheel   4096 Apr  7  2023 var

注意点

このように，簡単にネットワーク越しにデバイスを共有できるのですが，いくつか注意点があります．

rc.d スクリプトが用意されていない
ネットワークの暗号化はされていない
提供したデバイスを接続できるクライアントは1台のみ

rc.d スクリプトが用意されていない

起動・停止にあたり /etc/rc.conf および rc.d スクリプトがない為，自前で起動時，停止・再起動時の処理を書く必要があります．
サーバー側は rc.local に先のコマンドを記載するだけで大丈夫ですが，クライアント側はマウント処理が終わり次第，必要なサービスを起動させる等の対処が必要となります．

ネットワークの暗号化はされていない

NFS も同様なのであまり気にするポイントではないかもしれませんが，盗聴のリスクがある事は理解しておく必要があります．
必要に応じて IPSec 張る等を考えなければなりません

提供したデバイスを接続できるクライアントは1台のみ

複数のクライアントに同じデバイスを提供，複数のクライアントが同時に接続する事はできません．
一番最初に掴んだクライアントが優先され，以降のクライアントは接続に失敗します．

iSCSI 経由のディスクマウントと同じような利用方法はできません．

FreeBSD 10.0 より，iSCSI Target が標準で利用できるようになっている為，GEOM GATE の出番はほぼ無いと思います．が，簡単に共有ができるのでちょっとしたデバイスの論理的な移動を行いたい場合には使いようはあるかと思います．

以上で GEOM GATE についての解説を終了します．

GEOM GVIRSTORを使ってみる

seichan — Fri, 08 Dec 2023 13:00:00 +0000

今回は GEOM GVIRSTOR によるシンプロビジョニングボリュームの提供について纏めてみます．
実ディスクより大きいサイズのディスクを提供する事ができ，利用状況に合わせて拡張していくという使い方が可能になります．

GEOM に関するお話

GEOM VIRSTOR のイメージ
GEOM VIRSTOR の利用・管理
シンプロビジョニングディスクを作成する
実際に利用した場合の状態を確認してみる
GEOM VIRSTOR にディスクを追加する

GEOM VIRSTOR のイメージ

GEOM VIRSTORのイメージはこのようになります．
VIRSTOR としてのディスク容量は 100GB ですが，実際の容量は 10GB のディスクを用います．
今回は物理側ディスク溢れの状況を作りたいので小さいディスクを使用します．

GEOM VIRSTOR の利用・管理

GEOM VIRSTOR は gvirstor というコマンドを通じて利用・管理を行います．簡単に触れますが，詳細はコマンドのオプションの詳細は FreeBSD のマニュアル「gvirstor」を見てください．

# gvirstor
usage: gvirstor clear [-v] prov ...
       gvirstor dump prov ...
       gvirstor label [-h] [-v] [-m chunk_size] [-s vir_size] name provider0 [provider1 ...]
       gvirstor destroy [-fv] name ...
       gvirstor stop [-fv] name ... (alias for "destroy")
       gvirstor add [-vh] name prov [prov ...]
       gvirstor remove [-v] name ...
       gvirstor help
       gvirstor list [-a] [name ...]
       gvirstor status [-ags] [name ...]
       gvirstor load [-v]
       gvirstor unload [-v]

GEOM VIRSTOR は create サブコマンドがないので，再起動したらどうなるのか．というのはスキップします．

シンプロビジョニングディスクを作成する

gvirstor label コマンドで仮想的なシンプロビジョニングを作成し，配下に RAID3 ボリュームの raid3-0 に紐づけます．
-s 1000G のオプションはプロビジョニングサイズで，OS から見たらこのサイズのディスクに見える形となります．

GEOM VIRSTOR は実行した段階で自動的にロードされますが，明示的に読み込みさせる事をお勧めします．

# kldload geom_virstor
# gvirstor label -s 100G vstor0 da1

再起動時に必ず有効になるように /boot/loader.conf に明示的に記述する事をお勧めします．

# cat /boot/loader.conf
geom_virstor_load="YES"

gvirstor status コマンドでステータスを表示できます．
以下は vstor0 のステータスです．da1 に紐づけられている事が確認できます．

# gvirstor status
          Name              Status  Components
virstor/vstor0  100% physical free  da1

gvirstor list コマンドで詳細を表示する事ができます．
VirtualSize や Provider の Mediasize が OS から見えるディスクサイズになります．

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 10737418240
PhysicalBacking: 10%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 2560
PhysicalFree: 100%
ChunkSize: 4194304
State: 100% physical free
Status: Components=1, Online=1
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r0w0e0
   StorageFree: 100%
   ChunksReserved: 2
   ChunksUsed: 2
   ChunkCount: 2560
   ComponentIndex: 0

newfs でフォーマットを行います．データがあるディスクを組み込んでも利用できないので注意してください．その後，マウント，マウントの結果を確認します．/mnt にマウントをしています．
これを /etc/fstab に記載した状態で再起動を行ってみます．

# newfs /dev/virstor/vstor0
/dev/virstor/vstor0: 102400.0MB (209715200 sectors) block size 32768, fragment size 4096
        using 164 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,

# mount /dev/virstor/vstor0 /mnt

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2774064 14962856    16%    /
devfs                       1       1        0   100%    /dev
/dev/virstor/vstor0 101561756       8 93436808     0%    /mnt

# cat /etc/fstab
# Device        Mountpoint      FStype  Options Dump    Pass#
/dev/da0p2      /               ufs     rw      1       1
/dev/da0p3      none            swap    sw      0       0
/dev/virstor/vstor0     /mnt    ufs     rw      1       1

実際に利用した場合の状態を確認してみる

このディスクを利用した際，どのように扱われるのか．を確認してみます．
ファイルを dd を用いて作成して実ボリュームの 10GB を埋めてみます．

# dd if=/dev/zero of=/mnt/1G_0.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.385553 secs (114403677 bytes/sec)

# ls /mnt
.snap           1G_0.img

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2774064 14962856    16%    /
devfs                       1       1        0   100%    /dev
/dev/virstor/vstor0 101561756 1048872 92387944     1%    /mnt

これを淡々と続けていき，10GB まで埋めていきます．8回実施 (計9回) の状況です．

# dd if=/dev/zero of=/mnt/1G_1.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.142144 secs (117449678 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_2.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.359638 secs (114720447 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_3.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.166272 secs (117140514 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_4.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.156702 secs (117262948 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_5.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.147463 secs (117381383 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_6.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.175452 secs (117023315 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_7.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.151995 secs (117323258 bytes/sec)
root@bsd13:/ # dd if=/dev/zero of=/mnt/1G_8.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.159731 secs (117224170 bytes/sec)

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 10737418240
PhysicalBacking: 10%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 2560
PhysicalFree: 1%
ChunkSize: 4194304
State: 1% physical free
Status: Components=1, Online=1
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2
   StorageFree: 1%
   ChunksReserved: 2
   ChunksUsed: 2540
   ChunkCount: 2560
   ComponentIndex: 0

次実行で実ボリュームはすべて使い切る形になりますので，この際にどのような挙動になるのか確認します．

# dd if=/dev/zero of=/mnt/1G_9.img bs=1M count=1024

コマンドが完了せず，この状態のまま待ちとなります．gvirstor のステータスを見ると次のようになります．

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 10737418240
PhysicalBacking: 10%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 2560
PhysicalFree: 0%
ChunkSize: 4194304
State: 0% physical free
Status: Components=1, Online=1
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2
   StorageFree: 0%
   ChunksReserved: 2
   ChunksUsed: 2560
   ChunkCount: 2560
   ComponentIndex: 0

PhysicalFree や State をみると完全に使い切っている状態ですので，このまま IO 完了待ちの状態が継続するようです．

したがって，ディスクを追加して実容量を増やしていきます．

GEOM VIRSTOR にディスクを追加する

gvirstor add コマンドを使用して新しいディスクを追加できます．ここでは vstor0 に da2 を追加しています．

# gvirstor add vstor0 da2

追加が完了すると，先の IO 待ちの状態が解消して書き込みが再開します．

# dd if=/dev/zero of=/mnt/1G_9.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 233.283381 secs (4602736 bytes/sec)

さて，gvirstor list で状況をみようかと思った所で kernel panic で再起動が走りました…

ここで明示的にマウントを行うと残念なことに再度 kernel panic が発生しました．

実ボリュームを溢れさせた為こうなったのかもしれません．これでは何も進まないので最初からやり直してみます．

# gvirstor label -s 100G vstor0 da1

# newfs /dev/virstor/vstor0
/dev/virstor/vstor0: 102400.0MB (209715200 sectors) block size 32768, fragment size 4096
        using 164 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,

# mount /dev/virstor/vstor0 /mnt

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2957100 14779820    17%    /
devfs                       1       1        0   100%    /dev
/dev/virstor/vstor0 101561756       8 93436808     0%    /mnt

ここから，使い切らない範囲で dd を実施します．1GB x 8 個．

# dd if=/dev/zero of=/mnt/1G_0.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.157406 secs (117253932 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_1.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.182170 secs (116937698 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_2.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.118827 secs (117749999 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_3.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.147965 secs (117374943 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_4.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.157894 secs (117247682 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_5.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.156020 secs (117271684 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_6.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.352406 secs (114809150 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_7.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.381967 secs (114447411 bytes/sec)

この時点で gvirstor list の結果の残量が 10% でした．ですので，ここでディスクを追加します．

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 10737418240
PhysicalBacking: 10%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 2560
PhysicalFree: 10%
ChunkSize: 4194304
State: 10% physical free
Status: Components=1, Online=1
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2
   StorageFree: 10%
   ChunksReserved: 2
   ChunksUsed: 2308
   ChunkCount: 2560
   ComponentIndex: 0

da2 を追加，状態はこのようになりました．55% が空いているという状況ですね．

# gvirstor add vstor0 da2

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 21474836480
PhysicalBacking: 20%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 5120
PhysicalFree: 55%
ChunkSize: 4194304
State: 55% physical free
Status: Components=2, Online=2
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2
   StorageFree: 10%
   ChunksReserved: 2
   ChunksUsed: 2308
   ChunkCount: 2560
   ComponentIndex: 0
2. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2

先ほど，10回目で kernel panic になったので，まずはここから2回 dd を打ってみます．

# dd if=/dev/zero of=/mnt/1G_8.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.160023 secs (117220424 bytes/sec)

# dd if=/dev/zero of=/mnt/1G_9.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.154714 secs (117288402 bytes/sec)

今度は問題なく完了しました．gvirstor list で結果を見てみます．

# gvirstor list
Geom name: vstor0
VirtualSize: 107374182400
PhysicalBackingSize: 21474836480
PhysicalBacking: 20%
ChunkVirtualCount: 25600
ChunkPhysicalCount: 5120
PhysicalFree: 46%
ChunkSize: 4194304
State: 46% physical free
Status: Components=2, Online=2
Providers:
1. Name: virstor/vstor0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2
   StorageFree: 100%
   ChunksReserved: 0
   ChunksUsed: 0
   ChunkCount: 4294965248
   ComponentIndex: 77234808
2. Name: da2
   Mediasize: 10737418240 (10G)
   Sectorsize: 512
   Mode: r1w1e2

2本目のディスクに書かれているのか全く分かりません… もう一度 dd を実行すると必ず2本目を使用しますので実行してみます．

 # dd if=/dev/zero of=/mnt/1G_10.img bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 9.155170 secs (117282570 bytes/sec)

# gvirstor list

と gvirstor list を実行したとたん kernel panic になり再起動を繰り返しました…

このバージョン特有の問題なのか分かりませんが，使えないですね…

残念ですが，GEOM VIRTSTOR の紹介をこれにて終わります．

GEOM CACHE を使ってみる

seichan — Thu, 07 Dec 2023 13:00:00 +0000

今回は GEOM によるディスクの読み出しキャッシュ (リードキャッシュ) について纏めてみたいと思います．
GEOM CACHE は GEOM RAID3 の読み出しが遅くなる問題の解決方法として作成されたようですが，RAID3 ボリューム以外にも利用可能です．

GEOM に関するお話

GEOM CACHE のイメージ
GEOM CACHE の利用・管理
create で作った場合はどうなるのか?
恒久的に使う場合は label を利用しよう
キャッシュの効果について確認してみる (キャッシュ有効時)
キャッシュの効果について確認してみる (キャッシュ無効時)
キャッシュを制御する
sysctl の値を変えて追試してみる

GEOM CACHE のイメージ

GEOM CACHE の RAID3 ボリュームのキャッシュとしたイメージはこのような形です．
前述していますが，RAID3 以外の GEOM STRIPE や MIRROR および単体のディスクに対してもこのようなキャッシュデバイスとしてつける事が可能です．

GEOM CACHE の利用・管理

GEOM CACHE は gcache というコマンドを通じて利用・管理を行います．簡単に触れますが，詳細はコマンドのオプションの詳細は FreeBSD のマニュアル「gcache」を見てください．

# gcache
usage: gcache clear [-v] prov ...
       gcache configure [-v] [-b blocksize] [-s size] name
       gcache create [-v] [-b blocksize] [-s size] name prov
       gcache destroy [-fv] name ...
       gcache dump prov ...
       gcache label [-v] [-b blocksize] [-s size] name prov
       gcache reset [-v] name ...
       gcache stop [-fv] name ...
       gcache help
       gcache list [-a] [name ...]
       gcache status [-ags] [name ...]
       gcache load [-v]
       gcache unload [-v]

GEOM 関連のコマンドは gconcat の際にも触れましたが create と label の両方があり分かりづらいのですが，create は一時的，label は恒久的と覚えるのがよいです．

create で作った場合はどうなるのか?

create で作成してマウント，再起動を行うとどのようになるのかを以下に一連の流れを記載します．

gcache create コマンドでキャッシュデバイスを作成し，RAID3 ボリュームの raid3-0 に紐づけます．
-s 1G のオプションはキャッシュサイズで，これがメモリからキャッシュ用に確保される領域になります．

GEOM CACHE は実行した段階で自動的にロードされますが，明示的に読み込みさせる事をお勧めします．

# kldload geom_cache
# gcache create -s 1G cache3-0 /dev/raid3/raid3-0

再起動時に必ず有効になるように /boot/loader.conf に明示的に記述する事をお勧めします．

# cat /boot/loader.conf
geom_cache_load="YES"

gcache status コマンドでステータスを表示できます．
以下は cache0 のステータスです．raid3-0 に紐づけられている事が確認できます．

# gcache status
          Name  Status  Components
cache/cache3-0     N/A  raid3/raid3-0

gcache list コマンドで詳細を表示する事ができます．
Size がキャッシュサイズになります．キャッシュヒットやキャッシュミス等の統計値もここに表示されます．
(マウントもしていないのに値が出るのはなぜ? という状態ですが)

# gcache list
Geom name: cache3-0
WroteBytes: 12288
Writes: 2
CacheFull: 0
CacheMisses: 4
CacheHits: 15
CacheReadBytes: 287744
CacheReads: 19
ReadBytes: 312320
Reads: 37
InvalidEntries: 0
UsedEntries: 1
Entries: 1
TailOffset: 322122481664
BlockSize: 65536
Size: 1073741824
Providers:
1. Name: cache/cache3-0
   Mediasize: 322122546176 (300G)
   Sectorsize: 1024
   Mode: r1w1e1
Consumers:
1. Name: raid3/raid3-0
   Mediasize: 322122546176 (300G)
   Sectorsize: 1024
   Mode: r1w1e1

マウントおよびマウントの結果です．/mnt にマウントをしています．
これを /etc/fstab に記載した状態で再起動を行ってみます．

# mount /dev/cache/cache3-0 /mnt

# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2773948  14962972    16%    /
devfs                       1       1         0   100%    /dev
/dev/cache/cache3-0 203123604 1499460 185374256     1%    /mnt

# cat /etc/fstab
# Device        Mountpoint      FStype  Options Dump    Pass#
/dev/da0p2      /               ufs     rw      1       1
/dev/da0p3      none            swap    sw      0       0
/dev/cache/cache3-0     /mnt    ufs     rw      1       1

残念な事に (想定どおりです)，デバイスが無く起動途中に失敗してしまっています．
これは create で作成した為，ディスクに GEOM CACHE の情報が記録されてい為作成したデバイスが存在しておらず，この状態となります．

恒久的に使う場合は label を利用しよう

先ほどと変わって create ではなく label で cache3-0 を作成しました．

# gcache label -s 1G cache3-0 /dev/raid3/raid3-0

create と同じように指定している為，status および list の結果は先ほどと変わりません．

# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 3
CacheHits: 14
CacheReadBytes: 74752
CacheReads: 17
ReadBytes: 87040
Reads: 26
InvalidEntries: 0
UsedEntries: 3
Entries: 3
TailOffset: 214748299264
BlockSize: 65536
Size: 1073741824
Providers:
1. Name: cache/cache3-0
   Mediasize: 214748362752 (200G)
   Sectorsize: 1024
   Mode: r0w0e0
Consumers:
1. Name: raid3/raid3-0
   Mediasize: 214748363776 (200G)
   Sectorsize: 1024
   Mode: r0w0e0

GEOM CACHE の場合，大本のデータを壊す等はないので気にせずに作業しちゃいましょう．

# mount /dev/cache/cache3-0 /mnt

# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2773948  14962972    16%    /
devfs                       1       1         0   100%    /dev
/dev/cache/cache3-0 203123604 1499460 185374256     1%    /mnt

キャッシュの効果について確認してみる (キャッシュ有効時)

キャッシュがどの程度有効なのかを試してみたいと思います．
上でキャッシュ経由でマウントを行いましたので，キャッシュありからテストします．

テストの方法ですが，FreeBSD の src を /mnt に展開します．
そのファイル群を tar cf /dev/null ./src という形で読み取りを行い，それにかかった時間や IO 等を見ていく形とします．

1回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:20:08 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:20:08 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 34 seconds, throughput 41246 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:20:44 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   897 72.2    0   0.0  13.7   72   1.0  13.7   72   1.0   8.9   44   0.4   0  0  1  0 99
   2  1919 27.3    2   0.1  32.0  472  14.7  32.0  472  14.8   0.0    0   0.0   1  0  7  1 92
   0    43  0.0    0   0.0  32.0  878  27.4  32.0  878  27.4   0.0    0   0.0   2  0 13  1 84
   0    19  0.0    0   0.0  32.0  741  23.1  32.0  741  23.1   0.0    0   0.0   3  0 15  1 82
   0    19  0.0    0   0.0  32.0  774  24.2  32.0  774  24.2   0.0    0   0.0   3  0 16  1 80
   0    19  0.0    0   0.0  32.0  789  24.7  32.0  789  24.7   0.0    0   0.0   3  0 13  2 82
   0    19  0.0    0   0.0  32.0  780  24.4  32.0  780  24.4   0.0    0   0.0   3  0 14  1 82
   0    19  0.0    0   0.0  32.0  833  26.0  32.0  833  26.0   0.0    0   0.0   3  0 14  1 83


# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 28127
CacheHits: 373201
CacheReadBytes: 2016825344
CacheReads: 401328
ReadBytes: 2016825344
Reads: 401328
InvalidEntries: 0
UsedEntries: 3290
Entries: 3290
TailOffset: 214748299264
BlockSize: 65536
Size: 1073741824

1回目の結果は36秒となりました．CacheHits しているのはなぜ? とも思いますが…

２回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:21:33 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:21:33 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 31 seconds, throughput 45237 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:22:07 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   893 72.0    0   0.0  14.6   75   1.1  14.6   75   1.1   8.9   43   0.4   0  0  1  0 99
   2  1925 24.0    1   0.0  32.0  378  11.8  32.0  378  11.8   0.0    0   0.0   0  0  7  1 92
   0    43  0.0    0   0.0  32.0  923  28.8  32.0  923  28.8   0.0    0   0.0   1  0 11  1 87
   0    19  0.0    0   0.0  32.0  862  26.9  32.0  862  26.9   0.0    0   0.0   3  0 16  1 80
   0    19  0.0    0   0.0  32.0  922  28.8  32.0  922  28.8   0.0    0   0.0   3  0 15  1 81
   0    19  0.0    0   0.0  32.0  927  29.0  32.0  927  29.0   0.0    0   0.0   3  0 13  1 83
   0    19 16.8    1   0.0  32.0  816  25.5  32.0  816  25.5   0.0    0   0.0   3  0 20  1 75
   0    52  4.0    0   0.0  32.0  844  26.4  32.0  844  26.4   0.0    0   0.0   3  0 18  2 76

# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 56809
CacheHits: 745847
CacheReadBytes: 4033650688
CacheReads: 802656
ReadBytes: 4033650688
Reads: 802656
InvalidEntries: 0
UsedEntries: 3342
Entries: 3342
TailOffset: 214748299264
BlockSize: 65536
Size: 1073741824

2回目の結果は 34秒でした．誤差の範囲と言えそうなレベルです．ただ，CacheHits はもっと増えていますね．

3回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:26:07 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:26:07 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 27 seconds, throughput 51939 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:26:35 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   873 71.4    0   0.0  15.4   76   1.1  15.4   76   1.1   8.9   42   0.4   0  0  1  0 99
   2  1901 24.0    1   0.0  32.0  992  31.0  32.0  992  31.0   0.0    0   0.0   0  0  6  1 92
   0    43  0.0    0   0.0  32.0  946  29.5  32.0  946  29.5   0.0    0   0.0   4  0 16  1 79
   0    19  0.0    0   0.0  32.0  926  28.9  32.0  926  28.9   0.0    0   0.0   3  0 16  1 80
   0    19  0.0    0   0.0  32.0  906  28.3  32.0  906  28.3   0.0    0   0.0   4  0 18  0 78
   0    19  0.0    0   0.0  32.0  892  27.9  32.0  892  27.9   0.0    0   0.0   4  0 18  1 77
   0   107  0.0    0   0.0  32.0  829  25.9  32.0  829  25.9   0.0    0   0.0   3  0 14  1 81

# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 84275
CacheHits: 1119709
CacheReadBytes: 6050476032
CacheReads: 1203984
ReadBytes: 6050476032
Reads: 1203984
InvalidEntries: 0
UsedEntries: 3342
Entries: 3342
TailOffset: 214748299264
BlockSize: 65536
Size: 1073741824

3回目の結果は 28秒となりました．より速くなっています．何度か読み出しが行われる必要がありそうなので最後にもう一度だけやってみます．

4回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:29:11 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:29:11 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 27 seconds, throughput 51939 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:29:40 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   862 71.2    0   0.0  16.2   78   1.2  16.2   78   1.2   8.9   41   0.4   0  0  1  0 99
   2  1925 24.0    1   0.0  32.0  921  28.8  32.0  921  28.8   0.0    0   0.0   1  0  8  0 90
   0    43  0.0    0   0.0  32.0  978  30.6  32.0  978  30.6   0.0    0   0.0   3  0 17  0 79
   0    19  0.0    0   0.0  32.0  926  28.9  32.0  926  28.9   0.0    0   0.0   3  0 15  1 82
   0    19  0.0    0   0.0  32.0  917  28.7  32.0  917  28.7   0.0    0   0.0   5  0 17  1 77
   0    19  0.0    0   0.0  32.0  904  28.2  32.0  904  28.3   0.0    0   0.0   3  0 16  1 80
   0   112  0.0    0   0.0  32.0  922  28.8  32.0  922  28.8   0.0    0   0.0   3  0 17  1 79

# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 112114
CacheHits: 1493198
CacheReadBytes: 8067301376
CacheReads: 1605312
ReadBytes: 8067301376
Reads: 1605312
InvalidEntries: 0
UsedEntries: 3342
Entries: 3342
TailOffset: 214748299264
BlockSize: 65536
Size: 1073741824

29秒と3回目より悪い結果になりました．キャッシュサイズとの関係性なのかがよく分からずですが，1回目よりは2回目以降は速くなっているのは確認できました．

キャッシュの効果について確認してみる (キャッシュ無効時)

続いて，キャッシュを挟まない場合で実施してみます．GEOM RAID3 ボリュームを直接マウントします．

# umount /mnt
# mount /dev/raid3/raid3-0 /mnt

1回目

# date; dump -f - -0 /dev/raid3/raid3-0 > /dev/null; date
Tue Dec  5 21:34:38 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:34:38 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/raid3/raid3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 64 seconds, throughput 21912 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:35:43 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   845 70.5    0   0.0  17.2   80   1.3  17.2   80   1.3   8.9   39   0.3   0  0  1  0 99
   2  1941 24.0    1   0.0   4.1 3274  13.2   4.1 3274  13.2   0.0    0   0.0   1  0  8  2 89
   0    19  0.0    0   0.0   2.3 6281  14.3   2.3 6281  14.3   0.0    0   0.0   1  0 10  4 84
   0    19  0.0    0   0.0   2.4 6206  14.4   2.4 6206  14.4   0.0    0   0.0   1  0 12  3 84
   0    19  0.0    0   0.0   2.4 6242  14.8   2.4 6242  14.8   0.0    0   0.0   1  0 11  3 85
   0    19  0.0    0   0.0   2.4 6155  14.3   2.4 6155  14.3   0.0    0   0.0   1  0 10  3 86
   0    19  0.0    0   0.0   2.4 6271  14.5   2.4 6270  14.5   0.0    0   0.0   1  0 11  3 85
   0    52  0.0    0   0.0   2.3 6190  14.1   2.3 6190  14.1   0.0    0   0.0   1  0 12  3 84
   0    19  0.0    0   0.0   2.4 6267  14.5   2.4 6267  14.5   0.0    0   0.0   2  0 10  4 84

65秒かかっています．キャッシュありの初回よりも遅いです．という事はやはりキャッシュは効いているものと考えられます．
dump は vfs キャッシュが効かないようなので2回目も同様の結果になるはずです．

2回目

# date ; dump -f - -0 /dev/raid3/raid3-0 > /dev/null ; date
Tue Dec  5 21:37:59 JST 2023
  DUMP: WARNING: should use -L when dumping live read-write filesystems!
  DUMP: Date of this level 0 dump: Tue Dec  5 21:37:59 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/raid3/raid3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 65 seconds, throughput 21574 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:39:06 JST 2023

# iostat -n 4 5
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1   833 70.2    0   0.0  11.6  125   1.4  11.6  125   1.4   8.9   38   0.3   0  0  1  0 99
   2  2058 19.6    2   0.0   4.2 3217  13.2   4.2 3217  13.2   0.0    0   0.0   1  0  9  2 88
   0    19  0.0    0   0.0   2.3 5625  12.8   2.3 5625  12.8   0.0    0   0.0   2  0 14  2 82
   0    19  0.0    0   0.0   2.4 6080  14.1   2.4 6080  14.1   0.0    0   0.0   2  0 10  2 87
   0    19  0.0    0   0.0   2.4 5963  14.0   2.4 5963  14.0   0.0    0   0.0   2  0 11  2 85
   0    19  0.0    0   0.0   2.4 5865  13.5   2.4 5865  13.5   0.0    0   0.0   1  0 10  3 86
   0    19  0.0    0   0.0   2.4 6020  14.0   2.4 6020  14.0   0.0    0   0.0   2  0 11  2 85
   0    19  0.0    0   0.0   2.3 5956  13.3   2.3 5956  13.3   0.0    0   0.0   1  0 11  3 86

2回目は67秒かかりました．キャッシュの有効性は確認できたと思います．
キャッシュヒットの条件が不明ですが，それなりな効果は期待できると言っていいのではないでしょうか．

キャッシュを制御する

gcache configure コマンドでキャッシュサイズの変更，ブロックサイズの変更が可能です．
例えば，キャッシュサイズを 1G から 2G に変えた場合はこのようになります．

# gcache configure -s 2G cache3-0

# gcache list
Geom name: cache3-0
WroteBytes: 12288
Writes: 2
CacheFull: 0
CacheMisses: 124861
CacheHits: 1628979
CacheReadBytes: 8849994752
CacheReads: 1753840
ReadBytes: 8850007040
Reads: 1753849
InvalidEntries: 0
UsedEntries: 3342
Entries: 3342
TailOffset: 214748299264
BlockSize: 65536
Size: 2147483648

また，sysctl でキャッシュの制御ができるようです．
used_hi と timeout を変えると先ほどの試験の結果も変わりそうです．

# sysctl -a | grep kern.geom.cache.
kern.geom.cache.used_hi: 20
kern.geom.cache.used_lo: 5
kern.geom.cache.idletime: 5
kern.geom.cache.timeout: 10
kern.geom.cache.enable: 1
kern.geom.cache.debug: 0

sysctl の値を変えて追試してみる

ドキュメント，マニュアルに全く記載がないので想定で設定してみます．
kern.geom.cache.used_hi はきっとハイウォーターマークだと想定し，これを超えて kern.geom.cache.timeout の時間を超えたものがキャッシュからパージされてしまうのではないかと考えてみました．

ですので，以下のように設定して2回ほど dump を実行してみます．
カウンターだけリセットもしています．

# sysctl kern.geom.cache.used_hi=80
kern.geom.cache.used_hi: 20 -> 80

# sysctl kern.geom.cache.timeout=120
kern.geom.cache.timeout: 10 -> 120

# gcache reset cache3-0
# gcache list
Geom name: cache3-0
WroteBytes: 0
Writes: 0
CacheFull: 0
CacheMisses: 0
CacheHits: 0
CacheReadBytes: 0
CacheReads: 0
ReadBytes: 0
Reads: 0
InvalidEntries: 0
UsedEntries: 3342
Entries: 3342
TailOffset: 214748299264
BlockSize: 65536
Size: 2147483648

1回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:52:46 JST 2023
  DUMP: Date of this level 0 dump: Tue Dec  5 21:52:46 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 25 seconds, throughput 56094 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:53:12 JST 2023

26秒ですね．先ほどと変わらずです．キャッシュに残っているものがあるのでそれが利用された為．なのかな?

2回目

# date ; dump -f - -0 /dev/cache/cache3-0 > /dev/null ; date
Tue Dec  5 21:54:13 JST 2023
  DUMP: Date of this level 0 dump: Tue Dec  5 21:54:13 2023
  DUMP: Date of last level 0 dump: the epoch
  DUMP: Dumping /dev/cache/cache3-0 to standard output
  DUMP: mapping (Pass I) [regular files]
  DUMP: mapping (Pass II) [directories]
  DUMP: estimated 1405443 tape blocks.
  DUMP: dumping (Pass III) [directories]
  DUMP: dumping (Pass IV) [regular files]
  DUMP: DUMP: 1402371 tape blocks
  DUMP: finished in 25 seconds, throughput 56094 KBytes/sec
  DUMP: DUMP IS DONE
Tue Dec  5 21:54:39 JST 2023

2回目も26秒．んー… わからない…

すっきりしない結果とはなりましたが，GEOM CACHE の効果自体は確認はできました．
UFS を利用してファイルサーバーやメールスプールを提供している場合などは有効ではないでしょうか．

以上，GEOM CACHE の紹介でした．

GEOM RAID3を使ってみる

seichan — Wed, 06 Dec 2023 13:00:00 +0000

今回は GEOM による RAID3 について纏めてみたいと思います．
RAID3 は複数のディスクに対して分散してデータを書き、耐障害性の為パリティデータを1本のディスクに保持する冗長方式です．
3本以上のディスクが必要になり GEOM RAID3 の場合は 3, 5, 9, 17 と 2のn乗 +1 の数量が必要となります．

GEOM に関するお話

GEOM RAID3 のイメージ
GEOM RAID3 の利用・管理
1. RAID3 ボリュームを作成してみる
IOについて確認してみる
障害発生時のディスク交換手順 (完全に見えなくなった場合)
自発的にディスクを交換する (メディアエラー等の不調の場合)
ディスクを拡張する
GEOM RAID3 デバイスを終了 (破壊) する

GEOM RAID3 のイメージ

RAID3 のイメージはこのような形です．ディスク3本の場合，5本の場合を表しています．

GEOM RAID3 の利用・管理

GEOM RAID3 は graid3 というコマンドを通じて利用・管理を行います．簡単に触れますが，詳細はコマンドのオプションの詳細は FreeBSD のマニュアル「graid3」を見てください．

# graid3
usage: graid3 clear [-v] prov ...
       graid3 configure [-adfFhnrRvwW] name
       graid3 dump prov ...
       graid3 insert [-hv] <-n number> name prov
       graid3 label [-hFnrvw] [-s blocksize] name prov prov prov ...
       graid3 rebuild [-v] name prov
       graid3 remove [-v] <-n number> name
       graid3 stop [-fv] name ...
       graid3 help
       graid3 list [-a] [name ...]
       graid3 status [-ags] [name ...]
       graid3 load [-v]
       graid3 unload [-v]

gconcat, gstripe 等と違い create サブコマンドはなく，作成は label サブコマンドだけとなります．
(間違いがなくなるからこれでいいと思います)

RAID3 ボリュームを作成してみる

RAID3 ボリュームを作成してマウントするまでの流れを以下に記載します．

先に geom_raid3 カーネルモジュールをロードします．
その後，graid3 label コマンドでディスク da1，da2，da3 を指定して RAID3 ボリュームの raid3-0 を作成します．

# kldload geom_raid3

# kldstat
Id Refs Address                Size Name
 1   10 0xffffffff80200000  1f3e2d0 kernel
 2    1 0xffffffff82319000     3218 intpm.ko
 3    1 0xffffffff8231d000     2180 smbus.ko
 4    1 0xffffffff82320000     7490 vmci.ko
 5    1 0xffffffff82328000     d788 geom_raid3.ko

# graid3 label raid3-0 da1 da2 da3

再起動時に必ず有効になるように明示的にロードさせる事をお勧めします．

# cat /boot/loader.conf
geom_raid3_load="YES"

graid3 status コマンドでステータスを表示できます．
以下は raid3-0 のステータスです．da1，da2，da3 がコンポーネントとして含まれており，ステータスが COMPLETE の状態です．
COMPLETE の状態とは，この RAID3 ボリュームで指定しているディスクの同期が取れている状態となります．

# graid3 status
         Name    Status  Components
raid3/raid3-0  COMPLETE  da1 (ACTIVE)
                         da2 (ACTIVE)
                         da3 (ACTIVE)

graid3 list コマンドで詳細を表示する事ができます．
100GB HDD 3本で構成している為，raid3-0 のボリュームが 200GB となっています．
また，da3 がパリティディスクとして指定されている事が確認できます．

# graid3 list
Geom name: raid3-0
State: COMPLETE
Components: 3
Flags: NONE
GenID: 0
SyncID: 1
ID: 2182500346
Zone64kFailed: 0
Zone64kRequested: 0
Zone16kFailed: 0
Zone16kRequested: 0
Zone4kFailed: 0
Zone4kRequested: 50
Providers:
1. Name: raid3/raid3-0
   Mediasize: 214748363776 (200G)
   Sectorsize: 1024
   Mode: r0w0e0
Consumers:
1. Name: da1
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Flags: NONE
   GenID: 0
   SyncID: 1
   Number: 0
   Type: DATA
2. Name: da2
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Flags: NONE
   GenID: 0
   SyncID: 1
   Number: 1
   Type: DATA
3. Name: da3
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Flags: NONE
   GenID: 0
   SyncID: 1
   Number: 2
   Type: PARITY

newfs でファイルシステムを作成します．指定するデバイスは GEOM RAID3 の場合は /dev/raid3 以下に指定した名前のデバイスファイルが作成されますので，これを指定します．
今回は作成の際に raid3-0 を名前としたため，/dev/raid3/raid3-0 がデバイスファイルとなります．

# newfs /dev/raid3/raid3-0
/dev/raid3/raid3-0: 204800.0MB (419430392 sectors) block size 32768, fragment size 4096
        using 328 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,
....

マウントおよびマウントの結果です．/mnt にマウントをしています．

# mount /dev/raid3/raid3-0 /mnt

# df
Filesystem         1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2          19279260 2591140  15145780    15%    /
devfs                      1       1         0   100%    /dev
/dev/raid3/raid3-0 203123604       8 186873708     0%    /mnt

IOについて確認してみる

RAID3 はデータは分散して書き込み，パリティを1本が受け持つ形となります．従ってすべてのディスクに IO がかかるのですが，実際にどの様な IO が発生しているのかを確認してみます．

dd でランダムデータを生成，random.img としてファイル書き込みの IO を発生させました．
見て頂くと分かる通り da1 と da2 の両方に IO がかかっています．
このことから，分散してのディスクの読み書きが行われる事が分かります．

# dd if=/dev/random of=/mnt/random.img

# iostat -n 4 2
       tty             da0              da1              da2              da3             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   1    79 18.7    2   0.0   169    4   0.7   169    4   0.7   172    4   0.7   0  0  1  0 99
   0   285  0.0    0   0.0   256   35   8.9   256   35   8.7   256   31   7.9   1  0  6  0 93
   0   177  0.0    0   0.0   255  132  32.8   255  137  34.0   255  136  33.8   1  0 28  0 71
   0   113  0.0    0   0.0   256   65  16.2   256   56  14.0   256   60  15.0   1  0 12  0 87
   0   109  0.0    0   0.0   240   22   5.2   243   28   6.6   242   25   6.0   0  0  5  0 95

# ls /mnt
.snap           random.img

イメージとしてはこのような形ですね．

障害発生時のディスク交換手順 (完全に見えなくなった場合)

ディスクが故障した際に，交換，リビルドが必要になります．
今回は da1 が故障したというシチュエーションで復旧を試みます．

障害の状態によりますが，ディスクが停止してしまったなどが発生すると status サブコマンドの結果はこのように DEGRADED となり，da1 の表記が無くなります．

# graid3 status
         Name    Status  Components
raid3/raid3-0  DEGRADED  da2 (ACTIVE)
                         da3 (ACTIVE)

このような場合は新しいディスクに交換後 insert サブコマンドを使用して組み込みを行います．
組み込みが成功すると status サブコマンドでリビルドが実行されている事が確認できます．

# graid3 insert raid3-0 da1

# graid3 status
         Name    Status  Components
raid3/raid3-0  DEGRADED  da2 (ACTIVE)
                         da3 (ACTIVE)
                         da1 (SYNCHRONIZING, 2%)

リビルドが完了すると status サブコマンドの結果は COMPLETE になります．

# graid3 status
         Name    Status  Components
raid3/raid3-0  COMPLETE  da2 (ACTIVE)
                         da3 (ACTIVE)
                         da1 (ACTIVE)

自発的にディスクを交換する (メディアエラー等の不調の場合)

ディスクが突然見えなくなるという障害より，セクター不良等のメディアエラーの障害のケースが多いと思います．
ここでは，自発的にディスクを交換する手順を説明します．

メディアエラーが出たとしても即 DEGRADED になるわけではありません．
以下のようにステータス上は問題が無いとしても例えば messages や dmesg で da2 にエラーの兆候が出てたとします．

# graid3 status
         Name    Status  Components
raid3/raid3-0  COMPLETE  da2 (ACTIVE)
                         da3 (ACTIVE)
                         da1 (ACTIVE)

エラー例
(da2:ahcich3:0:0:0): WRITE_FPDMA_QUEUED. ACB: 61 08 e0 4d 50 40 5a 01 00 00 00 00
(da2:ahcich3:0:0:0): CAM status: Command timeout
(da2:ahcich3:0:0:0): Retrying command, 3 more tries remain

まずは da2 を取り外します．取り外すにあたって list サブコマンドを利用してディスク番号を確認します．
この場合，da2 は 1 になります．

# graid3 list
Geom name: raid3-0
State: COMPLETE
Components: 3
Flags: NONE
GenID: 0
SyncID: 1
ID: 2182500346
Zone64kFailed: 0
Zone64kRequested: 990
Zone16kFailed: 0
Zone16kRequested: 1205
Zone4kFailed: 0
Zone4kRequested: 2141
Providers:
1. Name: raid3/raid3-0

Consumers:
1. Name: da2
   Number: 0

2. Name: da3
   Number: 1

3. Name: da1
   Number: 2

続いて remove サブコマンドで取り外します．
取り外すとステータスは DEGRADED に変化します．

# graid3 remove -n 1 raid3-0

# graid3 status
         Name    Status  Components
raid3/raid3-0  DEGRADED  da3 (ACTIVE)
                         da1 (ACTIVE)

新しいディスクに交換後 insert サブコマンドを使用して組み込みを行います．
組み込みが成功すると status サブコマンドでリビルドが実行されている事が確認できます．

# graid3 insert raid3-0 da2

# graid3 status
         Name    Status  Components
raid3/raid3-0  DEGRADED  da3 (ACTIVE)
                         da1 (ACTIVE)
                         da2 (SYNCHRONIZING, 1%)

リビルドが完了すると status サブコマンドの結果は COMPLETE になります．

# graid3 status
         Name    Status  Components
raid3/raid3-0  COMPLETE  da3 (ACTIVE)
                         da1 (ACTIVE)
                         da2 (ACTIVE)

ディスクを拡張する

GEOM MIRROR のように玉突きで大きなディスクに入れ替えていって拡張が出来るか確認してみましたが，どうやら出来ないようです．
ディスクの入れ替えは出来ますが，プロバイダー側デバイス (今回だと raid3-0) を拡張する方法がありませんでした．
GEOM CONCAT と組み合わせて拡張することは可能です．やり方は RAID10 と同様ですので「GEOM STRIPE + MIRROR で RAID10 を構成してみる」を参考にしてください．

GEOM RAID3 デバイスを終了 (破壊) する

ファイルシステムとして用済みになった．であったり，別用途に転用する為に初期化したい場合を説明します．

当然ながら，ファイルシステムはアンマウントする必要があります．
また，STRIPE や MIRROR の場合は destroy サブコマンドがあったのですが，RAID3 には存在しません．
従って stop で停止させる．という方法になります．

# graid3 stop raid3-0

# graid3 status

もし間違って stop した場合ですが，ドキュメントだと load で再度読み込めるはずですが失敗します．再起動実施の上で load を行えば読み込めます．
再起動を行わずに復活させたい場合は再度 label を同じ引数で渡すことで復活させる事が可能です．
やらかしてしまった… という事案の場合は慌てずにそっと元に戻しましょう．

# graid3 label raid3-0 da1 da2 da3

# graid3 status
         Name    Status  Components
raid3/raid3-0  COMPLETE  da1 (ACTIVE)
                         da2 (ACTIVE)
                         da3 (ACTIVE)

# mount /dev/raid3/raid3-0 /mnt

# ls /mnt
.snap           random.img

以上で GEOM RAID3 の紹介を終わります．

GEOM STRIPE + MIRROR で RAID10 を構成してみる

seichan — Tue, 05 Dec 2023 13:00:00 +0000

今回は GEOM STRIPE と MIRROR を組み合わせた RAID10 について纏めてみたいと思います．
ストライピングは複数のディスクを束ねた分散の読み書きが可能で IO 性能の向上が見込まれますが，耐障害性はありません．
一方，ミラーリングはデータを複数のディスクに保持する為耐障害性を得る事が可能となりますが，容量と IO 性能はディスク1本分の性能となります．
その為ストライピングとミラーリングを組み合わせた RAID10 とする事で両方の弱点を補う事が可能となります．
デメリットは，RAID3 以降の技術と比較してディスク本数と容量の兼ね合いで損失が大きい事になります．通常，パフォーマンスは RAID10 の方が向上が見込めます．
「通常」というのは GEOM の仕組みだと制限があるのでこの書き方となっています．

GEOM に関するお話

GEOM による RAID10 のイメージ
1. RAID10 の作成
ディスクを拡張する

GEOM による RAID10 のイメージ

GEOM STRIPE と MIRROR の組み合わせによる RAID10 のイメージです．
MIRROR の2セットを STRIPE で束ねる事で容量と IO 性能の向上，耐障害性の向上が図れます．

RAID10 の作成

実施にあたり，カーネルモジュールは先にロードしておきます．

 cat /boot/loader.conf
geom_stripe_load="YES"
geom_mirror_load="YES"

まずは2つのミラーリングのセットを作成します．

# gmirror label mirror0 da1 da2
root@bsd13:~ # gmirror label mirror1 da3 da4
root@bsd13:~ # gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)
mirror/mirror1  COMPLETE  da3 (ACTIVE)
                          da4 (ACTIVE)

# gmirror list
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 226490004
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0

Geom name: mirror1
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 518624559
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror1
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0

続いて，作成したミラーリングデバイスをストライプで束ねます．

# gstripe label stripe0 /dev/mirror/mirror0 /dev/mirror/mirror1

# gstripe status
          Name  Status  Components
stripe/stripe0      UP  mirror/mirror0
                        mirror/mirror1

# gstripe list
Geom name: stripe0
State: UP
Status: Total=2, Online=2
Type: AUTOMATIC
Stripesize: 65536
ID: 200779422
Providers:
1. Name: stripe/stripe0
   Mediasize: 214748233728 (200G)
   Sectorsize: 512
   Stripesize: 65536
   Stripeoffset: 0
   Mode: r0w0e0
Consumers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   Number: 0
2. Name: mirror/mirror1
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   Number: 1

ファイルシステムを作成してマウントします．

# newfs /dev/stripe/stripe0
/dev/stripe/stripe0: 204799.9MB (419430144 sectors) block size 32768, fragment size 4096
        using 328 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,
...

# mount /dev/stripe/stripe0 /mnt

# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2591108  15145812    15%    /
devfs                       1       1         0   100%    /dev
/dev/stripe/stripe0 203123480       8 186873596     0%    /mnt

以上で RAID10 ボリュームの利用が可能となります．
ディスクが1本障害となった場合は GEOM MIRROR のディスク交換の手順「ミラーデバイスを取り外す」と「ミラーデバイスを追加する」で交換，リビルドが行えます．

ディスクを拡張する

GEOM MIRROR を STRIPE で束ねている事から，さらに MIRROR デバイスを追加した拡張は「GEOM STRIPE (ストライプ/RAID0) を使ってみるのディスクを拡張する」で記載したように実施出来ません．

MIRROR 側を玉突きで大きなディスクに入れ替えての拡張もこの構成だと上位レイヤーに STRIPE がある為不可能です．

今回のつくり方の場合，最初の段階で最大値を構成する必要がありますので注意してください．

RAID10 については別のアプローチで実現が可能ですので改めて纏めたいと思います．

GEOM MIRROR (ミラーリング/RAID1) を使ってみる (2)

seichan — Mon, 04 Dec 2023 13:00:00 +0000

前回に引き続き GEOM によるディスクのミラーリング (RAID1) について纏めてみたいと思います．
前回は作成・削除・拡張について説明しましたが，今回は主に拡張の別のアプローチや管理面の説明となります．

GEOM に関するお話

GEOM CONCAT を併用してディスクを拡張する
GEOM MIRROR 管理
読み出し方式の変更
リビルド処理の自動化・手動化

GEOM CONCAT を併用してディスクを拡張する

前回は玉突きで大きなディスクに入れ替える．という手法を紹介しました．今回は別のアプローチとして，ミラーリング + コンカチを紹介します．
GEOM は重ね掛けでの利用が可能ですのでこういった方法も可能です．
拡張のイメージはこのような形です．

このような拡張を事前に考慮している場合は最初からコンカチまで GEOM でやっていればいいのですが，後から拡張したい場合もあると思います．
そのようなシチュエーションを考え，以下の流れでの拡張を紹介します．

現状は上図の一番左の状態とします．

gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2591092 15145828    15%    /
devfs                       1       1        0   100%    /dev
/dev/mirror/mirror0 101561752   62888 93373924     0%    /mnt

mirror0 をコンカチデバイスの配下に組み入れる

まずはこの mirror0 デバイスをコンカチデバイスとして取り扱います．gconcat label で実行しますが，マウントしている状態だとこれは出来ない為，一度マウントを解除の上コマンドを発行します．

# umount /mnt

# gconcat label concat0 /dev/mirror/mirror0

# gconcat status
          Name  Status  Components
concat/concat0      UP  mirror/mirror0

status サブコマンドで UP の状態であれば，このデバイスをマウントする事が可能です．データは mirror0 の時の物がそのまま維持されています．

# mount /dev/concat/concat0 /mnt

# ls /mnt
.snap           random.img

追加用の mirror ボリュームを作成する

続いて，拡張用の RAID1 ボリュームの mirror1 を作成します．
label サブコマンドを用いて新しいミラーボリュームを作成，status サブコマンドで COMPLETE / ACTIVE を確認します．

# gmirror label mirror1 da3 da4

# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)
mirror/mirror1  COMPLETE  da3 (ACTIVE)
                          da4 (ACTIVE)

追加した mirror ボリュームをコンカチに組み入れる

続いて，作成した mirror1 を concat0 に追加を行います．「GEOM CONCAT (ディスクの連結) を使ってみる」の「ディスクを拡張する」でも触れていますが，オンラインのままではできません．
ですので実際は上記でマウントを行っていますが行わずに一気に拡張をやってしまった方が時間は節約できます．
ただ，オペレーションの都度確認を入れたほうが安全ではあります．

以下一気に記載をしてしまっていますが，
アンマウントを行い，gconcat label で mirror1 の追加を行っています．
その後ステータスを確認してマウントを行っています．この状態だとまだ容量は増えていません．
最後に growfs でファイルシステムの拡張を行いました．
なお，growfs はオンライン/オフラインどちらでも実施が可能です．

# umount /mnt

# gconcat label concat0 /dev/mirror/mirror0 /dev/mirror/mirror1

# gconcat status
          Name  Status  Components
concat/concat0      UP  mirror/mirror0
                        mirror/mirror1
# gconcat list
Geom name: concat0
State: UP
Status: Total=2, Online=2
Type: AUTOMATIC
ID: 945551655
Providers:
1. Name: concat/concat0
   Mediasize: 214748362752 (200G)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   Start: 0
   End: 107374181376
2. Name: mirror/mirror1
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
   Start: 107374181376
   End: 214748362752

# mount /dev/concat/concat0 /mnt

# growfs /dev/concat/concat0
Device is mounted read-write; resizing will result in temporary write suspension for /mnt.
It's strongly recommended to make a backup before growing the file system.
OK to grow filesystem on /dev/concat/concat0, mounted on /mnt, from 100GB to 200GB? [yes/no] yes
super-block backups (for fsck_ffs -b #) at:
 209993664, 211274112, 212554560, 213835008, 215115456, 216395904, 217676352, 218956800, 220237248, 221517696, 222798144,
 224078592, 225359040, 226639488, 227919936, 229200384, 230480832, 231761280, 233041728, 234322176, 235602624, 236883072,
 238163520, 239443968, 240724416, 242004864, 243285312, 244565760, 245846208, 247126656, 248407104, 249687552, 250968000,
 252248448, 253528896, 254809344, 256089792, 257370240, 258650688, 259931136, 261211584, 262492032, 263772480, 265052928,

# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2591088  15145832    15%    /
devfs                       1       1         0   100%    /dev
/dev/concat/concat0 203123604   62888 186810828     0%    /mnt

一度オフラインにする必要がある．という制限はありますが，玉突きではなく純増で増やしていきたい場合の方法として，GEOM MIRROR + CONCAT という手法を紹介しました．

GEOM MIRROR 管理

前回，作成・削除・拡張を特にオプション無しで実施していますが，GEOM MIRROR には GEOM STRIPE や CONCAT と違ってサブコマンドやオプションが豊富です．
ここで少し紹介したいと思います．

gmirror list を実行すると先頭に Balance は Slice，Type 等の項目が表示されます．

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r1w1e2

読み出し方式の変更

Balance は4つあり，ディスクの読み出しの際にどういったアクセスを行うか．を決定するものになります．

load
IO負荷の低いディスクから読み出しを行います．label や create 時に指定しない場合これがデフォルトとして採用されます
prefer
mirror 内の Priority 値が大きいディスクから読み出しを行います
round-robin
ラウンドロビンで読み出しを行います
split
指定のバイト数毎に読み取るディスクを切り替えていく方式となります

基本的にはデフォルトの load でもよいと思いますが，読み出しの割合が多い環境でパフォーマンスを引き出したい場合は round-robin や split を選択するのは有効だと思います．

変更する場合は configure サブコマンドで設定値を変更が可能です．round-robin にする場合はこのような形となります．

# gmirror configure -b round-robin mirror0

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: round-robin
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC

split の場合は configure サブコマンドでオプションを2つ渡します．-s を指定しない場合は 4096 byte がデフォルト値として採用されます．

# gmirror configure -b split -s 8192 mirror0

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: split
Slice: 8192
Flags: NONE
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC

prefer の場合も configure サブコマンドを使用します．
その後，デバイスの優先度を変更します．Consumers の Priority が変化している事を確認します．
(長くなるので Priority だけ記載しています)

# gmirror configure -b prefer mirror0

# gmirror configure -p 10 mirror0 da1

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: prefer
Slice: 8192
Flags: NONE
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r1w1e2
Consumers:
1. Name: da1
   Priority: 10
2. Name: da2
   Priority: 1

リビルド処理の自動化・手動化

Type は AUTOMATIC と NOAUTOSYNC の2つがあります．自動で同期処理を行うのか，マニュアル制御で行うのか．という違いになります．
手動でオペレーションを行わないといけない．というシチュエーションは少ないと思いますが，方法を記載します．
こちらも configure サブコマンドを用いて設定します．

# gmirror configure -n mirror0

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: round-robin
Slice: 4096
Flags: NOAUTOSYNC
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC

手動から自動に戻したい場合も同様に configure サブコマンドを用いて設定します．

# gmirror configure -a mirror0

# gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: round-robin
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3673431046
Type: AUTOMATIC

以上で GEOM MIRROR によるミラーリングについての解説を終わります．