Release 1.9.3

- Support custom hybrid OSD creation (`vitastor-disk prepare --hybrid --fast-devices /dev/xxx,/dev/yyy`)
- Auto-change partition paths to /dev/disk/by-partuuid/ in `vitastor-disk prepare`
- Allow to select cached I/O in vitastor-disk commands
- Fix multiple bugs in vitastor-disk resize & add tests for them
- Fix vitastor-disk write-meta/write-journal in superblock-based mode writing it to an incorrect device
- Fix vitastor-disk prepare sometimes again not seeing new partitions
- Cleanup PG history and stats of deleted pools
- Fix "is already mounted" checks in CSI

.gitea/workflows/buildenv.Dockerfile

@@ -22,7 +22,7 @@ RUN apt-get update
 RUN apt-get -y install etcd qemu-system-x86 qemu-block-extra qemu-utils fio libasan5 \
     liburing1 liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev
 RUN apt-get -y build-dep fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
-RUN apt-get -y install jq lp-solve sudo nfs-common
+RUN apt-get update && apt-get -y install jq lp-solve sudo nfs-common fdisk parted
 RUN apt-get --download-only source fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
 
 RUN set -ex; \

.gitea/workflows/test.yml

@@ -828,6 +828,60 @@ jobs:
           echo ""
         done
 
+  test_resize:
+    runs-on: ubuntu-latest
+    needs: build
+    container: ${{env.TEST_IMAGE}}:${{github.sha}}
+    steps:
+    - name: Run test
+      id: test
+      timeout-minutes: 3
+      run: /root/vitastor/tests/test_resize.sh
+    - name: Print logs
+      if: always() && steps.test.outcome == 'failure'
+      run: |
+        for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
+          echo "-------- $i --------"
+          cat $i
+          echo ""
+        done
+
+  test_resize_auto:
+    runs-on: ubuntu-latest
+    needs: build
+    container: ${{env.TEST_IMAGE}}:${{github.sha}}
+    steps:
+    - name: Run test
+      id: test
+      timeout-minutes: 3
+      run: /root/vitastor/tests/test_resize_auto.sh
+    - name: Print logs
+      if: always() && steps.test.outcome == 'failure'
+      run: |
+        for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
+          echo "-------- $i --------"
+          cat $i
+          echo ""
+        done
+
+  test_snapshot_pool2:
+    runs-on: ubuntu-latest
+    needs: build
+    container: ${{env.TEST_IMAGE}}:${{github.sha}}
+    steps:
+    - name: Run test
+      id: test
+      timeout-minutes: 3
+      run: /root/vitastor/tests/test_snapshot_pool2.sh
+    - name: Print logs
+      if: always() && steps.test.outcome == 'failure'
+      run: |
+        for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
+          echo "-------- $i --------"
+          cat $i
+          echo ""
+        done
+
   test_osd_tags:
     runs-on: ubuntu-latest
     needs: build

CMakeLists.txt

@@ -2,6 +2,6 @@ cmake_minimum_required(VERSION 2.8.12)
 
 project(vitastor)
 
-set(VITASTOR_VERSION "1.8.0")
+set(VITASTOR_VERSION "1.9.3")
 
 add_subdirectory(src)

README-ru.md

@@ -1,4 +1,4 @@
-## Vitastor
+# Vitastor
 
 [Read English version](README.md)
 
@@ -22,7 +22,7 @@ TCP и RDMA и на хорошем железе может достигать з
 Vitastor поддерживает QEMU-драйвер, протоколы NBD и NFS, драйверы OpenStack, OpenNebula, Proxmox, Kubernetes.
 Другие драйверы могут также быть легко реализованы.
 
-Подробности смотрите в документации по ссылкам ниже.
+Подробности смотрите в документации по ссылкам. Можете начать отсюда: [Быстрый старт](docs/intro/quickstart.ru.md).
 
 ## Презентации и записи докладов
 
@@ -51,7 +51,7 @@ Vitastor поддерживает QEMU-драйвер, протоколы NBD и
   - Параметры
     - [Общие](docs/config/common.ru.md)
     - [Сетевые](docs/config/network.ru.md)
-    - [Клиентский код](docs/config/client.en.md)
+    - [Клиентский код](docs/config/client.ru.md)
     - [Глобальные дисковые параметры](docs/config/layout-cluster.ru.md)
     - [Дисковые параметры OSD](docs/config/layout-osd.ru.md)
     - [Прочие параметры OSD](docs/config/osd.ru.md)

README.md

@@ -22,7 +22,7 @@ or internal systems of public clouds.
 Vitastor supports QEMU, NBD, NFS protocols, OpenStack, OpenNebula, Proxmox, Kubernetes drivers.
 More drivers may be created easily.
 
-Read more details below in the documentation.
+Read more details in the documentation. You can start from here: [Quick Start](docs/intro/quickstart.en.md).
 
 ## Talks and presentations
 

csi/Makefile

@@ -1,4 +1,4 @@
-VITASTOR_VERSION ?= v1.8.0
+VITASTOR_VERSION ?= v1.9.3
 
 all: build push
 

csi/deploy/004-csi-nodeplugin.yaml

@@ -49,7 +49,7 @@ spec:
             capabilities:
               add: ["SYS_ADMIN"]
             allowPrivilegeEscalation: true
-          image: vitalif/vitastor-csi:v1.8.0
+          image: vitalif/vitastor-csi:v1.9.3
           args:
             - "--node=$(NODE_ID)"
             - "--endpoint=$(CSI_ENDPOINT)"

csi/deploy/007-csi-provisioner.yaml

@@ -121,7 +121,7 @@ spec:
             privileged: true
             capabilities:
               add: ["SYS_ADMIN"]
-          image: vitalif/vitastor-csi:v1.8.0
+          image: vitalif/vitastor-csi:v1.9.3
           args:
             - "--node=$(NODE_ID)"
             - "--endpoint=$(CSI_ENDPOINT)"

csi/go.mod

@@ -3,10 +3,10 @@ module vitastor.io/csi
 go 1.15
 
 require (
-	github.com/container-storage-interface/spec v1.4.0
+	github.com/container-storage-interface/spec v1.8.0
 	github.com/golang/glog v0.0.0-20160126235308-23def4e6c14b
 	github.com/kubernetes-csi/csi-lib-utils v0.9.1
-	golang.org/x/net v0.0.0-20201202161906-c7110b5ffcbb
+	golang.org/x/net v0.7.0
 	golang.org/x/xerrors v0.0.0-20200804184101-5ec99f83aff1 // indirect
 	google.golang.org/grpc v1.33.1
 	google.golang.org/protobuf v1.24.0

csi/go.sum

@@ -41,8 +41,8 @@ github.com/chzyer/logex v1.1.10/go.mod h1:+Ywpsq7O8HXn0nuIou7OrIPyXbp3wmkHB+jjWR
 github.com/chzyer/readline v0.0.0-20180603132655-2972be24d48e/go.mod h1:nSuG5e5PlCu98SY8svDHJxuZscDgtXS6KTTbou5AhLI=
 github.com/chzyer/test v0.0.0-20180213035817-a1ea475d72b1/go.mod h1:Q3SI9o4m/ZMnBNeIyt5eFwwo7qiLfzFZmjNmxjkiQlU=
 github.com/container-storage-interface/spec v1.2.0/go.mod h1:6URME8mwIBbpVyZV93Ce5St17xBiQJQY67NDsuohiy4=
-github.com/container-storage-interface/spec v1.4.0 h1:ozAshSKxpJnYUfmkpZCTYyF/4MYeYlhdXbAvPvfGmkg=
+github.com/container-storage-interface/spec v1.8.0 h1:D0vhF3PLIZwlwZEf2eNbpujGCNwspwTYf2idJRJx4xI=
-github.com/container-storage-interface/spec v1.4.0/go.mod h1:6URME8mwIBbpVyZV93Ce5St17xBiQJQY67NDsuohiy4=
+github.com/container-storage-interface/spec v1.8.0/go.mod h1:ROLik+GhPslwwWRNFF1KasPzroNARibH2rfz1rkg4H0=
 github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
 github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
 github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
@@ -182,6 +182,7 @@ github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UV
 github.com/stretchr/testify v1.4.0/go.mod h1:j7eGeouHqKxXV5pUuKE4zz7dFj8WfuZ+81PSLYec5m4=
 github.com/stretchr/testify v1.5.1 h1:nOGnQDM7FYENwehXlg/kFVnos3rEvtKTjRvOWSzb6H4=
 github.com/stretchr/testify v1.5.1/go.mod h1:5W2xD1RspED5o8YsWQXVCued0rvSQ+mT+I5cxcmMvtA=
+github.com/yuin/goldmark v1.4.13/go.mod h1:6yULJ656Px+3vBD8DxQVa3kxgyrAnzto9xy5taEt/CY=
 go.opencensus.io v0.21.0/go.mod h1:mSImk1erAIZhrmZN+AvHh14ztQfjbGwt4TtuofqLduU=
 go.opencensus.io v0.22.0/go.mod h1:+kGneAE2xo2IficOXnaByMWTGM9T73dGwxeWcUqIpI8=
 go.opencensus.io v0.22.2/go.mod h1:yxeiOL68Rb0Xd1ddK5vPZ/oVn4vY4Ynel7k9FzqtOIw=
@@ -195,6 +196,7 @@ golang.org/x/crypto v0.0.0-20190605123033-f99c8df09eb5/go.mod h1:yigFU9vqHzYiE8U
 golang.org/x/crypto v0.0.0-20191011191535-87dc89f01550/go.mod h1:yigFU9vqHzYiE8UmvKecakEJjdnWj3jj499lnFckfCI=
 golang.org/x/crypto v0.0.0-20191206172530-e9b2fee46413/go.mod h1:LzIPMQfyMNhhGPhUkYOs5KpL4U8rLKemX1yGLhDgUto=
 golang.org/x/crypto v0.0.0-20200622213623-75b288015ac9/go.mod h1:LzIPMQfyMNhhGPhUkYOs5KpL4U8rLKemX1yGLhDgUto=
+golang.org/x/crypto v0.0.0-20210921155107-089bfa567519/go.mod h1:GvvjBRRGRdwPK5ydBHafDWAxML/pGHZbMvKqRZ5+Abc=
 golang.org/x/exp v0.0.0-20190121172915-509febef88a4/go.mod h1:CJ0aWSM057203Lf6IL+f9T1iT9GByDxfZKAQTCR3kQA=
 golang.org/x/exp v0.0.0-20190306152737-a1d7652674e8/go.mod h1:CJ0aWSM057203Lf6IL+f9T1iT9GByDxfZKAQTCR3kQA=
 golang.org/x/exp v0.0.0-20190510132918-efd6b22b2522/go.mod h1:ZjyILWgesfNpC6sMxTJOJm9Kp84zZh5NQWvqDGG3Qr8=
@@ -213,6 +215,7 @@ golang.org/x/mobile v0.0.0-20190719004257-d2bd2a29d028/go.mod h1:E/iHnbuqvinMTCc
 golang.org/x/mod v0.0.0-20190513183733-4bf6d317e70e/go.mod h1:mXi4GBBbnImb6dmsKGUJ2LatrhH/nqhxcFungHvyanc=
 golang.org/x/mod v0.1.0/go.mod h1:0QHyrYULN0/3qlju5TqG8bIK38QM8yzMo5ekMj3DlcY=
 golang.org/x/mod v0.1.1-0.20191105210325-c90efee705ee/go.mod h1:QqPTAvyqsEbceGzBzNggFXnrqF1CaUcvgkdR5Ot7KZg=
+golang.org/x/mod v0.6.0-dev.0.20220419223038-86c51ed26bb4/go.mod h1:jJ57K6gSWd91VN4djpZkiMVwK6gcyfeH4XE8wZrZaV4=
 golang.org/x/net v0.0.0-20180724234803-3673e40ba225/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
 golang.org/x/net v0.0.0-20180906233101-161cd47e91fd/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
 golang.org/x/net v0.0.0-20181114220301-adae6a3d119a/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
@@ -228,8 +231,10 @@ golang.org/x/net v0.0.0-20190620200207-3b0461eec859/go.mod h1:z5CRVTTTmAJ677TzLL
 golang.org/x/net v0.0.0-20191209160850-c0dbc17a3553/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s=
 golang.org/x/net v0.0.0-20200324143707-d3edc9973b7e/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A=
 golang.org/x/net v0.0.0-20200707034311-ab3426394381/go.mod h1:/O7V0waA8r7cgGh81Ro3o1hOxt32SMVPicZroKQ2sZA=
-golang.org/x/net v0.0.0-20201202161906-c7110b5ffcbb h1:eBmm0M9fYhWpKZLjQUUKka/LtIxf46G4fxeEz5KJr9U=
+golang.org/x/net v0.0.0-20210226172049-e18ecbb05110/go.mod h1:m0MpNAwzfU5UDzcl9v0D8zg8gWTRqZa9RBIspLL5mdg=
-golang.org/x/net v0.0.0-20201202161906-c7110b5ffcbb/go.mod h1:sp8m0HH+o8qH0wwXwYZr8TS3Oi6o0r6Gce1SSxlDquU=
+golang.org/x/net v0.0.0-20220722155237-a158d28d115b/go.mod h1:XRhObCWvk6IyKnWLug+ECip1KBveYUHfp+8e9klMJ9c=
+golang.org/x/net v0.7.0 h1:rJrUqqhjsgNp7KqAIc25s9pZnjU7TUcSY7HcVZjdn1g=
+golang.org/x/net v0.7.0/go.mod h1:2Tu9+aMcznHK/AK1HMvgo6xiTLG5rD5rZLDS+rp2Bjs=
 golang.org/x/oauth2 v0.0.0-20180821212333-d2e6202438be/go.mod h1:N/0e6XlmueqKjAGxoOufVs8QHGRruUQn6yWY3a++T0U=
 golang.org/x/oauth2 v0.0.0-20190226205417-e64efc72b421/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw=
 golang.org/x/oauth2 v0.0.0-20190604053449-0f29369cfe45/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw=
@@ -240,6 +245,7 @@ golang.org/x/sync v0.0.0-20181221193216-37e7f081c4d4/go.mod h1:RxMgew5VJxzue5/jJ
 golang.org/x/sync v0.0.0-20190227155943-e225da77a7e6/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM=
 golang.org/x/sync v0.0.0-20190423024810-112230192c58/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM=
 golang.org/x/sync v0.0.0-20190911185100-cd5d95a43a6e/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM=
+golang.org/x/sync v0.0.0-20220722155255-886fb9371eb4/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM=
 golang.org/x/sys v0.0.0-20180905080454-ebe1bf3edb33/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY=
 golang.org/x/sys v0.0.0-20180909124046-d0be0721c37e/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY=
 golang.org/x/sys v0.0.0-20181116152217-5ac8a444bdc5/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY=
@@ -259,13 +265,22 @@ golang.org/x/sys v0.0.0-20200302150141-5c8b2ff67527/go.mod h1:h1NjWce9XRLGQEsW7w
 golang.org/x/sys v0.0.0-20200323222414-85ca7c5b95cd/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
 golang.org/x/sys v0.0.0-20200615200032-f1bc736245b1/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
 golang.org/x/sys v0.0.0-20200622214017-ed371f2e16b4/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
-golang.org/x/sys v0.0.0-20200930185726-fdedc70b468f h1:+Nyd8tzPX9R7BWHguqsrbFdRx3WQ/1ib8I44HXV5yTA=
+golang.org/x/sys v0.0.0-20201119102817-f84b799fce68/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
-golang.org/x/sys v0.0.0-20200930185726-fdedc70b468f/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
+golang.org/x/sys v0.0.0-20210615035016-665e8c7367d1/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/sys v0.0.0-20220520151302-bc2c85ada10a/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/sys v0.0.0-20220722155257-8c9f86f7a55f/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/sys v0.5.0 h1:MUK/U/4lj1t1oPg0HfuXDN/Z1wv31ZJ/YcPiGccS4DU=
+golang.org/x/sys v0.5.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/term v0.0.0-20201126162022-7de9c90e9dd1/go.mod h1:bj7SfCRtBDWHUb9snDiAeCFNEtKQo2Wmx5Cou7ajbmo=
+golang.org/x/term v0.0.0-20210927222741-03fcf44c2211/go.mod h1:jbD1KX2456YbFQfuXm/mYQcufACuNUgVhRMnK/tPxf8=
+golang.org/x/term v0.5.0/go.mod h1:jMB1sMXY+tzblOD4FWmEbocvup2/aLOaQEp7JmGp78k=
 golang.org/x/text v0.3.0/go.mod h1:NqM8EUOU14njkJ3fqMW+pc6Ldnwhi/IjpwHt7yyuwOQ=
 golang.org/x/text v0.3.1-0.20180807135948-17ff2d5776d2/go.mod h1:NqM8EUOU14njkJ3fqMW+pc6Ldnwhi/IjpwHt7yyuwOQ=
 golang.org/x/text v0.3.2/go.mod h1:bEr9sfX3Q8Zfm5fL9x+3itogRgK3+ptLWKqgva+5dAk=
-golang.org/x/text v0.3.3 h1:cokOdA+Jmi5PJGXLlLllQSgYigAEfHXJAERHVMaCc2k=
 golang.org/x/text v0.3.3/go.mod h1:5Zoc/QRtKVWzQhOtBMvqHzDpF6irO9z98xDceosuGiQ=
+golang.org/x/text v0.3.7/go.mod h1:u+2+/6zg+i71rQMx5EYifcz6MCKuco9NR6JIITiCfzQ=
+golang.org/x/text v0.7.0 h1:4BRB4x83lYWy72KwLD/qYDuTu7q9PjSagHvijDw7cLo=
+golang.org/x/text v0.7.0/go.mod h1:mrYo+phRRbMaCq/xk9113O4dZlRixOauAjOtrjsXDZ8=
 golang.org/x/time v0.0.0-20181108054448-85acf8d2951c/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ=
 golang.org/x/time v0.0.0-20190308202827-9d24e82272b4/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ=
 golang.org/x/time v0.0.0-20191024005414-555d28b269f0/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ=
@@ -286,8 +301,10 @@ golang.org/x/tools v0.0.0-20190628153133-6cdbf07be9d0/go.mod h1:/rFqwRUd4F7ZHNgw
 golang.org/x/tools v0.0.0-20190816200558-6889da9d5479/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo=
 golang.org/x/tools v0.0.0-20190911174233-4f2ddba30aff/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo=
 golang.org/x/tools v0.0.0-20191012152004-8de300cfc20a/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo=
+golang.org/x/tools v0.0.0-20191119224855-298f0cb1881e/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo=
 golang.org/x/tools v0.0.0-20191125144606-a911d9008d1f/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo=
 golang.org/x/tools v0.0.0-20191227053925-7b8e75db28f4/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28=
+golang.org/x/tools v0.1.12/go.mod h1:hNGJHUnrk76NpqgfD5Aqm5Crs+Hm0VOH/i9J2+nxYbc=
 golang.org/x/xerrors v0.0.0-20190717185122-a985d3407aa7/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0=
 golang.org/x/xerrors v0.0.0-20191011141410-1b5146add898/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0=
 golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0=

csi/src/config.go

@@ -5,7 +5,7 @@ package vitastor
 
 const (
     vitastorCSIDriverName    = "csi.vitastor.io"
-    vitastorCSIDriverVersion = "1.8.0"
+    vitastorCSIDriverVersion = "1.9.3"
 )
 
 // Config struct fills the parameters of request or user input

csi/src/controllerserver.go

@@ -8,11 +8,9 @@ import (
     "encoding/json"
     "fmt"
     "strings"
-    "bytes"
     "strconv"
     "time"
     "os"
-    "os/exec"
     "io/ioutil"
 
     "github.com/kubernetes-csi/csi-lib-utils/protosanitizer"
@@ -114,22 +112,6 @@ func GetConnectionParams(params map[string]string) (map[string]string, error)
     return ctxVars, nil
 }
 
-func system(program string, args ...string) ([]byte, []byte, error)
-{
-    klog.Infof("Running "+program+" "+strings.Join(args, " "))
-    c := exec.Command(program, args...)
-    var stdout, stderr bytes.Buffer
-    c.Stdout, c.Stderr = &stdout, &stderr
-    err := c.Run()
-    if (err != nil)
-    {
-        stdoutStr, stderrStr := string(stdout.Bytes()), string(stderr.Bytes())
-        klog.Errorf(program+" "+strings.Join(args, " ")+" failed: %s, status %s\n", stdoutStr+stderrStr, err)
-        return nil, nil, status.Error(codes.Internal, stdoutStr+stderrStr+" (status "+err.Error()+")")
-    }
-    return stdout.Bytes(), stderr.Bytes(), nil
-}
-
 func invokeCLI(ctxVars map[string]string, args []string) ([]byte, error)
 {
     if (ctxVars["configPath"] != "")
@@ -158,6 +140,12 @@ func (cs *ControllerServer) CreateVolume(ctx context.Context, req *csi.CreateVol
         return nil, status.Error(codes.InvalidArgument, "volume capabilities is a required field")
     }
 
+    err := cs.checkCaps(volumeCapabilities)
+    if (err != nil)
+    {
+        return nil, err
+    }
+
     etcdVolumePrefix := req.Parameters["etcdVolumePrefix"]
     poolId, _ := strconv.ParseUint(req.Parameters["poolId"], 10, 64)
     if (poolId == 0)
@@ -301,13 +289,44 @@ func (cs *ControllerServer) ValidateVolumeCapabilities(ctx context.Context, req
         return nil, status.Error(codes.InvalidArgument, "volumeCapabilities is nil")
     }
 
+    err := cs.checkCaps(volumeCapabilities)
+    if (err != nil)
+    {
+        return nil, err
+    }
+
+    return &csi.ValidateVolumeCapabilitiesResponse{
+        Confirmed: &csi.ValidateVolumeCapabilitiesResponse_Confirmed{
+            VolumeCapabilities: req.VolumeCapabilities,
+        },
+    }, nil
+}
+
+func (cs *ControllerServer) checkCaps(volumeCapabilities []*csi.VolumeCapability) error
+{
     var volumeCapabilityAccessModes []*csi.VolumeCapability_AccessMode
     for _, mode := range []csi.VolumeCapability_AccessMode_Mode{
         csi.VolumeCapability_AccessMode_SINGLE_NODE_WRITER,
-        csi.VolumeCapability_AccessMode_MULTI_NODE_MULTI_WRITER,
+        csi.VolumeCapability_AccessMode_SINGLE_NODE_READER_ONLY,
+        csi.VolumeCapability_AccessMode_MULTI_NODE_READER_ONLY,
+        csi.VolumeCapability_AccessMode_SINGLE_NODE_SINGLE_WRITER,
+        csi.VolumeCapability_AccessMode_SINGLE_NODE_MULTI_WRITER,
     } {
         volumeCapabilityAccessModes = append(volumeCapabilityAccessModes, &csi.VolumeCapability_AccessMode{Mode: mode})
     }
+    for _, capability := range volumeCapabilities
+    {
+        if (capability.GetBlock() != nil)
+        {
+            for _, mode := range []csi.VolumeCapability_AccessMode_Mode{
+                csi.VolumeCapability_AccessMode_MULTI_NODE_SINGLE_WRITER,
+                csi.VolumeCapability_AccessMode_MULTI_NODE_MULTI_WRITER,
+            } {
+                volumeCapabilityAccessModes = append(volumeCapabilityAccessModes, &csi.VolumeCapability_AccessMode{Mode: mode})
+            }
+            break
+        }
+    }
 
     capabilitySupport := false
     for _, capability := range volumeCapabilities
@@ -323,14 +342,10 @@ func (cs *ControllerServer) ValidateVolumeCapabilities(ctx context.Context, req
 
     if (!capabilitySupport)
     {
-        return nil, status.Errorf(codes.NotFound, "%v not supported", req.GetVolumeCapabilities())
+        return status.Errorf(codes.NotFound, "%v not supported", volumeCapabilities)
     }
 
-    return &csi.ValidateVolumeCapabilitiesResponse{
+    return nil
-        Confirmed: &csi.ValidateVolumeCapabilitiesResponse_Confirmed{
-            VolumeCapabilities: req.VolumeCapabilities,
-        },
-    }, nil
 }
 
 // ListVolumes returns a list of volumes

csi/src/nodeserver.go

@@ -227,7 +227,32 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
     isBlock := req.GetVolumeCapability().GetBlock() != nil
 
     // Check that it's not already mounted
-    _, err = mount.IsNotMountPoint(ns.mounter, targetPath)
+    notmnt, err := mount.IsNotMountPoint(ns.mounter, targetPath)
+    if (err == nil)
+    {
+        if (!notmnt)
+        {
+            klog.Errorf("target path %s is already mounted", targetPath)
+            return nil, fmt.Errorf("target path %s is already mounted", targetPath)
+        }
+        var finfo os.FileInfo
+        finfo, err = os.Stat(targetPath)
+        if (err != nil)
+        {
+            klog.Errorf("failed to stat %s: %v", targetPath, err)
+            return nil, err
+        }
+        if (finfo.IsDir() != (!isBlock))
+        {
+            err = os.Remove(targetPath)
+            if (err != nil)
+            {
+                klog.Errorf("failed to remove %s (to recreate it with correct type): %v", targetPath, err)
+                return nil, err
+            }
+            err = os.ErrNotExist
+        }
+    }
     if (err != nil)
     {
         if (os.IsNotExist(err))
@@ -280,6 +305,7 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
     diskMounter := &mount.SafeFormatAndMount{Interface: ns.mounter, Exec: utilexec.New()}
     if (isBlock)
     {
+        klog.Infof("bind-mounting %s to %s", devicePath, targetPath)
         err = diskMounter.Mount(devicePath, targetPath, "", []string{"bind"})
     }
     else
@@ -309,39 +335,40 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
         readOnly := Contains(opt, "ro")
         if (existingFormat == "" && !readOnly)
         {
-            var cmdOut []byte
             switch fsType
             {
                 case "ext4":
                     args := []string{"-m0", "-Enodiscard,lazy_itable_init=1,lazy_journal_init=1", devicePath}
-                    cmdOut, err = diskMounter.Exec.Command("mkfs.ext4", args...).CombinedOutput()
+                    _, err = systemCombined("mkfs.ext4", args...)
                 case "xfs":
-                    cmdOut, err = diskMounter.Exec.Command("mkfs.xfs", "-K", devicePath).CombinedOutput()
+                    _, err = systemCombined("mkfs.xfs", "-K", devicePath)
             }
             if (err != nil)
             {
-                klog.Errorf("failed to run mkfs error: %v, output: %v", err, string(cmdOut))
                 goto unmap
             }
         }
 
+        klog.Infof("formatting and mounting %s to %s with FS %s, options: %v", devicePath, targetPath, fsType, opt)
         err = diskMounter.FormatAndMount(devicePath, targetPath, fsType, opt)
+        if (err == nil)
+        {
+            klog.Infof("successfully mounted %s to %s", devicePath, targetPath)
+        }
 
         // Try to run online resize on mount.
         // FIXME: Implement online resize. It requires online resize support in vitastor-nbd.
         if (err == nil && existingFormat != "" && !readOnly)
         {
-            var cmdOut []byte
             switch (fsType)
             {
                 case "ext4":
-                    cmdOut, err = diskMounter.Exec.Command("resize2fs", devicePath).CombinedOutput()
+                    _, err = systemCombined("resize2fs", devicePath)
                 case "xfs":
-                    cmdOut, err = diskMounter.Exec.Command("xfs_growfs", devicePath).CombinedOutput()
+                    _, err = systemCombined("xfs_growfs", devicePath)
             }
             if (err != nil)
             {
-                klog.Errorf("failed to run resizefs error: %v, output: %v", err, string(cmdOut))
                 goto unmap
             }
         }
@@ -385,7 +412,7 @@ func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstag
     defer ns.unlockVolume(ctxVars["configPath"]+":"+volName)
 
     targetPath := req.GetStagingTargetPath()
-    devicePath, refCount, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
+    devicePath, _, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
     if (err != nil)
     {
         if (os.IsNotExist(err))
@@ -402,6 +429,16 @@ func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstag
         return &csi.NodeUnstageVolumeResponse{}, nil
     }
 
+    refList, err := ns.mounter.GetMountRefs(targetPath)
+    if (err != nil)
+    {
+        return nil, err
+    }
+    if (len(refList) > 0)
+    {
+        klog.Warningf("%s is still referenced: %v", targetPath, refList)
+    }
+
     // unmount
     err = mount.CleanupMountPoint(targetPath, ns.mounter, false)
     if (err != nil)
@@ -410,7 +447,7 @@ func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstag
     }
 
     // unmap device
-    if (refCount == 1)
+    if (len(refList) == 0)
     {
         if (!ns.useVduse)
         {
@@ -451,15 +488,20 @@ func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublis
     isBlock := req.GetVolumeCapability().GetBlock() != nil
 
     // Check that stagingTargetPath is mounted
-    _, err = mount.IsNotMountPoint(ns.mounter, stagingTargetPath)
+    notmnt, err := mount.IsNotMountPoint(ns.mounter, stagingTargetPath)
     if (err != nil)
     {
-        klog.Errorf("staging path %v is not mounted: %v", stagingTargetPath, err)
+        klog.Errorf("staging path %v is not mounted: %w", stagingTargetPath, err)
-        return nil, fmt.Errorf("staging path %v is not mounted: %v", stagingTargetPath, err)
+        return nil, fmt.Errorf("staging path %v is not mounted: %w", stagingTargetPath, err)
+    }
+    else if (notmnt)
+    {
+        klog.Errorf("staging path %v is not mounted", stagingTargetPath)
+        return nil, fmt.Errorf("staging path %v is not mounted", stagingTargetPath)
     }
 
     // Check that targetPath is not already mounted
-    _, err = mount.IsNotMountPoint(ns.mounter, targetPath)
+    notmnt, err = mount.IsNotMountPoint(ns.mounter, targetPath)
     if (err != nil)
     {
         if (os.IsNotExist(err))
@@ -494,6 +536,11 @@ func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublis
             return nil, err
         }
     }
+    else if (!notmnt)
+    {
+        klog.Errorf("target path %s is already mounted", targetPath)
+        return nil, fmt.Errorf("target path %s is already mounted", targetPath)
+    }
 
     execArgs := []string{"--bind", stagingTargetPath, targetPath}
     if (req.GetReadonly())

csi/src/utils.go

@@ -4,6 +4,7 @@
 package vitastor
 
 import (
+    "bytes"
     "errors"
     "encoding/json"
     "fmt"
@@ -15,6 +16,8 @@ import (
     "syscall"
 
     "k8s.io/klog"
+    "google.golang.org/grpc/codes"
+    "google.golang.org/grpc/status"
 )
 
 func Contains(list []string, s string) bool
@@ -73,6 +76,10 @@ func checkVduseSupport() bool
             " For VDUSE you need at least Linux 5.15 and the following kernel modules: vdpa, virtio-vdpa, vduse.",
         )
     }
+    else
+    {
+        klog.Infof("VDUSE support enabled successfully")
+    }
     return vduse
 }
 
@@ -97,6 +104,7 @@ func mapNbd(volName string, ctxVars map[string]string, readonly bool) (string, e
     {
         return "", fmt.Errorf("vitastor-nbd did not return the name of NBD device. output: %s", stderr)
     }
+    klog.Infof("Attached volume %s via NBD as %s", volName, dev)
     return dev, err
 }
 
@@ -217,6 +225,7 @@ func mapVduse(stateDir string, volName string, ctxVars map[string]string, readon
                     err = os.WriteFile(stateFile, stateJSON, 0600)
                     if (err == nil)
                     {
+                        klog.Infof("Attached volume %s via VDUSE as %s (VDPA ID %s)", volName, blockdev, vdpaId)
                         return blockdev, vdpaId, nil
                     }
                 }
@@ -299,3 +308,35 @@ func unmapVduseById(stateDir, vdpaId string)
         os.Remove(pidFile)
     }
 }
+
+func system(program string, args ...string) ([]byte, []byte, error)
+{
+    klog.Infof("Running "+program+" "+strings.Join(args, " "))
+    c := exec.Command(program, args...)
+    var stdout, stderr bytes.Buffer
+    c.Stdout, c.Stderr = &stdout, &stderr
+    err := c.Run()
+    if (err != nil)
+    {
+        stdoutStr, stderrStr := string(stdout.Bytes()), string(stderr.Bytes())
+        klog.Errorf(program+" "+strings.Join(args, " ")+" failed: %s\nOutput:\n%s", err, stdoutStr+stderrStr)
+        return nil, nil, status.Error(codes.Internal, stdoutStr+stderrStr+" (status "+err.Error()+")")
+    }
+    return stdout.Bytes(), stderr.Bytes(), nil
+}
+
+func systemCombined(program string, args ...string) ([]byte, error)
+{
+    klog.Infof("Running "+program+" "+strings.Join(args, " "))
+    c := exec.Command(program, args...)
+    var out bytes.Buffer
+    c.Stdout, c.Stderr = &out, &out
+    err := c.Run()
+    if (err != nil)
+    {
+        outStr := string(out.Bytes())
+        klog.Errorf(program+" "+strings.Join(args, " ")+" failed: %s, status %s\n", outStr, err)
+        return nil, status.Error(codes.Internal, outStr+" (status "+err.Error()+")")
+    }
+    return out.Bytes(), nil
+}

debian/changelog

@@ -1,4 +1,4 @@
-vitastor (1.8.0-1) unstable; urgency=medium
+vitastor (1.9.3-1) unstable; urgency=medium
 
   * Bugfixes
 

docs/config/layout-cluster.en.md

@@ -106,8 +106,8 @@ SSD cache or "media-cache" - for example, a lot of Seagate EXOS drives have
 it (they have internal SSD cache even though it's not stated in datasheets).
 
 Setting this parameter to "all" or "small" in OSD parameters requires enabling
-[disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
+[disable_journal_fsync](layout-osd.en.md#disable_journal_fsync) and
-[disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
+[disable_meta_fsync](layout-osd.en.md#disable_meta_fsync), setting it to
-"all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
+"all" also requires enabling [disable_data_fsync](layout-osd.en.md#disable_data_fsync).
 vitastor-disk tried to do that by default, first checking/disabling drive cache.
 If it can't disable drive cache, OSD get initialized with "none".

docs/config/layout-cluster.ru.md

@@ -112,6 +112,6 @@ HDD-дисках с внутренним SSD или "медиа" кэшем - н
 указано в спецификациях).
 
 Указание "all" или "small" в настройках / командной строке OSD требует
-включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
+включения [disable_journal_fsync](layout-osd.ru.md#disable_journal_fsync) и
-[disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
+[disable_meta_fsync](layout-osd.ru.md#disable_meta_fsync), значение "all"
-также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
+также требует включения [disable_data_fsync](layout-osd.ru.md#disable_data_fsync).

docs/config/layout-osd.en.md

@@ -118,12 +118,13 @@ Physical block size of the journal device. Must be a multiple of
 - Type: boolean
 - Default: false
 
-Do not issue fsyncs to the data device, i.e. do not flush its cache.
+Do not issue fsyncs to the data device, i.e. do not force it to flush cache.
-Safe ONLY if your data device has write-through cache. If you disable
+Safe ONLY if your data device has write-through cache or if write-back
-the cache yourself using `hdparm` or `scsi_disk/cache_type` then make sure
+cache is disabled. If you disable drive cache manually with `hdparm` or
-that the cache disable command is run every time before starting Vitastor
+writing to `/sys/.../scsi_disk/cache_type` then make sure that you do it
-OSD, for example, in the systemd unit. See also `immediate_commit` option
+every time before starting Vitastor OSD (vitastor-disk does it automatically).
-for the instructions to disable cache and how to benefit from it.
+See also [immediate_commit](layout-cluster.en.md#immediate_commit)
+for information about how to benefit from disabled cache.
 
 ## disable_meta_fsync
 
@@ -171,8 +172,7 @@ size, it actually has to write the whole 4 KB sector.
 
 Because of this it can actually be beneficial to use SSDs which work well
 with 512 byte sectors and use 512 byte disk_alignment, journal_block_size
-and meta_block_size. But the only SSD that may fit into this category is
+and meta_block_size. But at the moment, no such SSDs are known...
-Intel Optane (probably, not tested yet).
 
 Clients don't need to be aware of disk_alignment, so it's not required to
 put a modified value into etcd key /vitastor/config/global.

docs/config/layout-osd.ru.md

@@ -122,13 +122,14 @@ SSD-диске, иначе производительность пострада
 - Тип: булево (да/нет)
 - Значение по умолчанию: false
 
-Не отправлять fsync-и устройству данных, т.е. не сбрасывать его кэш.
+Не отправлять fsync-и устройству данных, т.е. не заставлять его сбрасывать кэш.
 Безопасно, ТОЛЬКО если ваше устройство данных имеет кэш со сквозной
-записью (write-through). Если вы отключаете кэш через `hdparm` или
+записью (write-through) или если кэш с отложенной записью (write-back) отключён.
-`scsi_disk/cache_type`, то удостоверьтесь, что команда отключения кэша
+Если вы отключаете кэш вручную через `hdparm` или запись в `/sys/.../scsi_disk/cache_type`,
-выполняется перед каждым запуском Vitastor OSD, например, в systemd unit-е.
+то удостоверьтесь, что вы делаете это каждый раз перед запуском Vitastor OSD
-Смотрите также опцию `immediate_commit` для инструкций по отключению кэша
+(vitastor-disk делает это автоматически). Смотрите также опцию
-и о том, как из этого извлечь выгоду.
+[immediate_commit](layout-cluster.ru.md#immediate_commit) для информации о том,
+как извлечь выгоду из отключённого кэша.
 
 ## disable_meta_fsync
 
@@ -179,9 +180,8 @@ SSD и HDD диски используют 4 КБ физические сект
 
 Поэтому, на самом деле, может быть выгодно найти SSD, хорошо работающие с
 меньшими, 512-байтными, блоками и использовать 512-байтные disk_alignment,
-journal_block_size и meta_block_size. Однако единственные SSD, которые
+journal_block_size и meta_block_size. Однако на данный момент такие SSD
-теоретически могут попасть в эту категорию - это Intel Optane (но и это
+не известны...
-пока не проверялось автором).
 
 Клиентам не обязательно знать про disk_alignment, так что помещать значение
 этого параметра в etcd в /vitastor/config/global не нужно.

docs/config/pool.en.md

@@ -55,7 +55,7 @@ Examples:
 OSD placement tree is set in a separate etcd key `/vitastor/config/node_placement`
 in the following JSON format:
 
-`
+```
 {
   "<node name or OSD number>": {
     "level": "<level>",
@@ -63,7 +63,7 @@ in the following JSON format:
   },
   ...
 }
-`
+```
 
 Here, if a node name is a number then it is assumed to refer to an OSD.
 Level of the OSD is always "osd" and cannot be overriden. You may only

docs/config/pool.ru.md

@@ -54,7 +54,7 @@
 Дерево размещения OSD задаётся в отдельном ключе etcd `/vitastor/config/node_placement`
 в следующем JSON-формате:
 
-`
+```
 {
   "<имя узла или номер OSD>": {
     "level": "<уровень>",
@@ -62,7 +62,7 @@
   },
   ...
 }
-`
+```
 
 Здесь, если название узла - число, считается, что это OSD. Уровень OSD
 всегда равен "osd" и не может быть переопределён. Для OSD вы можете только

docs/config/src/layout-cluster.yml

@@ -97,9 +97,9 @@
     it (they have internal SSD cache even though it's not stated in datasheets).
 
     Setting this parameter to "all" or "small" in OSD parameters requires enabling
-    [disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
+    [disable_journal_fsync](layout-osd.en.md#disable_journal_fsync) and
-    [disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
+    [disable_meta_fsync](layout-osd.en.md#disable_meta_fsync), setting it to
-    "all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
+    "all" also requires enabling [disable_data_fsync](layout-osd.en.md#disable_data_fsync).
     vitastor-disk tried to do that by default, first checking/disabling drive cache.
     If it can't disable drive cache, OSD get initialized with "none".
   info_ru: |
@@ -156,6 +156,6 @@
     указано в спецификациях).
 
     Указание "all" или "small" в настройках / командной строке OSD требует
-    включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
+    включения [disable_journal_fsync](layout-osd.ru.md#disable_journal_fsync) и
-    [disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
+    [disable_meta_fsync](layout-osd.ru.md#disable_meta_fsync), значение "all"
-    также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
+    также требует включения [disable_data_fsync](layout-osd.ru.md#disable_data_fsync).

docs/config/src/layout-osd.yml

@@ -110,20 +110,22 @@
   type: bool
   default: false
   info: |
-    Do not issue fsyncs to the data device, i.e. do not flush its cache.
+    Do not issue fsyncs to the data device, i.e. do not force it to flush cache.
-    Safe ONLY if your data device has write-through cache. If you disable
+    Safe ONLY if your data device has write-through cache or if write-back
-    the cache yourself using `hdparm` or `scsi_disk/cache_type` then make sure
+    cache is disabled. If you disable drive cache manually with `hdparm` or
-    that the cache disable command is run every time before starting Vitastor
+    writing to `/sys/.../scsi_disk/cache_type` then make sure that you do it
-    OSD, for example, in the systemd unit. See also `immediate_commit` option
+    every time before starting Vitastor OSD (vitastor-disk does it automatically).
-    for the instructions to disable cache and how to benefit from it.
+    See also [immediate_commit](layout-cluster.en.md#immediate_commit)
+    for information about how to benefit from disabled cache.
   info_ru: |
-    Не отправлять fsync-и устройству данных, т.е. не сбрасывать его кэш.
+    Не отправлять fsync-и устройству данных, т.е. не заставлять его сбрасывать кэш.
     Безопасно, ТОЛЬКО если ваше устройство данных имеет кэш со сквозной
-    записью (write-through). Если вы отключаете кэш через `hdparm` или
+    записью (write-through) или если кэш с отложенной записью (write-back) отключён.
-    `scsi_disk/cache_type`, то удостоверьтесь, что команда отключения кэша
+    Если вы отключаете кэш вручную через `hdparm` или запись в `/sys/.../scsi_disk/cache_type`,
-    выполняется перед каждым запуском Vitastor OSD, например, в systemd unit-е.
+    то удостоверьтесь, что вы делаете это каждый раз перед запуском Vitastor OSD
-    Смотрите также опцию `immediate_commit` для инструкций по отключению кэша
+    (vitastor-disk делает это автоматически). Смотрите также опцию
-    и о том, как из этого извлечь выгоду.
+    [immediate_commit](layout-cluster.ru.md#immediate_commit) для информации о том,
+    как извлечь выгоду из отключённого кэша.
 - name: disable_meta_fsync
   type: bool
   default: false
@@ -179,8 +181,7 @@
 
     Because of this it can actually be beneficial to use SSDs which work well
     with 512 byte sectors and use 512 byte disk_alignment, journal_block_size
-    and meta_block_size. But the only SSD that may fit into this category is
+    and meta_block_size. But at the moment, no such SSDs are known...
-    Intel Optane (probably, not tested yet).
 
     Clients don't need to be aware of disk_alignment, so it's not required to
     put a modified value into etcd key /vitastor/config/global.
@@ -198,9 +199,8 @@
 
     Поэтому, на самом деле, может быть выгодно найти SSD, хорошо работающие с
     меньшими, 512-байтными, блоками и использовать 512-байтные disk_alignment,
-    journal_block_size и meta_block_size. Однако единственные SSD, которые
+    journal_block_size и meta_block_size. Однако на данный момент такие SSD
-    теоретически могут попасть в эту категорию - это Intel Optane (но и это
+    не известны...
-    пока не проверялось автором).
 
     Клиентам не обязательно знать про disk_alignment, так что помещать значение
     этого параметра в etcd в /vitastor/config/global не нужно.

docs/gen-docs.js

@@ -1,55 +0,0 @@
-#!/usr/bin/nodejs
-
-const fs = require('fs');
-const yaml = require('yaml');
-
-const L = {
-    en: {},
-    ru: {
-        Type: 'Тип',
-        Default: 'Значение по умолчанию',
-        Minimum: 'Минимальное значение',
-    },
-};
-const types = {
-    en: {
-        string: 'string',
-        bool: 'boolean',
-        int: 'integer',
-        sec: 'seconds',
-        ms: 'milliseconds',
-        us: 'microseconds',
-    },
-    ru: {
-        string: 'строка',
-        bool: 'булево (да/нет)',
-        int: 'целое число',
-        sec: 'секунды',
-        ms: 'миллисекунды',
-        us: 'микросекунды',
-    },
-};
-const params_files = fs.readdirSync(__dirname+'/params')
-    .filter(f => f.substr(-4) == '.yml')
-    .map(f => f.substr(0, f.length-4));
-
-for (const file of params_files)
-{
-    const cfg = yaml.parse(fs.readFileSync(__dirname+'/params/'+file+'.yml', { encoding: 'utf-8' }));
-    for (const lang in types)
-    {
-        let out = '\n\n{{< toc >}}';
-        for (const c of cfg)
-        {
-            out += `\n\n## ${c.name}\n\n`;
-            out += `- ${L[lang]['Type'] || 'Type'}: ${c["type_"+lang] || types[lang][c.type] || c.type}\n`;
-            if (c.default !== undefined)
-                out += `- ${L[lang]['Default'] || 'Default'}: ${c.default}\n`;
-            if (c.min !== undefined)
-                out += `- ${L[lang]['Minimum'] || 'Minimum'}: ${c.min}\n`;
-            out += `\n`+(c["info_"+lang] || c["info"]).replace(/\s+$/, '');
-        }
-        const head = fs.readFileSync(__dirname+'/params/head/'+file+'.'+lang+'.md', { encoding: 'utf-8' });
-        fs.writeFileSync(__dirname+'/hugo/content/config/'+file+'.'+lang+'.md', head.replace(/\s+$/, '')+out+"\n");
-    }
-}

docs/installation/opennebula.en.md

@@ -4,6 +4,8 @@
 
 [Читать на русском](opennebula.ru.md)
 
+# OpenNebula
+
 ## Automatic Installation
 
 OpenNebula plugin is packaged as `vitastor-opennebula` Debian and RPM package since Vitastor 1.9.0. So:

docs/installation/opennebula.ru.md

@@ -4,6 +4,8 @@
 
 [Read in English](opennebula.en.md)
 
+# OpenNebula
+
 ## Автоматическая установка
 
 Плагин OpenNebula Vitastor распространяется как Debian и RPM пакет `vitastor-opennebula`, начиная с версии Vitastor 1.9.0. Так что:

docs/intro/architecture.en.md

@@ -11,14 +11,140 @@
 - [Differences from Ceph](#differences-from-ceph)
 - [Implementation Principles](#implementation-principles)
 
+## Server-side components
+
+- **OSD** (Object Storage Daemon) is a process that directly works with the disk, stores data
+  and serves read/write requests. One OSD serves one disk (or one partition). OSDs talk to etcd
+  and to each other — they receive cluster state from etcd, and send read/write requests for
+  secondary copies of data to other OSDs.
+- **etcd** — clustered key/value database, used as a reliable storage for configuration
+  and high-level cluster state. Etcd is the component that prevents splitbrain in the cluster.
+  Data blocks are not stored in etcd, etcd doesn't participate in data write or read path.
+- **Монитор** — a separate node.js based daemon which monitors the cluster, calculates
+  required configuration changes and saves them to etcd, thus commanding OSDs to apply these
+  changes. Monitor also aggregates cluster statistics. OSD don't talk to monitor, monitor
+  only sends and receives data from etcd.
+
 ## Basic concepts
 
-- OSD (Object Storage Daemon) is a process that stores data and serves read/write requests.
+- **Pool** is a container for data that has equal redundancy scheme and disk placement rules.
-- PG (Placement Group) is a "shard" of the cluster, group of data stored on one set of replicas.
+- **PG (Placement Group)** is a "shard" of the cluster, subdivision unit that has its own
-- Pool is a container for data that has equal redundancy scheme and placement rules.
+  set of OSDs for data storage.
-- Monitor is a separate daemon that watches cluster state and handles failures.
+- **Failure Domain** is a group of OSDs, from the simultaneous failure of which you are
-- Failure Domain is a group of OSDs that you allow to fail. It's "host" by default.
+  protected by Vitastor. Default failure domain is "host" (server), but you choose a
-- Placement Tree groups OSDs in a hierarchy to later split them into Failure Domains.
+  larger (for example, a rack of servers) or smaller (a single drive) failure domain
+  for every pool.
+- **Placement Tree** (similar to Ceph CRUSH Tree) groups OSDs in a hierarchy to later
+  split them into Failure Domains.
+
+## Client-side components
+
+- **Client library** incapsulates client I/O logic. Client library connects to etcd and to all OSDs,
+  receives cluster state from etcd, sends read and write requests directly to all OSDs. Due
+  to the symmetric distributed architecture, all data blocks (each 128 KB by default) are placed
+  to different OSDs, but clients always knows where each data block is stored and connects directly
+  to the right OSD.
+
+All other client-side components are based on the client library:
+
+- **[vitastor-cli](../usage/cli.en.md)** — command-line utility for cluster management.
+  Allows to view cluster state, manage pools and images, i.e. create, modify and remove
+  virtual disks, their snapshots and clones.
+- **[QEMU driver](../usage/qemu.en.md)** — pluggable QEMU module allowing QEMU/KVM virtual
+  machines work with virtual Vitastor disks directly from userspace through the client library,
+  without the need to attach disks as kernel block devices. However, if you want to attach
+  disks, you can also do that with the same driver and [VDUSE](../usage/qemu.en.md#vduse).
+- **[vitastor-nbd](../usage/nbd.en.md)** — utility that allows to attach Vitastor disks as
+  kernel block devices using NBD (Network Block Device), which works more like "BUSE"
+  (Block Device In Userspace). Vitastor doesn't have Linux kernel modules for the same task
+  (at least by now). NBD is an older, non-recommended way to attach disks — you should use
+  VDUSE whenever you can.
+- **[CSI driver](../installation/kubernetes.en.md)** — driver for attaching Vitastor images
+  as Kubernetes persistent volumes. Works through VDUSE (when available) or NBD — images are
+  attached as kernel block devices and mounted into containers.
+- **Drivers for Proxmox, OpenStack and so on** — pluggable modules for corresponding systems,
+  allowing to use Vitastor as storage in them.
+- **[vitastor-nfs](../usage/nfs.en.md)** — NFS 3.0 server allowing export of two file system variants:
+  the first is a simplified pseudo-FS for file-based access to Vitastor block images (for non-QEMU
+  hypervisors with NFS support), the second is **VitastorFS**, full-featured clustered POSIX FS.
+  Both variants support parallel access from multiple vitastor-nfs servers. In fact, you are
+  not required to setup separate NFS servers at all and use vitastor-nfs mount command on every
+  client node — it starts the NFS server and mounts the FS locally.
+- **[fio driver](../usage/fio.en.md)** — pluggable module for fio disk benchmarking tool for
+  running performance tests on your Vitastor cluster.
+- **vitastor-kv** — client for a key-value DB working over shared block volumes (usual
+  vitastor images). VitastorFS metadata is stored in vitastor-kv.
+
+## Additional utilities
+
+- **vitastor-disk** — утилита для разметки дисков под Vitastor OSD. С её помощью можно
+  создавать, удалять, менять размеры или перемещать разделы OSD.
+
+## Overall read/write process
+
+- Vitastor stores virtual disks, also named "images" or "inodes".
+- Each image is stored in some pool. Pool specifies storage parameters such as redundancy
+  scheme (replication or EC — erasure codes, i.e. error correction codes), failure domain
+  and restrictions on OSD selection for image data placement. See [Pool configuration](../config/pool.en.md) for details.
+- Each image is split into objects/blocks of fixed size, equal to [block_size](../config/layout-cluster.en.md#block_size)
+  (128 KB by default), multiplied by data part count for EC or 1 for replicas. That is,
+  if a pool uses EC 4+2 coding scheme (4 data parts + 2 parity parts), then, with the
+  default block_size, images are split into 512 KB objects.
+- Client read/write requests are split into parts at object boundaries.
+- Each object is mapped to a PG number it belongs to, by simply taking a remainder of
+  division of its offset by PG count of the image's pool.
+- Client reads primary OSD for all PGs from etcd. Primary OSD for each PG is assigned
+  by the monitor during cluster operation, along with the full PG OSD set.
+- If not already connected, client connects to primary OSDs of all PGs involved in a
+  read/write request and sends parts of the request to them.
+- If a primary OSD is unavailable, client retries connection attempts indefinitely
+  either until it becomes available or until the monitor assigns another OSD as primary
+  for that PG.
+- Client also retries requests if the primary OSD replies with error code EPIPE, meaning
+  that the PG is inactive at this OSD at the moment - for example, when the primary OSD
+  is switched, or if the primary OSD itself loses connection to replicas during request
+  handling.
+- Primary OSD determines where the parts of the object are stored. By default, all objects
+  are assumed to be stored at the target OSD set of a PG, but some of them may be present
+  at a different OSD set if they are degraded or moved, or if the data rebalancing process
+  is active. OSDs doesn't do any network requests, if calculates locations of all objects
+  during PG activation and stores it in memory.
+- Primary OSD handles the request locally when it can - for example, when it's a read
+  from a replicated pool or when it's a read from a EC pool involving only one data part
+  stored on the OSD's local disk.
+- When a request requires reads or writes to additional OSDs, primary OSD uses already
+  established connections to secondary OSDs of the PG to execute these requests. This happens
+  in parallel to local disk operations. All such connections are guaranteed to be already
+  established when the PG is active, and if any of them is dropped, PG is restarted and
+  all current read/write operations to it fail with EPIPE error and are retried by clients.
+- After completing all secondary read/write requests, primary OSD sends the response to
+  the client.
+
+### Nuances of request handling
+
+- If a pool uses erasure codes and some of the OSDs are unavailable, primary OSDs recover
+  data from the remaining parts during read.
+- Each object has a version number. During write, primary OSD first determines the current
+  version of the object. As primary OSD usually stores the object or its part itself, most
+  of the time version is read from the memory of the OSD itself. However, if primary OSD
+  doesn't contain parts of the object, it requests the version number from a secondary OSD
+  which has that part. Such request still doesn't involve reading from the disk though,
+  because object metadata, including version number, is always stored in OSD memory.
+- If a pool uses erasure codes, partial writes of an object require reading other parts of
+  it from secondary OSDs or from the local disk of the primary OSD itself. This is called
+  "read-modify-write" process.
+- If a pool uses erasure codes, two-phase write process is used to get rid of the Write Hole
+  problem: first a new version of object parts is written to all secondary OSDs without
+  removing the previous version, and then, after receiving successful write confirmations
+  from all OSDs, new version is committed and the old one is allowed to be removed.
+- In a pool doesn't use immediate_commit mode, then write requests sent by clients aren't
+  treated as committed to physical media instantly. Clients have to send separate type of
+  requests (SYNC) to commit changes, and before it isn't sent, new versions of data are
+  allowed to be lost if some OSDs die. Thus, when immediate_commit is disabled, clients
+  store copies of all write requests in memory and repeat them from there when the
+  connection to primary OSD is lost. This in-memory copy is removed after a successful
+  SYNC, and to prevent excessive memory usage, clients also do an automatic SYNC
+  every [client_dirty_limit](../config/network.en.md#client_dirty_limit) written bytes.
 
 ## Similarities to Ceph
 

docs/intro/architecture.ru.md

@@ -11,6 +11,7 @@
 - [Серверные компоненты](#серверные-компоненты)
 - [Базовые понятия](#базовые-понятия)
 - [Клиентские компоненты](#клиентские-компоненты)
+- [Дополнительные утилиты](#дополнительные-утилиты)
 - [Общий процесс записи и чтения](#общий-процесс-записи-и-чтения)
   - [Особенности обработки запросов](#особенности-обработки-запросов)
 - [Схожесть с Ceph](#схожесть-с-ceph)
@@ -34,8 +35,9 @@
 - **Пул (Pool)** — контейнер для данных, имеющих одну и ту же схему избыточности и правила распределения по OSD.
 - **PG (Placement Group)** — "шард", единица деления пулов в кластере, которой назначается свой набор
   OSD для хранения данных (копий или частей объектов).
-- **Домен отказа (Failure Domain)** — группа OSD, одновременное падение которых рассматривается
+- **Домен отказа (Failure Domain)** — группа OSD, от одновременного падения которых должен защищать
-  как вероятное. По умолчанию это "host" (сервер).
+  Vitastor. По умолчанию домен отказа — "host" (сервер), но вы можете установить для пула как больший
+  домен отказа (например, стойку серверов), так и меньший (например, отдельный диск).
 - **Дерево распределения** (Placement Tree, в Ceph CRUSH Tree) — иерархическая группировка OSD
   в узлы, которые далее можно использовать как домены отказа.
 
@@ -49,25 +51,39 @@
 
 На базе клиентской библиотеки реализованы все остальные клиенты:
 
-- **vitastor-cli** — утилита командной строки для управления кластером. В данный момент позволяет
+- **[vitastor-cli](../usage/cli.ru.md)** — утилита командной строки для управления кластером.
-  просматривать общее состояние кластера и управлять образами — т.е. создавать, менять и удалять
+  Позволяет просматривать общее состояние кластера, управлять пулами и образами — то есть
-  виртуальные диски, их снимки и клоны.
+  создавать, менять и удалять виртуальные диски, их снимки и клоны.
-- **Драйвер QEMU** — подключаемый модуль QEMU, позволяющий QEMU/KVM виртуальным машинам работать
+- **[Драйвер QEMU](../usage/qemu.ru.md)** — подключаемый модуль QEMU, позволяющий QEMU/KVM
-  с виртуальными дисками Vitastor напрямую из пространства пользователя с помощью клиентской
+  виртуальным машинам работать с виртуальными дисками Vitastor напрямую из пространства пользователя
-  библиотеки, без необходимости отображения дисков в виде блочных устройств. Тот же драйвер
+  с помощью клиентской библиотеки, без необходимости подключения дисков в виде блочных устройств
-  позволяет подключать диски в систему через [VDUSE](../usage/qemu.ru.md#vduse).
+  Linux. Если, однако, вы хотите подключать диски в виде блочных устройств, то вы тоже можете
-- **vitastor-nbd** — утилита, позволяющая монтировать образы Vitastor в виде блочных устройств
+  сделать это с помощью того же самого драйвера и [VDUSE](../usage/qemu.ru.md#vduse).
-  с помощью NBD (Network Block Device), на самом деле скорее работающего как "BUSE"
+- **[vitastor-nbd](../usage/nbd.ru.md)** — утилита, позволяющая монтировать образы Vitastor
-  (Block Device In Userspace). Модуля ядра Linux для выполнения той же задачи в Vitastor нет
+  в виде блочных устройств с помощью NBD (Network Block Device), на самом деле скорее работающего
-  (по крайней мере, пока).
+  как "BUSE" (Block Device In Userspace). Модуля ядра Linux для выполнения той же задачи в
-- **CSI драйвер** — драйвер для подключения Vitastor-образов в виде персистентных томов (PV) Kubernetes.
+  Vitastor нет (по крайней мере, пока). NBD — более старый и нерекомендуемый способ подключения
-  Работает через vitastor-nbd — образы отражаются в виде блочных устройств и монтируются
+  дисков — вам следует использовать VDUSE всегда, когда это возможно.
-  в контейнеры.
+- **[CSI драйвер](../installation/kubernetes.ru.md)** — драйвер для подключения Vitastor-образов
+  в виде персистентных томов (PV) Kubernetes. Работает через VDUSE (если доступно) или через
+  NBD — образы отражаются в виде блочных устройств и монтируются в контейнеры.
 - **Драйвера Proxmox, OpenStack и т.п.** — подключаемые модули для соответствующих систем,
   позволяющие использовать Vitastor как хранилище в оных.
-- **vitastor-nfs** — утилита, предоставляющая файловый доступ к образам в кластере Vitastor
+- **[vitastor-nfs](../usage/nfs.ru.md)** — NFS 3.0 сервер, предоставляющий два варианта файловой системы:
-  по протоколу NFS 3.0. Предназначена для гипервизоров, не основанных на QEMU и Linux, но при
+  первая — упрощённая для файлового доступа к блочным образам (для не-QEMU гипервизоров, поддерживающих NFS),
-  этом поддерживающих NFS.
+  вторая — VitastorFS, полноценная кластерная POSIX ФС. Оба варианта поддерживают параллельный
+  доступ с нескольких vitastor-nfs серверов. На самом деле можно вообще не выделять
+  отдельные NFS-серверы, а вместо этого использовать команду vitastor-nfs mount, запускающую
+  NFS-сервер прямо на клиентской машине и монтирующую ФС локально.
+- **[Драйвер fio](../usage/fio.ru.md)** — подключаемый модуль для утилиты тестирования
+  производительности дисков fio, позволяющий тестировать Vitastor-кластеры.
+- **vitastor-kv** — клиент для key-value базы данных, работающей поверх разделяемого блочного
+  образа (обычного блочного образа vitastor). Метаданные VitastorFS хранятся именно в vitastor-kv.
+
+## Дополнительные утилиты
+
+- **vitastor-disk** — утилита для разметки дисков под Vitastor OSD. С её помощью можно
+  создавать, удалять, менять размеры или перемещать разделы OSD.
 
 ## Общий процесс записи и чтения
 
@@ -98,16 +114,22 @@
   находиться на других OSD, если эти объекты деградированы или перемещены, или идёт процесс
   ребаланса. Запросы для проверки по сети не отправляются, информация о местоположении всех
   объектов рассчитывается первичным OSD при активации PG и хранится в памяти.
-- Первичный OSD соединяется (если ещё не соединён) с вторичными OSD, на которых располагаются
+- Когда это возможно, первичный OSD обрабатывает запрос локально. Например, так происходит
-  части объекта, и отправляет им запросы чтения/записи, а также читает/пишет из/в своё локальное
+  при чтениях объектов из пулов с репликацией или при чтении из EC пула, затрагивающего
-  хранилище, если сам входит в набор.
+  только часть, хранимую на диске самого первичного OSD.
+- Когда запрос требует записи или чтения с вторичных OSD, первичный OSD использует заранее
+  установленные соединения с ними для выполнения этих запросов. Это происходит параллельно
+  локальным операциям чтения/записи с диска самого OSD. Так как соединения к вторичным OSD PG
+  устанавливаются при её запуске, то они уже гарантированно установлены, когда PG активна,
+  и если любое из этих соединений отключается, PG перезапускается, а все текущие запросы чтения
+  и записи в неё завершаются с ошибкой EPIPE, после чего повторяются клиентами.
 - После завершения всех вторичных операций чтения/записи первичный OSD отправляет ответ клиенту.
 
 ### Особенности обработки запросов
 
 - Если в пуле используются коды коррекции ошибок и при этом часть OSD недоступна, первичный
   OSD при чтении восстанавливает данные из оставшихся частей.
-- Каждый объект имеет номер версии. При записи объекта первичный OSD сначала читает из номер
+- Каждый объект имеет номер версии. При записи объекта первичный OSD сначала получает номер
   версии объекта. Так как первичный OSD обычно сам хранит копию или часть объекта, номер
   версии обычно читается из памяти самого OSD. Однако, если ни одна часть обновляемого объекта
   не находится на первичном OSD, для получения номера версии он обращается к одному из вторичных
@@ -115,20 +137,20 @@
   так как метаданные объектов, включая номер версии, все OSD хранят в памяти.
 - Если в пуле используются коды коррекции ошибок, перед частичной записью объекта для вычисления
   чётности зачастую требуется чтение частей объекта с вторичных OSD или с локального диска
-  самого первичного OSD.
+  самого первичного OSD. Это называется процессом "чтение-модификация-запись" (read-modify-write).
-- Также, если в пуле используются коды коррекции ошибок, для закрытия Write Hole применяется
+- Если в пуле используются коды коррекции ошибок, для закрытия Write Hole применяется
   двухфазный алгоритм записи: сначала на все вторичные OSD записывается новая версия частей
   объекта, но при этом старая версия не удаляется, а потом, после получения подтверждения
   успешной записи от всех вторичных OSD, новая версия фиксируется и разрешается удаление старой.
-- Если в кластере не включён режим immediate_commit, то запросы записи, отправляемые клиентами,
+- Если в пуле не включён режим immediate_commit, то запросы записи, отправляемые клиентами,
   не считаются зафиксированными на физических накопителях сразу. Для фиксации данных клиенты
   должны отдельно отправлять запросы SYNC (отдельный от чтения и записи вид запроса),
   а пока такой запрос не отправлен, считается, что записанные данные могут исчезнуть,
   если соответствующий OSD упадёт. Поэтому, когда режим immediate_commit отключён, все
   запросы записи клиенты копируют в памяти и при потере соединения и повторном соединении
-  с OSD повторяют из памяти. Скопированные в память данные удаляются при успешном fsync,
+  с OSD повторяют из памяти. Скопированные в память данные удаляются при успешном SYNC,
   а чтобы хранение этих данных не приводило к чрезмерному потреблению памяти, клиенты
-  автоматически выполняют fsync каждые [client_dirty_limit](../config/network.ru.md#client_dirty_limit)
+  автоматически выполняют SYNC каждые [client_dirty_limit](../config/network.ru.md#client_dirty_limit)
   записанных байт.
 
 ## Схожесть с Ceph

docs/intro/quickstart.en.md

@@ -32,7 +32,7 @@
 
 - SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
 - NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
-  Intel DC-P3700/P4500/P4600, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
+  Intel DC-P3700/P4500/P4600, Intel D5-P4320, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
 - HDD: HGST Ultrastar, Toshiba MG, Seagate EXOS
 
 ## Configure monitors

docs/intro/quickstart.ru.md

@@ -22,7 +22,7 @@
   использовать и десктопные SSD, включив режим отложенного fsync, но производительность будет хуже.
   О конденсаторах читайте [здесь](../config/layout-cluster.ru.md#immediate_commit).
 - Если хотите использовать HDD, берите современные модели с Media или SSD кэшем - HGST Ultrastar,
-  Toshiba MG08, Seagate EXOS или что-то похожее. Если такого кэша у ваших дисков нет,
+  Toshiba MG, Seagate EXOS или что-то похожее. Если такого кэша у ваших дисков нет,
   обязательно возьмите SSD под метаданные и журнал (маленькие, буквально 2 ГБ на 1 ТБ HDD-места).
 - Возьмите быструю сеть, минимум 10 гбит/с. Идеал - что-то вроде Mellanox ConnectX-4 с RoCEv2.
 - Для лучшей производительности отключите энергосбережение CPU: `cpupower idle-set -D 0 && cpupower frequency-set -g performance`.
@@ -32,8 +32,8 @@
 
 - SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
 - NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
-  Intel DC-P3700/P4500/P4600, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
+  Intel DC-P3700/P4500/P4600, Intel D5-P4320, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
-- HDD: HGST Ultrastar, Toshiba MG06/MG07/MG08, Seagate EXOS
+- HDD: HGST Ultrastar, Toshiba MG, Seagate EXOS
 
 ## Настройте мониторы
 

docs/params/head/common.en.md

@@ -1,6 +0,0 @@
----
-title: Common Parameters
-weight: 1
----
-
-These are the most common parameters which apply to all components of Vitastor.

docs/params/head/common.ru.md

@@ -1,6 +0,0 @@
----
-title: Общие параметры
-weight: 1
----
-
-Это наиболее общие параметры, используемые всеми компонентами Vitastor.

docs/params/head/layout-cluster.en.md

@@ -1,7 +0,0 @@
----
-title: Cluster-Wide Disk Layout Parameters
-weight: 2
----
-
-These parameters apply to clients and OSDs, are fixed at the moment of OSD drive
-initialization and can't be changed after it without losing data.

docs/params/head/layout-cluster.ru.md

@@ -1,7 +0,0 @@
----
-title: Дисковые параметры уровня кластера
-weight: 2
----
-
-Данные параметры используются клиентами и OSD, задаются в момент инициализации
-диска OSD и не могут быть изменены после этого без потери данных.

docs/params/head/layout-osd.en.md

@@ -1,7 +0,0 @@
----
-title: OSD Disk Layout Parameters
-weight: 3
----
-
-These parameters apply to OSDs, are fixed at the moment of OSD drive
-initialization and can't be changed after it without losing data.

docs/params/head/layout-osd.ru.md

@@ -1,8 +0,0 @@
----
-title: Дисковые параметры OSD
-weight: 3
----
-
-Данные параметры используются только OSD и, также как и общекластерные
-дисковые параметры, задаются в момент инициализации дисков OSD и не могут быть
-изменены после этого без потери данных.

docs/params/head/monitor.en.md

@@ -1,6 +0,0 @@
----
-title: Monitor Parameters
-weight: 6
----
-
-These parameters only apply to Monitors.

docs/params/head/monitor.ru.md

@@ -1,6 +0,0 @@
----
-title: Параметры мониторов
-weight: 6
----
-
-Данные параметры используются только мониторами Vitastor.

docs/params/head/network.en.md

@@ -1,7 +0,0 @@
----
-title: Network Protocol Parameters
-weight: 4
----
-
-These parameters apply to clients and OSDs and affect network connection logic
-between clients, OSDs and etcd.

docs/params/head/network.ru.md

@@ -1,7 +0,0 @@
----
-title: Параметры сетевого протокола
-weight: 4
----
-
-Данные параметры используются клиентами и OSD и влияют на логику сетевого
-взаимодействия между клиентами, OSD, а также etcd.

docs/params/head/osd.en.md

@@ -1,7 +0,0 @@
----
-title: Runtime OSD Parameters
-weight: 5
----
-
-These parameters only apply to OSDs, are not fixed at the moment of OSD drive
-initialization and can be changed with an OSD restart.

docs/params/head/osd.ru.md

@@ -1,8 +0,0 @@
----
-title: Изменяемые параметры OSD
-weight: 5
----
-
-Данные параметры используются только OSD, но, в отличие от дисковых параметров,
-не фиксируются в момент инициализации дисков OSD и могут быть изменены в любой
-момент с перезапуском OSD.

docs/usage/admin.en.md

@@ -169,6 +169,18 @@ Upgrading is performed without stopping clients (VMs/containers), you just need
 upgrade and restart servers one by one. However, ideally you should restart VMs too
 to make them use the new version of the client library.
 
+### 1.7.x to 1.8.0
+
+After upgrading version <= 1.7.x to version >= 1.8.0, BUT <= 1.9.0: restart all clients
+(VMs and so on), otherwise they will hang when monitor clears old PG configuration key,
+which happens 24 hours after upgrade.
+
+This is fixed in 1.9.1. So, after upgrading version <= 1.7.x directly to version >= 1.9.1,
+you DO NOT have to restart all old clients immediately - they will work like before until
+you decide to upgrade them too. The downside is that you'll have to remove the old PG
+configuration key (`/vitastor/config/pgs`) from etcd by hand when you make sure that all
+your clients are restarted.
+
 ### 1.1.x to 1.2.0
 
 Upgrading version <= 1.1.x to version >= 1.2.0, if you use EC n+k with k>=2, is recommended

docs/usage/admin.ru.md

@@ -166,6 +166,18 @@ done
 достаточно обновлять серверы по одному. Однако, конечно, чтобы запущенные виртуальные машины
 начали использовать новую версию клиентской библиотеки, их тоже нужно перезапустить.
 
+### 1.7.x -> 1.8.0
+
+После обновления с версий <= 1.7.x до версий >= 1.8.0, НО <= 1.9.0: перезапустите всех
+клиентов (процессы виртуальных машин можно перезапустить путём миграции на другой сервер),
+иначе они зависнут, когда монитор удалит старый ключ конфигурации PG, что происходит через
+24 часа после обновления.
+
+Однако, это исправлено в 1.9.1. Так что, если вы обновляетесь с <= 1.7.x сразу до >= 1.9.1,
+вам НЕ нужно сразу перезапускать всех клиентов - они будут работать, как раньше. Минус,
+правда, в том, что старый ключ конфигурации PG (`/vitastor/config/pgs`) будет нужно удалить
+вам из etcd вручную - после того, как вы убедитесь, что все клиенты перезапущены.
+
 ### 1.1.x -> 1.2.0
 
 Обновляться с версий <= 1.1.x до версий >= 1.2.0, если вы используете EC n+k и k>=2,

docs/usage/disk.en.md

@@ -13,6 +13,7 @@ It supports the following commands:
 - [prepare](#prepare)
 - [upgrade-simple](#upgrade-simple)
 - [resize](#resize)
+- [raw-resize](#raw-resize)
 - [start/stop/restart/enable/disable](#start/stop/restart/enable/disable)
 - [purge](#purge)
 - [read-sb](#read-sb)
@@ -50,12 +51,16 @@ Options (automatic mode):
 --osd_per_disk <N>
   Create <N> OSDs on each disk (default 1)
 --hybrid
-  Prepare hybrid (HDD+SSD) OSDs using provided devices. SSDs will be used for
+  Prepare hybrid (HDD+SSD, NVMe+SATA or etc) OSDs using provided devices. By default,
-  journals and metadata, HDDs will be used for data. Partitions for journals and
+  any passed SSDs will be used for journals and metadata, HDDs will be used for data,
-  metadata will be created automatically. Whether disks are SSD or HDD is decided
+  but you can override this behaviour with --fast-devices option. Journal and metadata
-  by the `/sys/block/.../queue/rotational` flag. In hybrid mode, default object
+  partitions will be created automatically. In the default mode, SSD and HDD disks
-  size is 1 MB instead of 128 KB, default journal size is 1 GB instead of 32 MB,
+  are distinguished by the `/sys/block/.../queue/rotational` flag. When HDDs are used
-  and throttle_small_writes is enabled by default.
+  for data in hybrid mode, default block_size is 1 MB instead of 128 KB, default journal
+  size is 1 GB instead of 32 MB, and throttle_small_writes is enabled by default.
+--fast-devices /dev/nvmeX,/dev/nvmeY
+  In --hybrid mode, use these devices for journal and metadata instead of auto-detecting
+  and extracting them from the main [devices...] list.
 --disable_data_fsync auto
   Disable data device cache and fsync (1/yes/true = on, default auto)
 --disable_meta_fsync auto
@@ -127,25 +132,49 @@ Requires the `sfdisk` utility.
 
 ## resize
 
-`vitastor-disk resize <ALL_OSD_PARAMETERS> <NEW_LAYOUT> [--iodepth 32]`
+`vitastor-disk resize <osd_num>|<osd_device> [OPTIONS]`
 
-Resize data area and/or rewrite/move journal and metadata.
+Resize data area and/or move journal and metadata:
+
+| <!-- -->                  | <!-- -->                               |
+|---------------------------|----------------------------------------|
+| `--move-journal TARGET`   | move journal to `TARGET`               |
+| `--move-meta TARGET`      | move metadata to `TARGET`              |
+| `--journal-size NEW_SIZE` | resize journal to `NEW_SIZE`           |
+| `--data-size NEW_SIZE`    | resize data device to `NEW_SIZE`       |
+| `--dry-run`               | only show new layout, do not apply it  |
+
+`NEW_SIZE` may include k/m/g/t suffixes.
+
+`TARGET` may be one of:
+
+| <!-- -->       | <!-- -->                                                                 |
+|----------------|--------------------------------------------------------------------------|
+| `<partition>`  | move journal/metadata to an existing GPT partition                       |
+| `<raw_device>` | create a GPT partition on `<raw_device>` and move journal/metadata to it |
+| `""`           | (empty string) move journal/metadata back to the data device             |
+
+## raw-resize
+
+`vitastor-disk raw-resize <ALL_OSD_PARAMETERS> <NEW_LAYOUT> [--iodepth 32]`
+
+Resize data area and/or rewrite/move journal and metadata (manual format).
 
 `ALL_OSD_PARAMETERS` must include all (at least all disk-related)
 parameters from OSD command line (i.e. from systemd unit or superblock).
 
 `NEW_LAYOUT` may include new disk layout parameters:
 
-```
+| <!-- -->                    | <!-- -->                                  |
---new_data_offset SIZE     resize data area so it starts at SIZE
+|-----------------------------|-------------------------------------------|
---new_data_len SIZE        resize data area to SIZE bytes
+| `--new_data_offset SIZE`    | resize data area so it starts at `SIZE`   |
---new_meta_device PATH     use PATH for new metadata
+| `--new_data_len SIZE`       | resize data area to `SIZE` bytes          |
---new_meta_offset SIZE     make new metadata area start at SIZE
+| `--new_meta_device PATH`    | use `PATH` for new metadata               |
---new_meta_len SIZE        make new metadata area SIZE bytes long
+| `--new_meta_offset SIZE`    | make new metadata area start at `SIZE`    |
---new_journal_device PATH  use PATH for new journal
+| `--new_meta_len SIZE`       | make new metadata area `SIZE` bytes long  |
---new_journal_offset SIZE  make new journal area start at SIZE
+| `--new_journal_device PATH` | use `PATH` for new journal                |
---new_journal_len SIZE     make new journal area SIZE bytes long
+| `--new_journal_offset SIZE` | make new journal area start at `SIZE`     |
-```
+| `--new_journal_len SIZE`    | make new journal area `SIZE` bytes long   |
 
 SIZE may include k/m/g/t suffixes. If any of the new layout parameter
 options are not specified, old values will be used.
@@ -217,10 +246,14 @@ Intended for use from startup scripts (i.e. from systemd units).
 
 ## dump-journal
 
+`vitastor-disk dump-journal [OPTIONS] <osd_device>`
+
 `vitastor-disk dump-journal [OPTIONS] <journal_file> <journal_block_size> <offset> <size>`
 
 Dump journal in human-readable or JSON (if `--json` is specified) format.
 
+You can specify any OSD device (data, metadata or journal), or the layout manually.
+
 Options:
 
 ```
@@ -233,23 +266,35 @@ Options:
 
 ## write-journal
 
+`vitastor-disk write-journal <osd_device>`
+
 `vitastor-disk write-journal <journal_file> <journal_block_size> <bitmap_size> <offset> <size>`
 
 Write journal from JSON taken from standard input in the same format as produced by
 `dump-journal --json --format data`.
 
+You can specify any OSD device (data, metadata or journal), or the layout manually.
+
 ## dump-meta
 
+`vitastor-disk dump-meta <osd_device>`
+
 `vitastor-disk dump-meta <meta_file> <meta_block_size> <offset> <size>`
 
 Dump metadata in JSON format.
 
+You can specify any OSD device (data, metadata or journal), or the layout manually.
+
 ## write-meta
 
+`vitastor-disk write-meta <osd_device>`
+
 `vitastor-disk write-meta <meta_file> <offset> <size>`
 
 Write metadata from JSON taken from standard input in the same format as produced by `dump-meta`.
 
+You can specify any OSD device (data, metadata or journal), or the layout manually.
+
 ## simple-offsets
 
 `vitastor-disk simple-offsets <device>`

docs/usage/disk.ru.md

@@ -13,6 +13,7 @@ vitastor-disk - инструмент командной строки для уп
 - [prepare](#prepare)
 - [upgrade-simple](#upgrade-simple)
 - [resize](#resize)
+- [raw-resize](#raw-resize)
 - [start/stop/restart/enable/disable](#start/stop/restart/enable/disable)
 - [purge](#purge)
 - [read-sb](#read-sb)
@@ -50,12 +51,17 @@ vitastor-disk - инструмент командной строки для уп
 --osd_per_disk <N>
   Создавать по несколько (<N>) OSD на каждом диске (по умолчанию 1)
 --hybrid
-  Инициализировать гибридные (HDD+SSD) OSD на указанных дисках. SSD будут
+  Инициализировать гибридные (HDD+SSD, NVMe+SATA и т.п.) OSD на указанных дисках.
-  использованы для журналов и метаданных, а HDD - для данных. Разделы для журналов
+  По умолчанию, SSD будут использованы для журналов и метаданных, а HDD - для данных,
-  и метаданных будут созданы автоматически. Является ли диск SSD или HDD, определяется
+  но вы можете поменять это поведение опцией --fast-devices. Разделы для журналов
-  по флагу `/sys/block/.../queue/rotational`. В гибридном режиме по умолчанию
+  и метаданных будут созданы автоматически. В режиме по умолчанию SSD и HDD-диски
-  используется размер объекта 1 МБ вместо 128 КБ, размер журнала 1 ГБ вместо 32 МБ
+  различаются по флагу `/sys/block/.../queue/rotational`. Когда в гибридном режиме
-  и включённый throttle_small_writes.
+  для данных используются HDD, по умолчанию размер блока устанавливается 1 МБ вместо
+  128 КБ, размер журнала 1 ГБ вместо 32 МБ, и throttle_small_writes включается по
+  умолчанию.
+--fast-devices /dev/nvmeX,/dev/nvmeY
+  Использовать данные диски для журналов и метаданных в гибридном режиме вместо их
+  автоопределения и извлечения из основного списка [devices...].
 --disable_data_fsync auto
   Отключать кэш и fsync-и для устройств данных. (1/yes/true = да, по умолчанию автоопределение)
 --disable_meta_fsync auto
@@ -129,27 +135,51 @@ throttle_target_mbs, throttle_target_parallelism, throttle_threshold_us.
 
 ## resize
 
-`vitastor-disk resize <ALL_OSD_PARAMETERS> <NEW_LAYOUT> [--iodepth 32]`
+`vitastor-disk resize <osd_num>|<osd_device> [OPTIONS]`
 
-Изменить размер области данных и/или переместить журнал и метаданные.
+Изменить размер области данных и/или переместить журнал и метаданные:
 
-В `ALL_OSD_PARAMETERS` нужно указать все относящиеся к диску параметры OSD
+| <!-- -->                      | <!-- -->                                       |
+|-------------------------------|------------------------------------------------|
+| `--move-journal ЦЕЛЬ`         | переместить журнал на `ЦЕЛЬ`                   |
+| `--move-meta ЦЕЛЬ`            | переместить метаданные на `ЦЕЛЬ`               |
+| `--journal-size НОВЫЙ_РАЗМЕР` | изменить размер журнала на `НОВЫЙ_РАЗМЕР`      |
+| `--data-size НОВЫЙ_РАЗМЕР`    | изменить размер диска данных на `НОВЫЙ_РАЗМЕР` |
+| `--dry-run`                   | показать новые параметры, но не применять их   |
+
+`НОВЫЙ_РАЗМЕР` может быть указан с суффиксами k/m/g/t (кило/мега/гига/терабайт).
+
+`ЦЕЛЬ` может быть одним из:
+
+| <!-- -->        | <!-- -->                                                                            |
+|-----------------|-------------------------------------------------------------------------------------|
+| `<раздел>`      | переместить журнал/метаданные на существующий GPT-раздел                            |
+| `<полный_диск>` | создать GPT-раздел на диске `<полный_диск>` и переместить журнал/метаданные на него |
+| `""`            | (пустая строка) переместить журнал/метаданные обратно на диск данных                |
+
+## raw-resize
+
+`vitastor-disk raw-resize <ВСЕ_ПАРАМЕТРЫ_OSD> <НОВЫЕ_РАЗМЕРЫ> [--iodepth 32]`
+
+Изменить размер области данных и/или переместить журнал и метаданные (ручной формат).
+
+В `ВСЕ_ПАРАМЕТРЫ_OSD` нужно указать все относящиеся к диску параметры OSD
 из суперблока OSD или из файла сервиса systemd (в старых версиях).
 
-В `NEW_LAYOUT` нужно указать новые параметры расположения данных:
+В `НОВЫЕ_РАЗМЕРЫ` нужно указать новые параметры расположения данных:
 
-```
+| <!-- -->                      | <!-- -->                                              |
---new_data_offset РАЗМЕР     сдвинуть начало области данных на РАЗМЕР байт
+|-------------------------------|-------------------------------------------------------|
---new_data_len РАЗМЕР        изменить размер области данных до РАЗМЕР байт
+| `--new_data_offset РАЗМЕР`    | сдвинуть начало области данных на `РАЗМЕР` байт       |
---new_meta_device ПУТЬ       использовать ПУТЬ как новое устройство метаданных
+| `--new_data_len РАЗМЕР`       | изменить размер области данных до `РАЗМЕР` байт       |
---new_meta_offset РАЗМЕР     разместить новые метаданные по смещению РАЗМЕР байт
+| `--new_meta_device ПУТЬ`      | использовать `ПУТЬ` как новое устройство метаданных   |
---new_meta_len РАЗМЕР        сделать новые метаданные размером РАЗМЕР байт
+| `--new_meta_offset РАЗМЕР`    | разместить новые метаданные по смещению `РАЗМЕР` байт |
---new_journal_device ПУТЬ    использовать ПУТЬ как новое устройство журнала
+| `--new_meta_len РАЗМЕР`       | сделать новые метаданные размером `РАЗМЕР` байт       |
---new_journal_offset РАЗМЕР  разместить новый журнал по смещению РАЗМЕР байт
+| `--new_journal_device ПУТЬ`   | использовать `ПУТЬ` как новое устройство журнала      |
---new_journal_len РАЗМЕР     сделать новый журнал размером РАЗМЕР байт
+| `--new_journal_offset РАЗМЕР` | разместить новый журнал по смещению `РАЗМЕР` байт     |
-```
+| `--new_journal_len РАЗМЕР`    | сделать новый журнал размером `РАЗМЕР` байт           |
 
-РАЗМЕР может быть указан с суффиксами k/m/g/t. Если любой из новых параметров
+`РАЗМЕР` может быть указан с суффиксами k/m/g/t. Если любой из новых параметров
 расположения не указан, он принимается равным старому значению.
 
 ## start/stop/restart/enable/disable
@@ -224,10 +254,15 @@ OSD отключены fsync-и.
 
 ## dump-journal
 
+`vitastor-disk dump-journal <osd_device>`
+
 `vitastor-disk dump-journal [OPTIONS] <journal_file> <journal_block_size> <offset> <size>`
 
 Вывести журнал в человекочитаемом или в JSON (с опцией `--json`) виде.
 
+Вы можете указать любой раздел OSD - данных, журнала или метаданных - либо указать все
+параметры расположения вручную.
+
 Опции:
 
 ```
@@ -240,22 +275,37 @@ OSD отключены fsync-и.
 
 ## write-journal
 
+`vitastor-disk write-journal <osd_device>`
+
 `vitastor-disk write-journal <journal_file> <journal_block_size> <bitmap_size> <offset> <size>`
 
 Записать журнал из JSON со стандартного ввода в формате, аналогичном `dump-journal --json --format data`.
 
+Вы можете указать любой раздел OSD - данных, журнала или метаданных - либо указать все
+параметры расположения вручную.
+
 ## dump-meta
 
+`vitastor-disk dump-meta <osd_device>`
+
 `vitastor-disk dump-meta <meta_file> <meta_block_size> <offset> <size>`
 
 Вывести метаданные в формате JSON.
 
+Вы можете указать любой раздел OSD - данных, журнала или метаданных - либо указать все
+параметры расположения вручную.
+
 ## write-meta
 
+`vitastor-disk write-meta <osd_device>`
+
 `vitastor-disk write-meta <meta_file> <offset> <size>`
 
 Записать метаданные из JSON со стандартного ввода в формате, аналогичном `dump-meta`.
 
+Вы можете указать любой раздел OSD - данных, журнала или метаданных - либо указать все
+параметры расположения вручную.
+
 ## simple-offsets
 
 `vitastor-disk simple-offsets <device>`

docs/usage/nfs.en.md

@@ -156,17 +156,17 @@ behind. Defragmentation removes garbage and moves data still in use to new volum
 
 Options:
 
-| <!-- -->                 | <!-- -->                                                                |
+| <!-- -->                   | <!-- -->                                                                |
-|--------------------------|------------------------------------------------------------------------ |
+|----------------------------|------------------------------------------------------------------------ |
-| --volume_untouched 86400 | Defragment volumes last appended to at least this number of seconds ago |
+| `--volume_untouched 86400` | Defragment volumes last appended to at least this number of seconds ago |
-| --defrag_percent 50      | Defragment volumes with at least this % of removed data                 |
+| `--defrag_percent 50`      | Defragment volumes with at least this % of removed data                 |
-| --defrag_block_count 16  | Read this number of pool blocks at once during defrag                   |
+| `--defrag_block_count 16`  | Read this number of pool blocks at once during defrag                   |
-| --defrag_iodepth 16      | Move up to this number of files in parallel during defrag               |
+| `--defrag_iodepth 16`      | Move up to this number of files in parallel during defrag               |
-| --trace                  | Print verbose defragmentation status                                    |
+| `--trace`                  | Print verbose defragmentation status                                    |
-| --dry-run                | Skip modifications, only print status                                   |
+| `--dry-run`                | Skip modifications, only print status                                   |
-| --recalc-stats           | Recalculate all volume statistics                                       |
+| `--recalc-stats`           | Recalculate all volume statistics                                       |
-| --include-empty          | Include old and empty volumes; make sure to restart NFS servers before using it |
+| `--include-empty`          | Include old and empty volumes; make sure to restart NFS servers before using it |
-| --no-rm                  | Move, but do not delete data                                            |
+| `--no-rm`                  | Move, but do not delete data                                            |
 
 ## Common options
 

docs/usage/nfs.ru.md

@@ -164,17 +164,17 @@ JSON-формате :-). Для инспекции содержимого БД
 
 Опции:
 
-| <!-- -->                 | <!-- -->                                                                |
+| <!-- -->                   | <!-- -->                                                                |
-|--------------------------|------------------------------------------------------------------------ |
+|----------------------------|------------------------------------------------------------------------ |
-| --volume_untouched 86400 | Дефрагментировать только тома, в которые уже не писали это число секунд |
+| `--volume_untouched 86400` | Дефрагментировать только тома, в которые уже не писали это число секунд |
-| --defrag_percent 50      | Дефрагментировать только тома, в которых этот % данных удалён           |
+| `--defrag_percent 50`      | Дефрагментировать только тома, в которых этот % данных удалён           |
-| --defrag_block_count 16  | Читать это количество блоков пула за один раз                           |
+| `--defrag_block_count 16`  | Читать это количество блоков пула за один раз                           |
-| --defrag_iodepth 16      | Перемещать одновременно до этого числа файлов                           |
+| `--defrag_iodepth 16`      | Перемещать одновременно до этого числа файлов                           |
-| --trace                  | Печатать детальную статистику дефрагментации                            |
+| `--trace`                  | Печатать детальную статистику дефрагментации                            |
-| --dry-run                | Не производить никаких изменений, только описать выполняемые действия   |
+| `--dry-run`                | Не производить никаких изменений, только описать выполняемые действия   |
-| --recalc-stats           | Пересчитать и сохранить статистику всех томов                           |
+| `--recalc-stats`           | Пересчитать и сохранить статистику всех томов                           |
-| --include-empty          | Дефрагментировать старые и пустые тома; обязательно перезапустите NFS-сервера после использования этой опции |
+| `--include-empty`          | Дефрагментировать старые и пустые тома; обязательно перезапустите NFS-сервера после использования этой опции |
-| --no-rm                  | Перемещать, но не удалять данные                                        |
+| `--no-rm`                  | Перемещать, но не удалять данные                                        |
 
 ## Общие опции
 

docs/usage/qemu.en.md

@@ -151,9 +151,9 @@ Example performance comparison:
 To try VDUSE you need at least Linux 5.15, built with VDUSE support
 (CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
 
-Debian Linux kernels have these options disabled by now, so if you want to try it on Debian,
+Debian Linux kernels had these options disabled until 6.6, so make sure you install a newer kernel
-use a kernel from Ubuntu [kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/), Proxmox,
+(from bookworm-backports, trixie or newer Debian version) if you want to try VDUSE. You can also
-or build modules for Debian kernel manually:
+build modules for an existing kernel manually:
 
 ```
 mkdir build

docs/usage/qemu.ru.md

@@ -154,9 +154,9 @@ VDUSE - на данный момент лучший интерфейс для п
 Чтобы попробовать VDUSE, вам нужно ядро Linux как минимум версии 5.15, собранное с поддержкой
 VDUSE (CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
 
-В ядрах в Debian Linux поддержка пока отключена по умолчанию, так что чтобы попробовать VDUSE
+В ядрах в Debian Linux эти опции включены, только начиная с 6.6, так что установите свежее ядро
-на Debian, поставьте ядро из Ubuntu [kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/),
+из bookworm-backports, trixie или из более новой версии Debian, если хотите попробовать VDUSE.
-из Proxmox или соберите модули для ядра Debian вручную:
+Либо же вы можете самостоятельно собрать модули для установленного ядра:
 
 ```
 mkdir build

hugo/archetypes/default.md

@@ -1,6 +0,0 @@
----
-title: "{{ replace .Name "-" " " | title }}"
-date: {{ .Date }}
-draft: true
----
-

hugo/config.yaml

@@ -1,35 +0,0 @@
-baseURL: http://localhost
-title: Vitastor
-theme: hugo-geekdoc
-#languageCode: en-us
-
-pluralizeListTitles: false
-
-# Geekdoc required configuration
-pygmentsUseClasses: true
-pygmentsCodeFences: true
-disablePathToLower: true
-
-# Required if you want to render robots.txt template
-enableRobotsTXT: true
-
-defaultContentLanguage: en
-languages:
-  en:
-    weight: 1
-    languageName: English
-  ru:
-    weight: 1
-    languageName: Русский
-
-markup:
-  goldmark:
-    renderer:
-      # Needed for mermaid shortcode
-      unsafe: true
-  tableOfContents:
-    startLevel: 1
-    endLevel: 9
-
-taxonomies:
-  tag: tags

hugo/content/_index.md

@@ -1,6 +0,0 @@
-## The Idea
-
-Vitastor is a small, simple and fast clustered block storage (storage for VM drives),
-architecturally similar to Ceph which means strong consistency, primary-replication,
-symmetric clustering and automatic data distribution over any number of drives
-of any size with configurable redundancy (replication or erasure codes/XOR).

hugo/content/config/_index.en.md

@@ -1,5 +0,0 @@
----
-title: Parameter Reference
-weight: 1
----
-

hugo/content/config/_index.ru.md

@@ -1,5 +0,0 @@
----
-title: Перечень настроек
-weight: 1
----
-

hugo/content/config/pool.en.md

@@ -1,5 +0,0 @@
----
-title: Pool configuration
-weight: 100
----
-

hugo/content/installation/packages.md

@@ -1,5 +0,0 @@
----
-title: Packages
-weight: 2
----
-

hugo/content/installation/quickstart.md

@@ -1,5 +0,0 @@
----
-title: Quick Start
-weight: 1
----
-

hugo/content/installation/source.md

@@ -1,5 +0,0 @@
----
-title: Building from Source
-weight: 3
----
-

hugo/content/introduction/_index.md

@@ -1,4 +0,0 @@
----
-title: Introduction
-weight: -1
----

hugo/content/introduction/architecture.md

@@ -1,5 +0,0 @@
----
-title: Architecture
-weight: 3
----
-

hugo/content/introduction/author.md

@@ -1,5 +0,0 @@
----
-title: Author and License
-weight: 3
----
-

hugo/content/introduction/features.md

@@ -1,5 +0,0 @@
----
-title: Features
-weight: 1
----
-

hugo/content/performance/comparison1.md

@@ -1,5 +0,0 @@
----
-title: Example Comparison with Ceph
-weight: 4
----
-

hugo/content/performance/theoretical.md

@@ -1,5 +0,0 @@
----
-title: Vitastor's Theoretical Maximum Performance
-weight: 3
----
-

hugo/content/performance/tuning.md

@@ -1,5 +0,0 @@
----
-title: Tuning
-weight: 2
----
-

hugo/content/performance/understanding.md

@@ -1,5 +0,0 @@
----
-title: Understanding Storage Performance
-weight: 1
----
-

hugo/content/usage/cli.md

@@ -1,7 +0,0 @@
----
-title: Vitastor CLI
-weight: 1
----
-
-{{< toc >}}
-

hugo/content/usage/nbd.md

@@ -1,5 +0,0 @@
----
-title: NBD
-weight: 6
----
-

hugo/content/usage/qemu.md

@@ -1,5 +0,0 @@
----
-title: QEMU and qemu-img
-weight: 2
----
-

hugo/i18n/ru.yaml

@@ -1,37 +0,0 @@
----
-nav_navigation: Навигация
-nav_tags: Теги
-nav_more: Подробнее
-nav_top: К началу
-
-form_placeholder_search: Поиск
-
-error_page_title: Открыта несуществующая страница
-error_message_title: Потерялись?
-error_message_code: Ошибка 404
-error_message_text: >
-  Похоже, страница, которую вы открыли, не существует. Попробуйте найти
-  нужную информацию с <a class="gdoc-error__link" href="{{ . }}">главной страницы</a>.
-
-button_toggle_dark: Переключить тёмный/светлый/авто режим
-button_nav_open: Показать навигацию
-button_nav_close: Скрыть навигацию
-button_menu_open: Открыть меню
-button_menu_close: Закрыть меню
-button_homepage: На главную
-
-title_anchor_prefix: "Ссылка на:"
-
-posts_read_more: Читать подробнее
-posts_read_time:
-  one: "Одна минута на чтение"
-  other: "{{ . }} минут(ы) на чтение"
-posts_update_prefix: Обновлено
-
-footer_build_with: >
-  Сделано на <a href="https://gohugo.io/" class="gdoc-footer__link">Hugo</a> с
-  <svg class="icon gdoc_heart"><use xlink:href="#gdoc_heart"></use></svg>
-footer_legal_notice: Правовая информация
-footer_privacy_policy: Приватность
-
-language_switch_no_tranlation_prefix: "Страница не переведена:"

hugo/layouts/partials/site-footer.html

@@ -1,34 +0,0 @@
-<footer class="gdoc-footer">
-    <div class="container flex">
-        <div class="flex flex-wrap" style="flex: 1">
-            <span class="gdoc-footer__item gdoc-footer__item--row">
-                &copy; Vitaliy Filippov, 2021+
-            </span>
-        </div>
-        <div class="flex flex-wrap">
-            {{ with .Site.Params.GeekdocLegalNotice }}
-            <span class="gdoc-footer__item gdoc-footer__item--row">
-                <a href="{{ . | relURL }}" class="gdoc-footer__link">{{ i18n "footer_legal_notice" }}</a>
-            </span>
-            {{ end }}
-            {{ with .Site.Params.GeekdocPrivacyPolicy }}
-            <span class="gdoc-footer__item gdoc-footer__item--row">
-                <a href="{{ . | relURL }}" class="gdoc-footer__link">{{ i18n "footer_privacy_policy" }}</a>
-            </span>
-            {{ end }}
-        </div>
-        {{ if (default true .Site.Params.GeekdocBackToTop) }}
-        <div class="flex flex-25 justify-end">
-            <span class="gdoc-footer__item gdoc-footer__item--row" style="margin-right: 50px">
-                {{ i18n "footer_build_with" | safeHTML }}
-            </span>
-            <span class="gdoc-footer__item">
-                <a class="gdoc-footer__link fake-link" href="#" aria-label="{{ i18n "nav_top" }}">
-                    <svg class="icon gdoc_keyboard_arrow_up"><use xlink:href="#gdoc_keyboard_arrow_up"></use></svg>
-                    <span class="hidden-mobile">{{ i18n "nav_top" }}</span>
-                </a>
-            </span>
-        </div>
-        {{ end }}
-    </div>
-</footer>

hugo/static/brand.svg

@@ -1,215 +0,0 @@
-<?xml version="1.0" encoding="UTF-8" standalone="no"?>
-<svg
-   xmlns:osb="http://www.openswatchbook.org/uri/2009/osb"
-   xmlns:dc="http://purl.org/dc/elements/1.1/"
-   xmlns:cc="http://creativecommons.org/ns#"
-   xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
-   xmlns:svg="http://www.w3.org/2000/svg"
-   xmlns="http://www.w3.org/2000/svg"
-   xmlns:xlink="http://www.w3.org/1999/xlink"
-   xmlns:sodipodi="http://sodipodi.sourceforge.net/DTD/sodipodi-0.dtd"
-   xmlns:inkscape="http://www.inkscape.org/namespaces/inkscape"
-   sodipodi:docname="logo_only2.svg"
-   inkscape:version="1.0.2 (e86c870879, 2021-01-15)"
-   id="svg1340"
-   version="1.1"
-   viewBox="0 0 100 86.80192"
-   height="86.801918mm"
-   width="100mm"
-   inkscape:export-filename="/var/home/vitali/SVN/vitastor/presentation/logos/logo_only.png"
-   inkscape:export-xdpi="92.889999"
-   inkscape:export-ydpi="92.889999">
-  <defs
-     id="defs1334">
-    <linearGradient
-       osb:paint="gradient"
-       id="linearGradient866">
-      <stop
-         id="stop862"
-         offset="0"
-         style="stop-color:#c0c0c0;stop-opacity:1" />
-      <stop
-         id="stop864"
-         offset="1"
-         style="stop-color:#000000;stop-opacity:0" />
-    </linearGradient>
-    <linearGradient
-       id="linearGradient846"
-       osb:paint="gradient">
-      <stop
-         style="stop-color:#ffd42a;stop-opacity:1"
-         offset="0"
-         id="stop842" />
-      <stop
-         style="stop-color:#ffa200;stop-opacity:1"
-         offset="1"
-         id="stop844" />
-    </linearGradient>
-    <radialGradient
-       r="50"
-       fy="159.11139"
-       fx="202.36813"
-       cy="159.11139"
-       cx="202.36813"
-       gradientTransform="matrix(1.2462942,-1.2279529,0.77712408,0.78873143,-190.96813,230.1331)"
-       gradientUnits="userSpaceOnUse"
-       id="radialGradient1530"
-       xlink:href="#linearGradient1352"
-       inkscape:collect="always" />
-    <linearGradient
-       inkscape:collect="always"
-       id="linearGradient1352">
-      <stop
-         style="stop-color:#00c9e6;stop-opacity:1"
-         offset="0"
-         id="stop1348" />
-      <stop
-         style="stop-color:#5240d3;stop-opacity:1"
-         offset="1"
-         id="stop1350" />
-    </linearGradient>
-    <linearGradient
-       y2="62.555599"
-       x2="51.484566"
-       y1="62.555599"
-       x1="38.105473"
-       gradientTransform="rotate(-16.930773,271.11609,-412.42594)"
-       gradientUnits="userSpaceOnUse"
-       id="linearGradient1508"
-       xlink:href="#linearGradient1323"
-       inkscape:collect="always" />
-    <linearGradient
-       inkscape:collect="always"
-       id="linearGradient1323">
-      <stop
-         style="stop-color:#000000;stop-opacity:0.47178105"
-         offset="0"
-         id="stop1319" />
-      <stop
-         style="stop-color:#eeaaff;stop-opacity:0;"
-         offset="1"
-         id="stop1321" />
-    </linearGradient>
-    <radialGradient
-       r="21.541935"
-       fy="24.614815"
-       fx="45.312912"
-       cy="24.614815"
-       cx="45.312912"
-       gradientTransform="matrix(1.0933447,0.13113705,-0.12664108,1.0558599,-1.082187,93.974708)"
-       gradientUnits="userSpaceOnUse"
-       id="radialGradient1504"
-       xlink:href="#linearGradient846"
-       inkscape:collect="always" />
-    <filter
-       style="color-interpolation-filters:sRGB"
-       inkscape:label="Drop Shadow"
-       id="filter1497"
-       width="2"
-       height="2"
-       x="-0.5"
-       y="-0.5">
-      <feFlood
-         flood-opacity="0.498039"
-         flood-color="rgb(0,0,0)"
-         result="flood"
-         id="feFlood1487" />
-      <feComposite
-         in="flood"
-         in2="SourceGraphic"
-         operator="in"
-         result="composite1"
-         id="feComposite1489" />
-      <feGaussianBlur
-         in="composite1"
-         stdDeviation="6"
-         result="blur"
-         id="feGaussianBlur1491" />
-      <feOffset
-         dx="0"
-         dy="6"
-         result="offset"
-         id="feOffset1493" />
-      <feComposite
-         in="offset"
-         in2="offset"
-         operator="atop"
-         result="composite2"
-         id="feComposite1495" />
-    </filter>
-    <radialGradient
-       r="21.541935"
-       fy="24.614815"
-       fx="45.312912"
-       cy="24.614815"
-       cx="45.312912"
-       gradientTransform="matrix(1.0933447,0.13113705,-0.12664108,1.0558599,-1.082187,93.974708)"
-       gradientUnits="userSpaceOnUse"
-       id="radialGradient1506"
-       xlink:href="#linearGradient846"
-       inkscape:collect="always" />
-  </defs>
-  <sodipodi:namedview
-     inkscape:window-maximized="1"
-     inkscape:window-y="0"
-     inkscape:window-x="0"
-     inkscape:window-height="992"
-     inkscape:window-width="1920"
-     fit-margin-bottom="0"
-     fit-margin-right="0"
-     fit-margin-left="0"
-     fit-margin-top="-30"
-     showgrid="false"
-     inkscape:document-rotation="0"
-     inkscape:current-layer="layer1"
-     inkscape:document-units="mm"
-     inkscape:cy="47.914558"
-     inkscape:cx="-103.69646"
-     inkscape:zoom="0.7"
-     inkscape:pageshadow="2"
-     inkscape:pageopacity="1"
-     borderopacity="1.0"
-     bordercolor="#666666"
-     pagecolor="#000000"
-     id="base" />
-  <metadata
-     id="metadata1337">
-    <rdf:RDF>
-      <cc:Work
-         rdf:about="">
-        <dc:format>image/svg+xml</dc:format>
-        <dc:type
-           rdf:resource="http://purl.org/dc/dcmitype/StillImage" />
-        <dc:title></dc:title>
-      </cc:Work>
-    </rdf:RDF>
-  </metadata>
-  <g
-     transform="translate(-133.26969,-52.101187)"
-     id="layer1"
-     inkscape:groupmode="layer"
-     inkscape:label="Слой 1">
-    <path
-       style="fill:url(#radialGradient1530);fill-opacity:1;fill-rule:evenodd;stroke:#000000;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:1"
-       d="m 133.26969,59.089473 50,75.000087 50,-75.000087 z"
-       id="path1528"
-       sodipodi:nodetypes="cccc" />
-    <path
-       d="m 194.29572,89.403603 -8.41706,2.562119 -2.50682,7.49308 7.17785,23.579008 9.60097,-14.40173 z"
-       style="fill:url(#linearGradient1508);fill-opacity:1;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:0.501961"
-       id="path1459" />
-    <g
-       transform="translate(135.70225,-49.385894)"
-       id="g1465">
-      <path
-         id="path1461"
-         style="fill:url(#radialGradient1504);fill-opacity:1;fill-rule:evenodd;stroke:#000000;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:1;filter:url(#filter1497)"
-         d="m 28.817436,101.36529 c 3.112699,10.74423 6.225077,21.48892 9.333984,32.23438 2.519532,0 5.039063,0 7.558594,0 -0.985406,8.09729 -2.085815,16.18202 -2.951172,24.29297 -0.06053,0.88723 1.098131,1.61652 1.76,0.9155 1.007514,-1.05482 1.676008,-2.3829 2.528566,-3.56053 7.51538,-11.37722 14.987447,-22.78299 22.482919,-34.17333 -3.239584,0 -6.479167,0 -9.71875,0 2.887267,-6.79562 5.775365,-13.59088 8.662109,-20.38672 -13.284505,0 -26.56901,0 -39.853516,0 0.06576,0.22591 0.131511,0.45182 0.197266,0.67773 z" />
-      <path
-         sodipodi:nodetypes="cccccccc"
-         id="path1463"
-         d="m 30.735882,102.2764 h 35.342242 l -8.662729,20.3854 h 9.173783 l -22.106472,33.62346 3.027029,-24.27377 H 39.34604 Z"
-         style="fill:url(#radialGradient1506);fill-opacity:1;fill-rule:evenodd;stroke:#000000;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:1" />
-    </g>
-  </g>
-</svg>

hugo/static/custom.css

@@ -1,138 +0,0 @@
-/* Global customization */
-
-:root {
-  --code-max-height: 60rem;
-}
-
-/* Light mode theming */
-:root,
-:root[color-mode="light"] {
-  --header-background: #404050;
-  --header-font-color: #ffffff;
-
-  --body-background: #ffffff;
-  --body-font-color: #343a40;
-
-  --button-background: #62cb97;
-  --button-border-color: #4ec58a;
-
-  --link-color: #c54e8a;
-  --link-color-visited: #c54e8a;
-
-  --code-background: #f5f6f8;
-  --code-accent-color: #e3e7eb;
-  --code-accent-color-lite: #eff1f3;
-
-  --accent-color: #e9ecef;
-  --accent-color-lite: #f8f9fa;
-
-  --control-icons: #b2bac1;
-
-  --footer-background: #606070;
-  --footer-font-color: #ffffff;
-  --footer-link-color: #ffcc5c;
-  --footer-link-color-visited: #ffcc5c;
-}
-@media (prefers-color-scheme: light) {
-  :root {
-    --header-background: #404050;
-    --header-font-color: #ffffff;
-
-    --body-background: #ffffff;
-    --body-font-color: #343a40;
-
-    --button-background: #62cb97;
-    --button-border-color: #4ec58a;
-
-    --link-color: #c54e8a;
-    --link-color-visited: #c54e8a;
-
-    --code-background: #f5f6f8;
-    --code-accent-color: #e3e7eb;
-    --code-accent-color-lite: #eff1f3;
-
-    --accent-color: #e9ecef;
-    --accent-color-lite: #f8f9fa;
-
-    --control-icons: #b2bac1;
-
-    --footer-background: #606070;
-    --footer-font-color: #ffffff;
-    --footer-link-color: #ffcc5c;
-    --footer-link-color-visited: #ffcc5c;
-  }
-}
-
-/* Dark mode theming */
-:root[color-mode="dark"] {
-  --header-background: #202830;
-  --header-font-color: #ffffff;
-
-  --body-background: #343a44;
-  --body-font-color: #ced3d8;
-
-  --button-background: #62cb97;
-  --button-border-color: #4ec58a;
-
-  --link-color: #7ac29e;
-  --link-color-visited: #7ac29e;
-
-  --code-background: #2f353a;
-  --code-accent-color: #262b2f;
-  --code-accent-color-lite: #2b3035;
-
-  --accent-color: #2b3035;
-  --accent-color-lite: #2f353a;
-
-  --control-icons: #b2bac1;
-
-  --footer-background: #2f333e;
-  --footer-font-color: #cccccc;
-  --footer-link-color: #7ac29e;
-  --footer-link-color-visited: #7ac29e;
-}
-@media (prefers-color-scheme: dark) {
-  :root {
-    --header-background: #404070;
-    --header-font-color: #ffffff;
-
-    --body-background: #343a40;
-    --body-font-color: #ced3d8;
-
-    --button-background: #62cb97;
-    --button-border-color: #4ec58a;
-
-    --link-color: #7ac29e;
-    --link-color-visited: #7ac29e;
-
-    --code-background: #2f353a;
-    --code-accent-color: #262b2f;
-    --code-accent-color-lite: #2b3035;
-
-    --accent-color: #2b3035;
-    --accent-color-lite: #2f353a;
-
-    --control-icons: #b2bac1;
-
-    --footer-background: #2f333e;
-    --footer-font-color: #cccccc;
-    --footer-link-color: #7ac29e;
-    --footer-link-color-visited: #7ac29e;
-  }
-}
-
-.gdoc-brand__img {
-  width: 48px;
-  height: auto;
-  margin-top: -4px;
-  margin-bottom: -4px;
-}
-
-.gdoc-menu-header > span {
-  display: flex;
-  flex-direction: row-reverse;
-}
-
-span.gdoc-language {
-  margin-right: 20px;
-}

hugo/static/favicon/favicon.svg

@@ -1,196 +0,0 @@
-<?xml version="1.0" encoding="UTF-8" standalone="no"?>
-<svg
-   xmlns:osb="http://www.openswatchbook.org/uri/2009/osb"
-   xmlns:dc="http://purl.org/dc/elements/1.1/"
-   xmlns:cc="http://creativecommons.org/ns#"
-   xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
-   xmlns:svg="http://www.w3.org/2000/svg"
-   xmlns="http://www.w3.org/2000/svg"
-   xmlns:xlink="http://www.w3.org/1999/xlink"
-   xmlns:sodipodi="http://sodipodi.sourceforge.net/DTD/sodipodi-0.dtd"
-   xmlns:inkscape="http://www.inkscape.org/namespaces/inkscape"
-   sodipodi:docname="favicon.svg"
-   inkscape:version="1.0.2 (e86c870879, 2021-01-15)"
-   id="svg1340"
-   version="1.1"
-   viewBox="0 0 100 100"
-   height="100mm"
-   width="100mm"
-   inkscape:export-filename="/var/home/vitali/SVN/vitastor/docs/static/favicon/favicon-64x64.png"
-   inkscape:export-xdpi="16.26"
-   inkscape:export-ydpi="16.26">
-  <defs
-     id="defs1334">
-    <linearGradient
-       osb:paint="gradient"
-       id="linearGradient866">
-      <stop
-         id="stop862"
-         offset="0"
-         style="stop-color:#c0c0c0;stop-opacity:1" />
-      <stop
-         id="stop864"
-         offset="1"
-         style="stop-color:#000000;stop-opacity:0" />
-    </linearGradient>
-    <linearGradient
-       id="linearGradient846"
-       osb:paint="gradient">
-      <stop
-         style="stop-color:#ffd42a;stop-opacity:1"
-         offset="0"
-         id="stop842" />
-      <stop
-         style="stop-color:#ffa200;stop-opacity:1"
-         offset="1"
-         id="stop844" />
-    </linearGradient>
-    <radialGradient
-       r="50"
-       fy="159.11139"
-       fx="202.36813"
-       cy="159.11139"
-       cx="202.36813"
-       gradientTransform="matrix(1.2462942,-1.2279529,0.77712408,0.78873143,-190.96813,230.1331)"
-       gradientUnits="userSpaceOnUse"
-       id="radialGradient1530"
-       xlink:href="#linearGradient1352"
-       inkscape:collect="always" />
-    <linearGradient
-       inkscape:collect="always"
-       id="linearGradient1352">
-      <stop
-         style="stop-color:#00c9e6;stop-opacity:1"
-         offset="0"
-         id="stop1348" />
-      <stop
-         style="stop-color:#5240d3;stop-opacity:1"
-         offset="1"
-         id="stop1350" />
-    </linearGradient>
-    <linearGradient
-       y2="62.555599"
-       x2="51.484566"
-       y1="62.555599"
-       x1="38.105473"
-       gradientTransform="rotate(-16.930773,271.11609,-412.42594)"
-       gradientUnits="userSpaceOnUse"
-       id="linearGradient1508"
-       xlink:href="#linearGradient1323"
-       inkscape:collect="always" />
-    <linearGradient
-       inkscape:collect="always"
-       id="linearGradient1323">
-      <stop
-         style="stop-color:#000000;stop-opacity:0.47178105"
-         offset="0"
-         id="stop1319" />
-      <stop
-         style="stop-color:#eeaaff;stop-opacity:0;"
-         offset="1"
-         id="stop1321" />
-    </linearGradient>
-    <filter
-       style="color-interpolation-filters:sRGB"
-       inkscape:label="Drop Shadow"
-       id="filter1497"
-       width="2"
-       height="2"
-       x="-0.5"
-       y="-0.5">
-      <feFlood
-         flood-opacity="0.498039"
-         flood-color="rgb(0,0,0)"
-         result="flood"
-         id="feFlood1487" />
-      <feComposite
-         in="flood"
-         in2="SourceGraphic"
-         operator="in"
-         result="composite1"
-         id="feComposite1489" />
-      <feGaussianBlur
-         in="composite1"
-         stdDeviation="6"
-         result="blur"
-         id="feGaussianBlur1491" />
-      <feOffset
-         dx="0"
-         dy="6"
-         result="offset"
-         id="feOffset1493" />
-      <feComposite
-         in="offset"
-         in2="offset"
-         operator="atop"
-         result="composite2"
-         id="feComposite1495" />
-    </filter>
-    <radialGradient
-       r="21.541935"
-       fy="24.614815"
-       fx="45.312912"
-       cy="24.614815"
-       cx="45.312912"
-       gradientTransform="matrix(1.6678615,0.20004527,-0.19318681,1.6106796,108.48083,22.966962)"
-       gradientUnits="userSpaceOnUse"
-       id="radialGradient1506"
-       xlink:href="#linearGradient846"
-       inkscape:collect="always" />
-  </defs>
-  <sodipodi:namedview
-     inkscape:window-maximized="1"
-     inkscape:window-y="0"
-     inkscape:window-x="0"
-     inkscape:window-height="992"
-     inkscape:window-width="1920"
-     fit-margin-bottom="0"
-     fit-margin-right="0"
-     fit-margin-left="0"
-     fit-margin-top="0"
-     showgrid="false"
-     inkscape:document-rotation="0"
-     inkscape:current-layer="layer1"
-     inkscape:document-units="mm"
-     inkscape:cy="83.752268"
-     inkscape:cx="-103.69645"
-     inkscape:zoom="0.7"
-     inkscape:pageshadow="2"
-     inkscape:pageopacity="0"
-     borderopacity="1.0"
-     bordercolor="#666666"
-     pagecolor="#000000"
-     id="base" />
-  <metadata
-     id="metadata1337">
-    <rdf:RDF>
-      <cc:Work
-         rdf:about="">
-        <dc:format>image/svg+xml</dc:format>
-        <dc:type
-           rdf:resource="http://purl.org/dc/dcmitype/StillImage" />
-        <dc:title></dc:title>
-      </cc:Work>
-    </rdf:RDF>
-  </metadata>
-  <g
-     transform="translate(-133.26969,-35.630924)"
-     id="layer1"
-     inkscape:groupmode="layer"
-     inkscape:label="Слой 1">
-    <path
-       style="fill:url(#radialGradient1530);fill-opacity:1;fill-rule:evenodd;stroke:#000000;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:1"
-       d="m 133.26969,59.089473 50,75.000087 50,-75.000087 z"
-       id="path1528"
-       sodipodi:nodetypes="cccc" />
-    <path
-       d="m 194.29572,89.403603 -8.41706,2.562119 -2.50682,7.49308 7.17785,23.579008 9.60097,-14.40173 z"
-       style="fill:url(#linearGradient1508);fill-opacity:1;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:0.501961"
-       id="path1459" />
-    <path
-       sodipodi:nodetypes="cccccccc"
-       id="path1463"
-       d="m 157.01826,35.630924 h 53.91343 l -13.21471,31.09726 h 13.99432 l -33.7227,51.291496 4.61762,-37.02885 h -12.45344 z"
-       style="fill:url(#radialGradient1506);fill-opacity:1;fill-rule:evenodd;stroke:#000000;stroke-width:0;stroke-linecap:butt;stroke-linejoin:miter;stroke-miterlimit:4;stroke-dasharray:none;stroke-opacity:1" />
-  </g>
-</svg>

mon/mon.js

@@ -218,6 +218,10 @@ class Mon
             }
             else if (key != '/stats' && key.substr(0, 13) != '/inode/stats/')
             {
+                if (key == '/config/pgs' && !kv.value)
+                {
+                    this.old_pg_config = false;
+                }
                 changed = true;
             }
             if (this.config.verbose)
@@ -422,30 +426,6 @@ class Mon
                     throw new Error('Failed to duplicate old PG config to new PG config');
             }
             this.old_pg_config = true;
-            this.old_pg_config_timer = setInterval(() => this.check_clear_old_config().catch(console.error),
-                this.config.old_pg_config_clear_interval||3600000);
-        }
-    }
-
-    async check_clear_old_config()
-    {
-        if (this.old_pg_config && this.old_pg_stats_seen)
-        {
-            this.old_pg_stats_seen = false;
-            return;
-        }
-        if (this.old_pg_config)
-        {
-            await this.etcd.etcd_call('/kv/txn', { success: [
-                { requestDeleteRange: { key: b64(this.config.etcd_prefix+'/config/pgs') } },
-                { requestDeleteRange: { key: b64(this.config.etcd_prefix+'/pg/stats/'), range_end: b64(this.config.etcd_prefix+'/pg/stats0') } },
-            ] }, this.config.etcd_mon_timeout, this.config.etcd_mon_retries);
-            this.old_pg_config = false;
-        }
-        if (this.old_pg_config_timer)
-        {
-            clearInterval(this.old_pg_config_timer);
-            this.old_pg_config_timer = null;
         }
     }
 
@@ -587,6 +567,7 @@ class Mon
 
     async apply_pool_pgs(results, up_osds, osd_tree, tree_hash)
     {
+        const etcd_request = { compare: [], success: [] };
         for (const pool_id in (this.state.pg.config||{}).items||{})
         {
             // We should stop all PGs when deleting a pool or changing its PG count
@@ -599,9 +580,24 @@ class Mon
                     return false;
                 }
             }
+            if (!this.state.config.pools[pool_id])
+            {
+                // Delete PG history and stats of the deleted pool
+                etcd_request.success.push({ requestDeleteRange: {
+                    key: b64(this.config.etcd_prefix+'/pg/history/'+pool_id+'/'),
+                    range_end: b64(this.config.etcd_prefix+'/pg/history/'+pool_id+'0'),
+                } });
+                etcd_request.success.push({ requestDeleteRange: {
+                    key: b64(this.config.etcd_prefix+'/pg/stats/'+pool_id+'/'),
+                    range_end: b64(this.config.etcd_prefix+'/pg/stats/'+pool_id+'0'),
+                } });
+                etcd_request.success.push({ requestDeleteRange: {
+                    key: b64(this.config.etcd_prefix+'/pgstats/'+pool_id+'/'),
+                    range_end: b64(this.config.etcd_prefix+'/pgstats/'+pool_id+'0'),
+                } });
+            }
         }
         const new_pg_config = JSON.parse(JSON.stringify(this.state.pg.config));
-        const etcd_request = { compare: [], success: [] };
         for (const pool_id in (new_pg_config||{}).items||{})
         {
             if (!this.state.config.pools[pool_id])

mon/package.json

@@ -1,6 +1,6 @@
 {
   "name": "vitastor-mon",
-  "version": "1.8.0",
+  "version": "1.9.3",
   "description": "Vitastor SDS monitor service",
   "main": "mon-main.js",
   "scripts": {

opennebula/install.sh

@@ -3,7 +3,9 @@
 set -e
 
 reapply_patch() {
-	if ! patch -f --dry-run -F 0 -R $1 < $2 >/dev/null; then
+	if ! [[ -e $1 ]]; then
+		echo "$1 does not exist, OpenNebula is not installed"
+	elif ! patch -f --dry-run -F 0 -R $1 < $2 >/dev/null; then
 		already_applied=0
 		if ! patch --no-backup-if-mismatch -r - -F 0 -f $1 < $2; then
 			applied_ok=0
@@ -15,8 +17,13 @@ echo "Reapplying Vitastor patches to OpenNebula's oned.conf, vmm_execrc and down
 already_applied=1
 applied_ok=1
 reapply_patch /var/lib/one/remotes/datastore/downloader.sh /var/lib/one/remotes/datastore/vitastor/downloader-vitastor.sh.diff
-reapply_patch /etc/one/oned.conf /var/lib/one/remotes/datastore/vitastor/oned.conf.diff
 reapply_patch /etc/one/vmm_exec/vmm_execrc /var/lib/one/remotes/datastore/vitastor/vmm_execrc.diff
+if [[ -e /etc/one/oned.conf ]]; then
+	if ! /var/lib/one/remotes/datastore/vitastor/patch-oned-conf.py /etc/one/oned.conf; then
+		applied_ok=0
+		already_applied=0
+	fi
+fi
 if [[ "$already_applied" = 1 ]]; then
 	echo "OK: Vitastor OpenNebula patches are already applied"
 elif [[ "$applied_ok" = 1 ]]; then

opennebula/remotes/datastore/vitastor/oned.conf.diff

@@ -54,20 +54,20 @@ index be02d646a8..27f876ec36 100644
  TM_MAD_CONF = [
      NAME = "iscsi_libvirt", LN_TARGET = "NONE", CLONE_TARGET = "SELF", SHARED = "YES",
      DS_MIGRATE = "NO", DRIVER = "raw"
-@@ -1219,9 +1230,16 @@ DS_MAD_CONF = [
+@@ -1263,9 +1274,16 @@ DS_MAD_CONF = [
      NAME = "ceph",
      REQUIRED_ATTRS = "DISK_TYPE,BRIDGE_LIST",
      PERSISTENT_ONLY = "NO",
      MARKETPLACE_ACTIONS = "export"
- ]
++]
- 
++
 +DS_MAD_CONF = [
 +    NAME = "vitastor",
 +    REQUIRED_ATTRS = "DISK_TYPE,BRIDGE_LIST",
 +    PERSISTENT_ONLY = "NO",
 +    MARKETPLACE_ACTIONS = "export"
-+]
+ ]
-+
+ 
  DS_MAD_CONF = [
      NAME = "dev", REQUIRED_ATTRS = "DISK_TYPE", PERSISTENT_ONLY = "YES"
  ]

opennebula/remotes/datastore/vitastor/patch-oned-conf.py

@@ -0,0 +1,115 @@
+#!/usr/bin/env python3
+# Patch /etc/one/oned.conf for Vitastor support
+# -s = also enable save.vitastor/restore.vitastor overrides
+
+import re
+import os
+import sys
+
+class Fixer:
+    save_restore = 0
+
+    def require_sub_cb(self, m, cb):
+        self.found = 1
+        return cb(m)
+
+    def require_sub(self, regexp, cb, text, error):
+        self.found = 0
+        new_text = re.sub(regexp, lambda m: self.require_sub_cb(m, cb), text)
+        if not self.found and error:
+            self.errors.append(error)
+        return new_text
+
+    def fix(self, oned_conf):
+        self.errors = []
+        self.kvm_found = 0
+        oned_conf = self.require_sub(r'((?:^|\n)[ \t]*VM_MAD\s*=\s*\[)([^\]]+)\]', lambda m: m.group(1)+self.fix_vm_mad(m.group(2))+']', oned_conf, 'VM_MAD not found')
+        if not self.kvm_found:
+            self.errors.append("VM_MAD[NAME=kvm].ARGUMENTS not found")
+        oned_conf = self.require_sub(r'((?:^|\n)[ \t]*TM_MAD\s*=\s*\[)([^\]]+)\]', lambda m: m.group(1)+self.fix_tm_mad(m.group(2))+']', oned_conf, 'TM_MAD not found')
+        oned_conf = self.require_sub(r'((?:^|\n)[ \t]*DATASTORE_MAD\s*=\s*\[)([^\]]+)\]', lambda m: m.group(1)+self.fix_datastore_mad(m.group(2))+']', oned_conf, 'DATASTORE_MAD not found')
+        if oned_conf[-1:] != '\n':
+            oned_conf += '\n'
+        if not re.compile(r'(^|\n)[ \t]*INHERIT_DATASTORE_ATTR\s*=\s*"VITASTOR_CONF"').search(oned_conf):
+            oned_conf += '\nINHERIT_DATASTORE_ATTR="VITASTOR_CONF"\n'
+        if not re.compile(r'(^|\n)[ \t]*INHERIT_DATASTORE_ATTR\s*=\s*"IMAGE_PREFIX"').search(oned_conf):
+            oned_conf += '\nINHERIT_DATASTORE_ATTR="IMAGE_PREFIX"\n'
+        if not re.compile(r'(^|\n)[ \t]*TM_MAD_CONF\s*=\s*\[[^\]]*NAME\s*=\s*"vitastor"').search(oned_conf):
+            oned_conf += ('\nTM_MAD_CONF = [\n'+
+                '    NAME = "vitastor", LN_TARGET = "NONE", CLONE_TARGET = "SELF", SHARED = "YES",\n'+
+                '    DS_MIGRATE = "NO", DRIVER = "raw", ALLOW_ORPHANS="format",\n'+
+                '    TM_MAD_SYSTEM = "ssh,shared", LN_TARGET_SSH = "SYSTEM", CLONE_TARGET_SSH = "SYSTEM",\n'+
+                '    DISK_TYPE_SSH = "FILE", LN_TARGET_SHARED = "NONE",\n'+
+                '    CLONE_TARGET_SHARED = "SELF", DISK_TYPE_SHARED = "FILE"\n'+
+                ']\n')
+        if not re.compile(r'(^|\n)[ \t]*DS_MAD_CONF\s*=\s*\[[^\]]*NAME\s*=\s*"vitastor"').search(oned_conf):
+            oned_conf += ('\nDS_MAD_CONF = [\n'+
+                '    NAME = "vitastor",\n'+
+                '    REQUIRED_ATTRS = "DISK_TYPE,BRIDGE_LIST",\n'+
+                '    PERSISTENT_ONLY = "NO",\n'+
+                '    MARKETPLACE_ACTIONS = "export"\n'+
+                ']\n')
+        return oned_conf
+
+    def fix_vm_mad(self, vm_mad_params):
+        if re.compile(r'\bNAME\s*=\s*"kvm"').search(vm_mad_params):
+            vm_mad_params = re.sub(r'\b(ARGUMENTS\s*=\s*")([^"]+)"', lambda m: m.group(1)+self.fix_vm_mad_args(m.group(2))+'"', vm_mad_params)
+            self.kvm_found = 1
+        return vm_mad_params
+
+    def fix_vm_mad_args(self, args):
+        args = self.fix_vm_mad_override(args, 'deploy')
+        if self.save_restore:
+            args = self.fix_vm_mad_override(args, 'save')
+            args = self.fix_vm_mad_override(args, 'restore')
+        return args
+
+    def fix_vm_mad_override(self, args, override):
+        m = re.compile(r'-l (\S+)').search(args)
+        if m and re.compile(override+'='+override+'.vitastor').search(m.group(1)):
+            return args
+        elif m and re.compile(override+'=').search(m.group(1)):
+            self.errors.append(override+"= is already overridden in -l option in VM_MAD[NAME=kvm].ARGUMENTS")
+            return args
+        elif m:
+            return self.require_sub(r'-l (\S+)', lambda m: '-l '+m.group(1)+','+override+'='+override+'.vitastor', args, '-l option not found in VM_MAD[NAME=kvm].ARGUMENTS')
+        else:
+            return args+' -l '+override+'='+override+'.vitastor'
+
+    def fix_tm_mad(self, params):
+        return self.require_sub(r'\b(ARGUMENTS\s*=\s*")([^"]+)"', lambda m: m.group(1)+self.fix_tm_mad_args('d', m.group(2), "TM_MAD")+'"', params, "TM_MAD.ARGUMENTS not found")
+
+    def fix_tm_mad_args(self, opt, args, v):
+        return self.require_sub('(-'+opt+r') (\S+)', lambda m: self.fix_tm_mad_arg(m), args, "-"+opt+" option not found in "+v+".ARGUMENTS")
+
+    def fix_tm_mad_arg(self, m):
+        a = m.group(2).split(',')
+        if 'vitastor' not in a:
+            a += [ 'vitastor' ]
+        return m.group(1)+' '+(','.join(a))
+
+    def fix_datastore_mad(self, params):
+        params = self.require_sub(r'\b(ARGUMENTS\s*=\s*")([^"]+)"', lambda m: m.group(1)+self.fix_tm_mad_args('d', m.group(2), "DATASTORE_MAD")+'"', params, "DATASTORE_MAD.ARGUMENTS not found")
+        return self.require_sub(r'\b(ARGUMENTS\s*=\s*")([^"]+)"', lambda m: m.group(1)+self.fix_tm_mad_args('s', m.group(2), "DATASTORE_MAD")+'"', params, "")
+
+fixer = Fixer()
+oned_conf_file = ''
+for arg in sys.argv[1:]:
+    if arg == '-s':
+        fixer.save_restore = 1
+    else:
+        oned_conf_file = arg
+        break
+if not oned_conf_file:
+    sys.stderr.write("USAGE: ./patch-oned-conf.py [-s] /etc/one/oned.conf\n-s means also enable save.vitastor/restore.vitastor overrides\n")
+    sys.exit(1)
+with open(oned_conf_file, 'r') as fd:
+    oned_conf = fd.read()
+new_conf = fixer.fix(oned_conf)
+if new_conf != oned_conf:
+    os.rename(oned_conf_file, oned_conf_file+'.bak')
+    with open(oned_conf_file, 'w') as fd:
+        fd.write(new_conf)
+if len(fixer.errors) > 0:
+    sys.stderr.write("ERROR: Failed to patch "+oned_conf_file+", patch it manually. Errors:\n- "+('\n- '.join(fixer.errors))+'\n')
+    sys.exit(1)

opennebula/remotes/vmm/kvm/deploy.vitastor

@@ -4,12 +4,15 @@
 # Copyright (c) Vitaliy Filippov, 2024+
 # License: Apache-2.0 http://www.apache.org/licenses/LICENSE-2.0
 
+set -e
+
 DRIVER_PATH=$(dirname $0)
 DEP_FILE=$1
 DEP_FILE_LOCATION=$(dirname $DEP_FILE)
+HOST=$2
 
 cat > $DEP_FILE
 
 python3 $DRIVER_PATH/deploy_vitastor.py $DEP_FILE $DEP_FILE_LOCATION/vm.xml
 
-cat $DEP_FILE | $DRIVER_PATH/deploy $@
+cat "$DEP_FILE" | ssh "$HOST" "'${SCRIPTS_REMOTE_DIR:-/var/tmp/one}/vmm/kvm/deploy' '$DEP_FILE'"

opennebula/remotes/vmm/kvm/deploy_vitastor.py

@@ -54,5 +54,4 @@ for disk in dep.findall('./devices/disk[@type="file"]'):
     except Exception as e:
         print("Error: {}".format(e), file=stderr)
 
-if changed:
+ET.ElementTree(dep).write(dep_file)
-    ET.ElementTree(dep).write(dep_file)

opennebula/remotes/vmm/kvm/restore.vitastor

@@ -10,7 +10,7 @@ source $DRIVER_PATH/../../etc/vmm/kvm/kvmrc
 source $DRIVER_PATH/../../scripts_common.sh
 
 FILE=$1
-HOST=$2
+DST_HOST=$2
 DEPLOY_ID=$3
 VM_ID=$4
 DS_ID=$5
@@ -33,7 +33,8 @@ fi
 
 SRC_IMAGE="${IMAGE_PREFIX}-sys-${VM_ID}-checkpoint"
 
-exec_and_log "$CLI dd iimg=$SRC_IMAGE of=$FILE" "Error exporting checkpoint into from $SRC_IMAGE to $FILE"
+ssh_exec_and_log "$DST_HOST" "$CLI dd iimg=$SRC_IMAGE of=$FILE" "Error exporting checkpoint into from $SRC_IMAGE to $FILE"
-exec_and_log "$CLI rm $SRC_IMAGE" "Error removing checkpoint $SRC_IMAGE"
+ssh_exec_and_log "$DST_HOST" "$CLI rm $SRC_IMAGE" "Error removing checkpoint $SRC_IMAGE"
 
-"$DRIVER_PATH"/restore $@
+set -e
+ssh "$DST_HOST" "'${SCRIPTS_REMOTE_DIR:-/var/tmp/one}/vmm/kvm/restore' $@"

opennebula/remotes/vmm/kvm/save.vitastor

@@ -11,11 +11,14 @@ source $DRIVER_PATH/../../scripts_common.sh
 
 DEPLOY_ID=$1
 FILE=$2
+SRC_HOST=$3
 VM_ID=$4
 DS_ID=$5
 
-rm -f "$FILE"
+set -e
-"$DRIVER_PATH"/save $@
+ssh "$SRC_HOST" 'rm -f "$FILE"'
+ssh "$SRC_HOST" "'${SCRIPTS_REMOTE_DIR:-/var/tmp/one}/vmm/kvm/save' $@"
+set +e
 
 XPATH="${DRIVER_PATH}/../../datastore/xpath.rb --stdin"
 
@@ -42,7 +45,7 @@ fi
 
 DST_IMAGE="${IMAGE_PREFIX}-sys-${VM_ID}-checkpoint"
 
-exec_and_log "$CLI dd if=$FILE oimg=$DST_IMAGE conv=trunc" "Error importing checkpoint into $DST_IMAGE"
+ssh_exec_and_log "$SRC_HOST" "$CLI dd if=$FILE oimg=$DST_IMAGE conv=trunc" "Error importing checkpoint into $DST_IMAGE"
-exec_and_log "$RM -f $FILE" "Error removing checkpoint ($FILE)"
+ssh_exec_and_log "$SRC_HOST" "$RM -f $FILE" "Error removing checkpoint ($FILE)"
 
 exit 0

patches/cinder-vitastor.py

@@ -50,7 +50,7 @@ from cinder.volume import configuration
 from cinder.volume import driver
 from cinder.volume import volume_utils
 
-VITASTOR_VERSION = '1.8.0'
+VITASTOR_VERSION = '1.9.3'
 
 LOG = logging.getLogger(__name__)
 

rpm/vitastor-el7.spec

@@ -1,11 +1,11 @@
 Name:           vitastor
-Version:        1.8.0
+Version:        1.9.3
 Release:        1%{?dist}
 Summary:        Vitastor, a fast software-defined clustered block storage
 
 License:        Vitastor Network Public License 1.1
 URL:            https://vitastor.io/
-Source0:        vitastor-1.8.0.el7.tar.gz
+Source0:        vitastor-1.9.3.el7.tar.gz
 
 BuildRequires:  liburing-devel >= 0.6
 BuildRequires:  gperftools-devel
@@ -202,4 +202,8 @@ chown vitastor:vitastor /var/lib/vitastor
 /var/lib/one/remotes/datastore/vitastor/install.sh
 
 
+# Turn off the brp-python-bytecompile script
+%global __os_install_post %(echo '%{__os_install_post}' | sed -e 's!/usr/lib[^[:space:]]*/brp-python-bytecompile[[:space:]].*$!!g')
+
+
 %changelog

rpm/vitastor-el8.spec

@@ -1,11 +1,11 @@
 Name:           vitastor
-Version:        1.8.0
+Version:        1.9.3
 Release:        1%{?dist}
 Summary:        Vitastor, a fast software-defined clustered block storage
 
 License:        Vitastor Network Public License 1.1
 URL:            https://vitastor.io/
-Source0:        vitastor-1.8.0.el8.tar.gz
+Source0:        vitastor-1.9.3.el8.tar.gz
 
 BuildRequires:  liburing-devel >= 0.6
 BuildRequires:  gperftools-devel
@@ -199,4 +199,8 @@ chown vitastor:vitastor /var/lib/vitastor
 /var/lib/one/remotes/datastore/vitastor/install.sh
 
 
+# Turn off the brp-python-bytecompile script
+%global __os_install_post %(echo '%{__os_install_post}' | sed -e 's!/usr/lib[^[:space:]]*/brp-python-bytecompile[[:space:]].*$!!g')
+
+
 %changelog

rpm/vitastor-el9.spec

@@ -1,11 +1,11 @@
 Name:           vitastor
-Version:        1.8.0
+Version:        1.9.3
 Release:        1%{?dist}
 Summary:        Vitastor, a fast software-defined clustered block storage
 
 License:        Vitastor Network Public License 1.1
 URL:            https://vitastor.io/
-Source0:        vitastor-1.8.0.el9.tar.gz
+Source0:        vitastor-1.9.3.el9.tar.gz
 
 BuildRequires:  liburing-devel >= 0.6
 BuildRequires:  gperftools-devel
@@ -74,7 +74,7 @@ Vitastor library headers for development.
 Summary:        Vitastor - fio drivers
 Group:          Development/Libraries
 Requires:       vitastor-client = %{version}-%{release}
-Requires:       fio = 3.27-8.el9
+Requires:       fio = 3.35-1.el9
 
 
 %description -n vitastor-fio
@@ -192,4 +192,8 @@ chown vitastor:vitastor /var/lib/vitastor
 /var/lib/one/remotes/datastore/vitastor/install.sh
 
 
+# Turn off the brp-python-bytecompile script
+%global __os_install_post %(echo '%{__os_install_post}' | sed -e 's!/usr/lib[^[:space:]]*/brp-python-bytecompile[[:space:]].*$!!g')
+
+
 %changelog

src/CMakeLists.txt

@@ -19,7 +19,7 @@ if("${CMAKE_INSTALL_PREFIX}" MATCHES "^/usr/local/?$")
 	set(CMAKE_INSTALL_RPATH "${CMAKE_INSTALL_PREFIX}/${CMAKE_INSTALL_LIBDIR}")
 endif()
 
-add_definitions(-DVITASTOR_VERSION="1.8.0")
+add_definitions(-DVITASTOR_VERSION="1.9.3")
 add_definitions(-D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -Wall -Wno-sign-compare -Wno-comment -Wno-parentheses -Wno-pointer-arith -fdiagnostics-color=always -fno-omit-frame-pointer -I ${CMAKE_SOURCE_DIR}/src)
 add_link_options(-fno-omit-frame-pointer)
 if (${WITH_ASAN})

src/blockstore/blockstore_read.cpp

@@ -993,7 +993,8 @@ int blockstore_impl_t::read_bitmap(object_id oid, uint64_t target_version, void
     {
         while (dirty_it->first.oid == oid)
         {
-            if (target_version >= dirty_it->first.version)
+            // Condition has to be the same as in dequeue_read()
+            if (!IS_IN_FLIGHT(dirty_it->second.state) && target_version >= dirty_it->first.version)
             {
                 if (result_version)
                     *result_version = dirty_it->first.version;

src/client/CMakeLists.txt

@@ -10,7 +10,7 @@ endif (IBVERBS_LIBRARIES)
 add_library(vitastor_common STATIC
 	../util/epoll_manager.cpp etcd_state_client.cpp messenger.cpp ../util/addr_util.cpp
 	msgr_stop.cpp msgr_op.cpp msgr_send.cpp msgr_receive.cpp ../util/ringloop.cpp ../../json11/json11.cpp
-	http_client.cpp osd_ops.cpp pg_states.cpp ../util/timerfd_manager.cpp ../util/str_util.cpp ${MSGR_RDMA}
+	http_client.cpp osd_ops.cpp pg_states.cpp ../util/timerfd_manager.cpp ../util/str_util.cpp ../util/json_util.cpp ${MSGR_RDMA}
 )
 target_link_libraries(vitastor_common pthread)
 target_compile_options(vitastor_common PUBLIC -fPIC)
@@ -88,7 +88,7 @@ add_executable(test_cluster_client
 	EXCLUDE_FROM_ALL
 	../test/test_cluster_client.cpp
 	pg_states.cpp osd_ops.cpp cluster_client.cpp cluster_client_list.cpp cluster_client_wb.cpp msgr_op.cpp ../test/mock/messenger.cpp msgr_stop.cpp
-	etcd_state_client.cpp ../util/timerfd_manager.cpp ../util/str_util.cpp ../../json11/json11.cpp
+	etcd_state_client.cpp ../util/timerfd_manager.cpp ../util/str_util.cpp ../util/json_util.cpp ../../json11/json11.cpp
 )
 target_compile_definitions(test_cluster_client PUBLIC -D__MOCK__)
 target_include_directories(test_cluster_client BEFORE PUBLIC ${CMAKE_SOURCE_DIR}/src/test/mock)

src/client/cluster_client.cpp

@@ -4,7 +4,7 @@
 #include <stdexcept>
 #include <assert.h>
 #include "cluster_client_impl.h"
-#include "http_client.h" // json_is_true
+#include "json_util.h"
 
 cluster_client_t::cluster_client_t(ring_loop_t *ringloop, timerfd_manager_t *tfd, json11::Json config)
 {
@@ -955,7 +955,7 @@ void cluster_client_t::slice_rw(cluster_op_t *op)
             ? (stripe + pg_block_size) : (op->offset + op->len);
         op->parts[i].iov.reset();
         op->parts[i].flags = 0;
-        if (op->cur_inode != op->inode || op->opcode == OSD_OP_READ && dirty_copied)
+        if (op->opcode != OSD_OP_READ_CHAIN_BITMAP && op->cur_inode != op->inode || op->opcode == OSD_OP_READ && dirty_copied)
         {
             // Read remaining parts from upper layers
             uint64_t prev = begin, cur = begin;

src/client/http_client.cpp

@@ -15,6 +15,7 @@
 
 #include "addr_util.h"
 #include "str_util.h"
+#include "json_util.h"
 #include "json11/json11.hpp"
 #include "http_client.h"
 #include "timerfd_manager.h"
@@ -724,22 +725,3 @@ static bool ws_parse_frame(std::string & buf, int & type, std::string & res)
     buf = buf.substr(hdr+len);
     return true;
 }
-
-// FIXME: move to utils
-bool json_is_true(const json11::Json & val)
-{
-    if (val.is_string())
-        return val == "true" || val == "yes" || val == "1";
-    return val.bool_value();
-}
-
-bool json_is_false(const json11::Json & val)
-{
-    if (val.is_string())
-        return val.string_value() == "false" || val.string_value() == "no" || val.string_value() == "0";
-    if (val.is_number())
-        return val.number_value() == 0;
-    if (val.is_bool())
-        return !val.bool_value();
-    return false;
-}

src/client/http_client.h

@@ -48,9 +48,3 @@ void http_request(http_co_t *handler, const std::string & host, const std::strin
     const http_options_t & options, std::function<void(const http_response_t *response)> response_callback);
 void http_post_message(http_co_t *handler, int type, const std::string & msg);
 void http_close(http_co_t *co);
-
-// Utils
-std::string strtolower(const std::string & in);
-// FIXME: move to json11
-bool json_is_true(const json11::Json & val);
-bool json_is_false(const json11::Json & val);

src/client/vitastor.pc.in

@@ -6,7 +6,7 @@ includedir=${prefix}/@CMAKE_INSTALL_INCLUDEDIR@
 
 Name: Vitastor
 Description: Vitastor client library
-Version: 1.8.0
+Version: 1.9.3
 Libs: -L${libdir} -lvitastor_client
 Cflags: -I${includedir}
 

src/cmd/cli_dd.cpp

@@ -369,6 +369,7 @@ struct cli_dd_t
 {
     cli_tool_t *parent;
 
+    std::vector<std::string> conv, iflag, oflag;
     dd_in_info_t iinfo;
     dd_out_info_t oinfo;
 
@@ -430,7 +431,7 @@ struct cli_dd_t
             if (read_op->retval < 0)
             {
                 fprintf(
-                    stderr, "Failed to read bitmap for %lu bytes from image %s at offset %lu: %s (code %d)\n",
+                    stderr, "Failed to read bitmap for %ju bytes from image %s at offset %ju: %s (code %d)\n",
                     read_op->len, iinfo.iimg.c_str(), read_op->offset,
                     strerror(read_op->retval < 0 ? -read_op->retval : EIO), read_op->retval
                 );
@@ -475,7 +476,7 @@ struct cli_dd_t
             if (read_op->retval != read_op->len)
             {
                 fprintf(
-                    stderr, "Failed to read %lu bytes from image %s at offset %lu: %s (code %d)\n",
+                    stderr, "Failed to read %ju bytes from image %s at offset %ju: %s (code %d)\n",
                     read_op->len, iinfo.iimg.c_str(), read_op->offset,
                     strerror(read_op->retval < 0 ? -read_op->retval : EIO), read_op->retval
                 );
@@ -546,7 +547,7 @@ struct cli_dd_t
                 if (data->res < 0)
                 {
                     fprintf(
-                        stderr, "Failed to read %lu bytes from %s at offset %lu: %s (code %d)\n",
+                        stderr, "Failed to read %ju bytes from %s at offset %ju: %s (code %d)\n",
                         data->iov.iov_len, iinfo.ifile == "" ? "stdin" : iinfo.ifile.c_str(), cur_read->offset,
                         strerror(-data->res), data->res
                     );
@@ -643,7 +644,7 @@ struct cli_dd_t
                 if (write_op->retval != write_op->len)
                 {
                     fprintf(
-                        stderr, "Failed to write %lu bytes to image %s at offset %lu: %s (code %d)\n",
+                        stderr, "Failed to write %ju bytes to image %s at offset %ju: %s (code %d)\n",
                         write_op->len, oinfo.oimg.c_str(), write_op->offset,
                         strerror(write_op->retval < 0 ? -write_op->retval : EIO), write_op->retval
                     );
@@ -679,7 +680,7 @@ struct cli_dd_t
                 if (data->res < 0)
                 {
                     fprintf(
-                        stderr, "Failed to write %lu bytes to %s at offset %lu: %s (code %d)\n",
+                        stderr, "Failed to write %ju bytes to %s at offset %ju: %s (code %d)\n",
                         data->iov.iov_len, oinfo.ofile == "" ? "stdout" : oinfo.ofile.c_str(),
                         oinfo.out_seekable ? cur_read->offset+cur_read->len+oseek : 0,
                         strerror(-data->res), data->res
@@ -726,7 +727,7 @@ struct cli_dd_t
         {
             char buf[256];
             snprintf(
-                buf, sizeof(buf), "%lu bytes (%s) copied, %.1f s, %sB/s",
+                buf, sizeof(buf), "%ju bytes (%s) copied, %.1f s, %sB/s",
                 written_size, format_size(written_size).c_str(), sec_total,
                 format_size((uint64_t)(written_size/sec_total), true).c_str()
             );
@@ -748,7 +749,7 @@ struct cli_dd_t
         else
         {
             fprintf(
-                stderr, "\r%lu bytes (%s) copied, %.1f s, %sB/s, avg %sB/s\033[K",
+                stderr, "\r%ju bytes (%s) copied, %.1f s, %sB/s, avg %sB/s\033[K",
                 written_size, format_size(written_size).c_str(), sec_total,
                 format_size((uint64_t)(delta/sec_delta), true).c_str(),
                 format_size((uint64_t)(written_size/sec_total), true).c_str()
@@ -766,6 +767,49 @@ struct cli_dd_t
             goto resume_3;
         else if (state == 4)
             goto resume_4;
+        for (int i = 0; i < conv.size(); i++)
+        {
+            if (conv[i] == "nofsync")
+                oinfo.end_fsync = false;
+            else if (conv[i] == "trunc")
+                oinfo.out_trunc = true;
+            else if (conv[i] == "nocreat")
+                oinfo.out_create = false;
+            else if (conv[i] == "noerror")
+                ignore_errors = true;
+            else if (conv[i] == "nosparse")
+                write_zero = true;
+            else
+            {
+                result = (cli_result_t){ .err = EINVAL, .text = "Unknown option conv="+conv[i] };
+                state = 100;
+                return;
+            }
+        }
+        for (int i = 0; i < iflag.size(); i++)
+        {
+            if (iflag[i] == "direct")
+                iinfo.in_direct = true;
+            else
+            {
+                result = (cli_result_t){ .err = EINVAL, .text = "Unknown option iflag="+iflag[i] };
+                state = 100;
+                return;
+            }
+        }
+        for (int i = 0; i < oflag.size(); i++)
+        {
+            if (oflag[i] == "direct")
+                oinfo.out_direct = true;
+            else if (oflag[i] == "append")
+                oinfo.out_append = true;
+            else
+            {
+                result = (cli_result_t){ .err = EINVAL, .text = "Unknown option oflag="+oflag[i] };
+                state = 100;
+                return;
+            }
+        }
         if ((oinfo.oimg != "" && oinfo.ofile != "") || (iinfo.iimg != "" && iinfo.ifile != ""))
         {
             result = (cli_result_t){ .err = EINVAL, .text = "Image and file can't be specified at the same time" };
@@ -908,6 +952,18 @@ static uint64_t parse_blocks(json11::Json v, uint64_t bs, uint64_t def)
     return res;
 }
 
+static std::vector<std::string> explode_json(const std::string & sep, json11::Json opt)
+{
+    if (opt.is_array())
+    {
+        std::vector<std::string> arr;
+        for (auto & item: opt.array_items())
+            arr.push_back(item.as_string());
+        return arr;
+    }
+    return explode(sep, opt.as_string(), true);
+}
+
 std::function<bool(cli_result_t &)> cli_tool_t::start_dd(json11::Json cfg)
 {
     auto dd = new cli_dd_t();
@@ -923,7 +979,7 @@ std::function<bool(cli_result_t &)> cli_tool_t::start_dd(json11::Json cfg)
     dd->oseek = parse_blocks(cfg["oseek"], dd->blocksize, 0);
     if (!dd->oseek)
         dd->oseek = parse_blocks(cfg["seek"], dd->blocksize, 0);
-    dd->iseek = parse_blocks(cfg["oseek"], dd->blocksize, 0);
+    dd->iseek = parse_blocks(cfg["iseek"], dd->blocksize, 0);
     if (!dd->iseek)
         dd->iseek = parse_blocks(cfg["skip"], dd->blocksize, 0);
     dd->iodepth = cfg["iodepth"].uint64_value();
@@ -935,25 +991,9 @@ std::function<bool(cli_result_t &)> cli_tool_t::start_dd(json11::Json cfg)
         progress = true;
     dd->iinfo.detect_size = cfg["size"].is_null();
     dd->oinfo.out_size = parse_size(cfg["size"].as_string());
-    std::vector<std::string> conv = explode(",", cfg["conv"].string_value(), true);
+    dd->conv = explode_json(",", cfg["conv"]);
-    if (std::find(conv.begin(), conv.end(), "nofsync") != conv.end())
+    dd->iflag = explode_json(",", cfg["iflag"]);
-        dd->oinfo.end_fsync = false;
+    dd->oflag = explode_json(",", cfg["oflag"]);
-    if (std::find(conv.begin(), conv.end(), "trunc") != conv.end())
-        dd->oinfo.out_trunc = true;
-    if (std::find(conv.begin(), conv.end(), "nocreat") != conv.end())
-        dd->oinfo.out_create = false;
-    if (std::find(conv.begin(), conv.end(), "noerror") != conv.end())
-        dd->ignore_errors = true;
-    if (std::find(conv.begin(), conv.end(), "nosparse") != conv.end())
-        dd->write_zero = true;
-    conv = explode(",", cfg["iflag"].string_value(), true);
-    if (std::find(conv.begin(), conv.end(), "direct") != conv.end())
-        dd->iinfo.in_direct = true;
-    conv = explode(",", cfg["oflag"].string_value(), true);
-    if (std::find(conv.begin(), conv.end(), "direct") != conv.end())
-        dd->oinfo.out_direct = true;
-    if (std::find(conv.begin(), conv.end(), "append") != conv.end())
-        dd->oinfo.out_append = true;
     return [dd](cli_result_t & result)
     {
         dd->loop();