HTTP "hello, world!"

WIP TLS
Auto-select the only RDMA device/port if there is only one
2026-04-09 12:14:56 +03:00 · 2026-04-09 11:42:18 +03:00 · 2026-04-05 16:16:54 +03:00 · 2026-04-05 11:40:00 +03:00 · 2026-04-04 19:03:27 +03:00 · 2026-04-04 19:03:01 +03:00
390 changed files with 52137 additions and 9830 deletions
@@ -1,28 +1,29 @@
-FROM node:16-bullseye
+FROM node:16-bookworm
 WORKDIR /root
-ADD ./docker/vitastor.gpg /etc/apt/trusted.gpg.d
+ADD ./docker/etc/apt/trusted.gpg.d /etc/apt/trusted.gpg.d
-RUN echo 'deb http://deb.debian.org/debian bullseye-backports main' >> /etc/apt/sources.list; \
+RUN echo 'deb http://deb.debian.org/debian bookworm-backports main' >> /etc/apt/sources.list; \
-    echo 'deb http://vitastor.io/debian bullseye main' >> /etc/apt/sources.list; \
+    echo 'deb http://vitastor.io/debian bookworm main' >> /etc/apt/sources.list; \
    echo >> /etc/apt/preferences; \
    echo 'Package: *' >> /etc/apt/preferences; \
-    echo 'Pin: release a=bullseye-backports' >> /etc/apt/preferences; \
+    echo 'Pin: release n=bookworm-backports' >> /etc/apt/preferences; \
    echo 'Pin-Priority: 500' >> /etc/apt/preferences; \
    echo >> /etc/apt/preferences; \
    echo 'Package: *' >> /etc/apt/preferences; \
    echo 'Pin: origin "vitastor.io"' >> /etc/apt/preferences; \
    echo 'Pin-Priority: 1000' >> /etc/apt/preferences; \
    perl -i -pe 's/Types: deb$/Types: deb deb-src/' /etc/apt/sources.list.d/debian.sources; \
    grep '^deb ' /etc/apt/sources.list | perl -pe 's/^deb/deb-src/' >> /etc/apt/sources.list; \
    echo 'APT::Install-Recommends false;' >> /etc/apt/apt.conf; \
    echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
 RUN apt-get update
-RUN apt-get -y install etcd qemu-system-x86 qemu-block-extra qemu-utils fio libasan5 \
+RUN apt-get -y install etcd qemu-system-x86 qemu-block-extra qemu-utils fio libasan8 \
-    liburing1 liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev
+    libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev
 RUN apt-get -y build-dep fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
-RUN apt-get update && apt-get -y install jq lp-solve sudo nfs-common fdisk parted
+RUN apt-get update && apt-get -y install jq lp-solve sudo nfs-common fdisk parted libc-ares-dev udev
 RUN apt-get --download-only source fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
 RUN set -ex; \
@@ -38,6 +38,18 @@ for my $line (<>)
            {
                $test_name .= '_antietcd';
            }
            elsif ($1 eq 'ETCD_SCHEME' && $2 eq 'https')
            {
                $test_name .= '_https';
            }
            elsif ($1 eq 'ENCRYPTED')
            {
                $test_name .= '_encrypted';
            }
            elsif ($1 eq 'OLD')
            {
                $test_name =~ s/^test_/test_old_/s;
            }
            else
            {
                $test_name .= '_'.lc($1).'_'.$2;
@@ -3,3 +3,4 @@
 package-lock.json
 fio
 qemu
 node_modules
@@ -1,7 +1,20 @@
-cmake_minimum_required(VERSION 2.8.12)
+cmake_minimum_required(VERSION 2.8...3.30)
 project(vitastor)
-set(VITASTOR_VERSION "2.2.2")
+set(VITASTOR_VERSION "3.0.9")
 include(CTest)
 add_custom_target(build_tests)
 set_property(TEST PROPERTY ENVIRONMENT LSAN_OPTIONS=suppressions=${CMAKE_CURRENT_BINARY_DIR}/lsan-suppress.txt)
 add_test(gen_lsan_suppress
    ${CMAKE_COMMAND} -E echo leak:tcmalloc > "${CMAKE_CURRENT_BINARY_DIR}/lsan-suppress.txt"
 )
 set_tests_properties(gen_lsan_suppress PROPERTIES FIXTURES_SETUP f_lsan_suppress)
 set_property(TEST PROPERTY FIXTURES_REQUIRED f_lsan_suppress)
 # make -j16 -C ../../build test_heap && ../../build/src/test/test_heap
 # make -j16 -C ../../build test_heap && rm -f $(find ../../build -name '*.gcda') && ctest -V -T test -T coverage -R heap --test-dir ../../build && (cd ../../build; gcovr -f ../src --html --html-nested -o coverage/index.html; cd ../src/test)
 # make -j16 -C ../../build test_blockstore && rm -f $(find ../../build -name '*.gcda') && ctest -V -T test -T coverage -R blockstore --test-dir ../../build && (cd ../../build; gcovr -f ../src --html --html-nested -o coverage/index.html; cd ../src/test)
 # kcov --include-path=../../../src ../../kcov ./test_blockstore
 add_subdirectory(src)
@@ -19,18 +19,22 @@ Vitastor нацелен в первую очередь на SSD и SSD+HDD кл
 TCP и RDMA и на хорошем железе может достигать задержки 4 КБ чтения и записи на уровне ~0.1 мс,
 что примерно в 10 раз быстрее, чем Ceph и другие популярные программные СХД.
-Vitastor поддерживает QEMU-драйвер, протоколы NBD и NFS, драйверы OpenStack, OpenNebula, Proxmox, Kubernetes.
+Vitastor поддерживает QEMU-драйвер, протоколы UBLK, NBD и NFS, драйверы OpenStack, OpenNebula, Proxmox, Kubernetes.
 Другие драйверы могут также быть легко реализованы.
 Подробности смотрите в документации по ссылкам. Можете начать отсюда: [Быстрый старт](docs/intro/quickstart.ru.md).
 ## Презентации и записи докладов
 - KuberConf'2025: [видео](https://vitastor.io/presentation/kuberconf.webm)
 - Highload'2025: [видео](https://vitastor.io/presentation/hl2025/hl2025.webm),
  [на youtube](https://www.youtube.com/watch?v=0R8MLjFtz7g), презентация
  ([на русском](https://vitastor.io/presentation/hl2025/), [на английском](https://vitastor.io/presentation/hl2025/en.html))
 - Highload'2022: презентация ([на русском](https://vitastor.io/presentation/highload/highload.html)),
  [видео](https://vitastor.io/presentation/highload/talk.webm)
 - DevOpsConf'2021: презентация ([на русском](https://vitastor.io/presentation/devopsconf/devopsconf.html),
  [на английском](https://vitastor.io/presentation/devopsconf/devopsconf_en.html)),
  [видео](https://vitastor.io/presentation/devopsconf/talk.webm)
 - Highload'2022: презентация ([на русском](https://vitastor.io/presentation/highload/highload.html)),
  [видео](https://vitastor.io/presentation/highload/talk.webm)
 ## Документация
@@ -58,14 +62,16 @@ Vitastor поддерживает QEMU-драйвер, протоколы NBD и
    - [Дисковые параметры OSD](docs/config/layout-osd.ru.md)
    - [Прочие параметры OSD](docs/config/osd.ru.md)
    - [Параметры мониторов](docs/config/monitor.ru.md)
    - [Безопасность](docs/config/security.ru.md)
  - [Настройки пулов](docs/config/pool.ru.md)
  - [Метаданные образов в etcd](docs/config/inode.ru.md)
 - Использование
  - [vitastor-cli](docs/usage/cli.ru.md) (консольный интерфейс)
  - [vitastor-disk](docs/usage/disk.ru.md) (управление дисками)
  - [fio](docs/usage/fio.ru.md) для тестов производительности
-  - [NBD](docs/usage/nbd.ru.md) для монтирования ядром
+  - [UBLK](docs/usage/ublk.ru.md) для монтирования ядром
-  - [QEMU и qemu-img](docs/usage/qemu.ru.md)
+  - [NBD](docs/usage/nbd.ru.md) - старый интерфейс для монтирования ядром
  - [QEMU, qemu-img и VDUSE](docs/usage/qemu.ru.md)
  - [NFS](docs/usage/nfs.ru.md) кластерная файловая система и псевдо-ФС прокси
  - [Администрирование](docs/usage/admin.ru.md)
 - Производительность
@@ -19,18 +19,22 @@ supports TCP and RDMA and may achieve 4 KB read and write latency as low as ~0.1
 with proper hardware which is ~10 times faster than other popular SDS's like Ceph
 or internal systems of public clouds.
-Vitastor supports QEMU, NBD, NFS protocols, OpenStack, OpenNebula, Proxmox, Kubernetes drivers.
+Vitastor supports QEMU, UBLK, NBD, NFS protocols, OpenStack, OpenNebula, Proxmox, Kubernetes drivers.
 More drivers may be created easily.
 Read more details in the documentation. You can start from here: [Quick Start](docs/intro/quickstart.en.md).
 ## Talks and presentations
 - KuberConf'2025: [video](https://vitastor.io/presentation/kuberconf.webm)
 - Highload'2025: [video](https://vitastor.io/presentation/hl2025/hl2025.webm),
  [youtube](https://www.youtube.com/watch?v=0R8MLjFtz7g), presentation
  ([in Russian](https://vitastor.io/presentation/hl2025/), [in English](https://vitastor.io/presentation/hl2025/en.html))
 - Highload'2022: presentation ([in Russian](https://vitastor.io/presentation/highload/highload.html)),
  [video](https://vitastor.io/presentation/highload/talk.webm)
 - DevOpsConf'2021: presentation ([in Russian](https://vitastor.io/presentation/devopsconf/devopsconf.html),
  [in English](https://vitastor.io/presentation/devopsconf/devopsconf_en.html)),
  [video](https://vitastor.io/presentation/devopsconf/talk.webm)
 - Highload'2022: presentation ([in Russian](https://vitastor.io/presentation/highload/highload.html)),
  [video](https://vitastor.io/presentation/highload/talk.webm)
 ## Documentation
@@ -58,14 +62,16 @@ Read more details in the documentation. You can start from here: [Quick Start](d
    - [OSD Disk Layout](docs/config/layout-osd.en.md)
    - [OSD Runtime Parameters](docs/config/osd.en.md)
    - [Monitor](docs/config/monitor.en.md)
    - [Security](docs/config/security.en.md)
  - [Pool configuration](docs/config/pool.en.md)
  - [Image metadata in etcd](docs/config/inode.en.md)
 - Usage
  - [vitastor-cli](docs/usage/cli.en.md) (command-line interface)
  - [vitastor-disk](docs/usage/disk.en.md) (disk management tool)
  - [fio](docs/usage/fio.en.md) for benchmarks
-  - [NBD](docs/usage/nbd.en.md) for kernel mounts
+  - [UBLK](docs/usage/ublk.en.md) for kernel mounts
-  - [QEMU and qemu-img](docs/usage/qemu.en.md)
+  - [NBD](docs/usage/nbd.en.md) - old interface for kernel mounts
  - [QEMU, qemu-img and VDUSE](docs/usage/qemu.en.md)
  - [NFS](docs/usage/nfs.en.md) clustered file system and pseudo-FS proxy
  - [Administration](docs/usage/admin.en.md)
 - Performance
@@ -1,5 +1,5 @@
 # Compile stage
-FROM golang:bookworm AS build
+FROM golang:trixie AS build
 ADD go.sum go.mod /app/
 RUN cd /app; CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go mod download -x
@@ -9,7 +9,7 @@ RUN perl -i -e '$/ = undef; while(<>) { s/\n\s*(\{\s*\n)/$1\n/g; s/\}(\s*\n\s*)e
    CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go build -o vitastor-csi
 # Final stage
-FROM debian:bookworm
+FROM debian:trixie
 LABEL maintainers="Vitaliy Filippov <vitalif@yourcmc.ru>"
 LABEL description="Vitastor CSI Driver"
@@ -25,20 +25,20 @@ RUN apt-get update && \
        # NFS mount dependencies
        nfs-common netbase \
        # dependencies of qemu-storage-daemon
-        libnuma1 liburing2 libglib2.0-0 libfuse3-3 libaio1 libzstd1 libnettle8 \
+        libaio1t64 libc6 libfuse3-4 libglib2.0-0t64 libgmp10 libgnutls30t64 \
-        libgmp10 libhogweed6 libp11-kit0 libidn2-0 libunistring2 libtasn1-6 libpcre2-8-0 libffi8 && \
+        libhogweed6t64 libnettle8t64 libnuma1 libselinux1 liburing2 libzstd1 zlib1g && \
    apt-get clean && \
    (echo options nbd nbds_max=128 > /etc/modprobe.d/nbd.conf)
 COPY --from=build /app/vitastor-csi /bin/
-RUN (echo deb http://vitastor.io/debian bookworm main > /etc/apt/sources.list.d/vitastor.list) && \
+RUN (echo deb http://vitastor.io/debian trixie main > /etc/apt/sources.list.d/vitastor.list) && \
    ((echo 'Package: *'; echo 'Pin: origin "vitastor.io"'; echo 'Pin-Priority: 1000') > /etc/apt/preferences.d/vitastor.pref) && \
    wget -q -O /etc/apt/trusted.gpg.d/vitastor.gpg https://vitastor.io/debian/pubkey.gpg && \
    apt-get update && \
-    apt-get install -y vitastor-client && \
+    apt-get install -y vitastor-client ibverbs-providers && \
-    wget https://vitastor.io/archive/qemu/qemu-bookworm-9.2.2%2Bds-1%2Bvitastor4/qemu-utils_9.2.2%2Bds-1%2Bvitastor4_amd64.deb && \
+    wget https://vitastor.io/archive/qemu/qemu-trixie-10.0.2%2Bds-2%2Bvitastor1/qemu-utils_10.0.2%2Bds-2%2Bvitastor1_amd64.deb && \
-    wget https://vitastor.io/archive/qemu/qemu-bookworm-9.2.2%2Bds-1%2Bvitastor4/qemu-block-extra_9.2.2%2Bds-1%2Bvitastor4_amd64.deb && \
+    wget https://vitastor.io/archive/qemu/qemu-trixie-10.0.2%2Bds-2%2Bvitastor1/qemu-block-extra_10.0.2%2Bds-2%2Bvitastor1_amd64.deb && \
    dpkg -x qemu-utils*.deb tmp1 && \
    dpkg -x qemu-block-extra*.deb tmp1 && \
    cp -a tmp1/usr/bin/qemu-storage-daemon /usr/bin/ && \
@@ -0,0 +1,49 @@
 # Compile stage
 FROM golang:trixie AS build
 ADD go.sum go.mod /app/
 RUN cd /app; CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go mod download -x
 ADD . /app
 RUN perl -i -e '$/ = undef; while(<>) { s/\n\s*(\{\s*\n)/$1\n/g; s/\}(\s*\n\s*)else\b/$1} else/g; print; }' `find /app -name '*.go'` && \
    cd /app && \
    CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go build -o vitastor-csi
 # Final stage
 FROM debian:trixie
 LABEL maintainers="Vitaliy Filippov <vitalif@yourcmc.ru>"
 LABEL description="Vitastor CSI Driver"
 ENV NODE_ID=""
 ENV CSI_ENDPOINT=""
 RUN apt-get update && \
    apt-get install -y wget && \
    (echo "APT::Install-Recommends false;" > /etc/apt/apt.conf) && \
    apt-get update && \
    apt-get install -y e2fsprogs xfsprogs kmod iproute2 \
        # NFS mount dependencies
        nfs-common netbase \
        # dependencies of qemu-storage-daemon
        libnuma1 liburing2 libglib2.0-0 libfuse3-3 libaio1 libzstd1 libnettle8 \
        libgmp10 libhogweed6 libp11-kit0 libidn2-0 libunistring2 libtasn1-6 libpcre2-8-0 libffi8 && \
    apt-get clean && \
    (echo options nbd nbds_max=128 > /etc/modprobe.d/nbd.conf)
 COPY --from=build /app/vitastor-csi /bin/
 ADD deb /deb
 RUN apt-get update && \
    apt-get -y install /deb/vitastor-client_*.deb && \
    wget https://vitastor.io/archive/qemu/qemu-trixie-9.2.2%2Bds-1%2Bvitastor4/qemu-utils_9.2.2%2Bds-1%2Bvitastor4_amd64.deb && \
    wget https://vitastor.io/archive/qemu/qemu-trixie-9.2.2%2Bds-1%2Bvitastor4/qemu-block-extra_9.2.2%2Bds-1%2Bvitastor4_amd64.deb && \
    dpkg -x qemu-utils*.deb tmp1 && \
    dpkg -x qemu-block-extra*.deb tmp1 && \
    cp -a tmp1/usr/bin/qemu-storage-daemon /usr/bin/ && \
    mkdir -p /usr/lib/x86_64-linux-gnu/qemu && \
    cp -a tmp1/usr/lib/x86_64-linux-gnu/qemu/block-vitastor.so /usr/lib/x86_64-linux-gnu/qemu/ && \
    rm -rf tmp1 *.deb && \
    apt-get clean
 ENTRYPOINT ["/bin/vitastor-csi"]
@@ -1,4 +1,4 @@
-VITASTOR_VERSION ?= v2.2.2
+VITASTOR_VERSION ?= v3.0.9
 all: build push
@@ -49,7 +49,7 @@ spec:
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
-          image: vitalif/vitastor-csi:v2.2.2
+          image: vitalif/vitastor-csi:v3.0.9
          args:
            - "--node=$(NODE_ID)"
            - "--endpoint=$(CSI_ENDPOINT)"
@@ -121,7 +121,7 @@ spec:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
-          image: vitalif/vitastor-csi:v2.2.2
+          image: vitalif/vitastor-csi:v3.0.9
          args:
            - "--node=$(NODE_ID)"
            - "--endpoint=$(CSI_ENDPOINT)"
@@ -5,7 +5,7 @@ package vitastor
 const (
    vitastorCSIDriverName    = "csi.vitastor.io"
-    vitastorCSIDriverVersion = "2.2.2"
+    vitastorCSIDriverVersion = "3.0.9"
 )
 // Config struct fills the parameters of request or user input
@@ -33,7 +33,7 @@ import (
 type NodeServer struct
 {
    *Driver
-    useVduse        bool
+    method          MountMethod
    stateDir        string
    nfsStageDir     string
    mounter         mount.Interface
@@ -81,16 +81,23 @@ func NewNodeServer(driver *Driver) *NodeServer
    }
    ns := &NodeServer{
        Driver:      driver,
-        useVduse:    checkVduseSupport(),
+        method:      selectMountMethod(),
        stateDir:    stateDir,
        nfsStageDir: nfsStageDir,
        mounter:     mount.New(""),
        volumeLocks: make(map[string]bool),
    }
    ns.cond = sync.NewCond(&ns.mu)
-    if (ns.useVduse)
+    if (ns.method == MOUNT_VDUSE)
    {
        ns.restoreVduseDaemons()
    }
    else if (ns.method == MOUNT_UBLK)
    {
        ns.restoreUblkDaemons()
    }
    if (ns.method == MOUNT_VDUSE || ns.method == MOUNT_UBLK)
    {
        dur, err := time.ParseDuration(os.Getenv("RESTART_INTERVAL"))
        if (err != nil)
        {
@@ -136,7 +143,14 @@ func (ns *NodeServer) restarter()
    for
    {
        <-ticker.C
-        ns.restoreVduseDaemons()
+        if (ns.method == MOUNT_VDUSE)
        {
            ns.restoreVduseDaemons()
        }
        else if (ns.method == MOUNT_UBLK)
        {
            ns.restoreUblkDaemons()
        }
    }
 }
@@ -231,6 +245,78 @@ func (ns *NodeServer) checkVduseState(stateFile string, devs map[string]interfac
    }
 }
 func (ns *NodeServer) restoreUblkDaemons()
 {
    pattern := ns.stateDir+"vitastor-ublk-*.json"
    stateFiles, err := filepath.Glob(pattern)
    if (err != nil)
    {
        klog.Errorf("failed to list %s: %v", pattern, err)
    }
    if (len(stateFiles) == 0)
    {
        return
    }
    for _, stateFile := range stateFiles
    {
        deviceNum := stateFile[len(ns.stateDir) + len("vitastor-ublk-") :]
        deviceNum = deviceNum[0:len(deviceNum)-5]
        ns.checkUblkState(deviceNum)
    }
 }
 func (ns *NodeServer) checkUblkState(deviceNum string)
 {
    // Check if the ublk daemon is still active
    // Read state file
    stateFile := ns.stateDir + "vitastor-ublk-" + deviceNum + ".json"
    stateJSON, err := os.ReadFile(stateFile)
    if (err != nil)
    {
        klog.Warningf("error reading state file %v: %v", stateFile, err)
        return
    }
    var state DeviceState
    err = json.Unmarshal(stateJSON, &state)
    if (err != nil)
    {
        klog.Warningf("state file %v contains invalid JSON (error %v): %v", stateFile, err, string(stateJSON))
        return
    }
    // Lock volume
    ns.lockVolume(state.ConfigPath+":block:"+state.Image)
    defer ns.unlockVolume(state.ConfigPath+":block:"+state.Image)
    // Recheck state file after locking
    _, err = os.ReadFile(stateFile)
    if (err != nil)
    {
        klog.Warningf("state file %v disappeared, skipping volume", stateFile)
        return
    }
    // Check if the vitastor-ublk process is still active
    pidFile := ns.stateDir + "vitastor-ublk-" + deviceNum + ".pid"
    exists := false
    proc, err := findByPidFile(pidFile)
    if (err == nil)
    {
        exists = proc.Signal(syscall.Signal(0)) == nil
    }
    if (!exists)
    {
        // Restart daemon
        klog.Warningf("recovering UBLK device /dev/ublkb%v for volume %v", deviceNum, state.Image)
        _, err = mapUblk(ns.stateDir, state.Image, state.ConfigPath, state.Readonly, "/dev/ublkb"+deviceNum)
        if (err != nil)
        {
            klog.Warningf("failed to recover ublk device for volume %v: %v", state.Image, err)
        }
    }
 }
 func (ns *NodeServer) restoreNfsDaemons()
 {
    pattern := ns.stateDir+"vitastor-nfs-*.json"
@@ -417,14 +503,18 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
    }
    var devicePath, vdpaId string
-    if (!ns.useVduse)
+    if (ns.method == MOUNT_UBLK)
    {
-        devicePath, err = mapNbd(volName, ctxVars, false)
+        devicePath, err = mapUblk(ns.stateDir, volName, ctxVars["configPath"], false, "")
    }
-    else
+    else if (ns.method == MOUNT_VDUSE)
    {
        devicePath, vdpaId, err = mapVduse(ns.stateDir, volName, ctxVars, false)
    }
    else /* if (ns.method == MOUNT_NBD) */
    {
        devicePath, err = mapNbd(volName, ctxVars, false)
    }
    if (err != nil)
    {
        return nil, err
@@ -439,7 +529,8 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
    else
    {
        // Check existing format
-        existingFormat, err := diskMounter.GetDiskFormat(devicePath)
+        var existingFormat string
        existingFormat, err = diskMounter.GetDiskFormat(devicePath)
        if (err != nil)
        {
            klog.Errorf("failed to get disk format for path %s, error: %v", err)
@@ -495,10 +586,6 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
                case "xfs":
                    _, err = systemCombined("xfs_growfs", devicePath)
            }
            if (err != nil)
            {
                goto unmap
            }
        }
    }
    if (err != nil)
@@ -512,14 +599,18 @@ func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVol
    return &csi.NodeStageVolumeResponse{}, nil
 unmap:
-    if (!ns.useVduse || len(devicePath) >= 8 && devicePath[0:8] == "/dev/nbd")
+    if (ns.method == MOUNT_UBLK)
    {
-        unmapNbd(devicePath)
+        unmapUblk(ns.stateDir, devicePath)
    }
-    else
+    else if (ns.method == MOUNT_VDUSE)
    {
        unmapVduseById(ns.stateDir, vdpaId)
    }
    else /* if (ns.method == MOUNT_NBD) */
    {
        unmapNbd(devicePath)
    }
    return nil, err
 }
@@ -545,7 +636,7 @@ func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstag
    defer ns.unlockVolume(ctxVars["configPath"]+":block:"+volName)
    targetPath := req.GetStagingTargetPath()
-    devicePath, _, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
+    devicePath, err := GetDeviceNameFromMount(targetPath)
    if (err != nil)
    {
        if (os.IsNotExist(err))
@@ -582,14 +673,18 @@ func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstag
    // unmap device
    if (len(refList) == 0)
    {
-        if (!ns.useVduse)
+        if (ns.method == MOUNT_UBLK)
        {
-            unmapNbd(devicePath)
+            unmapUblk(ns.stateDir, devicePath)
        }
-        else
+        else if (ns.method == MOUNT_VDUSE)
        {
            unmapVduse(ns.stateDir, devicePath)
        }
        else /* if (ns.method == MOUNT_NBD) */
        {
            unmapNbd(devicePath)
        }
    }
    return &csi.NodeUnstageVolumeResponse{}, nil
@@ -897,7 +992,7 @@ func (ns *NodeServer) NodeUnpublishVolume(ctx context.Context, req *csi.NodeUnpu
    }
    targetPath := req.GetTargetPath()
-    devicePath, _, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
+    devicePath, err := GetDeviceNameFromMount(targetPath)
    if (err != nil)
    {
        if (os.IsNotExist(err))
@@ -16,10 +16,20 @@ import (
    "syscall"
    "k8s.io/klog"
    "k8s.io/utils/mount"
    "google.golang.org/grpc/codes"
    "google.golang.org/grpc/status"
 )
 type MountMethod int
 const (
    MOUNT_NBD   MountMethod = 0
    MOUNT_VDUSE MountMethod = 1
    MOUNT_UBLK  MountMethod = 2
 )
 func Contains(list []string, s string) bool
 {
    for i := 0; i < len(list); i++
@@ -32,29 +42,26 @@ func Contains(list []string, s string) bool
    return false
 }
-func checkVduseSupport() bool
+func selectMountMethod() MountMethod
 {
    // Check UBLK support (ublk_drv kernel module)
    if (checkModule("ublk_drv"))
    {
        klog.Infof("UBLK support enabled successfully")
        return MOUNT_UBLK
    }
    klog.Errorf(
        "Your host apparently has no UBLK support. UBLK support disabled."+
        " For UBLK you need at least Linux 6.0 and the ublk_drv kernel module.",
    )
    // Check VDUSE support (vdpa, vduse, virtio-vdpa kernel modules)
    vduse := true
    for _, mod := range []string{"vdpa", "vduse", "virtio-vdpa"}
    {
-        _, err := os.Stat("/sys/module/"+mod)
+        if (!checkModule(mod))
        if (err != nil)
        {
-            if (!errors.Is(err, os.ErrNotExist))
+            vduse = false
-            {
+            break
                klog.Errorf("failed to check /sys/module/%s: %v", mod, err)
            }
            c := exec.Command("/sbin/modprobe", mod)
            c.Stdout = os.Stderr
            c.Stderr = os.Stderr
            err := c.Run()
            if (err != nil)
            {
                klog.Errorf("/sbin/modprobe %s failed: %v", mod, err)
                vduse = false
                break
            }
        }
    }
    // Check that vdpa tool functions
@@ -69,18 +76,38 @@ func checkVduseSupport() bool
            vduse = false
        }
    }
-    if (!vduse)
+    if (vduse)
    {
        klog.Errorf(
            "Your host apparently has no VDUSE support. VDUSE support disabled, NBD will be used to map devices."+
            " For VDUSE you need at least Linux 5.15 and the following kernel modules: vdpa, virtio-vdpa, vduse.",
        )
    }
    else
    {
        klog.Infof("VDUSE support enabled successfully")
        return MOUNT_VDUSE
    }
-    return vduse
+    klog.Errorf(
        "Your host apparently has no VDUSE support. VDUSE support disabled, NBD will be used to map devices."+
        " For VDUSE you need at least Linux 5.15 and the following kernel modules: vdpa, virtio-vdpa, vduse.",
    )
    return MOUNT_NBD
 }
 func checkModule(mod string) bool
 {
    _, err := os.Stat("/sys/module/"+mod)
    if (err != nil)
    {
        if (!errors.Is(err, os.ErrNotExist))
        {
            klog.Errorf("failed to check /sys/module/%s: %v", mod, err)
        }
        c := exec.Command("/sbin/modprobe", mod)
        c.Stdout = os.Stderr
        c.Stderr = os.Stderr
        err := c.Run()
        if (err != nil)
        {
            klog.Errorf("/sbin/modprobe %s failed: %v", mod, err)
            return false
        }
    }
    return true
 }
 func mapNbd(volName string, ctxVars map[string]string, readonly bool) (string, error)
@@ -217,6 +244,7 @@ func mapVduse(stateDir string, volName string, ctxVars map[string]string, readon
                    stateJSON, _ := json.Marshal(&DeviceState{
                        ConfigPath: ctxVars["configPath"],
                        VdpaId:     vdpaId,
                        Image:      volName,
                        Blockdev:   blockdev,
                        Readonly:   readonly,
@@ -309,6 +337,117 @@ func unmapVduseById(stateDir, vdpaId string)
    }
 }
 func mapUblk(stateDir string, volName string, configPath string, readonly bool, recoverDev string) (string, error)
 {
    pidFile := ""
    if (recoverDev != "")
    {
        if (len(recoverDev) < 10 || recoverDev[0:10] != "/dev/ublkb")
        {
            return "", fmt.Errorf("recover: %s does not start with /dev/ublkb", recoverDev)
        }
        pidFile = stateDir + "vitastor-ublk-" + recoverDev[10:] + ".pid"
    }
    else
    {
        pidFd, err := os.CreateTemp(stateDir, "vitastor-tmp-*.pid")
        if (err != nil)
        {
            return "", err
        }
        pidFile = pidFd.Name()
        pidFd.Close()
    }
    // Map device via vitastor-ublk
    args := []string{
        "map", "--image", volName, "--pidfile", pidFile,
    }
    if (configPath != "")
    {
        args = append(args, "--config_path", configPath)
    }
    if (readonly)
    {
        args = append(args, "--readonly")
    }
    if (recoverDev != "")
    {
        args = append(args, "--recover", recoverDev)
    }
    stdout, stderr, err := system("/usr/bin/vitastor-ublk", args...)
    if (err != nil)
    {
        return "", err
    }
    devicePath := strings.TrimSpace(string(stdout))
    if (devicePath == "")
    {
        return "", fmt.Errorf("vitastor-ublk did not return the name of the device. output: %s", stderr)
    }
    if (len(devicePath) >= 10 && devicePath[0:10] == "/dev/ublkb")
    {
        // Generate state file
        devNum := devicePath[10:]
        pidNew := stateDir + "vitastor-ublk-" + devNum + ".pid"
        if (pidFile != pidNew)
        {
            err := os.Rename(pidFile, pidNew)
            if (err != nil)
            {
                klog.Errorf("Failed to rename PID file %s to %s: %v", pidFile, pidNew, err)
            }
            else
            {
                pidFile = pidNew
            }
        }
        stateFile := stateDir + "vitastor-ublk-" + devNum + ".json"
        stateJSON, _ := json.Marshal(&DeviceState{
            ConfigPath: configPath,
            Image:      volName,
            Readonly:   readonly,
            PidFile:    pidFile,
        })
        err = os.WriteFile(stateFile, stateJSON, 0600)
        if (err == nil)
        {
            klog.Infof("Attached volume %s via UBLK as %s", volName, devicePath)
            return devicePath, nil
        }
        os.Remove(stateFile)
    }
    killErr := killByPidFile(pidFile)
    if (killErr != nil)
    {
        klog.Errorf("Failed to kill started vitastor-ublk: %v", killErr)
    }
    os.Remove(pidFile)
    return "", err
 }
 func unmapUblk(stateDir, devicePath string)
 {
    if (len(devicePath) < 10 || devicePath[0:10] != "/dev/ublkb")
    {
        klog.Errorf("%s does not start with /dev/ublkb", devicePath)
        return
    }
    unmapOut, unmapErr := exec.Command("/usr/bin/vitastor-ublk", "unmap", devicePath).CombinedOutput()
    if (unmapErr != nil)
    {
        klog.Errorf("failed to unmap UBLK device %s: %s, error: %v", devicePath, unmapOut, unmapErr)
    }
    for _, ext := range []string{"json", "pid"}
    {
        fn := stateDir + "vitastor-ublk-" + devicePath[10:] + "." + ext
        err := os.Remove(fn)
        if (err != nil)
        {
            klog.Errorf("failed to remove %s: %v", fn, err)
        }
    }
 }
 func system(program string, args ...string) ([]byte, []byte, error)
 {
    klog.Infof("Running "+program+" "+strings.Join(args, " "))
@@ -340,3 +479,43 @@ func systemCombined(program string, args ...string) ([]byte, error)
    }
    return out.Bytes(), nil
 }
 func GetDeviceNameFromMount(mountPath string) (string, error)
 {
    // Use /proc/self/mountinfo to correctly parse bind mounts for block device files
    mps, err := mount.ParseMountInfo("/proc/self/mountinfo")
    if (err != nil)
    {
        return "", err
    }
    slTarget, err := filepath.EvalSymlinks(mountPath)
    if (err != nil)
    {
        slTarget = mountPath
    }
    device := ""
    for _, mp := range mps
    {
        if (mp.MountPoint == slTarget)
        {
            device = mp.Source
            if (device[0] != '/' && mp.Root != "/")
            {
                // Handle {Source=udev Root=/vdb MountPoint=/var/lib/kubelet/tralaleylo/tralala}
                for _, other := range mps
                {
                    if (other.Root == "/" && other.Source == mp.Source)
                    {
                        device = other.MountPoint + mp.Root
                        break
                    }
                }
            }
            break
        }
    }
    return device, nil
 }
@@ -1,7 +1,4 @@
 #!/bin/bash
-cat < vitastor.Dockerfile > ../Dockerfile
+docker build --build-arg DISTRO=debian --build-arg REL=bookworm -t vitastor-buildenv:bookworm -f vitastor-buildenv.Dockerfile .
-cd ..
+docker run -it --rm -e REL=bookworm -v `dirname $0`/../:/root/vitastor vitastor-buildenv:bookworm /root/vitastor/debian/vitastor-build.sh
 mkdir -p packages
 sudo podman build --build-arg DISTRO=debian --build-arg REL=bookworm -v `pwd`/packages:/root/packages -f Dockerfile .
 rm Dockerfile
@@ -1,7 +1,4 @@
 #!/bin/bash
-cat < vitastor.Dockerfile > ../Dockerfile
+docker build --build-arg DISTRO=debian --build-arg REL=bullseye -t vitastor-buildenv:bullseye -f vitastor-buildenv.Dockerfile .
-cd ..
+docker run -it --rm -e REL=bullseye -v `dirname $0`/../:/root/vitastor vitastor-buildenv:bullseye /root/vitastor/debian/vitastor-build.sh
 mkdir -p packages
 sudo podman build --build-arg DISTRO=debian --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f Dockerfile .
 rm Dockerfile
@@ -1,7 +1,4 @@
 #!/bin/bash
-cat < vitastor.Dockerfile > ../Dockerfile
+docker build --build-arg DISTRO=debian --build-arg REL=buster -t vitastor-buildenv:buster -f vitastor-buildenv.Dockerfile .
-cd ..
+docker run -it --rm -e REL=buster -v `dirname $0`/../:/root/vitastor vitastor-buildenv:buster /root/vitastor/debian/vitastor-build.sh
 mkdir -p packages
 sudo podman build --build-arg DISTRO=debian --build-arg REL=buster -v `pwd`/packages:/root/packages -f Dockerfile .
 rm Dockerfile
@@ -0,0 +1,4 @@
 #!/bin/bash
 docker build --build-arg DISTRO=debian --build-arg REL=trixie -t vitastor-buildenv:trixie -f vitastor-buildenv.Dockerfile .
 docker run -it --rm -e REL=trixie -v `dirname $0`/../:/root/vitastor vitastor-buildenv:trixie /root/vitastor/debian/vitastor-build.sh
@@ -1,7 +1,5 @@
 #!/bin/bash
 # Ubuntu 22.04 Jammy Jellyfish
-cat < vitastor.Dockerfile > ../Dockerfile
+docker build --build-arg DISTRO=ubuntu --build-arg REL=jammy -t vitastor-buildenv:jammy -f vitastor-buildenv.Dockerfile .
-cd ..
+docker run -it --rm -e REL=jammy -v `dirname $0`/../:/root/vitastor vitastor-buildenv:jammy /root/vitastor/debian/vitastor-build.sh
 mkdir -p packages
 sudo podman build --build-arg DISTRO=ubuntu --build-arg REL=jammy -v `pwd`/packages:/root/packages -f Dockerfile .
 rm Dockerfile
@@ -0,0 +1,5 @@
 #!/bin/bash
 # 24.04 Noble Numbat
 docker build --build-arg DISTRO=ubuntu --build-arg REL=noble -t vitastor-buildenv:noble -f vitastor-buildenv.Dockerfile .
 docker run -it --rm -e REL=noble -v `dirname $0`/../:/root/vitastor vitastor-buildenv:noble /root/vitastor/debian/vitastor-build.sh
@@ -0,0 +1,5 @@
 #!/bin/bash
 # 25.10 Questing quokka
 docker build --build-arg DISTRO=ubuntu --build-arg REL=questing -t vitastor-buildenv:questing -f vitastor-buildenv.Dockerfile .
 docker run -it --rm -e REL=questing -v `dirname $0`/../:/root/vitastor vitastor-buildenv:questing /root/vitastor/debian/vitastor-build.sh
@@ -0,0 +1,5 @@
 #!/bin/bash
 # 26.04 Resolute Raccoon
 docker build --build-arg DISTRO=ubuntu --build-arg REL=resolute -t vitastor-buildenv:resolute -f vitastor-buildenv.Dockerfile .
 docker run -it --rm -e REL=resolute -v `dirname $0`/../:/root/vitastor vitastor-buildenv:resolute /root/vitastor/debian/vitastor-build.sh
@@ -1,4 +1,4 @@
-vitastor (2.2.2-1) unstable; urgency=medium
+vitastor (3.0.9-1) unstable; urgency=medium
  * Bugfixes
@@ -2,9 +2,9 @@ Source: vitastor
 Section: admin
 Priority: optional
 Maintainer: Vitaliy Filippov <vitalif@yourcmc.ru>
-Build-Depends: debhelper, liburing-dev (>= 0.6), g++ (>= 8), libstdc++6 (>= 8),
+Build-Depends: debhelper, g++ (>= 8), libstdc++6 (>= 8),
-  linux-libc-dev, libgoogle-perftools-dev, libjerasure-dev, libgf-complete-dev,
+  linux-libc-dev, libgoogle-perftools-dev, libjerasure-dev, libgf-complete-dev, libc-ares-dev,
-  libibverbs-dev, libisal-dev, cmake, pkg-config, libnl-3-dev, libnl-genl-3-dev,
+  libibverbs-dev, librdmacm-dev, libisal-dev, cmake, pkg-config, libnl-3-dev, libnl-genl-3-dev,
  node-bindings <!nocheck>, node-gyp, node-nan
 Standards-Version: 4.5.0
 Homepage: https://vitastor.io/
@@ -26,7 +26,7 @@ RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" -o "$REL" = "bookworm" ]; then
    echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
 RUN apt-get update
-RUN DEBIAN_FRONTEND=noninteractive TZ=Europe/Moscow apt-get -y install fio liburing-dev libgoogle-perftools-dev devscripts
+RUN DEBIAN_FRONTEND=noninteractive TZ=Europe/Moscow apt-get -y install fio libgoogle-perftools-dev devscripts
 RUN DEBIAN_FRONTEND=noninteractive TZ=Europe/Moscow apt-get -y build-dep qemu
 # To build a custom version
 #RUN cp /root/packages/qemu-orig/* /root
@@ -0,0 +1,65 @@
 #!/bin/bash
 # To be ran inside buildenv docker
 set -e -x
 [ -e /usr/lib/x86_64-linux-gnu/pkgconfig/libisal.pc ] || cp /root/vitastor/debian/libisal.pc /usr/lib/x86_64-linux-gnu/pkgconfig
 mkdir -p /root/fio-build/
 cd /root/fio-build/
 rm -rf /root/fio-build/*
 dpkg-source -x /root/fio*.dsc
 FULLVER=`head -n1 /root/vitastor/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'`
 VER=${FULLVER%%-*}
 rm -rf /root/vitastor-$VER
 mkdir /root/vitastor-$VER
 cd /root/vitastor
 cp -a $(ls | grep -v packages) /root/vitastor-$VER
 rm -rf /root/vitastor/packages/vitastor-$REL
 mkdir -p /root/vitastor/packages/vitastor-$REL
 mv /root/vitastor-$VER /root/vitastor/packages/vitastor-$REL/
 cd /root/vitastor/packages/vitastor-$REL/vitastor-$VER
 rm -rf fio
 ln -s /root/fio-build/fio-*/ ./fio
 FIO=`head -n1 fio/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'`
 ls /usr/include/linux/raw.h || cp ./debian/raw.h /usr/include/linux/raw.h
 sh copy-fio-includes.sh
 rm fio
 mkdir -p a b debian/patches
 mv fio-copy b/fio
 diff -NaurpbB a b > debian/patches/fio-headers.patch || true
 echo fio-headers.patch >> debian/patches/series
 rm -rf a b
 echo "dep:fio=$FIO" > debian/fio_version
 cd /root/vitastor/packages/vitastor-$REL/vitastor-$VER
 mkdir mon/node_modules
 cd mon/node_modules
 curl -s https://git.yourcmc.ru/vitalif/antietcd/archive/master.tar.gz | tar -zx
 curl -s https://git.yourcmc.ru/vitalif/tinyraft/archive/master.tar.gz | tar -zx
 cd /root/vitastor/packages/vitastor-$REL
 if [[ ( "$REL" = "trixie" || "$REL" = "resolute" ) && -e ../vitastor-bookworm/vitastor_$VER.orig.tar.xz ]]; then
    # Fucking shit, archives differ between bookworm (xz 5.4.1) and trixie (xz 5.8.1)
    cp ../vitastor-bookworm/vitastor_$VER.orig.tar.xz .
 else
    tar --sort=name --mtime='2020-01-01' --owner=0 --group=0 --exclude=debian -cJf vitastor_$VER.orig.tar.xz vitastor-$VER
 fi
 cd vitastor-$VER
 DEBEMAIL="Vitaliy Filippov <vitalif@yourcmc.ru>" dch -D $REL -v "$FULLVER""$REL" "Rebuild for $REL"
 DEB_BUILD_OPTIONS=nocheck dpkg-buildpackage --jobs=auto -sa
 rm -rf /root/vitastor/packages/vitastor-$REL/vitastor-*/
 # Why does ubuntu rename debug packages to *.ddeb?
 cd /root/vitastor/packages/vitastor-$REL
 if ls *.ddeb >/dev/null; then
    perl -i -pe 's/\.ddeb/.deb/' *.buildinfo *.changes
    for i in *.ddeb; do
        mv $i ${i%%.ddeb}.deb
    done
 fi
@@ -0,0 +1,31 @@
 # Build environment for building Vitastor packages for Debian inside a container
 # cd ..
 # docker build --build-arg DISTRO=debian --build-arg REL=bullseye -f debian/vitastor.Dockerfile -t vitastor-buildenv:bullseye .
 # docker run --rm -e REL=bullseye -v ./:/root/vitastor /root/vitastor/debian/vitastor-build.sh
 ARG DISTRO=debian
 ARG REL=
 FROM $DISTRO:$REL
 ARG DISTRO=debian
 ARG REL=
 WORKDIR /root
 RUN set -e -x; \
    if [ "$REL" = "buster" ]; then \
        perl -i -pe 's/deb.debian.org/archive.debian.org/' /etc/apt/sources.list; \
        apt-get update; \
        apt-get -y install wget; \
        wget https://vitastor.io/debian/pubkey.gpg -O /etc/apt/trusted.gpg.d/vitastor.gpg; \
        echo "deb https://vitastor.io/debian $REL main" >> /etc/apt/sources.list; \
    fi; \
    grep '^deb ' /etc/apt/sources.list | perl -pe 's/^deb/deb-src/' >> /etc/apt/sources.list; \
    perl -i -pe 's/Types: deb$/Types: deb deb-src/' /etc/apt/sources.list.d/*.sources || true; \
    echo 'APT::Install-Recommends false;' >> /etc/apt/apt.conf; \
    echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
 RUN apt-get update && \
    apt-get -y install fio libgoogle-perftools-dev devscripts libjerasure-dev cmake libc-ares-dev \
        libibverbs-dev librdmacm-dev libisal-dev libnl-3-dev libnl-genl-3-dev curl nodejs npm node-nan node-bindings && \
    apt-get -y build-dep fio && \
    apt-get --download-only source fio
@@ -2,6 +2,7 @@ usr/bin/vita
 usr/bin/vitastor-cli
 usr/bin/vitastor-rm
 usr/bin/vitastor-nbd
 usr/bin/vitastor-ublk
 usr/bin/vitastor-nfs
 usr/bin/vitastor-kv
 usr/bin/vitastor-kv-stress
@@ -1,65 +0,0 @@
 # Build Vitastor packages for Debian inside a container
 # cd ..; podman build --build-arg DISTRO=debian --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f debian/vitastor.Dockerfile .
 ARG DISTRO=debian
 ARG REL=
 FROM $DISTRO:$REL
 ARG DISTRO=debian
 ARG REL=
 WORKDIR /root
 RUN set -e -x; \
    if [ "$REL" = "buster" ]; then \
        apt-get update; \
        apt-get -y install wget; \
        wget https://vitastor.io/debian/pubkey.gpg -O /etc/apt/trusted.gpg.d/vitastor.gpg; \
        echo "deb https://vitastor.io/debian $REL main" >> /etc/apt/sources.list; \
    fi; \
    grep '^deb ' /etc/apt/sources.list | perl -pe 's/^deb/deb-src/' >> /etc/apt/sources.list; \
    perl -i -pe 's/Types: deb$/Types: deb deb-src/' /etc/apt/sources.list.d/debian.sources || true; \
    echo 'APT::Install-Recommends false;' >> /etc/apt/apt.conf; \
    echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
 RUN apt-get update && \
    apt-get -y install fio liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake \
        libibverbs-dev librdmacm-dev libisal-dev libnl-3-dev libnl-genl-3-dev curl nodejs npm node-nan node-bindings && \
    apt-get -y build-dep fio && \
    apt-get --download-only source fio
 ADD . /root/vitastor
 RUN set -e -x; \
    [ -e /usr/lib/x86_64-linux-gnu/pkgconfig/libisal.pc ] || cp /root/vitastor/debian/libisal.pc /usr/lib/x86_64-linux-gnu/pkgconfig; \
    mkdir -p /root/fio-build/; \
    cd /root/fio-build/; \
    rm -rf /root/fio-build/*; \
    dpkg-source -x /root/fio*.dsc; \
    mkdir -p /root/packages/vitastor-$REL; \
    rm -rf /root/packages/vitastor-$REL/*; \
    cd /root/packages/vitastor-$REL; \
    FULLVER=$(head -n1 /root/vitastor/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
    VER=${FULLVER%%-*}; \
    cp -r /root/vitastor vitastor-$VER; \
    cd vitastor-$VER; \
    ln -s /root/fio-build/fio-*/ ./fio; \
    FIO=$(head -n1 fio/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
    ls /usr/include/linux/raw.h || cp ./debian/raw.h /usr/include/linux/raw.h; \
    sh copy-fio-includes.sh; \
    rm fio; \
    mkdir -p a b debian/patches; \
    mv fio-copy b/fio; \
    diff -NaurpbB a b > debian/patches/fio-headers.patch || true; \
    echo fio-headers.patch >> debian/patches/series; \
    rm -rf a b; \
    echo "dep:fio=$FIO" > debian/fio_version; \
    cd /root/packages/vitastor-$REL/vitastor-$VER; \
    mkdir mon/node_modules; \
    cd mon/node_modules; \
    curl -s https://git.yourcmc.ru/vitalif/antietcd/archive/master.tar.gz | tar -zx; \
    curl -s https://git.yourcmc.ru/vitalif/tinyraft/archive/master.tar.gz | tar -zx; \
    cd /root/packages/vitastor-$REL; \
    tar --sort=name --mtime='2020-01-01' --owner=0 --group=0 --exclude=debian -cJf vitastor_$VER.orig.tar.xz vitastor-$VER; \
    cd vitastor-$VER; \
    DEBFULLNAME="Vitaliy Filippov <vitalif@yourcmc.ru>" dch -D $REL -v "$FULLVER""$REL" "Rebuild for $REL"; \
    DEB_BUILD_OPTIONS=nocheck dpkg-buildpackage --jobs=auto -sa; \
    rm -rf /root/packages/vitastor-$REL/vitastor-*/
@@ -1,9 +1,9 @@
 # Build Docker image with Vitastor packages
-FROM debian:bookworm
+FROM debian:trixie
 ADD etc/apt /etc/apt/
-RUN apt-get update && apt-get -y install vitastor udev systemd qemu-system-x86 qemu-system-common qemu-block-extra qemu-utils jq nfs-common && apt-get clean
+RUN apt-get update && apt-get -y install vitastor ibverbs-providers udev systemd qemu-system-x86 qemu-system-common qemu-block-extra qemu-utils jq nfs-common && apt-get clean
 ADD sleep.sh /usr/bin/
 ADD install.sh /usr/bin/
 ADD scripts /opt/scripts/
@@ -1,4 +1,4 @@
-VITASTOR_VERSION ?= v2.2.2
+VITASTOR_VERSION ?= v3.0.9
 all: build push
@@ -0,0 +1,3 @@
 Package: *
 Pin: release n=trixie-backports
 Pin-Priority: 500
@@ -1,2 +1,2 @@
-deb http://vitastor.io/debian bookworm main
+deb http://vitastor.io/debian trixie main
-deb http://http.debian.net/debian/ bookworm-backports main
+#deb http://http.debian.net/debian/ trixie-backports main
@@ -7,7 +7,7 @@ PartOf=vitastor.target
 [Service]
 Restart=always
 EnvironmentFile=/etc/vitastor/docker.conf
-ExecStart=bash -c 'docker run --rm -i -v /etc/vitastor:/etc/vitastor -v /dev:/dev -v /run:/run \
+ExecStart=bash -c 'docker run --rm -i -v /etc/vitastor:/etc/vitastor -v /dev:/dev -v /run:/run -e SYSTEMD_IN_CHROOT=0 \
    --security-opt seccomp=unconfined --privileged --pid=host --log-driver none --network host --name vitastor vitastor:$VITASTOR_VERSION \
    sleep.sh'
 ExecStartPost=udevadm trigger
@@ -4,7 +4,7 @@
 #
 # Desired Vitastor version
-VITASTOR_VERSION=v2.2.2
+VITASTOR_VERSION=v3.0.9
 # Additional arguments for all containers
 # For example, you may want to specify a custom logging driver here
@@ -2,8 +2,7 @@
 set -e
-cp -urv /etc/default /host-etc/
+cp -urv /etc/systemd/system/vitastor* /host-etc/systemd/system/
-cp -urv /etc/systemd /host-etc/
+cp -urv /etc/udev/rules.d /host-etc/udev/
 cp -urv /etc/udev /host-etc/
 cp -urnv /etc/vitastor /host-etc/
 cp -urnv /opt/scripts/* /host-bin/
@@ -38,3 +38,4 @@ In the future, additional configuration methods may be added:
 - [OSD Disk Layout](config/layout-osd.en.md)
 - [OSD Runtime Parameters](config/osd.en.md)
 - [Monitor](config/monitor.en.md)
 - [Security Parameters](config/security.en.md)
@@ -41,3 +41,4 @@
 - [Дисковые параметры OSD](config/layout-osd.ru.md)
 - [Прочие параметры OSD](config/osd.ru.md)
 - [Параметры мониторов](config/monitor.ru.md)
 - [Параметры безопасности](config/security.ru.md)
@@ -25,6 +25,9 @@ affect their interaction with the cluster.
 - [nbd_max_part](#nbd_max_part)
 - [osd_nearfull_ratio](#osd_nearfull_ratio)
 - [hostname](#hostname)
 - [ublk_queue_depth](#ublk_queue_depth)
 - [ublk_max_io_size](#ublk_max_io_size)
 - [qemu_file_mirror_path](#qemu_file_mirror_path)
 ## client_iothread_count
@@ -225,3 +228,28 @@ without destroying and recreating OSDs.
 Clients use host name to find their distance to OSDs when [localized reads](pool.en.md#local_reads)
 are enabled. By default, standard [gethostname](https://man7.org/linux/man-pages/man2/gethostname.2.html)
 function is used to determine host name, but you can also override it with this parameter.
 ## ublk_queue_depth
 - Type: integer
 - Default: 256
 Default queue depth for [Vitastor ublk servers](../usage/ublk.en.md).
 ## ublk_max_io_size
 - Type: integer
 Default maximum I/O size for Vitastor [ublk servers](../usage/ublk.en.md).
 The largest of 1 MB and pool block size multiplied by EC data chunk count is used if not specified.
 ## qemu_file_mirror_path
 - Type: string
 When set to an FS directory path (for example, `/mnt/vitastor/`), `qemu-img info` and similar
 QAPI commands return the name of the image inside this directory instead of normal
 `vitastor://?image=abc` URI as `filename`.
 This allows to then mount this path using [vitastor-nfs](../usage/nfs.en.md) and trick
 third-party systems like Veeam which rely on `filename` in the image info but don't support Vitastor.
@@ -25,6 +25,9 @@
 - [nbd_max_part](#nbd_max_part)
 - [osd_nearfull_ratio](#osd_nearfull_ratio)
 - [hostname](#hostname)
 - [ublk_queue_depth](#ublk_queue_depth)
 - [ublk_max_io_size](#ublk_max_io_size)
 - [qemu_file_mirror_path](#qemu_file_mirror_path)
 ## client_iothread_count
@@ -230,3 +233,30 @@ RDMA и хотите повысить пиковую производитель
 [локальные чтения](pool.ru.md#local_reads). По умолчанию для определения имени
 хоста используется стандартная функция [gethostname](https://man7.org/linux/man-pages/man2/gethostname.2.html),
 но вы также можете задать имя хоста вручную данным параметром.
 ## ublk_queue_depth
 - Тип: целое число
 - Значение по умолчанию: 256
 Глубина очереди по умолчанию для [ublk-серверов Vitastor](../usage/ublk.ru.md).
 ## ublk_max_io_size
 - Тип: целое число
 Максимальный размер запроса ввода-вывода для [ublk-серверов Vitastor](../usage/ublk.ru.md).
 Если не задан, используется максимум из 1 МБ и размера блока пула, умноженного на число частей
 данных EC-пула.
 ## qemu_file_mirror_path
 - Тип: строка
 Если установить эту опцию равной пути к каталогу в ФС, команда `qemu-img info` и подобные
 команды QAPI будут возвращать в поле `filename` имя образа внутри заданного каталога вместо
 обычного адреса типа `vitastor://?image=abc`.
 Это позволяет смонтировать этот путь с помощью [vitastor-nfs](../usage/nfs.ru.md) и обмануть
 сторонние системы типа Veeam, которые полагаются на поле `filename` в информации об образе QEMU,
 но не поддерживают Vitastor.
@@ -9,6 +9,7 @@
 These parameters apply to OSDs, are fixed at the moment of OSD drive
 initialization and can't be changed after it without losing data.
 - [meta_format](#meta_format)
 - [data_device](#data_device)
 - [meta_device](#meta_device)
 - [journal_device](#journal_device)
@@ -27,6 +28,21 @@ initialization and can't be changed after it without losing data.
 - [data_csum_type](#data_csum_type)
 - [csum_block_size](#csum_block_size)
 ## meta_format
 - Type: integer
 - Default: 3
 OSD store implementation version and on-disk metadata format.
 Three versions are currently supported: 3, 2 and 1.
 - 3 the new log-structured store, it's overall faster, has lower Write
  Amplification, which may be even close to 1 (i.e. almost no extra writes)
  if your SSDs support atomic writes (see [atomic_write_size](osd.en.md#atomic_write_size)).
 - 2 is the old stable store from Vitastor 0.9-2.x.
 - 1 is the same old store but with a legacy metadata format from Vitastor
  versions to up 0.8.x, without any support for checksums.
 ## data_device
 - Type: string
@@ -182,8 +198,14 @@ put a modified value into etcd key /vitastor/config/global.
 - Type: string
 - Default: none
-Data checksum type to use. May be "crc32c" or "none". Set to "crc32c" to
+Data and metadata checksum type to use. May be "crc32c", "xxh3_32" or "none".
-enable data checksums.
+Select crc32c or xxh3_32 and set csum_block_size to enable data checksums.
 Both crc32c and xxh3_32 are almost equally fast, xxh3_32 is safer. xxh3_32 is
 the xxhash3 algorithm truncated from 64 to 32 bits (which is still a good hash).
 Note that enabled data checksums either increase memory usage or reduce
 performance. Check details in [csum_block_size](#csum_block_size) description.
 ## csum_block_size
@@ -10,6 +10,7 @@
 дисковые параметры, задаются в момент инициализации дисков OSD и не могут быть
 изменены после этого без потери данных.
 - [meta_format](#meta_format)
 - [data_device](#data_device)
 - [meta_device](#meta_device)
 - [journal_device](#journal_device)
@@ -28,6 +29,23 @@
 - [data_csum_type](#data_csum_type)
 - [csum_block_size](#csum_block_size)
 ## meta_format
 - Тип: целое число
 - Значение по умолчанию: 3
 Версия реализации дискового хранилища OSD и дискового формата метаданных.
 Поддерживаются три версии: 3, 2 и 1.
 - 3 - новое лог-структурированное хранилище, в целом более быстрое, со
  сниженным фактором амплификации записи, который может составлять около 1
  (то есть, практически без лишней служебной записи), если ваши SSD
  поддерживают атомарную запись (см. [atomic_write_size](osd.ru.md#atomic_write_size)).
 - 2 - старое стабильное хранилище из версий Vitastor 0.9-2.x.
 - 1 - то же самое стабильное хранилище, но с ещё более старым форматом
  метаданных из версий Vitastor до 0.8.x, без какой-либо поддержки
  контрольных сумм.
 ## data_device
 - Тип: строка
@@ -191,8 +209,12 @@ journal_block_size и meta_block_size. Однако на данный момен
 - Тип: строка
 - Значение по умолчанию: none
-Тип используемых OSD контрольных сумм данных. Может быть "crc32c" или "none".
+Тип используемых OSD контрольных сумм данных и метаданных. Может быть "crc32c",
-Установите в "crc32c", чтобы включить расчёт и проверку контрольных сумм данных.
+"xxh3_32" или "none". Выберите crc32c или xxh3_32 и установите csum_block_size,
 чтобы включить контрольные суммы данных.
 И crc32c, и xxh3_32 примерно одинаково быстры, xxh3_32 надёжней. xxh3_32 - это
 алгоритм xxhash3, обрезанный с 64 до 32 бит (это всё равно хороший хеш).
 Следует понимать, что контрольные суммы в зависимости от размера блока их
 расчёта либо увеличивают потребление памяти, либо снижают производительность.
@@ -22,7 +22,6 @@ between clients, OSDs and etcd.
 - [rdma_max_msg](#rdma_max_msg)
 - [rdma_max_recv](#rdma_max_recv)
 - [rdma_max_send](#rdma_max_send)
 - [rdma_odp](#rdma_odp)
 - [peer_connect_interval](#peer_connect_interval)
 - [peer_connect_timeout](#peer_connect_timeout)
 - [osd_idle_timeout](#osd_idle_timeout)
@@ -74,7 +73,7 @@ Consider `use_rdmacm` for such networks.
 ## use_rdmacm
 - Type: boolean
- Default: true
+- Default: false
 Use an alternative implementation of RDMA through RDMA-CM (Connection
 Manager). Works with all RDMA networks: Infiniband, iWARP and
@@ -102,11 +101,6 @@ found or if `osd_network` is not specified. Auto-selection is also
 unsupported with old libibverbs < v32, like in Debian 10 Buster or
 CentOS 7.
 Vitastor supports all adapters, even ones without ODP support, like
 Mellanox ConnectX-3 and non-Mellanox cards. Versions up to Vitastor
 1.2.0 required ODP which is only present in Mellanox ConnectX >= 4.
 See also [rdma_odp](#rdma_odp).
 Run `ibv_devinfo -v` as root to list available RDMA devices and their
 features.
@@ -116,6 +110,23 @@ the manual of your network vendor for details about setting up the switch
 for RoCEv2 correctly. Usually it means setting up Lossless Ethernet with
 PFC (Priority Flow Control) and ECN (Explicit Congestion Notification).
 Vitastor supports all adapters, even ones without ODP (On-Demand Paging)
 support, like Mellanox ConnectX-3 and non-Mellanox cards. ODP is only present
 in Mellanox ConnectX >= 4 adapters and allows to skip memory registration
 for RDMA and thus, in theory, avoid memory copying.
 Versions up to Vitastor 1.2.0 required ODP, then it was disabled by default,
 but it was still supported up to 3.0.3. Now ODP support is removed because it
 actually only hurts performance: an example 3-node cluster with 8 NVMe in each
 node and 2*25 GBit/s ConnectX-6 RDMA network pushed 3950000 read iops without
 ODP, but only 239000 iops with ODP.
 This happens because Mellanox ODP implementation seems to be based on
 message retransmissions when the adapter doesn't know about the buffer yet -
 it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
 which is generally slow in RDMA/RoCE networks. Here's a presentation about
 it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
 ## rdma_port_num
 - Type: integer
@@ -187,28 +198,6 @@ less than `rdma_max_recv` so the receiving side doesn't run out of buffers.
 Doesn't affect memory usage - additional memory isn't allocated for send
 operations.
 ## rdma_odp
 - Type: boolean
 - Default: false
 Use RDMA with On-Demand Paging. ODP is currently only available on Mellanox
 ConnectX-4 and newer adapters. ODP allows to not register memory explicitly
 for RDMA adapter to be able to use it. This, in turn, allows to skip memory
 copying during sending. One would think this should improve performance, but
 **in reality** RDMA performance with ODP is **drastically** worse. Example
 3-node cluster with 8 NVMe in each node and 2*25 GBit/s ConnectX-6 RDMA network
 without ODP pushes 3950000 read iops, but only 239000 iops with ODP...
 This happens because Mellanox ODP implementation seems to be based on
 message retransmissions when the adapter doesn't know about the buffer yet -
 it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
 which is generally slow in RDMA/RoCE networks. Here's a presentation about
 it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
 ODP support is retained in the code just in case a good ODP implementation
 appears one day.
 ## peer_connect_interval
 - Type: seconds
@@ -22,7 +22,6 @@
 - [rdma_max_msg](#rdma_max_msg)
 - [rdma_max_recv](#rdma_max_recv)
 - [rdma_max_send](#rdma_max_send)
 - [rdma_odp](#rdma_odp)
 - [peer_connect_interval](#peer_connect_interval)
 - [peer_connect_timeout](#peer_connect_timeout)
 - [osd_idle_timeout](#osd_idle_timeout)
@@ -74,7 +73,7 @@ RDMA-устройства, но они не имеют соединения с
 ## use_rdmacm
 - Тип: булево (да/нет)
- Значение по умолчанию: true
+- Значение по умолчанию: false
 Использовать альтернативную реализацию RDMA на основе RDMA-CM (Connection
 Manager). Работает со всеми типами RDMA-сетей: Infiniband, iWARP и
@@ -101,12 +100,6 @@ RoCEv1/RoCEv2, и даже позволяет полностью отключи
 не задана. Также автовыбор не поддерживается со старыми версиями библиотеки
 libibverbs < v32, например в Debian 10 Buster или CentOS 7.
 Vitastor поддерживает все модели адаптеров, включая те, у которых
 нет поддержки ODP, то есть вы можете использовать RDMA с ConnectX-3 и
 картами производства не Mellanox. Версии Vitastor до 1.2.0 включительно
 требовали ODP, который есть только на Mellanox ConnectX 4 и более новых.
 См. также [rdma_odp](#rdma_odp).
 Запустите `ibv_devinfo -v` от имени суперпользователя, чтобы посмотреть
 список доступных RDMA-устройств, их параметры и возможности.
@@ -117,6 +110,24 @@ Vitastor поддерживает все модели адаптеров, вкл
 подразумевает настройку сети без потерь на основе PFC (Priority Flow
 Control) и ECN (Explicit Congestion Notification).
 Vitastor поддерживает все модели адаптеров, включая те, у которых нет
 поддержки ODP (On-Demand Paging), например, ConnectX-3 и карты производства
 не Mellanox. Функция ODP доступна только на адаптерах Mellanox ConnectX-4 и
 более новых и позволяет не регистрировать память для её использования RDMA-картой,
 благодаря чему в теории можно избежать лишних копирований памяти.
 Версии Vitastor до 1.2.0 включительно требовали ODP, потом функция был отключена
 по умолчанию, но поддерживалась вплоть до версии 3.0.3. Сейчас поддержка ODP
 полностью удалена, так как на самом деле она только портит производительность:
 например, на 3-узловом кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на
 чтение с RDMA без ODP удаётся снять 3950000 iops, а с ODP - всего 239000 iops.
 Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
 основана на повторной передаче сообщений, когда карте не известен буфер -
 вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
 А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
 Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
 ## rdma_port_num
 - Тип: целое число
@@ -192,29 +203,6 @@ OSD в любом случае согласовывают реальное зн
 Не влияет на потребление памяти - дополнительная память на операции отправки
 не выделяется.
 ## rdma_odp
 - Тип: булево (да/нет)
 - Значение по умолчанию: false
 Использовать RDMA с On-Demand Paging. ODP - функция, доступная пока что
 исключительно на адаптерах Mellanox ConnectX-4 и более новых. ODP позволяет
 не регистрировать память для её использования RDMA-картой. Благодаря этому
 можно не копировать данные при отправке их в сеть и, казалось бы, это должно
 улучшать производительность - но **по факту** получается так, что
 производительность только ухудшается, причём сильно. Пример - на 3-узловом
 кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на чтение с RDMA без ODP
 удаётся снять 3950000 iops, а с ODP - всего 239000 iops...
 Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
 основана на повторной передаче сообщений, когда карте не известен буфер -
 вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
 А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
 Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
 Возможность использования ODP сохранена в коде на случай, если вдруг в один
 прекрасный день появится хорошая реализация ODP.
 ## peer_connect_interval
 - Тип: секунды
@@ -38,6 +38,7 @@ with an OSD restart or, for some of them, even without restarting by updating co
 - [journal_io](#journal_io)
 - [journal_sector_buffer_count](#journal_sector_buffer_count)
 - [journal_no_same_sector_overwrites](#journal_no_same_sector_overwrites)
 - [skip_corrupted_meta_entries](#skip_corrupted_meta_entries)
 - [throttle_small_writes](#throttle_small_writes)
 - [throttle_target_iops](#throttle_target_iops)
 - [throttle_target_mbs](#throttle_target_mbs)
@@ -65,6 +66,11 @@ with an OSD restart or, for some of them, even without restarting by updating co
 - [allow_net_split](#allow_net_split)
 - [enable_pg_locks](#enable_pg_locks)
 - [pg_lock_retry_interval_ms](#pg_lock_retry_interval_ms)
 - [atomic_write_size](#atomic_write_size)
 - [use_atomic_flag](#use_atomic_flag)
 - [pg_reshard_chunk_size](#pg_reshard_chunk_size)
 - [pg_reshard_chunk_pause_ms](#pg_reshard_chunk_pause_ms)
 - [gc_on_start](#gc_on_start)
 ## bind_address
@@ -275,13 +281,19 @@ Maximum number of journal flushers (see above min_flusher_count).
 - Type: boolean
 - Default: true
-This parameter makes Vitastor always keep metadata area of the block device
+Only for the old store ([meta_format](layout-osd.en.md#meta_format) 2).
-in memory. It's required for good performance because it allows to avoid
+
-additional read-modify-write cycles during metadata modifications. Metadata
+This parameter makes Vitastor keep a copy of metadata area in memory as it is
-area size is currently roughly 224 MB per 1 TB of data. You can turn it off
+on disk, in addition to the metadata database. When the option is enabled, every
-to reduce memory usage by this value, but it will hurt performance. This
+metadata entry is effectively stored in RAM twice. It's required for good performance
-restriction is likely to be removed in the future along with the upgrade
+because it allows to avoid additional read-modify-write cycles during metadata
-of the metadata storage scheme.
+modifications. Metadata area size with the old store is roughly 224 MB per 1 TB
 of data. You can turn the option off to reduce memory usage by this value, but
 it will reduce performance.
 For the new store ([meta_format](layout-osd.en.md#meta_format) 3), the option
 may be changed in the future to support operation without loading full metadata
 database in memory.
 ## inmemory_journal
@@ -360,6 +372,8 @@ blocks. The only situation when you should increase it to a larger value
 is when you enable journal_no_same_sector_overwrites. In this case set
 it to, for example, 1024.
 Not applicable to the new store ([meta_format](layout-osd.en.md#meta_format) 3).
 ## journal_no_same_sector_overwrites
 - Type: boolean
@@ -373,6 +387,17 @@ journal after writing it instead of possibly overwriting it the second time.
 Most (99%) other SSDs don't need this option.
 Not applicable to the new store ([meta_format](layout-osd.en.md#meta_format) 3).
 ## skip_corrupted_meta_entries
 - Type: boolean
 - Default: false
 Only for the new store ([meta_format](layout-osd.en.md#meta_format) 3).
 Allow OSD to start when some metadata entries or blocks are corrupted by
 skipping them. Should be only used as an emergency measure.
 ## throttle_small_writes
 - Type: boolean
@@ -491,7 +516,7 @@ Can be used to slow down scrubbing if it affects user load too much.
 ## scrub_list_limit
 - Type: integer
- Default: 1000
+- Default: 262144
 - Can be changed online: yes
 Number of objects to list in one listing operation during scrub.
@@ -666,3 +691,72 @@ Use this parameter to enable or disable this function for all pools.
 - Default: 100
 Retry interval for failed PG lock attempts.
 ## atomic_write_size
 - Type: integer
 - Default: 4096
 Maximum data device atomic write size allowed for OSD to use.
 Atomic writes allow to reduce the Write Amplification factor with the new store
 ([meta_format](layout-osd.en.md#meta_format)=3) to almost 1 (i.e. almost no extra writes)
 with replicated pools and reach the best possible write performance.
 Default value is auto-detected during OSD initialization from
 `/sys/block/xx/queue/atomic_write_max_bytes` or assumed to be 4096 bytes
 because all known disks support 4 KB atomic writes. Auto-detection is only used for
 NVMe disks because SAS disks require the explicit WRITE ATOMIC command which requires
 RWF_ATOMIC (see below [#use_atomic_flag]) but that flag works incorrectly in current
 Linux versions.
 You can also check if your NVMe drives support atomic writes by running
 the command `nvme id-ctrl /dev/nvme0n1 | grep awupf`. If the reported value,
 plus 1, multiplied by the currently selected block size of the NVMe,
 is more than 4 KB, then the new store can utilize it for better performance.
 The only drives known to support it currently are [Micron and Kioxia](../intro/quickstart.en.md).
 Atomic writes allow to skip double data writes in replicated pools, thus
 reducing Write Amplification and improving write performance up to 2 times.
 ## use_atomic_flag
 - Type: boolean
 This option controls whether Vitastor OSDs use RWF_ATOMIC write flag with atomic writes.
 This flag is supported since Linux 6.11 and adds some safety to atomic writes - the kernel
 guarantees to not fragment write requests with it and also to check them against the actual
 device atomic write capabilities.
 However, the option is disabled by default because the flag is currently UNUSABLE - Linux
 incorrectly requires writes with that flag to be of power-of-2 length and length-aligned.
 I.e., for example, 12 KB writes and not-8-KB aligned 8 KB writes are forbidden by the kernel,
 even though the NVMe specification allows them.
 For NVMe disks with `scheduler=none` writes aren't fragmented anyway so it's not a big deal.
 However, you can rebuild your kernel with [this patch](../../patches/linux-fix-atomic-write-checks.diff)
 and turn this option on. It will make your atomic writes a bit safer.
 ## pg_reshard_chunk_size
 - Type: integer
 - Default: 100000
 Pool PG count change is a CPU-intensive operation because OSDs store the full object database
 in memory and have to move all entries between old and new PGs. Thus it's performed in chunks,
 with pauses between chunks to prevent blocking OSD's event loop and other clients' operations.
 This option sets the maximum number of object is a chunk. Moving 100k objects usually takes
 50-100ms. Chunk size equal to 0 means unlimited.
 ## pg_reshard_chunk_pause_ms
 - Type: milliseconds
 - Default: 100
 This option sets the interval between handling two PG count change chunks.
 ## gc_on_start
 - Type: boolean
 Forcibly clean all garbage entries in the new store on every OSD restart.
@@ -39,6 +39,7 @@
 - [journal_io](#journal_io)
 - [journal_sector_buffer_count](#journal_sector_buffer_count)
 - [journal_no_same_sector_overwrites](#journal_no_same_sector_overwrites)
 - [skip_corrupted_meta_entries](#skip_corrupted_meta_entries)
 - [throttle_small_writes](#throttle_small_writes)
 - [throttle_target_iops](#throttle_target_iops)
 - [throttle_target_mbs](#throttle_target_mbs)
@@ -66,6 +67,11 @@
 - [allow_net_split](#allow_net_split)
 - [enable_pg_locks](#enable_pg_locks)
 - [pg_lock_retry_interval_ms](#pg_lock_retry_interval_ms)
 - [atomic_write_size](#atomic_write_size)
 - [use_atomic_flag](#use_atomic_flag)
 - [pg_reshard_chunk_size](#pg_reshard_chunk_size)
 - [pg_reshard_chunk_pause_ms](#pg_reshard_chunk_pause_ms)
 - [gc_on_start](#gc_on_start)
 ## bind_address
@@ -283,13 +289,19 @@ Flusher - это микро-поток (корутина), которая коп
 - Тип: булево (да/нет)
 - Значение по умолчанию: true
-Данный параметр заставляет Vitastor всегда держать область метаданных диска
+Только для старого хранилища ([meta_format](layout-osd.en.md#meta_format) 2).
-в памяти. Это нужно, чтобы избегать дополнительных операций чтения с диска
+
-при записи. Размер области метаданных на данный момент составляет примерно
+Данный параметр заставляет Vitastor всегда держать копию области метаданных
-224 МБ на 1 ТБ данных. При включении потребление памяти снизится примерно
+в памяти в том же виде, как она лежит на диске, в дополнение к БД метаданных.
-на эту величину, но при этом также снизится и производительность. В будущем,
+То есть, с включённой опцией каждая запись метаданных хранится в памяти дважды.
-после обновления схемы хранения метаданных, это ограничение, скорее всего,
+Это нужно, чтобы избегать дополнительных операций чтения с диска при записи.
-будет ликвидировано.
+Размер области метаданных в старом хранилище составляет примерно 224 МБ на
 1 ТБ данных. Вы можете отключить опцию, чтобы снизить потребление памяти
 примерно на эту величину, но при этом также снизится и производительность.
 Для нового хранилища ([meta_format](layout-osd.en.md#meta_format) 3) опция,
 возможно, будет переработана в будущем для поддержки работы без полной
 загрузки метаданных в памяти.
 ## inmemory_journal
@@ -372,6 +384,8 @@ fsync небезопасным даже с режимом "directsync".
 нужно менять - это если вы включаете journal_no_same_sector_overwrites. В
 этом случае установите данный параметр, например, в 1024.
 Неприменимо к новому хранилищу ([meta_format](layout-osd.en.md#meta_format) 3).
 ## journal_no_same_sector_overwrites
 - Тип: булево (да/нет)
@@ -387,6 +401,18 @@ fsync небезопасным даже с режимом "directsync".
 Почти все другие SSD (99% моделей) не требуют данной опции.
 Неприменимо к новому хранилищу ([meta_format](layout-osd.en.md#meta_format) 3).
 ## skip_corrupted_meta_entries
 - Тип: булево (да/нет)
 - Значение по умолчанию: false
 Только для нового хранилища ([meta_format](layout-osd.en.md#meta_format) 3).
 Разрешить OSD запускаться, даже если часть блоков или записей метаданных
 повреждена, пропуская их. Опция предназначена для использования только в
 целях аварийного восстановления.
 ## throttle_small_writes
 - Тип: булево (да/нет)
@@ -514,7 +540,7 @@ fsync небезопасным даже с режимом "directsync".
 ## scrub_list_limit
 - Тип: целое число
- Значение по умолчанию: 1000
+- Значение по умолчанию: 262144
 - Можно менять на лету: да
 Размер загружаемых за одну операцию списков объектов в процессе фоновой
@@ -699,3 +725,78 @@ pg_minsize OSD во время переключений, что может по
 - Значение по умолчанию: 100
 Интервал повтора неудачных попыток блокировки PG.
 ## atomic_write_size
 - Тип: целое число
 - Значение по умолчанию: 4096
 Максимальный размер атомарной записи на диск данных, который OSD разрешено использовать.
 Поддержка атомарной записи позволяет снизить мультипликатор записи (Write Amplification)
 на диск с новым хранилищем ([meta_format](layout-osd.ru.md#meta_format)=3)
 практически до 1 (то есть, почти до нулевого объёма лишней записи) в реплицированных
 пулах и достигнуть наилучшей возможной производительности записи.
 Значение по умолчанию авто-определяется во время инициализации OSD из
 `/sys/block/xx/queue/atomic_write_max_bytes` либо принимается равным 4096,
 так как все известные диски поддерживают атомарную запись 4 КБ блоков.
 Автоопределение применяется только для NVMe-дисков, так как SAS диски требуют
 использования отдельной команды WRITE ATOMIC, а для неё нужен флаг RWF_ATOMIC
 (см. ниже [#use_atomic_flag]), а он в текущих версиях Linux работает некорректно.
 Вы также можете проверить, поддерживают ли ваши NVMe-диски атомарную запись,
 с помощью команды `nvme id-ctrl /dev/nvme0n1 | grep awupf`. Если значение awupf
 плюс 1, умноженное на текущий выбранный размер блока NVMe-диска, больше 4 КБ,
 то новое хранилище может использовать атомарные записи для достижения лучшей
 производительности. Единственные известные диски, которые поддерживают это сейчас -
 [Micron и Kioxia](../intro/quickstart.ru.md).
 Атомарная запись позволяет не использовать двойную запись данных (в журнал и на
 устройство данных) в реплицированных пулах и таким образом снижает амплификацию
 записи (объём служебной записи на диск) и улучшает производительность записи
 вплоть до 2-х кратного прироста.
 ## use_atomic_flag
 - Тип: булево (да/нет)
 Данная опция контролирует использование Vitastor OSD флага RWF_ATOMIC при атомарной записи
 блоков. Этот флаг поддерживается, начиная с версии ядра Linux 6.11 и добавляет немного корректности
 атомарным записям - ядро гарантирует отсутствие фрагментации запросов записи с этим флагом и
 проверяет их на соответствие реальным возможностям устройства.
 Однако, данная опция по умолчанию отключена, так как флаг в текущих версиях Linux работает
 абсолютно НЕКОРРЕКТНО - при нём Linux требует, чтобы запросы записи имели длину, равную
 степени двойки и были выровнены на эту длину. То есть, например, 12 КБ запросы записи, а также
 8 КБ запросы записи по не-кратному 8 КБ смещению запрещаются ядром, хотя спецификация NVMe их
 разрешает.
 Для NVMe-дисков с `scheduler=none` запросы записи и так не фрагментируются, так что это не так
 уж и важно, однако вы можете пересобрать своё ядро с [этим патчем](../../patches/linux-fix-atomic-write-checks.diff)
 и включить данную опцию. Это сделает вашу атомарную запись капельку безопаснее.
 ## pg_reshard_chunk_size
 - Тип: целое число
 - Значение по умолчанию: 100000
 Изменение числа PG в пуле заметно загружает процессор, так как OSD хранят полную базу данных
 объектов в памяти и им приходится перемещать все записи объектов между старыми и новыми PG.
 Поэтому изменение применяется порциями, с паузами между порциями, чтобы не блокировать обработку
 событий OSD и операции остальных клиентов. Данная опция задаёт максимальное число объектов
 в порции. Перемещение 100 тысяч объектов (значение по умолчанию) обычно занимает порядка
 50-100 миллисекунд. Значение опции 0 отключает лимит размера порции.
 ## pg_reshard_chunk_pause_ms
 - Тип: миллисекунды
 - Значение по умолчанию: 100
 Данная опция задаёт интервал между обработкой двух порций изменения числа PG пулов.
 ## gc_on_start
 - Тип: булево (да/нет)
 Принудительно очищать все мусорные записи в новом хранилище при каждом запуске OSD.
@@ -0,0 +1,150 @@
 [Documentation](../../README.md#documentation) → [Configuration](../config.en.md) → Security Parameters
 -----
 [Читать на русском](security.ru.md)
 # Security Parameters
 These parameters affect your Vitastor installation security and apply to OSDs, monitors and clients.
 Most of them can be set in /etc/vitastor/vitastor.conf and in etcd, but don't support online modification.
 - [etcd_client_cert](#etcd_client_cert)
 - [etcd_client_key](#etcd_client_key)
 - [etcd_ca](#etcd_ca)
 - [osd_etcd_client_cert](#osd_etcd_client_cert)
 - [osd_etcd_client_key](#osd_etcd_client_key)
 - [mon_etcd_client_cert](#mon_etcd_client_cert)
 - [mon_etcd_client_key](#mon_etcd_client_key)
 - [vault_url](#vault_url)
 - [vault_secret_api_path](#vault_secret_api_path)
 - [vault_client_cert](#vault_client_cert)
 - [vault_client_key](#vault_client_key)
 - [vault_ca](#vault_ca)
 - [vault_timeout_ms](#vault_timeout_ms)
 - [vault_error_timeout_sec](#vault_error_timeout_sec)
 - [vault_refresh_leeway_sec](#vault_refresh_leeway_sec)
 - [max_aes_xts_pool_size](#max_aes_xts_pool_size)
 ## etcd_client_cert
 - Type: string
 Client TLS certificate to use for Vitastor client (not OSD and not monitor)
 etcd https connections. May be path to a file or just a PEM string with certificate.
 In the latter case, string must begin with "-----BEGIN CERTIFICATE-----".
 ## etcd_client_key
 - Type: string
 Private key for etcd_client_cert (also a file or a PEM string).
 ## etcd_ca
 - Type: string
 Trusted TLS CA to verify etcd server certificate. May be path to a file,
 directory or just a PEM string with certificate.
 ## osd_etcd_client_cert
 - Type: string
 Same as [etcd_client_cert](#etcd_client_cert), but only for OSDs.
 OSDs, clients and monitors should have different permissions, so they should
 use different certificates.
 ## osd_etcd_client_key
 - Type: string
 Same as [etcd_client_key](#etcd_client_key), but only for OSDs.
 ## mon_etcd_client_cert
 - Type: string
 Same as [etcd_client_cert](#etcd_client_cert), but only for Vitastor monitors.
 ## mon_etcd_client_key
 - Type: string
 Same as [etcd_client_key](#etcd_client_key), but only for Vitastor monitors.
 ## vault_url
 - Type: string
 Vault base URL.
 Vitastor clients support AES-256-XTS image data encryption with different per-image keys.
 Encryption is performed by the client, OSDs don't have access to decrypted data.
 Encryption keys may be stored in etcd or, for the increased security level, in an external
 [HashiCorp Vault](https://developer.hashicorp.com/vault/) or [OpenBao](https://openbao.org/)
 instance.
 Vitastor clients use [v1 k/v secrets engine](https://openbao.org/api-docs/secret/kv/kv-v1/)
 and [TLS authentication engine](https://openbao.org/api-docs/auth/cert/) in Vault.
 In that case, only key IDs are stored in etcd.
 ## vault_secret_api_path
 - Type: string
 - Default: /v1/secret/
 Vault v1 secret API mount path to use.
 ## vault_client_cert
 - Type: string
 Client TLS certificate to use for Vault connections. Just like [etcd_client_cert](#etcd_client_cert),
 may be path to a file or just a certificate in PEM string.
 ## vault_client_key
 - Type: string
 Private key for vault_client_cert (also a file or a PEM string).
 ## vault_ca
 - Type: string
 Trusted TLS CA to verify Vault server certificate. May be path to a file,
 directory or just a PEM string with certificate.
 ## vault_timeout_ms
 - Type: integer
 - Default: 5000
 Timeout for Vault requests in milliseconds.
 ## vault_error_timeout_sec
 - Type: integer
 - Default: 60
 Time (in seconds) to wait before retrying after receiving an error from Vault.
 ## vault_refresh_leeway_sec
 - Type: integer
 - Default: 60
 Extra time (in seconds) before real Vault token lease_timeout to refresh it, just
 in case of system clock drift.
 ## max_aes_xts_pool_size
 - Type: integer
 - Default: 256
 Maximum number of OpenSSL encryption contexts cached in OSD memory. Probably
 doesn't require modification.
@@ -0,0 +1,154 @@
 [Документация](../../README-ru.md#документация) → [Конфигурация](../config.ru.md) → Параметры безопасности
 -----
 [Read in English](security.en.md)
 # Параметры безопасности
 Данные параметры затрагивают безопасность инсталляций Vitastor и используются
 OSD, мониторами и клиентами.
 Большая их часть может задаваться в /etc/vitastor/vitastor.conf и в etcd, но не
 поддерживает онлайн-изменение.
 - [etcd_client_cert](#etcd_client_cert)
 - [etcd_client_key](#etcd_client_key)
 - [etcd_ca](#etcd_ca)
 - [osd_etcd_client_cert](#osd_etcd_client_cert)
 - [osd_etcd_client_key](#osd_etcd_client_key)
 - [mon_etcd_client_cert](#mon_etcd_client_cert)
 - [mon_etcd_client_key](#mon_etcd_client_key)
 - [vault_url](#vault_url)
 - [vault_secret_api_path](#vault_secret_api_path)
 - [vault_client_cert](#vault_client_cert)
 - [vault_client_key](#vault_client_key)
 - [vault_ca](#vault_ca)
 - [vault_timeout_ms](#vault_timeout_ms)
 - [vault_error_timeout_sec](#vault_error_timeout_sec)
 - [vault_refresh_leeway_sec](#vault_refresh_leeway_sec)
 - [max_aes_xts_pool_size](#max_aes_xts_pool_size)
 ## etcd_client_cert
 - Тип: строка
 Клиентский TLS сертификат для https-подключений к etcd для клиентов Vitastor
 (не OSD и не мониторов). Может быть путём к файлу или просто строкой с
 сертификатом в формате PEM. В последнем случае строка должна начинаться с
 "-----BEGIN CERTIFICATE-----".
 ## etcd_client_key
 - Тип: строка
 Закрытый ключ для сертификата etcd_client_cert (также путь к файлу или PEM строка).
 ## etcd_ca
 - Тип: строка
 Доверенный корневой TLS-сертификат для проверки сертификата сервера etcd.
 Может быть путём к файлу, директории или просто строкой с сертификатом в
 формате PEM.
 ## osd_etcd_client_cert
 - Тип: строка
 Аналогично [etcd_client_cert](#etcd_client_cert), но только для OSD.
 OSD, клиенты и мониторы должны иметь разные привилегии, поэтому они должны
 использовать разные сертификаты.
 ## osd_etcd_client_key
 - Тип: строка
 Аналогично [etcd_client_key](#etcd_client_key), но только для OSD.
 ## mon_etcd_client_cert
 - Тип: строка
 Аналогично [etcd_client_cert](#etcd_client_cert), но только для мониторов Vitastor.
 ## mon_etcd_client_key
 - Тип: строка
 Аналогично [etcd_client_key](#etcd_client_key), но только для мониторов Vitastor.
 ## vault_url
 - Тип: строка
 Базовый адрес Vault.
 Клиенты Vitastor поддерживают AES-256-XTS шифрование данных образов с отдельными ключами на
 каждый образ. Данные шифруются клиентами, OSD не имеют доступа к незашифрованным данным.
 Ключи шифрования могут храниться в etcd или, для повышенного уровня безопасности, во внешнем
 [HashiCorp Vault](https://developer.hashicorp.com/vault/) или [OpenBao](https://openbao.org/).
 Клиенты Vitastor используют [движок секретов v1](https://openbao.org/api-docs/secret/kv/kv-v1/)
 и [TLS-аутентификацию](https://openbao.org/api-docs/auth/cert/) в Vault.
 В этом случае, только ID ключей хранятся в etcd.
 ## vault_secret_api_path
 - Тип: строка
 - Значение по умолчанию: /v1/secret/
 Путь к API секретов v1 для использования клиентами.
 ## vault_client_cert
 - Тип: строка
 Клиентский TLS сертификат для подключений к Vault. Как и [etcd_client_cert](#etcd_client_cert),
 может быть путём к файлу или просто PEM-строкой с сертификатом.
 ## vault_client_key
 - Тип: строка
 Закрытый ключ для сертификата vault_client_cert (также путь к файлу или PEM строка).
 ## vault_ca
 - Тип: строка
 Доверенный корневой TLS-сертификат для проверки сертификата сервера Vault.
 Может быть путём к файлу, директории или просто строкой с сертификатом в
 формате PEM.
 ## vault_timeout_ms
 - Тип: целое число
 - Значение по умолчанию: 5000
 Максимально время выполнения Vault-запросов в миллисекундах.
 ## vault_error_timeout_sec
 - Тип: целое число
 - Значение по умолчанию: 60
 Время (в секундах) для ожидания перед повторной попыткой при получении ошибки от Vault.
 ## vault_refresh_leeway_sec
 - Тип: целое число
 - Значение по умолчанию: 60
 Зазор времени (в секундах), чтобы обновлять токены Vault чуть раньше их реального
 lease_timeout, на случай "ухода" системных часов.
 ## max_aes_xts_pool_size
 - Тип: целое число
 - Значение по умолчанию: 256
 Максимальное количество кэшируемых в памяти OSD контекстов шифрования OpenSSL.
 Вряд ли требует изменения.
@@ -283,3 +283,36 @@
    [локальные чтения](pool.ru.md#local_reads). По умолчанию для определения имени
    хоста используется стандартная функция [gethostname](https://man7.org/linux/man-pages/man2/gethostname.2.html),
    но вы также можете задать имя хоста вручную данным параметром.
 - name: ublk_queue_depth
  type: int
  default: 256
  online: false
  info: Default queue depth for [Vitastor ublk servers](../usage/ublk.en.md).
  info_ru: Глубина очереди по умолчанию для [ublk-серверов Vitastor](../usage/ublk.ru.md).
 - name: ublk_max_io_size
  type: int
  online: false
  info: |
    Default maximum I/O size for Vitastor [ublk servers](../usage/ublk.en.md).
    The largest of 1 MB and pool block size multiplied by EC data chunk count is used if not specified.
  info_ru: |
    Максимальный размер запроса ввода-вывода для [ublk-серверов Vitastor](../usage/ublk.ru.md).
    Если не задан, используется максимум из 1 МБ и размера блока пула, умноженного на число частей
    данных EC-пула.
 - name: qemu_file_mirror_path
  type: string
  info: |
    When set to an FS directory path (for example, `/mnt/vitastor/`), `qemu-img info` and similar
    QAPI commands return the name of the image inside this directory instead of normal
    `vitastor://?image=abc` URI as `filename`.
    This allows to then mount this path using [vitastor-nfs](../usage/nfs.en.md) and trick
    third-party systems like Veeam which rely on `filename` in the image info but don't support Vitastor.
  info_ru: |
    Если установить эту опцию равной пути к каталогу в ФС, команда `qemu-img info` и подобные
    команды QAPI будут возвращать в поле `filename` имя образа внутри заданного каталога вместо
    обычного адреса типа `vitastor://?image=abc`.
    Это позволяет смонтировать этот путь с помощью [vitastor-nfs](../usage/nfs.ru.md) и обмануть
    сторонние системы типа Veeam, которые полагаются на поле `filename` в информации об образе QEMU,
    но не поддерживают Vitastor.
@@ -24,6 +24,8 @@
 {{../../installation/kubernetes.en.md}}
 {{../../installation/s3.en.md}}
 {{../../installation/source.en.md}}
 {{../../config.en.md|indent=1}}
@@ -42,6 +44,8 @@
 {{../../config/monitor.en.md|indent=2}}
 {{../../config/security.en.md|indent=2}}
 {{../../config/pool.en.md|indent=2}}
 {{../../config/inode.en.md|indent=2}}
@@ -54,6 +58,8 @@
 {{../../usage/fio.en.md}}
 {{../../usage/ublk.en.md}}
 {{../../usage/nbd.en.md}}
 {{../../usage/qemu.en.md}}
@@ -26,6 +26,8 @@
 {{../../installation/source.ru.md}}
 {{../../installation/s3.ru.md}}
 {{../../config.ru.md|indent=1}}
 {{../../config/common.ru.md|indent=2}}
@@ -42,6 +44,8 @@
 {{../../config/monitor.ru.md|indent=2}}
 {{../../config/security.ru.md|indent=2}}
 {{../../config/pool.ru.md|indent=2}}
 {{../../config/inode.ru.md|indent=2}}
@@ -54,6 +58,8 @@
 {{../../usage/fio.ru.md}}
 {{../../usage/ublk.ru.md}}
 {{../../usage/nbd.ru.md}}
 {{../../usage/qemu.ru.md}}
@@ -1,3 +1,28 @@
 - name: meta_format
  type: int
  default: 3
  info: |
    OSD store implementation version and on-disk metadata format.
    Three versions are currently supported: 3, 2 and 1.
    - 3 the new log-structured store, it's overall faster, has lower Write
      Amplification, which may be even close to 1 (i.e. almost no extra writes)
      if your SSDs support atomic writes (see [atomic_write_size](osd.en.md#atomic_write_size)).
    - 2 is the old stable store from Vitastor 0.9-2.x.
    - 1 is the same old store but with a legacy metadata format from Vitastor
      versions to up 0.8.x, without any support for checksums.
  info_ru: |
    Версия реализации дискового хранилища OSD и дискового формата метаданных.
    Поддерживаются три версии: 3, 2 и 1.
    - 3 - новое лог-структурированное хранилище, в целом более быстрое, со
      сниженным фактором амплификации записи, который может составлять около 1
      (то есть, практически без лишней служебной записи), если ваши SSD
      поддерживают атомарную запись (см. [atomic_write_size](osd.ru.md#atomic_write_size)).
    - 2 - старое стабильное хранилище из версий Vitastor 0.9-2.x.
    - 1 - то же самое стабильное хранилище, но с ещё более старым форматом
      метаданных из версий Vitastor до 0.8.x, без какой-либо поддержки
      контрольных сумм.
 - name: data_device
  type: string
  info: |
@@ -208,11 +233,21 @@
  type: string
  default: none
  info: |
-    Data checksum type to use. May be "crc32c" or "none". Set to "crc32c" to
+    Data and metadata checksum type to use. May be "crc32c", "xxh3_32" or "none".
-    enable data checksums.
+    Select crc32c or xxh3_32 and set csum_block_size to enable data checksums.
    Both crc32c and xxh3_32 are almost equally fast, xxh3_32 is safer. xxh3_32 is
    the xxhash3 algorithm truncated from 64 to 32 bits (which is still a good hash).
    Note that enabled data checksums either increase memory usage or reduce
    performance. Check details in [csum_block_size](#csum_block_size) description.
  info_ru: |
-    Тип используемых OSD контрольных сумм данных. Может быть "crc32c" или "none".
+    Тип используемых OSD контрольных сумм данных и метаданных. Может быть "crc32c",
-    Установите в "crc32c", чтобы включить расчёт и проверку контрольных сумм данных.
+    "xxh3_32" или "none". Выберите crc32c или xxh3_32 и установите csum_block_size,
    чтобы включить контрольные суммы данных.
    И crc32c, и xxh3_32 примерно одинаково быстры, xxh3_32 надёжней. xxh3_32 - это
    алгоритм xxhash3, обрезанный с 64 до 32 бит (это всё равно хороший хеш).
    Следует понимать, что контрольные суммы в зависимости от размера блока их
    расчёта либо увеличивают потребление памяти, либо снижают производительность.
@@ -51,7 +51,7 @@
    Рассмотрите включение `use_rdmacm` для таких сетей.
 - name: use_rdmacm
  type: bool
-  default: true
+  default: false
  info: |
    Use an alternative implementation of RDMA through RDMA-CM (Connection
    Manager). Works with all RDMA networks: Infiniband, iWARP and
@@ -84,11 +84,6 @@
    unsupported with old libibverbs < v32, like in Debian 10 Buster or
    CentOS 7.
    Vitastor supports all adapters, even ones without ODP support, like
    Mellanox ConnectX-3 and non-Mellanox cards. Versions up to Vitastor
    1.2.0 required ODP which is only present in Mellanox ConnectX >= 4.
    See also [rdma_odp](#rdma_odp).
    Run `ibv_devinfo -v` as root to list available RDMA devices and their
    features.
@@ -97,6 +92,23 @@
    the manual of your network vendor for details about setting up the switch
    for RoCEv2 correctly. Usually it means setting up Lossless Ethernet with
    PFC (Priority Flow Control) and ECN (Explicit Congestion Notification).
    Vitastor supports all adapters, even ones without ODP (On-Demand Paging)
    support, like Mellanox ConnectX-3 and non-Mellanox cards. ODP is only present
    in Mellanox ConnectX >= 4 adapters and allows to skip memory registration
    for RDMA and thus, in theory, avoid memory copying.
    Versions up to Vitastor 1.2.0 required ODP, then it was disabled by default,
    but it was still supported up to 3.0.3. Now ODP support is removed because it
    actually only hurts performance: an example 3-node cluster with 8 NVMe in each
    node and 2*25 GBit/s ConnectX-6 RDMA network pushed 3950000 read iops without
    ODP, but only 239000 iops with ODP.
    This happens because Mellanox ODP implementation seems to be based on
    message retransmissions when the adapter doesn't know about the buffer yet -
    it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
    which is generally slow in RDMA/RoCE networks. Here's a presentation about
    it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
  info_ru: |
    Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0").
    Если не указано, Vitastor попробует найти RoCE-устройство, соответствующее
@@ -105,12 +117,6 @@
    не задана. Также автовыбор не поддерживается со старыми версиями библиотеки
    libibverbs < v32, например в Debian 10 Buster или CentOS 7.
    Vitastor поддерживает все модели адаптеров, включая те, у которых
    нет поддержки ODP, то есть вы можете использовать RDMA с ConnectX-3 и
    картами производства не Mellanox. Версии Vitastor до 1.2.0 включительно
    требовали ODP, который есть только на Mellanox ConnectX 4 и более новых.
    См. также [rdma_odp](#rdma_odp).
    Запустите `ibv_devinfo -v` от имени суперпользователя, чтобы посмотреть
    список доступных RDMA-устройств, их параметры и возможности.
@@ -120,6 +126,24 @@
    коммутатора для RoCEv2 ищите в документации производителя. Обычно это
    подразумевает настройку сети без потерь на основе PFC (Priority Flow
    Control) и ECN (Explicit Congestion Notification).
    Vitastor поддерживает все модели адаптеров, включая те, у которых нет
    поддержки ODP (On-Demand Paging), например, ConnectX-3 и карты производства
    не Mellanox. Функция ODP доступна только на адаптерах Mellanox ConnectX-4 и
    более новых и позволяет не регистрировать память для её использования RDMA-картой,
    благодаря чему в теории можно избежать лишних копирований памяти.
    Версии Vitastor до 1.2.0 включительно требовали ODP, потом функция был отключена
    по умолчанию, но поддерживалась вплоть до версии 3.0.3. Сейчас поддержка ODP
    полностью удалена, так как на самом деле она только портит производительность:
    например, на 3-узловом кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на
    чтение с RDMA без ODP удаётся снять 3950000 iops, а с ODP - всего 239000 iops.
    Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
    основана на повторной передаче сообщений, когда карте не известен буфер -
    вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
    А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
    Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
 - name: rdma_port_num
  type: int
  info: |
@@ -218,45 +242,6 @@
    у принимающей стороны в процессе работы не заканчивались буферы на приём.
    Не влияет на потребление памяти - дополнительная память на операции отправки
    не выделяется.
 - name: rdma_odp
  type: bool
  default: false
  online: false
  info: |
    Use RDMA with On-Demand Paging. ODP is currently only available on Mellanox
    ConnectX-4 and newer adapters. ODP allows to not register memory explicitly
    for RDMA adapter to be able to use it. This, in turn, allows to skip memory
    copying during sending. One would think this should improve performance, but
    **in reality** RDMA performance with ODP is **drastically** worse. Example
    3-node cluster with 8 NVMe in each node and 2*25 GBit/s ConnectX-6 RDMA network
    without ODP pushes 3950000 read iops, but only 239000 iops with ODP...
    This happens because Mellanox ODP implementation seems to be based on
    message retransmissions when the adapter doesn't know about the buffer yet -
    it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
    which is generally slow in RDMA/RoCE networks. Here's a presentation about
    it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
    ODP support is retained in the code just in case a good ODP implementation
    appears one day.
  info_ru: |
    Использовать RDMA с On-Demand Paging. ODP - функция, доступная пока что
    исключительно на адаптерах Mellanox ConnectX-4 и более новых. ODP позволяет
    не регистрировать память для её использования RDMA-картой. Благодаря этому
    можно не копировать данные при отправке их в сеть и, казалось бы, это должно
    улучшать производительность - но **по факту** получается так, что
    производительность только ухудшается, причём сильно. Пример - на 3-узловом
    кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на чтение с RDMA без ODP
    удаётся снять 3950000 iops, а с ODP - всего 239000 iops...
    Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
    основана на повторной передаче сообщений, когда карте не известен буфер -
    вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
    А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
    Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
    Возможность использования ODP сохранена в коде на случай, если вдруг в один
    прекрасный день появится хорошая реализация ODP.
 - name: peer_connect_interval
  type: sec
  min: 1
@@ -253,21 +253,33 @@
  type: bool
  default: true
  info: |
-    This parameter makes Vitastor always keep metadata area of the block device
+    Only for the old store ([meta_format](layout-osd.en.md#meta_format) 2).
-    in memory. It's required for good performance because it allows to avoid
+
-    additional read-modify-write cycles during metadata modifications. Metadata
+    This parameter makes Vitastor keep a copy of metadata area in memory as it is
-    area size is currently roughly 224 MB per 1 TB of data. You can turn it off
+    on disk, in addition to the metadata database. When the option is enabled, every
-    to reduce memory usage by this value, but it will hurt performance. This
+    metadata entry is effectively stored in RAM twice. It's required for good performance
-    restriction is likely to be removed in the future along with the upgrade
+    because it allows to avoid additional read-modify-write cycles during metadata
-    of the metadata storage scheme.
+    modifications. Metadata area size with the old store is roughly 224 MB per 1 TB
    of data. You can turn the option off to reduce memory usage by this value, but
    it will reduce performance.
    For the new store ([meta_format](layout-osd.en.md#meta_format) 3), the option
    may be changed in the future to support operation without loading full metadata
    database in memory.
  info_ru: |
-    Данный параметр заставляет Vitastor всегда держать область метаданных диска
+    Только для старого хранилища ([meta_format](layout-osd.en.md#meta_format) 2).
-    в памяти. Это нужно, чтобы избегать дополнительных операций чтения с диска
+
-    при записи. Размер области метаданных на данный момент составляет примерно
+    Данный параметр заставляет Vitastor всегда держать копию области метаданных
-    224 МБ на 1 ТБ данных. При включении потребление памяти снизится примерно
+    в памяти в том же виде, как она лежит на диске, в дополнение к БД метаданных.
-    на эту величину, но при этом также снизится и производительность. В будущем,
+    То есть, с включённой опцией каждая запись метаданных хранится в памяти дважды.
-    после обновления схемы хранения метаданных, это ограничение, скорее всего,
+    Это нужно, чтобы избегать дополнительных операций чтения с диска при записи.
-    будет ликвидировано.
+    Размер области метаданных в старом хранилище составляет примерно 224 МБ на
    1 ТБ данных. Вы можете отключить опцию, чтобы снизить потребление памяти
    примерно на эту величину, но при этом также снизится и производительность.
    Для нового хранилища ([meta_format](layout-osd.en.md#meta_format) 3) опция,
    возможно, будет переработана в будущем для поддержки работы без полной
    загрузки метаданных в памяти.
 - name: inmemory_journal
  type: bool
  default: true
@@ -386,11 +398,15 @@
    blocks. The only situation when you should increase it to a larger value
    is when you enable journal_no_same_sector_overwrites. In this case set
    it to, for example, 1024.
    Not applicable to the new store ([meta_format](layout-osd.en.md#meta_format) 3).
  info_ru: |
    Максимальное число буферов, разрешённых для использования под записываемые
    в журнал блоки метаданных. Единственная ситуация, в которой этот параметр
    нужно менять - это если вы включаете journal_no_same_sector_overwrites. В
    этом случае установите данный параметр, например, в 1024.
    Неприменимо к новому хранилищу ([meta_format](layout-osd.en.md#meta_format) 3).
 - name: journal_no_same_sector_overwrites
  type: bool
  default: false
@@ -402,6 +418,8 @@
    journal after writing it instead of possibly overwriting it the second time.
    Most (99%) other SSDs don't need this option.
    Not applicable to the new store ([meta_format](layout-osd.en.md#meta_format) 3).
  info_ru: |
    Включайте данную опцию для SSD вроде Intel D3-S4510 и D3-S4610, которые
    ОЧЕНЬ не любят, когда ПО перезаписывает один и тот же сектор несколько раз
@@ -412,6 +430,20 @@
    самого сектора.
    Почти все другие SSD (99% моделей) не требуют данной опции.
    Неприменимо к новому хранилищу ([meta_format](layout-osd.en.md#meta_format) 3).
 - name: skip_corrupted_meta_entries
  type: bool
  default: false
  info: |
    Only for the new store ([meta_format](layout-osd.en.md#meta_format) 3).
    Allow OSD to start when some metadata entries or blocks are corrupted by
    skipping them. Should be only used as an emergency measure.
  info_ru: |
    Только для нового хранилища ([meta_format](layout-osd.en.md#meta_format) 3).
    Разрешить OSD запускаться, даже если часть блоков или записей метаданных
    повреждена, пропуская их. Опция предназначена для использования только в
    целях аварийного восстановления.
 - name: throttle_small_writes
  type: bool
  default: false
@@ -566,7 +598,7 @@
    сильно влияет на пользовательскую нагрузку.
 - name: scrub_list_limit
  type: int
-  default: 1000
+  default: 262144
  online: true
  info: |
    Number of objects to list in one listing operation during scrub.
@@ -801,3 +833,112 @@
  default: 100
  info: Retry interval for failed PG lock attempts.
  info_ru: Интервал повтора неудачных попыток блокировки PG.
 - name: atomic_write_size
  type: int
  default: 4096
  info: |
    Maximum data device atomic write size allowed for OSD to use.
    Atomic writes allow to reduce the Write Amplification factor with the new store
    ([meta_format](layout-osd.en.md#meta_format)=3) to almost 1 (i.e. almost no extra writes)
    with replicated pools and reach the best possible write performance.
    Default value is auto-detected during OSD initialization from
    `/sys/block/xx/queue/atomic_write_max_bytes` or assumed to be 4096 bytes
    because all known disks support 4 KB atomic writes. Auto-detection is only used for
    NVMe disks because SAS disks require the explicit WRITE ATOMIC command which requires
    RWF_ATOMIC (see below [#use_atomic_flag]) but that flag works incorrectly in current
    Linux versions.
    You can also check if your NVMe drives support atomic writes by running
    the command `nvme id-ctrl /dev/nvme0n1 | grep awupf`. If the reported value,
    plus 1, multiplied by the currently selected block size of the NVMe,
    is more than 4 KB, then the new store can utilize it for better performance.
    The only drives known to support it currently are [Micron and Kioxia](../intro/quickstart.en.md).
    Atomic writes allow to skip double data writes in replicated pools, thus
    reducing Write Amplification and improving write performance up to 2 times.
  info_ru: |
    Максимальный размер атомарной записи на диск данных, который OSD разрешено использовать.
    Поддержка атомарной записи позволяет снизить мультипликатор записи (Write Amplification)
    на диск с новым хранилищем ([meta_format](layout-osd.ru.md#meta_format)=3)
    практически до 1 (то есть, почти до нулевого объёма лишней записи) в реплицированных
    пулах и достигнуть наилучшей возможной производительности записи.
    Значение по умолчанию авто-определяется во время инициализации OSD из
    `/sys/block/xx/queue/atomic_write_max_bytes` либо принимается равным 4096,
    так как все известные диски поддерживают атомарную запись 4 КБ блоков.
    Автоопределение применяется только для NVMe-дисков, так как SAS диски требуют
    использования отдельной команды WRITE ATOMIC, а для неё нужен флаг RWF_ATOMIC
    (см. ниже [#use_atomic_flag]), а он в текущих версиях Linux работает некорректно.
    Вы также можете проверить, поддерживают ли ваши NVMe-диски атомарную запись,
    с помощью команды `nvme id-ctrl /dev/nvme0n1 | grep awupf`. Если значение awupf
    плюс 1, умноженное на текущий выбранный размер блока NVMe-диска, больше 4 КБ,
    то новое хранилище может использовать атомарные записи для достижения лучшей
    производительности. Единственные известные диски, которые поддерживают это сейчас -
    [Micron и Kioxia](../intro/quickstart.ru.md).
    Атомарная запись позволяет не использовать двойную запись данных (в журнал и на
    устройство данных) в реплицированных пулах и таким образом снижает амплификацию
    записи (объём служебной записи на диск) и улучшает производительность записи
    вплоть до 2-х кратного прироста.
 - name: use_atomic_flag
  type: bool
  info: |
    This option controls whether Vitastor OSDs use RWF_ATOMIC write flag with atomic writes.
    This flag is supported since Linux 6.11 and adds some safety to atomic writes - the kernel
    guarantees to not fragment write requests with it and also to check them against the actual
    device atomic write capabilities.
    However, the option is disabled by default because the flag is currently UNUSABLE - Linux
    incorrectly requires writes with that flag to be of power-of-2 length and length-aligned.
    I.e., for example, 12 KB writes and not-8-KB aligned 8 KB writes are forbidden by the kernel,
    even though the NVMe specification allows them.
    For NVMe disks with `scheduler=none` writes aren't fragmented anyway so it's not a big deal.
    However, you can rebuild your kernel with [this patch](../../patches/linux-fix-atomic-write-checks.diff)
    and turn this option on. It will make your atomic writes a bit safer.
  info_ru: |
    Данная опция контролирует использование Vitastor OSD флага RWF_ATOMIC при атомарной записи
    блоков. Этот флаг поддерживается, начиная с версии ядра Linux 6.11 и добавляет немного корректности
    атомарным записям - ядро гарантирует отсутствие фрагментации запросов записи с этим флагом и
    проверяет их на соответствие реальным возможностям устройства.
    Однако, данная опция по умолчанию отключена, так как флаг в текущих версиях Linux работает
    абсолютно НЕКОРРЕКТНО - при нём Linux требует, чтобы запросы записи имели длину, равную
    степени двойки и были выровнены на эту длину. То есть, например, 12 КБ запросы записи, а также
    8 КБ запросы записи по не-кратному 8 КБ смещению запрещаются ядром, хотя спецификация NVMe их
    разрешает.
    Для NVMe-дисков с `scheduler=none` запросы записи и так не фрагментируются, так что это не так
    уж и важно, однако вы можете пересобрать своё ядро с [этим патчем](../../patches/linux-fix-atomic-write-checks.diff)
    и включить данную опцию. Это сделает вашу атомарную запись капельку безопаснее.
 - name: pg_reshard_chunk_size
  type: int
  default: 100000
  info: |
    Pool PG count change is a CPU-intensive operation because OSDs store the full object database
    in memory and have to move all entries between old and new PGs. Thus it's performed in chunks,
    with pauses between chunks to prevent blocking OSD's event loop and other clients' operations.
    This option sets the maximum number of object is a chunk. Moving 100k objects usually takes
    50-100ms. Chunk size equal to 0 means unlimited.
  info_ru: |
    Изменение числа PG в пуле заметно загружает процессор, так как OSD хранят полную базу данных
    объектов в памяти и им приходится перемещать все записи объектов между старыми и новыми PG.
    Поэтому изменение применяется порциями, с паузами между порциями, чтобы не блокировать обработку
    событий OSD и операции остальных клиентов. Данная опция задаёт максимальное число объектов
    в порции. Перемещение 100 тысяч объектов (значение по умолчанию) обычно занимает порядка
    50-100 миллисекунд. Значение опции 0 отключает лимит размера порции.
 - name: pg_reshard_chunk_pause_ms
  type: ms
  default: 100
  info: |
    This option sets the interval between handling two PG count change chunks.
  info_ru: |
    Данная опция задаёт интервал между обработкой двух порций изменения числа PG пулов.
 - name: gc_on_start
  type: bool
  info: Forcibly clean all garbage entries in the new store on every OSD restart.
  info_ru: Принудительно очищать все мусорные записи в новом хранилище при каждом запуске OSD.
@@ -0,0 +1,5 @@
 {
  "dependencies": {
    "yaml": "^2.8.2"
  }
 }
@@ -0,0 +1,5 @@
 # Security Parameters
 These parameters affect your Vitastor installation security and apply to OSDs, monitors and clients.
 Most of them can be set in /etc/vitastor/vitastor.conf and in etcd, but don't support online modification.
@@ -0,0 +1,7 @@
 # Параметры безопасности
 Данные параметры затрагивают безопасность инсталляций Vitastor и используются
 OSD, мониторами и клиентами.
 Большая их часть может задаваться в /etc/vitastor/vitastor.conf и в etcd, но не
 поддерживает онлайн-изменение.
@@ -0,0 +1,131 @@
 - name: etcd_client_cert
  type: string
  info: |
    Client TLS certificate to use for Vitastor client (not OSD and not monitor)
    etcd https connections. May be path to a file or just a PEM string with certificate.
    In the latter case, string must begin with "-----BEGIN CERTIFICATE-----".
  info_ru: |
    Клиентский TLS сертификат для https-подключений к etcd для клиентов Vitastor
    (не OSD и не мониторов). Может быть путём к файлу или просто строкой с
    сертификатом в формате PEM. В последнем случае строка должна начинаться с
    "-----BEGIN CERTIFICATE-----".
 - name: etcd_client_key
  type: string
  info: Private key for etcd_client_cert (also a file or a PEM string).
  info_ru: Закрытый ключ для сертификата etcd_client_cert (также путь к файлу или PEM строка).
 - name: etcd_ca
  type: string
  info: |
    Trusted TLS CA to verify etcd server certificate. May be path to a file,
    directory or just a PEM string with certificate.
  info_ru: |
    Доверенный корневой TLS-сертификат для проверки сертификата сервера etcd.
    Может быть путём к файлу, директории или просто строкой с сертификатом в
    формате PEM.
 - name: osd_etcd_client_cert
  type: string
  info: |
    Same as [etcd_client_cert](#etcd_client_cert), but only for OSDs.
    OSDs, clients and monitors should have different permissions, so they should
    use different certificates.
  info_ru: |
    Аналогично [etcd_client_cert](#etcd_client_cert), но только для OSD.
    OSD, клиенты и мониторы должны иметь разные привилегии, поэтому они должны
    использовать разные сертификаты.
 - name: osd_etcd_client_key
  type: string
  info: Same as [etcd_client_key](#etcd_client_key), but only for OSDs.
  info_ru: Аналогично [etcd_client_key](#etcd_client_key), но только для OSD.
 - name: mon_etcd_client_cert
  type: string
  info: Same as [etcd_client_cert](#etcd_client_cert), but only for Vitastor monitors.
  info_ru: Аналогично [etcd_client_cert](#etcd_client_cert), но только для мониторов Vitastor.
 - name: mon_etcd_client_key
  type: string
  info: Same as [etcd_client_key](#etcd_client_key), but only for Vitastor monitors.
  info_ru: Аналогично [etcd_client_key](#etcd_client_key), но только для мониторов Vitastor.
 - name: vault_url
  type: string
  info: |
    Vault base URL.
    Vitastor clients support AES-256-XTS image data encryption with different per-image keys.
    Encryption is performed by the client, OSDs don't have access to decrypted data.
    Encryption keys may be stored in etcd or, for the increased security level, in an external
    [HashiCorp Vault](https://developer.hashicorp.com/vault/) or [OpenBao](https://openbao.org/)
    instance.
    Vitastor clients use [v1 k/v secrets engine](https://openbao.org/api-docs/secret/kv/kv-v1/)
    and [TLS authentication engine](https://openbao.org/api-docs/auth/cert/) in Vault.
    In that case, only key IDs are stored in etcd.
  info_ru: |
    Базовый адрес Vault.
    Клиенты Vitastor поддерживают AES-256-XTS шифрование данных образов с отдельными ключами на
    каждый образ. Данные шифруются клиентами, OSD не имеют доступа к незашифрованным данным.
    Ключи шифрования могут храниться в etcd или, для повышенного уровня безопасности, во внешнем
    [HashiCorp Vault](https://developer.hashicorp.com/vault/) или [OpenBao](https://openbao.org/).
    Клиенты Vitastor используют [движок секретов v1](https://openbao.org/api-docs/secret/kv/kv-v1/)
    и [TLS-аутентификацию](https://openbao.org/api-docs/auth/cert/) в Vault.
    В этом случае, только ID ключей хранятся в etcd.
 - name: vault_secret_api_path
  type: string
  default: /v1/secret/
  info: Vault v1 secret API mount path to use.
  info_ru: Путь к API секретов v1 для использования клиентами.
 - name: vault_client_cert
  type: string
  info: |
    Client TLS certificate to use for Vault connections. Just like [etcd_client_cert](#etcd_client_cert),
    may be path to a file or just a certificate in PEM string.
  info_ru: |
    Клиентский TLS сертификат для подключений к Vault. Как и [etcd_client_cert](#etcd_client_cert),
    может быть путём к файлу или просто PEM-строкой с сертификатом.
 - name: vault_client_key
  type: string
  info: Private key for vault_client_cert (also a file or a PEM string).
  info_ru: Закрытый ключ для сертификата vault_client_cert (также путь к файлу или PEM строка).
 - name: vault_ca
  type: string
  info: |
    Trusted TLS CA to verify Vault server certificate. May be path to a file,
    directory or just a PEM string with certificate.
  info_ru: |
    Доверенный корневой TLS-сертификат для проверки сертификата сервера Vault.
    Может быть путём к файлу, директории или просто строкой с сертификатом в
    формате PEM.
 - name: vault_timeout_ms
  type: int
  default: 5000
  info: Timeout for Vault requests in milliseconds.
  info_ru: Максимально время выполнения Vault-запросов в миллисекундах.
 - name: vault_error_timeout_sec
  type: int
  default: 60
  info: |
    Time (in seconds) to wait before retrying after receiving an error from Vault.
  info_ru: |
    Время (в секундах) для ожидания перед повторной попыткой при получении ошибки от Vault.
 - name: vault_refresh_leeway_sec
  type: int
  default: 60
  info: |
    Extra time (in seconds) before real Vault token lease_timeout to refresh it, just
    in case of system clock drift.
  info_ru: |
    Зазор времени (в секундах), чтобы обновлять токены Vault чуть раньше их реального
    lease_timeout, на случай "ухода" системных часов.
 - name: max_aes_xts_pool_size
  type: int
  default: 256
  info: |
    Maximum number of OpenSSL encryption contexts cached in OSD memory. Probably
    doesn't require modification.
  info_ru: |
    Максимальное количество кэшируемых в памяти OSD контекстов шифрования OpenSSL.
    Вряд ли требует изменения.
@@ -26,13 +26,37 @@ at Vitastor Kubernetes operator: https://github.com/Antilles7227/vitastor-operat
 The instruction is very simple.
 1. Download a Docker image of the desired version: \
-   `docker pull vitastor:v2.2.2`
+   `docker pull vitalif/vitastor:v3.0.9`
 2. Install scripts to the host system: \
-   `docker run --rm -it -v /etc:/host-etc -v /usr/bin:/host-bin vitastor:v2.2.2 install.sh`
+   `docker run --rm -it -v /etc:/host-etc -v /usr/bin:/host-bin vitalif/vitastor:v3.0.9 install.sh`
 3. Reload udev rules: \
   `udevadm control --reload-rules`
 4. Enable the vitastor-host service: \
   `systemctl enable --now vitastor-host`
-And you can return to [Quick Start](../intro/quickstart.en.md).
+After these steps, you can return to [Quick Start](../intro/quickstart.en.md).
 ## Podman
 If you use Podman, run the following commands as root before installing Vitastor containers:
 ```
 ln -s podman /usr/bin/docker
 mkdir -p /etc/systemd/system/systemd-udevd.service.d
 cat >/etc/systemd/system/systemd-udevd.service.d/override.conf <<EOF
 [Service]
 CapabilityBoundingSet=~
 SystemCallFilter=@mount capset
 EOF
 systemctl daemon-reload
 systemctl restart systemd-udevd
 ```
 Without it, udev fails to do calls into a Podman container and Vitastor disk detection doesn't work.
 ## Upgrading Containers
@@ -25,14 +25,39 @@ Vitastor можно установить в Docker/Podman. При этом etcd,
 Инструкция по установке максимально простая.
 1. Скачайте Docker-образ желаемой версии: \
-   `docker pull vitastor:v2.2.2`
+   `docker pull vitalif/vitastor:v3.0.9`
 2. Установите скрипты в хост-систему командой: \
-   `docker run --rm -it -v /etc:/host-etc -v /usr/bin:/host-bin vitastor:v2.2.2 install.sh`
+   `docker run --rm -it -v /etc:/host-etc -v /usr/bin:/host-bin vitalif/vitastor:v3.0.9 install.sh`
 3. Перезагрузите правила udev: \
   `udevadm control --reload-rules`
 4. Включите сервис vitastor-host: \
   `systemctl enable --now vitastor-host`
 После этого вы можете возвращаться к разделу [Быстрый старт](../intro/quickstart.ru.md).
 ## Podman
 Если вы используете Podman, перед установкой контейнеров Vitastor выполните следующие
 команды от имени суперпользователя:
 ```
 ln -s podman /usr/bin/docker
 mkdir -p /etc/systemd/system/systemd-udevd.service.d
 cat >/etc/systemd/system/systemd-udevd.service.d/override.conf <<EOF
 [Service]
 CapabilityBoundingSet=~
 SystemCallFilter=@mount capset
 EOF
 systemctl daemon-reload
 systemctl restart systemd-udevd
 ```
 Без этих настроек udev не может делать вызовы внутрь Podman-контейнеров и определение дисков Vitastor не работает.
 ## Обновление контейнеров
 Сначала обязательно проверьте раздел [Обновление Vitastor](../usage/admin.ru.md#обновление-vitastor),
@@ -30,7 +30,7 @@ volume_backend_name = vitastor-testcluster
 image_volume_cache_enabled = True
 volume_clear = none
 vitastor_etcd_address = 192.168.7.2:2379
-vitastor_etcd_prefix =
+vitastor_etcd_prefix = /vitastor
 vitastor_config_path = /etc/vitastor/vitastor.conf
 vitastor_pool_id = 1
 image_upload_use_cinder_backend = True
@@ -29,7 +29,7 @@ volume_backend_name = vitastor-testcluster
 image_volume_cache_enabled = True
 volume_clear = none
 vitastor_etcd_address = 192.168.7.2:2379
-vitastor_etcd_prefix =
+vitastor_etcd_prefix = /vitastor
 vitastor_config_path = /etc/vitastor/vitastor.conf
 vitastor_pool_id = 1
 image_upload_use_cinder_backend = True
@@ -11,12 +11,21 @@
 - Trust Vitastor package signing key:
  `wget https://vitastor.io/debian/pubkey.gpg -O /etc/apt/trusted.gpg.d/vitastor.gpg`
 - Add Vitastor package repository to your /etc/apt/sources.list:
-  - Debian 12 (Bookworm/Sid): `deb https://vitastor.io/debian bookworm main`
+  - Debian 13 (Trixie/Sid): `deb https://vitastor.io/debian trixie main`
  - Debian 12 (Bookworm): `deb https://vitastor.io/debian bookworm main`
  - Debian 11 (Bullseye): `deb https://vitastor.io/debian bullseye main`
  - Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
  - Ubuntu 22.04 (Jammy): `deb https://vitastor.io/debian jammy main`
  - Ubuntu 24.04 (Noble): `deb https://vitastor.io/debian noble main`
  - Ubuntu 26.04 (Resolute): `deb https://vitastor.io/debian resolute main`
  - Add `-oldstable` to bookworm/bullseye/buster in this line to install the last
    stable version from 0.9.x branch instead of 1.x
 - To always prefer vitastor-patched QEMU and Libvirt versions, add the following to `/etc/apt/preferences`:
  ```
  Package: *
  Pin: origin "vitastor.io"
  Pin-Priority: 501
  ```
 - Install packages: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu-system-x86`
 ## CentOS
@@ -25,15 +34,17 @@
  - CentOS 7: `yum install https://vitastor.io/rpms/centos/7/vitastor-release.rpm`
  - CentOS 8: `dnf install https://vitastor.io/rpms/centos/8/vitastor-release.rpm`
  - AlmaLinux 9 and other RHEL 9 clones (Rocky, Oracle...): `dnf install https://vitastor.io/rpms/centos/9/vitastor-release.rpm`
  - AlmaLinux 10 and other RHEL 10 clones: `dnf install https://vitastor.io/rpms/centos/10/vitastor-release.rpm`
 - Enable EPEL: `yum/dnf install epel-release`
 - Enable additional CentOS repositories:
  - CentOS 7: `yum install centos-release-scl`
  - CentOS 8: `dnf install centos-release-advanced-virtualization`
-  - RHEL 9 clones: not required
+  - RHEL 9/10 clones: not required
 - Enable elrepo-kernel:
  - CentOS 7: `yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm`
  - CentOS 8: `dnf install https://www.elrepo.org/elrepo-release-8.el8.elrepo.noarch.rpm`
  - RHEL 9 clones: `dnf install https://www.elrepo.org/elrepo-release-9.el9.elrepo.noarch.rpm`
  - RHEL 10 clones: not required
 - Install packages: `yum/dnf install vitastor lpsolve etcd kernel-ml qemu-kvm`
 ## Installation requirements
@@ -42,7 +53,6 @@
  recommended because io_uring is a relatively new technology and there is
  at least one bug which reproduces with io_uring and HP SmartArray
  controllers in 5.4
 - liburing 0.4 or newer
 - lp_solve
 - etcd 3.4.15 or newer. Earlier versions won't work because of various bugs,
  for example [#12402](https://github.com/etcd-io/etcd/pull/12402).
@@ -11,12 +11,21 @@
 - Добавьте ключ репозитория Vitastor:
  `wget https://vitastor.io/debian/pubkey.gpg -O /etc/apt/trusted.gpg.d/vitastor.gpg`
 - Добавьте репозиторий Vitastor в /etc/apt/sources.list:
-  - Debian 12 (Bookworm/Sid): `deb https://vitastor.io/debian bookworm main`
+  - Debian 13 (Trixie/Sid): `deb https://vitastor.io/debian trixie main`
  - Debian 12 (Bookworm): `deb https://vitastor.io/debian bookworm main`
  - Debian 11 (Bullseye): `deb https://vitastor.io/debian bullseye main`
  - Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
  - Ubuntu 22.04 (Jammy): `deb https://vitastor.io/debian jammy main`
  - Ubuntu 24.04 (Noble): `deb https://vitastor.io/debian noble main`
  - Ubuntu 26.04 (Resolute): `deb https://vitastor.io/debian resolute main`
  - Добавьте `-oldstable` к слову bookworm/bullseye/buster в этой строке, чтобы
    установить последнюю стабильную версию из ветки 0.9.x вместо 1.x
 - Чтобы всегда предпочитались версии пакетов QEMU и Libvirt с патчами Vitastor, добавьте в `/etc/apt/preferences`:
  ```
  Package: *
  Pin: origin "vitastor.io"
  Pin-Priority: 501
  ```
 - Установите пакеты: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu-system-x86`
 ## CentOS
@@ -25,15 +34,17 @@
  - CentOS 7: `yum install https://vitastor.io/rpms/centos/7/vitastor-release.rpm`
  - CentOS 8: `dnf install https://vitastor.io/rpms/centos/8/vitastor-release.rpm`
  - AlmaLinux 9 и другие клоны RHEL 9 (Rocky, Oracle...): `dnf install https://vitastor.io/rpms/centos/9/vitastor-release.rpm`
  - AlmaLinux 10 и другие клоны RHEL 10: `dnf install https://vitastor.io/rpms/centos/10/vitastor-release.rpm`
 - Включите EPEL: `yum/dnf install epel-release`
 - Включите дополнительные репозитории CentOS:
  - CentOS 7: `yum install centos-release-scl`
  - CentOS 8: `dnf install centos-release-advanced-virtualization`
-  - Клоны RHEL 9: не нужно
+  - Клоны RHEL 9/10: не нужно
 - Включите elrepo-kernel:
  - CentOS 7: `yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm`
  - CentOS 8: `dnf install https://www.elrepo.org/elrepo-release-8.el8.elrepo.noarch.rpm`
  - Клоны RHEL 9: `dnf install https://www.elrepo.org/elrepo-release-9.el9.elrepo.noarch.rpm`
  - Клоны RHEL 10: не нужно
 - Установите пакеты: `yum/dnf install vitastor lpsolve etcd kernel-ml qemu-kvm`
 ## Установочные требования
@@ -41,7 +52,6 @@
 - Ядро Linux 5.4 или новее, для поддержки io_uring. Рекомендуется даже 5.8,
  так как io_uring - относительно новый интерфейс и в версиях до 5.8 встречались
  некоторые баги, например, зависание с io_uring и контроллером HP SmartArray
 - liburing 0.4 или новее
 - lp_solve
 - etcd 3.4.15 или новее. Более старые версии не будут работать из-за разных багов,
  например, [#12402](https://github.com/etcd-io/etcd/pull/12402).
@@ -6,10 +6,10 @@
 # Proxmox VE
-To enable Vitastor support in Proxmox Virtual Environment (6.4-8.x are supported):
+To enable Vitastor support in Proxmox Virtual Environment (6.4-9.x are supported):
 - Add the corresponding Vitastor Debian repository into sources.list on Proxmox hosts:
-  bookworm for 8.1+, pve8.0 for 8.0, bullseye for 7.4, pve7.3 for 7.3, pve7.2 for 7.2, pve7.1 for 7.1, buster for 6.4
+  trixie for 9.0+, bookworm for 8.1+, pve8.0 for 8.0, bullseye for 7.4, pve7.3 for 7.3, pve7.2 for 7.2, pve7.1 for 7.1, buster for 6.4
 - Install vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* or see note) packages from Vitastor repository
 - Define storage in `/etc/pve/storage.cfg` (see below)
 - Block network access from VMs to Vitastor network (to OSDs and etcd),
@@ -6,10 +6,10 @@
 # Proxmox VE
-Чтобы подключить Vitastor к Proxmox Virtual Environment (поддерживаются версии 6.4-8.x):
+Чтобы подключить Vitastor к Proxmox Virtual Environment (поддерживаются версии 6.4-9.x):
 - Добавьте соответствующий Debian-репозиторий Vitastor в sources.list на хостах Proxmox:
-  bookworm для 8.1+, pve8.0 для 8.0, bullseye для 7.4, pve7.3 для 7.3, pve7.2 для 7.2, pve7.1 для 7.1, buster для 6.4
+  trixie для 9.0+, bookworm для 8.1+, pve8.0 для 8.0, bullseye для 7.4, pve7.3 для 7.3, pve7.2 для 7.2, pve7.1 для 7.1, buster для 6.4
 - Установите пакеты vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* или см. сноску) из репозитория Vitastor
 - Определите тип хранилища в `/etc/pve/storage.cfg` (см. ниже)
 - Обязательно заблокируйте доступ от виртуальных машин к сети Vitastor (OSD и etcd), т.к. Vitastor (пока) не поддерживает аутентификацию
@@ -15,8 +15,8 @@
 - gcc and g++ 8 or newer, clang 10 or newer, or other compiler with C++11 plus
  designated initializers support from C++20
 - CMake
- liburing, jerasure headers and libraries
+- jerasure, c-ares headers and libraries
- ISA-L, libibverbs and librdmacm headers and libraries (optional)
+- ISA-L, libibverbs, librdmacm, libnl3 headers and libraries (optional)
 - tcmalloc (google-perftools-dev)
 ## Basic instructions
@@ -15,8 +15,8 @@
 - gcc и g++ >= 8, либо clang >= 10, либо другой компилятор с поддержкой C++11 плюс
  назначенных инициализаторов (designated initializers) из C++20
 - CMake
- Заголовки и библиотеки liburing, jerasure
+- Заголовки и библиотеки jerasure, c-ares
- Опционально - заголовки и библиотеки ISA-L, libibverbs, librdmacm
+- Опционально - заголовки и библиотеки ISA-L, libibverbs, librdmacm, libnl3
 - tcmalloc (google-perftools-dev)
 ## Базовая инструкция
@@ -14,6 +14,8 @@
 - Basic part: highly-available block storage with symmetric clustering and no SPOF
 - [Performance](../performance/bench2.en.md) ;-D
  - [NVMe atomic write support](../config/osd.en.md#atomic_write_size) for reducing the amount
    of "extra" disk writes to almost zero (Write Amplification = 1)
 - [Multiple redundancy schemes](../config/pool.en.md#scheme): Replication, XOR n+1, Reed-Solomon erasure codes
  based on jerasure and ISA-L libraries with any number of data and parity drives in a group
 - Configuration via simple JSON data structures in etcd (parameters, pools and images)
@@ -39,6 +41,8 @@
 - [Built-in Prometheus metric exporter](../config/monitor.en.md#enable_prometheus)
 - [NFS RDMA support](../usage/nfs.en.md#rdma) (probably also usable for GPUDirect)
 - [S3](../installation/s3.en.md)
 - [TLS support for etcd connections](../config/security.en.md)
 - [AES-256-XTS image encryption](../usage/cli.en.md#create) and [Vault support](../config/security.en.md#vault_url) for key storage
 ## Plugins and tools
@@ -52,7 +56,7 @@
 - Generic user-space client library
 - [Native QEMU driver](../usage/qemu.en.md)
 - [Loadable fio engine for benchmarks](../usage/fio.en.md)
- [NBD proxy for kernel mounts](../usage/nbd.en.md)
+- [UBLK](../usage/ublk.en.md) and [NBD](../usage/nbd.en.md) servers for kernel mounts
 - [Simplified NFS proxy for file-based image access emulation (suitable for VMWare)](../usage/nfs.en.md#pseudo-fs)
 ## Roadmap
@@ -14,6 +14,8 @@
 - Базовая часть - надёжное кластерное блочное хранилище без единой точки отказа
 - [Производительность](../performance/bench2.ru.md) ;-D
  - [Поддержка атомарной записи NVMe](../config/osd.ru.md#atomic_write_size) для снижения объёма
    служебной записи практически до нуля (Write Amplification = 1)
 - [Несколько схем отказоустойчивости](../config/pool.ru.md#scheme): репликация, XOR n+1 (1 диск чётности), коды коррекции ошибок
  Рида-Соломона на основе библиотек jerasure и ISA-L с любым числом дисков данных и чётности в группе
 - Конфигурация через простые человекочитаемые JSON-структуры в etcd
@@ -41,6 +43,8 @@
 - [Встроенный Prometheus-экспортер метрик](../config/monitor.ru.md#enable_prometheus)
 - [Поддержка NFS RDMA](../usage/nfs.ru.md#rdma) (вероятно, также подходящая для GPUDirect)
 - [S3](../installation/s3.ru.md)
 - [Поддержка TLS-соединений с etcd](../config/security.ru.md)
 - [AES-256-XTS шифрование данных](../usage/cli.ru.md#create) и [поддержка Vault](../config/security.ru.md#vault_url) для хранения ключей
 ## Драйверы и инструменты
@@ -54,7 +58,7 @@
 - Общая пользовательская клиентская библиотека для работы с кластером
 - [Драйвер диска для QEMU](../usage/qemu.ru.md)
 - [Драйвер диска для утилиты тестирования производительности fio](../usage/fio.ru.md)
- [NBD-прокси для монтирования образов ядром](../usage/nbd.ru.md) ("блочное устройство в режиме пользователя")
+- [UBLK](../usage/ublk.ru.md) и [NBD](../usage/nbd.ru.md) серверы для монтирования образов ядром ("блочное устройство в режиме пользователя")
 - [Упрощённая NFS-прокси для эмуляции файлового доступа к образам (подходит для VMWare)](../usage/nfs.ru.md#псевдо-фс)
 ## Планы развития
@@ -18,9 +18,10 @@
 ## Preparation
- Get some SATA or NVMe SSDs with capacitors (server-grade drives). You can use desktop SSDs
+- Get some SATA or NVMe SSDs with capacitors (server-grade drives). The best performance
-  with lazy fsync, but prepare for inferior single-thread latency. Read more about capacitors
+  is achieved with Micron or Kioxia NVMes with atomic write support (see below). You can use desktop
-  [here](../config/layout-cluster.en.md#immediate_commit).
+  SSDs with lazy fsync, but prepare for inferior single-thread latency. Read more about
  capacitors [here](../config/layout-cluster.en.md#immediate_commit).
 - If you want to use HDDs, get modern HDDs with Media Cache or SSD Cache: HGST Ultrastar,
  Toshiba MG, Seagate EXOS or something similar. If your drives don't have such cache then
  you also need small SSDs for journal and metadata (even 2 GB per 1 TB of HDD space is enough).
@@ -30,9 +31,11 @@
 ## Recommended drives
- SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
+- NVMe with atomic write support (ideal!): Micron 7450/7500/7550, Kioxia CD6/CD7/CD8/CD9
- NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
+- Other NVMe: Micron 9100/9200/9300/9400/9550, Micron 7300, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
-  Intel DC-P3700/P4500/P4600, Intel D5-P4320/P5530, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
+  Intel DC-P3700/P4500/P4600, Intel/Solidigm D5-P4320/P5530, Intel/Solidigm D7-P5500/P5600, Solidigm D7-PS1010/PS1030/P5810,
  Intel Optane, Kingston DC1000B/DC1500M, Kioxia CD6/CD7/CD8/CD9
 - SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel/Solidigm D3-S4510/4520/4610/4620, Kingston DC500M
 - HDD: HGST Ultrastar, Toshiba MG, Seagate EXOS
 ## Configure monitors
@@ -18,8 +18,9 @@
 ## Подготовка
- Возьмите серверы с SSD (SATA или NVMe), желательно с конденсаторами (серверные SSD). Можно
+- Возьмите серверы с SSD (SATA или NVMe), желательно с конденсаторами (серверные SSD). Наилучшая
-  использовать и десктопные SSD, включив режим отложенного fsync, но производительность будет хуже.
+  производительность достигается на дисках Micron и Kioxia с поддержкой атомарной записи (см. ниже).
  Можно использовать и десктопные SSD, включив режим отложенного fsync, но производительность будет хуже.
  О конденсаторах читайте [здесь](../config/layout-cluster.ru.md#immediate_commit).
 - Если хотите использовать HDD, берите современные модели с Media или SSD кэшем - HGST Ultrastar,
  Toshiba MG, Seagate EXOS или что-то похожее. Если такого кэша у ваших дисков нет,
@@ -30,9 +31,11 @@
 ## Рекомендуемые диски
- SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
+- NVMe с поддержкой атомарной записи (идеально!): Micron 7450/7500/7550, Kioxia CD6/CD7/CD8/CD9
- NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
+- Другие NVMe: Micron 9100/9200/9300/9400/9550, Micron 7300, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
-  Intel DC-P3700/P4500/P4600, Intel D5-P4320/P5530, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
+  Intel DC-P3700/P4500/P4600, Intel/Solidigm D5-P4320/P5530, Intel/Solidigm D7-P5500/P5600, Solidigm D7-PS1010/PS1030/P5810,
  Intel Optane, Kingston DC1000B/DC1500M, Kioxia CD6/CD7/CD8/CD9
 - SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel/Solidigm D3-S4510/4520/4610/4620, Kingston DC500M
 - HDD: HGST Ultrastar, Toshiba MG, Seagate EXOS
 ## Настройте мониторы
@@ -14,7 +14,7 @@ Replicated setups:
 - Linear read: `min(total network bandwidth, sum(disk read MB/s))`.
 - Linear write: `min(total network bandwidth, sum(disk write MB/s / number of replicas))`.
 - Saturated parallel read iops: `min(total network bandwidth, sum(disk read iops))`.
- Saturated parallel write iops: `min(total network bandwidth / number of replicas, sum(disk write iops / number of replicas / (write amplification = 4)))`.
+- Saturated parallel write iops: `min(total network bandwidth / number of replicas, sum(disk write iops / number of replicas / write amplification))`.
 EC/XOR setups (EC N+K):
 - Single-threaded (T1Q1) read latency: 1.5 network roundtrips + 1 disk read.
@@ -26,28 +26,36 @@ EC/XOR setups (EC N+K):
 - Linear read: `min(total network bandwidth, sum(disk read MB/s))`.
 - Linear write: `min(total network bandwidth, sum(disk write MB/s * N/(N+K)))`.
 - Saturated parallel read iops: `min(total network bandwidth, sum(disk read iops))`.
- Saturated parallel write iops: roughly `total iops / (N+K) / WA`. More exactly,
+- Saturated parallel write iops: roughly `total iops / (N+K) / WA`. More exactly:
-  `min(total network bandwidth * N/(N+K), sum(disk randrw iops / (N*4 + K*5 + 1)))` with
+  - With the new store: `min(total network bandwidth * N/(N+K), sum(disk randrw iops / (2 + N-1 + K*2)))`,
-  random read/write mix corresponding to `(N-1)/(N*4 + K*5 + 1)*100 % reads`.
+    with random read/write mix corresponding to `(N-1)/(2 + N-1 + K*2)*100 % reads`.
-  - For example, with EC 2+1 it is: `(7% randrw iops) / 14`.
+    - For example, with EC 2+1 it is: `(20% randrw iops) / 5`.
-  - With EC 6+3 it is: `(12.5% randrw iops) / 40`.
+    - With EC 6+3 it is: `(38% randrw iops) / 13`.
  - With the old store: `min(total network bandwidth * N/(N+K), sum(disk randrw iops / (3 + N-1 + K*3)))`,
    with random read/write mix corresponding to `(N-1)/(3 + N-1 + K*3)*100 % reads`.
    - For example, with EC 2+1 it is: `(14% randrw iops) / 7`.
    - With EC 6+3 it is: `(30% randrw iops) / 17`.
-Write amplification for 4 KB blocks is usually 3-5 in Vitastor:
+Write Amplification factor:
-1. Journal block write
+- For the new store and for 4 KB writes: WA is always 1 unless you set [atomic_write_size](../config/osd.en.md#atomic_write_size) to 0 manually.
-2. Journal data write
+- For the new store and for 8-124 KB writes: WA is 1 if you use NVMe drives with atomic write support, or roughly 2 if you use other drives.
-3. Metadata block write
+- For the old store, WA is roughly `(2 * write size + 4 KB) / (write size)`. So, for 4 KB writes it's 3, and for 8-124 KB writes it's closer to 2.
-4. Another journal block write for EC/XOR setups
+- For both the new and the old store and for writes of [block_size](../config/layout-cluster.en.md#block_size): WA is almost 1.
 5. Data block write
-If you manage to get an SSD which handles 512 byte blocks well (Optane?) you may
+Write Amplification consists of:
-lower 1, 3 and 4 to 512 bytes (1/8 of data size) and get WA as low as 2.375.
+- For the new store:
  - Buffer block write if non-atomic
  - Data block write
  - Metadata write(s) (amortized)
 - For the old store:
  - Journal block write (amortized)
  - Journal data write
  - Metadata block write
  - Another journal block write for EC/XOR setups (amortized)
  - Data block write
-Implemented NVDIMM support can basically eliminate WA at all - all extra writes will
+Other possibilities to reduce WA would be to use SSDs with internal 512-byte blocks
-go to DRAM memory. But this requires a test cluster with NVDIMM - please contact me
+or NVDIMM, but both options seem unavailable on the market at the moment.
 if you want to provide me with such cluster for tests.
 Lazy fsync also reduces WA for parallel workloads because journal blocks are only
 written when they fill up or fsync is requested.
 ## In Practice
@@ -27,29 +27,36 @@
 - Линейное чтение: сумма МБ/с чтения всех дисков, либо общая производительность сети, если в сеть упрётся раньше.
 - Линейная запись: сумма МБ/с записи всех дисков * N/(N+K), либо производительность сети * N / (N+K), если в сеть упрётся раньше.
 - Параллельное случайное мелкое чтение: сумма IOPS чтения всех дисков либо производительность сети, если в сеть упрётся раньше.
- Параллельная случайная мелкая запись: грубо `(сумма IOPS / (N+K) / WA)`. Если точнее, то:
+- Параллельная случайная мелкая запись: грубо `(сумма IOPS / (N+K) / WA)`.
-  сумма смешанного IOPS всех дисков при `(N-1)/(N*4 + K*5 + 1)*100 %` чтения, делённая на `(N*4 + K*5 + 1)`.
+  Либо `производительность сети * N/(N+K)`, если в сеть упрётся раньше. Если точнее, то:
-  Либо, производительность сети * N/(N+K), если в сеть упрётся раньше.
+  - С новым хранилищем: сумма смешанного IOPS всех дисков при `(N-1)/(2 + N-1 + K*2)*100 %` чтения, делённая на `(2 + N-1 + K*2)`.
-  - Например, при EC 2+1 это: `(сумма IOPS при 7% чтения) / 14`.
+    - Например, при EC 2+1 это: `(сумма IOPS при 20% чтения) / 5`.
-  - При EC 6+3 это: `(сумма IOPS при 12.5% чтения) / 40`.
+    - При EC 6+3 это: `(сумма IOPS при 38% чтения) / 13`.
  - Со старым хранилищем: сумма смешанного IOPS всех дисков при `(N-1)/(3 + N-1 + K*3)*100 %` чтения, делённая на `(3 + N-1 + K*3)`.
    - Например, при EC 2+1 это: `(сумма IOPS при 14% чтения) / 7`.
    - При EC 6+3 это: `(сумма IOPS при 30% чтения) / 17`.
-WA (мультипликатор записи) для 4 КБ блоков в Vitastor обычно составляет 3-5:
+WA (Write Amplification, мультипликатор записи):
-1. Запись метаданных в журнал
+- С новым хранилищем для 4 КБ записи: WA всегда примерно 1, если только вы не установите [atomic_write_size](../config/osd.ru.md#atomic_write_size) вручную в 0.
-2. Запись блока данных в журнал
+- С новым хранилищем и большими записями (8-124 КБ): WA примерно 1, если вы используете NVMe-диски с поддержкой атомарной записи,
-3. Запись метаданных в БД
+  или примерно 2, если вы используете другие диски.
-4. Ещё одна запись метаданных в журнал при использовании EC
+- Со старым хранилищем, WA примерно `(2 * размер записи + 4 КБ) / (размер записи)`. То есть, для 4 КБ записи WA=3, а для 8-124 КБ WA ближе к 2.
-5. Запись блока данных на диск данных
+- И с новым, и со старым хранилищем и для записи размером [block_size](../config/layout-cluster.ru.md#block_size): WA примерно равен 1.
-Если вы найдёте SSD, хорошо работающий с 512-байтными блоками данных (Optane?),
+Мультипликатор записи состоит из:
-то 1, 3 и 4 можно снизить до 512 байт (1/8 от размера данных) и получить WA всего 2.375.
+- С новым хранилищем:
  - Запись блока буфера, если диски без поддержки атомарной записи
  - Запись блока данных
  - Запись(-и) блоков метаданных (амортизированные)
 - Со старым хранилищем:
  - Запись блока журнала (амортизированная)
  - Запись данных в журнал
  - Запись блока метаданных
  - Ещё одна запись блока журнала для EC/XOR пулов (амортизированная)
  - Запись блока данных
-Если реализовать поддержку NVDIMM, то WA можно, условно говоря, ликвидировать вообще - все
+Другими потенциальными возможностями снижения WA могли бы быть SSD с внутренним 512-байтным блоком
-дополнительные операции записи смогут обслуживаться DRAM памятью. Но для этого необходим
+либо NVDIMM, но и то, и другое сейчас выглядит недоступным на рынке.
 тестовый кластер с NVDIMM - пишите, если готовы предоставить такой для тестов.
 Кроме того, WA снижается при использовании отложенного/ленивого сброса при параллельной
 нагрузке, т.к. блоки журнала записываются на диск только когда они заполняются или явным
 образом запрашивается fsync.
 ## На практике
@@ -231,6 +231,18 @@ Upgrading from <= 0.5.x to >= 0.6.x is not supported.
 Downgrade are also allowed freely, except the following specific instructions:
 ### 3.x -> 2.x
 Versions 3.0.0 and newer contain two store implementations - an old one and a new
 one, unsupported in 2.x and previous versions. So you should check your OSD store
 versions before downgrading to 2.x with the following command:
 `vitastor-disk read-sb /dev/vitastor/osdXX-data | jq -r .meta_format`
 If it prints 3 then OSD uses the new store and you can't downgrade it to 2.x.
 If it prints 2 or nothing then OSD uses the old store and the downgrade is allowed.
 ### 1.8.0 to 1.7.1
 Before downgrading from version >= 1.8.0 to version <= 1.7.1
@@ -228,6 +228,18 @@ done
 Откат (понижение версии) тоже свободно разрешён, кроме указанных ниже случаев:
 ### 3.x -> 2.x
 Версии 3.0.0 и более новые содержат две реализации хранилища - старую и новую, не
 поддерживаемую в 2.x и предыдущих версиях. Таким образом, перед откатом на 2.x вам
 следует проверить, какая версия хранилища используется вашими OSD - командой:
 `vitastor-disk read-sb /dev/vitastor/osdXX-data | jq -r .meta_format`
 Если выводится 3, это новое хранилище и откатить такой OSD до 2.x нельзя.
 Если выводится 2 или не выводится ничего, это старое хранилище и откат разрешён.
 ### 1.8.0 -> 1.7.1
 Перед понижением версии с >= 1.8.0 до <= 1.7.1 вы должны скопировать ключ
@@ -100,12 +100,14 @@ List images (only matching `<glob>` pattern(s) if passed).
 Options:
 ```
 --exact         Do not match glob patterns as names, select only exact name matches.
 -p|--pool POOL  Filter images by pool ID or name
 -l|--long       Also report allocated size and I/O statistics
 --del           Also include delete operation statistics
 --sort FIELD    Sort by specified field (name, size, used_size, <read|write|delete>_<iops|bps|lat|queue>)
 -r|--reverse    Sort in descending order
 -n|--count N    Only list first N items
 --tree          Show image snapshot/clone tree
 ```
 Example output:
@@ -123,18 +125,31 @@ bench-kaveri         kaveri    10 G  10 G    0 B/s  0     0      0 us  0 B/s  0
 ## create
-`vitastor-cli create -s|--size <size> [-p|--pool <id|name>] [--parent <parent_name>[@<snapshot>]] <name>`
+`vitastor-cli create -s|--size SIZE [OPTIONS] <name>`
-Create an image. You may use K/M/G/T suffixes for `<size>`. If `--parent` is specified,
+Create an image. Options:
-a copy-on-write image clone is created. Parent must be a snapshot (readonly image).
+
-Pool must be specified if there is more than one pool.
+* `-s|--size SIZE` - New image size in bytes or with a K/M/G/T unit suffix.
 * `-p|--pool POOL` - Specify pool for the new image (may be omitted if there is only 1 pool).
 * `--parent PARENT` - Create a copy-on-write image clone based on PARENT (or PARENT@SNAPSHOT).
  If parent is not a snapshot, it must be a read-only image.
 * `--enc-key random` - Generate a new random AES-256-XTS encryption key for the new image.
 * `--enc-key HEX` - Set a specified AES-256-XTS key (64 bytes in hex) for the new image.
 * `--enc-key vault:ID` - Use an encryption key from an external Vault secret with specified ID.
 ```
-vitastor-cli create --snapshot <snapshot> [-p|--pool <id|name>] <image>
+vitastor-cli create --snapshot <snapshot> [OPTIONS] <image>
-vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
+vitastor-cli snap-create [OPTIONS] <image>@<snapshot>
 ```
-Create a snapshot of image `<name>` (either form can be used). May be used live if only a single writer is active.
+Create a snapshot of image `<image>`. May be used live if only a single writer is active.
 Options:
 * `-p|--pool POOL` - Move image to pool POOL, leaving the snapshot in the old pool.
 * `--enc-key random` - Change image encryption key to a new random AES-256-XTS key.
 * `--enc-key KEY` - Change image encryption key to a specified key, Vault key or to an empty key.
  By default, the image retains its old encryption key when taking a snapshot.
 See also about [how to export snapshots](qemu.en.md#exporting-snapshots).
@@ -149,6 +164,7 @@ You should resize file system in the image, if present, before shrinking it.
 * `--deleted 1|0` - Set/clear 'deleted image' flag (set automatically during unfinished deletes).
 * `-f|--force` - Proceed with shrinking or setting readwrite flag even if the image has children.
 * `--down-ok` - Proceed with shrinking even if some data will be left on unavailable OSDs.
 * `--enc-key HEX` - Change image encryption key (allowed only with `--force`).
 ## dd
@@ -102,12 +102,14 @@ kaveri    2/1     32   0 B      10 G    0 B        100%    0%
 Опции:
 ```
 --exact         Не применять ФС-шаблоны к именам, выводить только точные совпадения
 -p|--pool POOL  Фильтровать образы по пулу (ID или имени)
 -l|--long       Также выводить статистику занятого места и ввода-вывода
 --del           Также выводить статистику операций удаления
 --sort FIELD    Сортировать по заданному полю (name, size, used_size, <read|write|delete>_<iops|bps|lat|queue>)
 -r|--reverse    Сортировать в обратном порядке
 -n|--count N    Показывать только первые N записей
 --tree          Вывести снапшоты и клоны в виде дерева
 ```
 Пример вывода:
@@ -125,19 +127,32 @@ bench-kaveri         kaveri    10 G  10 G    0 B/s  0     0      0 us  0 B/s  0
 ## create
-`vitastor-cli create -s|--size <size> [-p|--pool <id|name>] [--parent <parent_name>[@<snapshot>]] <name>`
+`vitastor-cli create -s|--size SIZE [ОПЦИИ] <name>`
-Создать образ. Для размера `<size>` можно использовать суффиксы K/M/G/T (килобайт-мегабайт-гигабайт-терабайт).
+Создать образ. Опции:
-Если указана опция `--parent`, создаётся клон образа. Родитель `<parent_name>[@<snapshot>]` должен быть
+
-снимком (или просто немодифицируемым образом). Пул обязательно указывать, если в кластере больше одного пула.
+* `-s|--size SIZE` - Размер нового образа в байтах или с суффиксом K/M/G/T (кило/мега/гига/терабайт).
 * `-p|--pool POOL` - Создать образ в заданном пуле (можно не указывать, если пул всего один).
 * `--parent PARENT` - Создать легковесный клон на основе образа `PARENT` или снимка `PARENT@SNAP`.
  Если `PARENT` - не снимок, он должен быть помечен как образ только для чтения.
 * `--enc-key random` - Сгенерировать случайный ключ шифрования AES-256-XTS для нового образа.
 * `--enc-key HEX` - Установить заданный ключ AES-256-XTS (64 байта в hex) для нового образа.
 * `--enc-key vault:ID` - Использовать ключ из внешнего секрета с заданным ID из Vault.
 ```
-vitastor-cli create --snapshot <snapshot> [-p|--pool <id|name>] <image>
+vitastor-cli create --snapshot <snapshot> [ОПЦИИ] <image>
-vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
+vitastor-cli snap-create [ОПЦИИ] <image>@<snapshot>
 ```
-Создать снимок образа `<name>` (можно использовать любую форму команды). Снимок можно создавать без остановки
+Создать снимок образа `<image>` (можно использовать любую форму команды).
-клиентов, если пишущий клиент максимум 1.
+Снимок можно создавать без остановки клиентов, если пишущих клиентов не больше одного.
 Опции:
 * `-p|--pool POOL` - Переместить образ в пул POOL, оставив снимок в старом пуле.
 * `--enc-key random` - Изменить ключ шифрования образа на новый случайный ключ AES-256-XTS.
 * `--enc-key KEY` - Изменить ключ шифрования образа на заданный ключ, ключ из Vault или пустой ключ.
  По умолчанию шифрованные образы сохраняют старый ключ при снятии снимка.
 Смотрите также информацию о том, [как экспортировать снимки](qemu.ru.md#экспорт-снимков).
@@ -154,6 +169,7 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
 * `--deleted 1|0` - Установить/снять флаг "образ удалён" (устанавливается при незавершённом удалении).
 * `-f|--force` - Разрешить уменьшение или перевод в чтение-запись образа, у которого есть клоны.
 * `--down-ok` - Разрешить уменьшение, даже если часть данных останется неудалённой на недоступных OSD.
 * `--enc-key HEX` - Изменить ключ шифрования образа (разрешено только с `--force`).
 ## dd
@@ -51,6 +51,9 @@ Options (automatic mode):
 ```
 --osd_per_disk <N>
  Create <N> OSDs on each disk (default 1)
 --meta_format 3
  Metadata store version. 3 is the new log-structured store, 2 is the stable store
  from Vitastor 0.9-2.x, 1 is the legacy store from Vitastor 0.6-0.8.
 --hybrid
  Prepare hybrid (HDD+SSD, NVMe+SATA or etc) OSDs using provided devices. By default,
  any passed SSDs will be used for journals and metadata, HDDs will be used for data,
@@ -73,6 +76,8 @@ Options (automatic mode):
 --max_other 10%
  Use disks for OSD data even if they already have non-Vitastor partitions,
  but only if these take up no more than this percent of disk space.
 --dry-run
  Check and print new OSD count for each disk but do not actually create them.
 ```
 Options (single-device mode):
@@ -90,6 +95,8 @@ Options (single-device mode):
 Options (both modes):
 ```
 --tags tag1,tag2           Set new OSD tag(s)
 --weight <number>          Set new OSD weight (between 0 to 1)
 --journal_size 1G/32M      Set journal size (area or partition size)
 --block_size 1M/128k       Set blockstore object size
 --bitmap_granularity 4k    Set bitmap granularity
@@ -50,6 +50,9 @@ vitastor-disk - инструмент командной строки для уп
 ```
 --osd_per_disk <N>
  Создавать по несколько (<N>) OSD на каждом диске (по умолчанию 1)
 --meta_format 3
  Версия хранилища метаданных. 3 - новое лог-структурированное хранилище,
  2 - стабильное хранилище из Vitastor 0.9-2.x, 1 - старое хранилище из Vitastor 0.6-0.8.
 --hybrid
  Инициализировать гибридные (HDD+SSD, NVMe+SATA и т.п.) OSD на указанных дисках.
  По умолчанию, SSD будут использованы для журналов и метаданных, а HDD - для данных,
@@ -74,6 +77,8 @@ vitastor-disk - инструмент командной строки для уп
 --max_other 10%
  Использовать диски под данные OSD, даже если на них уже есть не-Vitastor-овые
  разделы, но только в случае, если они занимают не более данного процента диска.
 --dry-run
  Проверить и вывести число новых OSD для каждого диска, но не создавать их.
 ```
 Опции для режима одного OSD:
@@ -91,6 +96,8 @@ vitastor-disk - инструмент командной строки для уп
 Опции для обоих режимов:
 ```
 --tags tag1,tag2           Задать теги для новых OSD
 --weight <number>          Задать вес для новых OSD (от 0 до 1)
 --journal_size 1G/32M      Задать размер журнала (области или раздела журнала)
 --block_size 1M/128k       Задать размер объекта хранилища
 --bitmap_granularity 4k    Задать гранулярность битовых карт
@@ -89,6 +89,8 @@ POSIX features currently not implemented in VitastorFS:
  instead of actually allocated space
 - Access times (`atime`) are not tracked (like `-o noatime`)
 - Modification time (`mtime`) is updated lazily every second (like `-o lazytime`)
 - Permission enforcement is disabled by default (and Linux NFS client doesn't
  enforce them too). Use `--enforce 1` to enable it.
 Other notable missing features which should be addressed in the future:
 - Inode ID reuse. Currently inode IDs always grow, the limit is 2^48 inodes, so
@@ -258,4 +260,5 @@ Options:
 | `--nfspath <PATH>` | set NFS export path to \<PATH> (default is /)            |
 | `--pidfile <FILE>` | write process ID to the specified file                   |
 | `--logfile <FILE>` | log to the specified file                                |
 | `--enforce 1`      | enforce permissions at the server side (no by default)   |
 | `--foreground 1`   | stay in foreground, do not daemonize                     |
@@ -91,6 +91,8 @@ JSON-формате :-). Для инспекции содержимого БД
  stat(2), так что `du` всегда показывает сумму размеров файлов, а не фактически занятое место
 - Времена доступа (`atime`) не отслеживаются (как будто ФС смонтирована с `-o noatime`)
 - Времена модификации (`mtime`) отслеживаются асинхронно (как будто ФС смонтирована с `-o lazytime`)
 - Привилегии доступа по умолчанию не проверяются сервером (клиент NFS Linux их также не проверяет).
  Чтобы включить проверки, используйте опцию `--enforce 1`.
 Другие недостающие функции, которые нужно добавить в будущем:
 - Переиспользование номеров инодов. В текущей реализации номера инодов всё время
@@ -270,4 +272,5 @@ VitastorFS из GPUDirect.
 | `--nfspath <PATH>` | установить путь NFS-экспорта в \<PATH> (по умолчанию /) |
 | `--pidfile <FILE>` | записать ID процесса в заданный файл                    |
 | `--logfile <FILE>` | записывать логи в заданный файл                         |
 | `--enforce 1`      | проверять права доступа на стороне сервера (по умолчанию нет) |
 | `--foreground 1`   | не уходить в фон после запуска                          |
@@ -130,23 +130,16 @@ Linux kernel, starting with version 5.15, supports a new interface for attaching
 to the host - VDUSE (vDPA Device in Userspace). QEMU, starting with 7.2, has support for
 exporting QEMU block devices over this protocol using qemu-storage-daemon.
-VDUSE is currently the best interface to attach Vitastor disks as kernel devices because:
+VDUSE advantages:
- It avoids data copies and thus achieves much better performance than [NBD](nbd.en.md)
+
- It doesn't have NBD timeout problem - the device doesn't die if an operation executes for too long
+- VDUSE copies memory 1 time instead of 2, and is thus faster than [NBD](nbd.en.md) for linear read/write.
 - It doesn't have NBD timeout problem - the device doesn't die if an operation executes for too long.
 - It doesn't have hung device problem - if the userspace process dies it can be restarted (!)
-  and block device will continue operation
+  and block device will continue operation (UBLK can do it too).
- It doesn't seem to have the device number limit
+- It doesn't seem to have the device number limit (UBLK also doesn't).
-Example performance comparison:
+At the same time, VDUSE may be slower or faster than [UBLK](ublk.en.md) for linear read/write,
-
+and iops-wise it's sometimes even slower than NBD. See performance comparison examples at the page [UBLK](ublk.en.md).
 |                      | direct fio  | NBD         | VDUSE       |
 |----------------------|-------------|-------------|-------------|
 | linear write         | 3.85 GB/s   | 1.12 GB/s   | 3.85 GB/s   |
 | 4k random write Q128 | 240000 iops | 120000 iops | 178000 iops |
 | 4k random write Q1   | 9500 iops   | 7620 iops   | 7640 iops   |
 | linear read          | 4.3 GB/s    | 1.8 GB/s    | 2.85 GB/s   |
 | 4k random read Q128  | 287000 iops | 140000 iops | 189000 iops |
 | 4k random read Q1    | 9600 iops   | 7640 iops   | 7780 iops   |
 To try VDUSE you need at least Linux 5.15, built with VDUSE support
 (CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
@@ -193,3 +186,12 @@ To remove the device:
 vdpa dev del test1
 kill <qemu-storage-daemon_process_PID>
 ```
 ## Veeam
 Vitastor QEMU driver has a feature that allows to trick third-party systems like Veeam not able to parse qemu-img
 vitastor URIs: [qemu_file_mirror_path](../config/client.en.md#qemu_file_mirror_path).
 To make such systems work, you should set this option to an FS directory path (for example, `/mnt/vitastor/`) and
 mount this directory using [`vitastor-nfs mount --block`](../usage/nfs.en.md). It will make them access
 your images using files and, hopefully, succeed in doing their normal job :).
@@ -132,24 +132,16 @@ qemu-system-x86_64 -enable-kvm -m 2048 -M accel=kvm,memory-backend=mem \
 к системе - VDUSE (vDPA Device in Userspace), а в QEMU, начиная с версии 7.2, есть поддержка
 экспорта блочных устройств QEMU по этому протоколу через qemu-storage-daemon.
-VDUSE - на данный момент лучший интерфейс для подключения дисков Vitastor в виде блочных
+Преимущества VDUSE:
 устройств на уровне ядра, ибо:
 - VDUSE не копирует данные и поэтому достигает значительно лучшей производительности, чем [NBD](nbd.ru.md)
 - Также оно не имеет проблемы NBD-таймаута - устройство не умирает, если операция выполняется слишком долго
 - Также оно не имеет проблемы подвисающих устройств - если процесс-обработчик умирает, его можно
  перезапустить (!) и блочное устройство продолжит работать
 - По-видимому, у него нет предела числа подключаемых в систему устройств
-Пример сравнения производительности:
+- VDUSE копирует данные 1 раз, а не 2, и поэтому он быстрее, чем [NBD](nbd.ru.md) при линейном доступе.
 - VDUSE не имеет проблемы NBD-таймаута - устройство не умирает, если операция выполняется слишком долго.
 - VDUSE не имеет проблемы подвисающих устройств - если процесс-обработчик умирает, его можно
  перезапустить (!) и блочное устройство продолжит работать (в UBLK это тоже поддерживается).
 - По-видимому, у него нет предела числа подключаемых в систему устройств (в UBLK лимита тоже нет).
-|                          | Прямой fio  | NBD         | VDUSE       |
+Однако, при линейном доступе VDUSE может быть медленнее UBLK (а может быть и быстрее), а по iops
-|--------------------------|-------------|-------------|-------------|
+VDUSE иногда даже медленнее NBD. Пример сравнения производительности смотрите на странице [UBLK](ublk.ru.md).
 | линейная запись          | 3.85 GB/s   | 1.12 GB/s   | 3.85 GB/s   |
 | 4k случайная запись Q128 | 240000 iops | 120000 iops | 178000 iops |
 | 4k случайная запись Q1   | 9500 iops   | 7620 iops   | 7640 iops   |
 | линейное чтение          | 4.3 GB/s    | 1.8 GB/s    | 2.85 GB/s   |
 | 4k случайное чтение Q128 | 287000 iops | 140000 iops | 189000 iops |
 | 4k случайное чтение Q1   | 9600 iops   | 7640 iops   | 7780 iops   |
 Чтобы попробовать VDUSE, вам нужно ядро Linux как минимум версии 5.15, собранное с поддержкой
 VDUSE (CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
@@ -196,3 +188,12 @@ vdpa dev add name test1 mgmtdev vduse
 vdpa dev del test1
 kill <PID_процесса_qemu-storage-daemon>
 ```
 ## Veeam
 Драйвер Vitastor QEMU имеет функцию, которая позволяет обманывать сторонние системы типа Veeam, которые
 не могут сами по себе разобрать адреса дисков в vitastor: [qemu_file_mirror_path](../config/client.ru.md#qemu_file_mirror_path).
 Чтобы заставить такие системы работать, вам нужно установить эту опцию равной пути к некоторому каталогу
 в ФС (например, `/mnt/vitastor/`) и примонтировать этот каталог с помощью [`vitastor-nfs mount --block`](../usage/nfs.ru.md).
 Они начнут обращаться к образам как к файлам и, вероятно, смогут заработать корректно :).
@@ -0,0 +1,116 @@
 [Documentation](../../README.md#documentation) → Usage → UBLK
 -----
 [Читать на русском](ublk.ru.md)
 # UBLK
 [ublk](https://docs.kernel.org/block/ublk.html) is a new io_uring-based Linux interface
 for user-space block device drivers, available since Linux 6.0.
 It's not zero-copy, but it's still a fast implementation, outperforming both [NBD](nbd.en.md)
 and [VDUSE](qemu.en.md#vduse) iops-wise and may or may not outperform VDUSE in linear I/O MB/s.
 ublk also allows to recover devices even if the server (vitastor-ublk process) dies.
 ## Example performance comparison
 TCP (100G), 3 hosts each with 6 NVMe OSDs, 3 replicas, single client
 |                      | direct fio  | NBD         | VDUSE      | UBLK        |
 |----------------------|-------------|-------------|------------|-------------|
 | linear write         | 3807 MB/s   | 1832 MB/s   | 3226 MB/s  | 3027 MB/s   |
 | linear read          | 3067 MB/s   | 1885 MB/s   | 1800 MB/s  | 2076 MB/s   |
 | 4k random write Q128 | 128624 iops | 91060 iops  | 94621 iops | 149450 iops |
 | 4k random read Q128  | 117769 iops | 153408 iops | 93157 iops | 171987 iops |
 | 4k random write Q1   | 8090 iops   | 6442 iops   | 6316 iops  | 7272 iops   |
 | 4k random read Q1    | 9474 iops   | 7200 iops   | 6840 iops  | 8038 iops   |
 RDMA (100G), 3 hosts each with 6 NVMe OSDs, 3 replicas, single client
 |                      | direct fio  | NBD         | VDUSE       | UBLK        |
 |----------------------|-------------|-------------|-------------|-------------|
 | linear write         | 6998 MB/s   | 1878 MB/s   | 4249 MB/s   | 3140 MB/s   |
 | linear read          | 8628 MB/s   | 3389 MB/s   | 5062 MB/s   | 3674 MB/s   |
 | 4k random write Q128 | 222541 iops | 181589 iops | 138281 iops | 218222 iops |
 | 4k random read Q128  | 412647 iops | 239987 iops | 151663 iops | 269583 iops |
 | 4k random write Q1   | 11601 iops  | 8592 iops   | 9111 iops   | 10000 iops  |
 | 4k random read Q1    | 10102 iops  | 7788 iops   | 8111 iops   | 8965 iops   |
 ## Commands
 vitastor-ublk supports the following commands:
 - [map](#map)
 - [unmap](#unmap)
 - [ls](#ls)
 ## map
 To create a local block device for a Vitastor image run:
 ```
 vitastor-ublk map [/dev/ublkbN] --image testimg
 ```
 It will output a block device name like /dev/ublkb0 which you can then use as a normal disk.
 You can also use `--pool <POOL> --inode <INODE> --size <SIZE>` instead of `--image <IMAGE>` if you want.
 vitastor-ublk supports all usual Vitastor configuration options like `--config_path <path_to_config>` plus ublk-specific:
 * `--recover` \
  Recover a mapped device if the previous ublk server is dead.
 * `--queue_depth 256` \
  Maximum queue size for the device.
 * `--max_io_size 1M` \
  Maximum single I/O size for the device. Default: `max(1 MB, pool block size * EC part count)`.
 * `--readonly` \
  Make the device read-only.
 * `--hdd` \
  Mark the device as rotational.
 * `--logfile /path/to/log/file.txt` \
  Write log messages to the specified file instead of dropping them (in background mode)
  or printing them to the standard output (in foreground mode).
 * `--dev_num N` \
  Use the specified device /dev/ublkbN instead of automatic selection (alternative syntax
  to /dev/ublkbN positional parameter).
 * `--foreground 1` \
  Stay in foreground, do not daemonize.
 Note that `ublk_queue_depth` and `ublk_max_io_size` may also be specified
 in `/etc/vitastor/vitastor.conf` or in other configuration file specified with `--config_path`.
 ## unmap
 To unmap the device run:
 ```
 vitastor-ublk unmap /dev/ublkb0
 ```
 ## ls
 ```
 vitastor-ublk ls [--json]
 ```
 List mapped images.
 Example output (normal format):
 ```
 /dev/ublkb0
 image: bench
 pid: 584536
 /dev/ublkb1
 image: bench1
 pid: 584546
 ```
 Example output (JSON format):
 ```
 {"/dev/ublkb0": {"image": "bench", "pid": 584536}, "/dev/ublkb1": {"image": "bench1", "pid": 584546}}
 ```
@@ -0,0 +1,121 @@
 [Документация](../../README-ru.md#документация) → Использование → UBLK
 -----
 [Read in English](ublk.en.md)
 # UBLK
 [ublk](https://docs.kernel.org/block/ublk.html) - это новый Linux-интерфейс на основе io_uring
 для реализации блочных устройств в пространстве пользователя, доступный, начиная с Linux 6.0.
 ublk тоже копирует память (т.е. не является zero-copy), но по IOPS всё равно обгоняет и
 [NBD](nbd.ru.md), и [VDUSE](qemu.ru.md#vduse), и иногда может даже обгонять VDUSE по
 скорости линейного доступа. Также ublk позволяет оживлять устройства, у которых умер
 сервер (процесс-обработчик vitastor-ublk).
 ## Пример сравнения производительности
 TCP (100G), 3 сервера с 6 NVMe OSD каждый, 3 реплики, один клиент
 |                          | Прямой fio  | NBD         | VDUSE      | UBLK        |
 |--------------------------|-------------|-------------|------------|-------------|
 | линейная запись          | 3807 MB/s   | 1832 MB/s   | 3226 MB/s  | 3027 MB/s   |
 | линейное чтение          | 3067 MB/s   | 1885 MB/s   | 1800 MB/s  | 2076 MB/s   |
 | 4k случайная запись Q128 | 128624 iops | 91060 iops  | 94621 iops | 149450 iops |
 | 4k случайное чтение Q128 | 117769 iops | 153408 iops | 93157 iops | 171987 iops |
 | 4k случайная запись Q1   | 8090 iops   | 6442 iops   | 6316 iops  | 7272 iops   |
 | 4k случайное чтение Q1   | 9474 iops   | 7200 iops   | 6840 iops  | 8038 iops   |
 RDMA (100G), 3 сервера с 6 NVMe OSD каждый, 3 реплики, один клиент
 |                          | Прямой fio  | NBD         | VDUSE       | UBLK        |
 |--------------------------|-------------|-------------|-------------|-------------|
 | линейная запись          | 6998 MB/s   | 1878 MB/s   | 4249 MB/s   | 3140 MB/s   |
 | линейное чтение          | 8628 MB/s   | 3389 MB/s   | 5062 MB/s   | 3674 MB/s   |
 | 4k случайная запись Q128 | 222541 iops | 181589 iops | 138281 iops | 218222 iops |
 | 4k случайное чтение Q128 | 412647 iops | 239987 iops | 151663 iops | 269583 iops |
 | 4k случайная запись Q1   | 11601 iops  | 8592 iops   | 9111 iops   | 10000 iops  |
 | 4k случайное чтение Q1   | 10102 iops  | 7788 iops   | 8111 iops   | 8965 iops   |
 ## Команды
 vitastor-ublk поддерживает следующие команды:
 - [map](#map)
 - [unmap](#unmap)
 - [ls](#ls)
 ## map
 Чтобы создать локальное блочное устройство для образа, выполните команду:
 ```
 vitastor-ublk map [/dev/ublkbN] --image testimg
 ```
 Команда напечатает название блочного устройства вида /dev/ublkb0, которое потом можно
 будет использовать как обычный диск.
 Для обращения по номеру инода, аналогично другим командам, можно использовать опции
 `--pool <POOL> --inode <INODE> --size <SIZE>` вместо `--image testimg`.
 vitastor-ublk поддерживает все обычные опции Vitastor, например, `--config_path <path_to_config>`,
 плюс специфичные для ublk:
 * `--recover` \
  Восстановить ранее подключённое устройство, у которого умер обработчик.
 * `--queue_depth 256` \
  Максимальная глубина очереди устройства.
 * `--max_io_size 1M` \
  Максимальный размер запроса ввода-вывода для устройства. По умолчанию: `max(1 MB, блок данных пула * число частей данных EC)`.
 * `--readonly` \
  Подключить устройство в режиме только для чтения.
 * `--hdd` \
  Пометить устройство как вращающийся жёсткий диск (флаг rotational).
 * `--logfile /path/to/log/file.txt` \
  Писать сообщения о процессе работы в заданный файл, вместо пропуска их
  при фоновом режиме запуска или печати на стандартный вывод при запуске
  в консоли с `--foreground 1`.
 * `--dev_num N` \
  Использовать заданное устройство `/dev/ublkbN` вместо автоматического подбора.
 * `--foreground 1` \
  Не уводить процесс в фоновый режим.
 Обратите внимание, что опции `ublk_queue_depth` и `ublk_max_io_size` можно
 также задавать в `/etc/vitastor/vitastor.conf` или в другом файле конфигурации,
 заданном опцией `--config_path`.
 ## unmap
 Для отключения устройства выполните:
 ```
 vitastor-ublk unmap /dev/ublkb0
 ```
 ## ls
 ```
 vitastor-ublk ls [--json]
 ```
 Вывести подключённые устройства.
 Пример вывода в обычном формате:
 ```
 /dev/ublkb0
 image: bench
 pid: 584536
 /dev/ublkb1
 image: bench1
 pid: 584546
 ```
 Пример вывода в JSON-формате:
 ```
 {"/dev/ublkb0": {"image": "bench", "pid": 584536}, "/dev/ublkb1": {"image": "bench1", "pid": 584546}}
 ```
@@ -18,7 +18,7 @@ class AntiEtcdAdapter
                cluster = cluster ? (''+(cluster||'')).split(/,+/) : [];
            cluster = Object.keys(cluster.reduce((a, url) =>
            {
-                a[url.toLowerCase().replace(/^(https?:\/\/)/, '').replace(/\/.*$/, '')] = true;
+                a[url.toLowerCase().replace(/^(https?:\/\/)?(.*?)(\/.*)?$/, (m, m1, m2) => (m1||'http://')+m2)] = true;
                return a;
            }, {}));
            const cfg_port = config.antietcd_port;
@@ -26,7 +26,8 @@ class AntiEtcdAdapter
            is_local['0.0.0.0'] = true;
            is_local['::'] = true;
            is_local[''] = true;
-            const selected = cluster.map(s => s.split(':', 2)).filter(ip => is_local[ip[0]] && (!cfg_port || ip[1] == cfg_port));
+            // split :, 3 -> <schema>:<//ip>:<port>
            const selected = cluster.map(s => s.split(':', 3)).filter(ip => is_local[ip[1].substr(2)] && (!cfg_port || ip[2] == cfg_port));
            if (selected.length > 1)
            {
                console.error('More than 1 etcd_address matches local IPs, please specify port');
@@ -35,16 +36,30 @@ class AntiEtcdAdapter
            else if (selected.length == 1)
            {
                const antietcd_config = {
-                    ip: selected[0][0],
+                    ip: selected[0][1].substr(2),
-                    port: selected[0][1],
+                    port: selected[0][2],
-                    data: config.antietcd_data_file || ((config.antietcd_data_dir || '/var/lib/vitastor') + '/mon_'+selected[0][1]+'.json.gz'),
+                    cert: config.antietcd_cert,
                    key: config.antietcd_key,
                    ca: config.etcd_ca,
                    data: config.antietcd_data_file || ((config.antietcd_data_dir || '/var/lib/vitastor') + '/mon_'+selected[0][2]+'.json.gz'),
                    persist_filter: vitastor_persist_filter({ vitastor_prefix: config.etcd_prefix || '/vitastor' }),
-                    node_id: selected[0][0]+':'+selected[0][1], // node_id = ip:port
+                    node_id: selected[0][1].substr(2)+':'+selected[0][2], // node_id = ip:port
-                    cluster: (cluster.length == 1 ? null : cluster.reduce((a, c) => { a[c] = "http://"+c; return a; }, {})),
+                    cluster: (cluster.length == 1 ? null : cluster.reduce((a, c) => { a[c.replace(/^(https?:\/\/)/, '')] = c; return a; }, {})),
                    cluster_key: (config.etcd_prefix || '/vitastor'),
                    stale_read: 1,
                    log_level: 1,
                };
                if (config.use_auth)
                {
                    antietcd_config.client_cert_auth = true;
                    antietcd_config.auth_filter = require('./vitastor_auth_filter.js');
                    antietcd_config.peer_ca = config.antietcd_server_ca;
                    if (!config.antietcd_server_ca || config.antietcd_server_ca == config.etcd_ca)
                    {
                        console.error('Secure setup requires separate antietcd_server_ca (for signing antietcd server certificates) and etcd_ca (for signing client certificates)');
                        process.exit(1);
                    }
                }
                for (const key in config)
                {
                    if (key.substr(0, 9) === 'antietcd_')
@@ -169,7 +184,7 @@ class AntiEtcdAdapter
                    await new Promise(ok => setTimeout(ok, timeout-(Date.now()-prev)));
                }
                prev = Date.now();
-                const res = await this.antietcd.api(path.replace(/^\/+/, '').replace(/\/+$/, '').replace(/\/+/g, '_'), body);
+                const res = await this.antietcd.api(path.replace(/^\/+/, '').replace(/\/+$/, '').replace(/\/+/g, '_'), body, { username: 'root' });
                if (res.error)
                {
                    console.error('Failed to query antietcd '+path+' (retry '+retry+'/'+retries+'): '+res.error);
@@ -1,7 +1,9 @@
 // Copyright (c) Vitaliy Filippov, 2019+
 // License: VNPL-1.1 (see README.md for details)
 const fs = require('fs');
 const http = require('http');
 const https = require('https');
 const WebSocket = require('ws');
 const { b64, local_ips } = require('./utils.js');
@@ -15,11 +17,30 @@ class EtcdAdapter
        this.ws = null;
        this.ws_alive = false;
        this.ws_keepalive_timer = null;
        this.opts = {};
    }
    parse_config(config)
    {
        this.parse_etcd_addresses(config.etcd_address||config.etcd_url);
        if (config.mon_etcd_client_cert || config.etcd_client_cert)
        {
            this.opts.cert = config.mon_etcd_client_cert || config.etcd_client_cert;
            if (this.opts.cert.substr(0, 5) != '-----')
                this.opts.cert = fs.readFileSync(this.opts.cert, { encoding: 'utf-8' });
        }
        if (config.mon_etcd_client_key || config.etcd_client_key)
        {
            this.opts.key = config.mon_etcd_client_key || config.etcd_client_key;
            if (this.opts.key.substr(0, 5) != '-----')
                this.opts.key = fs.readFileSync(this.opts.key, { encoding: 'utf-8' });
        }
        if (config.etcd_ca)
        {
            this.opts.ca = config.etcd_ca;
            if (this.opts.ca.substr(0, 5) != '-----')
                this.opts.ca = fs.readFileSync(this.opts.ca, { encoding: 'utf-8' });
        }
    }
    parse_etcd_addresses(addrs)
@@ -39,7 +60,7 @@ class EtcdAdapter
        for (let url of addrs)
        {
            let scheme = 'http';
-            url = url.trim().replace(/^(https?):\/\//, (m, m1) => { scheme = m1; return ''; });
+            url = url.trim().replace(/^(https?):\/\//i, (m, m1) => { scheme = m1.toLowerCase(); return ''; });
            const slash = url.indexOf('/');
            const colon = url.indexOf(':');
            const is_local = is_local_ip[colon >= 0 ? url.substr(0, colon) : (slash >= 0 ? url.substr(0, slash) : url)];
@@ -130,7 +151,7 @@ class EtcdAdapter
                    }
                    ok(false);
                }, this.mon.config.etcd_mon_timeout);
-                this.ws = new WebSocket(base+'/watch');
+                this.ws = new WebSocket(base+'/watch', this.opts);
                this.ws_used_url = cur_addr;
                const fail = () =>
                {
@@ -272,7 +293,7 @@ class EtcdAdapter
            {
                throw new Error(MON_STOPPED);
            }
-            const res = await POST(base+path, body, timeout);
+            const res = await POST(base+path, body, timeout, this.opts);
            if (this.mon.stopped)
            {
                throw new Error(MON_STOPPED);
@@ -298,7 +319,7 @@ class EtcdAdapter
    }
 }
-function POST(url, body, timeout)
+function POST(url, body, timeout, opts)
 {
    return new Promise(ok =>
    {
@@ -310,10 +331,10 @@ function POST(url, body, timeout)
            req = null;
            ok({ error: 'timeout' });
        }, timeout) : null;
-        let req = http.request(url, { method: 'POST', headers: {
+        let req = (url.substr(0, 5) == 'https' ? https : http).request(url, { method: 'POST', headers: {
            'Content-Type': 'application/json',
            'Content-Length': body_text.length,
-        } }, (res) =>
+        }, ...(opts||{}) }, (res) =>
        {
            if (!req)
            {
@@ -16,6 +16,7 @@ const etcd_allow = new RegExp('^'+[
    'config/pools',
    'config/osd/[1-9]\\d*',
    'config/pgs', // old name
    'config/user/.*',
    'pg/config',
    'config/inode/[1-9]\\d*/[1-9]\\d*',
    'osd/state/[1-9]\\d*',
@@ -45,7 +46,14 @@ const etcd_tree = {
            config_path: "/etc/vitastor/vitastor.conf",
            etcd_prefix: "/vitastor",
            // etcd connection - configurable online
-            etcd_address: "10.0.115.10:2379/v3",
+            etcd_address: "http://10.0.115.10:2379/v3",
            etcd_client_cert: "",
            etcd_client_key: "",
            osd_etcd_client_cert: "",
            osd_etcd_client_key: "",
            mon_etcd_client_cert: "",
            mon_etcd_client_key: "",
            etcd_ca: "",
            // mon
            etcd_mon_ttl: 5, // min: 1
            etcd_mon_timeout: 1000, // ms. min: 0
@@ -201,6 +209,8 @@ const etcd_tree = {
                primary_affinity_tags?: 'nvme' | [ 'nvme', ... ],
                // scrub interval
                scrub_interval?: '30d',
                // users allowed to create images in this pool
                creator_group?: '',
            },
            ...
        }, */
@@ -217,10 +227,21 @@ const etcd_tree = {
                    parent_id?: <inode_t>,
                    readonly?: boolean,
                    deleted?: boolean,
                    enc_key?: string,
                    owner?: string,
                    owner_group?: string,
                    reader_group?: string,
                }
            }
        }, */
        inode: {},
        /* user: {
            <username>: {
                type: 'osd'|'mon'|'admin'|'client',
                groups: string[],
            },
        }, */
        user: {},
    },
    osd: {
        state: {
@@ -16,7 +16,7 @@ async function create_http_server(cfg, handler)
        };
        if (cfg.mon_https_ca)
        {
-            tls.mon_https_ca = await fsp.readFile(cfg.mon_https_ca);
+            tls.ca = await fsp.readFile(cfg.mon_https_ca);
        }
        if (cfg.mon_https_client_auth)
        {
@@ -10,16 +10,19 @@ const NO_OSD = 'Z';
 async function lp_solve(text)
 {
    const cp = child_process.spawn('lp_solve');
-    let stdout = '', stderr = '', finish_cb;
+    let stdout = '', stderr = '', finish_cb, finished = 0;
    cp.stdout.on('data', buf => stdout += buf.toString());
    cp.stderr.on('data', buf => stderr += buf.toString());
-    cp.on('exit', () => finish_cb && finish_cb());
+    cp.stdout.on('end', () => finish_cb());
    cp.stderr.on('end', () => finish_cb());
    cp.stdin.write(text);
    cp.stdin.end();
-    if (cp.exitCode == null)
+    await new Promise(ok => (finish_cb = () =>
    {
-        await new Promise(ok => finish_cb = ok);
+        finished++;
-    }
+        if (finished == 2)
            ok();
    }));
    if (!stdout.trim())
    {
        return null;
@@ -96,6 +96,7 @@ class Mon
                    }
                    else
                    {
                        res.setHeader('Content-Type', 'text/plain; version=0.0.4; charset=utf-8');
                        res.write(export_prometheus_metrics(this.state));
                    }
                }
@@ -15,7 +15,7 @@ function get_osd_tree(global_config, state)
        const stat = state.osd.stats[osd_num];
        const osd_cfg = state.config.osd[osd_num];
        let reweight = osd_cfg == null ? 1 : Number(osd_cfg.reweight);
-        if (isNaN(reweight) || reweight < 0 || reweight > 0)
+        if (isNaN(reweight) || reweight < 0 || reweight > 1)
            reweight = 1;
        if (stat && stat.size && reweight && (state.osd.state[osd_num] || Number(stat.time) >= down_time ||
            osd_cfg && osd_cfg.noout))
@@ -87,7 +87,7 @@ function make_hier_tree(global_config, tree)
    tree[''] = { children: [] };
    for (const node_id in tree)
    {
-        if (node_id === '' || !(tree[node_id].children||[]).length && (tree[node_id].size||0) <= 0)
+        if (node_id === '')
        {
            continue;
        }
@@ -179,7 +179,7 @@ function filter_osds_by_block_layout(orig_tree, osd_stats, block_size, bitmap_gr
        if (orig_tree[osd].level === 'osd')
        {
            const osd_stat = osd_stats[osd];
-            if (osd_stat && (osd_stat.bs_block_size && osd_stat.bs_block_size != block_size ||
+            if (osd_stat && (osd_stat.data_block_size && osd_stat.data_block_size != block_size ||
                osd_stat.bitmap_granularity && osd_stat.bitmap_granularity != bitmap_granularity ||
                osd_stat.immediate_commit == 'small' && immediate_commit == 'all' ||
                osd_stat.immediate_commit == 'none' && immediate_commit != 'none'))
@@ -1,6 +1,6 @@
 {
  "name": "vitastor-mon",
-  "version": "2.2.2",
+  "version": "3.0.9",
  "description": "Vitastor SDS monitor service",
  "main": "mon-main.js",
  "scripts": {
@@ -9,7 +9,7 @@
  "author": "Vitaliy Filippov",
  "license": "UNLICENSED",
  "dependencies": {
-    "antietcd": "^1.1.2",
+    "antietcd": "^1.2.4",
    "sprintf-js": "^1.1.2",
    "ws": "^7.2.5"
  },
@@ -9,7 +9,6 @@ const LPOptimizer = require('./lp_optimizer/lp_optimizer.js');
 const { scale_pg_count } = require('./pg_utils.js');
 const { make_hier_tree, filter_osds_by_root_node,
    filter_osds_by_tags, filter_osds_by_block_layout, get_affinity_osds } = require('./osd_tree.js');
 const { select_murmur3 } = require('./lp_optimizer/murmur3.js');
 function pick_primary(pool_id, pg_num, pool_config, osd_set, up_osds, aff_osds)
 {
@@ -39,7 +38,7 @@ function pick_primary(pool_id, pg_num, pool_config, osd_set, up_osds, aff_osds)
    {
        return 0;
    }
-    return alive_set[select_murmur3(alive_set.length, osd_num => pool_id+'/'+pg_num+'/'+osd_num)];
+    return alive_set[pg_num % alive_set.length];
 }
 function recheck_primary(state, global_config, up_osds, osd_tree)
@@ -53,6 +52,7 @@ function recheck_primary(state, global_config, up_osds, osd_tree)
            continue;
        }
        const aff_osds = get_affinity_osds(pool_cfg, up_osds, osd_tree);
        let paused = false;
        for (let pg_num = 1; pg_num <= pool_cfg.pg_count; pg_num++)
        {
            if (!state.pg.config.items[pool_id])
@@ -75,6 +75,19 @@ function recheck_primary(state, global_config, up_osds, osd_tree)
                    );
                    new_pg_config.items[pool_id][pg_num].primary = new_primary;
                }
                paused = paused || !!pg_cfg.pause;
            }
        }
        if (paused)
        {
            if (!new_pg_config)
            {
                new_pg_config = JSON.parse(JSON.stringify(state.pg.config));
            }
            console.log(`Resuming paused pool ${pool_id}`);
            for (const pg in new_pg_config.items[pool_id])
            {
                delete new_pg_config.items[pool_id][pg].pause;
            }
        }
    }
@@ -179,10 +192,10 @@ async function generate_pool_pgs(state, global_config, pool_id, osd_tree, levels
    const rules = use_rules ? get_pg_rules(pool_id, pool_cfg, global_config.placement_levels) : null;
    const folded = fold_failure_domains(Object.values(pool_tree), use_rules ? rules : [ [ [ pool_cfg.failure_domain ] ] ]);
    // FIXME: Remove/merge make_hier_tree() step somewhere, however it's needed to remove empty nodes
-    const folded_tree = make_hier_tree(global_config, folded.nodes);
+    const folded_tree = make_hier_tree(global_config, folded.nodes.reduce((a, c) => { a[c.id] = c; return a; }, {}));
    const old_pg_count = prev_pgs.length;
    const optimize_cfg = {
-        osd_weights: folded.nodes.reduce((a, c) => { if (Number(c.id)) { a[c.id] = c.size; } return a; }, {}),
+        osd_weights: folded.nodes.reduce((a, c) => { if (/^\d+$/.exec(c.id) && c.size != null) { a[c.id] = c.size||0; } return a; }, {}),
        combinator: use_rules
            // new algorithm:
            ? new RuleCombinator(folded_tree, rules, pool_cfg.max_osd_combinations)
@@ -52,15 +52,16 @@ async function run()
        process.exit(1);
    }
    const etcds = (config.etcd_address instanceof Array ? config.etcd_address : (''+config.etcd_address).split(/,/))
-        .map(s => (''+s).replace(/^https?:\/\/\[?|\]?(:\d+)?(\/.*)?$/g, '').toLowerCase());
+        .map(s => (''+s).replace(/^https?:\/\/|(:\d+)?(\/.*)?$/g, '').replace(/^\[(.*)\]$/, '$1').toLowerCase());
    const num = select_local_etcd(etcds);
    if (num < 0)
    {
        console.log('No matching IPs in etcd_address from '+config_path);
        process.exit(0);
    }
    const etcd_url = 'http://' + (etcds[num].indexOf(':') >= 0 ? '['+etcds[num]+']' : etcds[num]);
    const etcd_name = 'etcd'+etcds[num].replace(/[^0-9a-z_]/ig, '_');
-    const etcd_cluster = etcds.map(e => `etcd${e.replace(/[^0-9a-z_]/ig, '_')}=http://${e}:2380`).join(',');
+    const etcd_cluster = etcds.map(e => `etcd${e.replace(/[^0-9a-z_]/ig, '_')}=http://${e.indexOf(':') >= 0 ? '['+e+']' : e}:2380`).join(',');
    if (in_docker)
    {
        let etcd_conf = fs.readFileSync("/etc/vitastor/etcd.conf", { encoding: 'utf-8' });
@@ -83,8 +84,8 @@ Wants=network-online.target local-fs.target time-sync.target
 Restart=always
 Environment=GOGC=50
 ExecStart=etcd --name ${etcd_name} --data-dir /var/lib/etcd/vitastor \\
-    --snapshot-count 10000 --advertise-client-urls http://${etcds[num]}:2379 --listen-client-urls http://${etcds[num]}:2379 \\
+    --snapshot-count 10000 --advertise-client-urls ${etcd_url}:2379 --listen-client-urls ${etcd_url}:2379 \\
-    --initial-advertise-peer-urls http://${etcds[num]}:2380 --listen-peer-urls http://${etcds[num]}:2380 \\
+    --initial-advertise-peer-urls ${etcd_url}:2380 --listen-peer-urls ${etcd_url}:2380 \\
    --initial-cluster-token vitastor-etcd-1 --initial-cluster ${etcd_cluster} \\
    --initial-cluster-state new --max-txn-ops=100000 --max-request-bytes=104857600 \\
    --auto-compaction-retention=10 --auto-compaction-mode=revision
@@ -276,6 +276,10 @@ function sum_inode_stats(state, prev_stats)
        }
        for (const pool_id in osd_diff.inode_stats)
        {
            if (!inode_stats[pool_id])
            {
                continue;
            }
            for (const inode_num in prev_stats.osd_diff[osd].inode_stats[pool_id])
            {
                inode_stats[pool_id][inode_num] = inode_stats[pool_id][inode_num] || inode_stub();
--- a/Show More
+++ b/Show More
`@@ -1,4 +1,4 @@`
	`VITASTOR_VERSION ?= v2.2.2`	`VITASTOR_VERSION ?= v3.0.9`

	`all: build push`	`all: build push`
`@@ -1,4 +1,4 @@`
	`vitastor (2.2.2-1) unstable; urgency=medium`	`vitastor (3.0.9-1) unstable; urgency=medium`

	`* Bugfixes`	`* Bugfixes`
`@@ -1,2 +1,2 @@`
	`deb http://vitastor.io/debian bookworm main`	`deb http://vitastor.io/debian trixie main`
	`deb http://http.debian.net/debian/ bookworm-backports main`	`#deb http://http.debian.net/debian/ trixie-backports main`