Support using buffered I/O with O_SYNC instead of direct I/O

docs/config/src/layout-osd.yml

@@ -244,7 +244,8 @@
     Option 3 is recommended for SSD+HDD setups (because metadata SSDs will handle
     extra reads without any performance drop) and also *maybe* for NVMe all-flash
     setups when you don't have enough RAM (because NVMe drives have plenty
-    of read iops to spare).
+    of read iops to spare). [cached_io_meta](osd.en.md#cached_io_meta) may also
+    help to improve performance in this case for SSD+HDD setups.
   info_ru: |
     Размер блока расчёта контрольных сумм.
 
@@ -275,3 +276,5 @@
     без снижения производительности. Также вариант 3 *может* рекомендоваться
     для All-Flash кластеров на основе NVMe-дисков, когда памяти НЕ достаточно,
     потому что NVMe-диски имеют огромный запас производительности по чтению.
+    Также улучшить производительность для SSD+HDD кластеров в данном случае
+    может помочь параметр [cached_io_meta](osd.ru.md#cached_io_meta).

docs/config/src/osd.yml

@@ -260,6 +260,73 @@
     достаточно 16- или 32-мегабайтного журнала. Однако в теории отключение
     параметра может оказаться полезным для гибридных OSD (HDD+SSD) с большими
     журналами, расположенными на быстром по сравнению с HDD устройстве.
+- name: cached_io_data
+  type: bool
+  default: false
+  info: |
+    Read and write *data* through Linux page cache, i.e. use a file descriptor
+    opened with O_SYNC, but without O_DIRECT for I/O. May improve read
+    performance for hot data and slower disks - HDDs and maybe SATA SSDs.
+    Not recommended for desktop SSDs without capacitors because O_SYNC flushes
+    disk cache on every write.
+  info_ru: |
+    Читать и записывать *данные* через системный кэш Linux (page cache), то есть,
+    использовать для данных файловый дескриптор, открытый без флага O_DIRECT, но
+    с флагом O_SYNC. Может улучшить скорость чтения для относительно медленных
+    дисков - HDD и, возможно, SATA SSD. Не рекомендуется для потребительских
+    SSD без конденсаторов, так как O_SYNC сбрасывает кэш диска при каждой записи.
+- name: cached_io_meta
+  type: bool
+  default: false
+  info: |
+    Read and write *metadata* through Linux page cache. May improve read
+    performance only if your drives are relatively slow (HDD, SATA SSD), and
+    only if checksums are enabled and [inmemory_metadata](#inmemory_metadata)
+    is disabled, because in this case metadata blocks are read from disk
+    on every read request to verify checksums and caching them may reduce this
+    extra read load.
+
+    Absolutely pointless to enable with enabled inmemory_metadata because all
+    metadata is kept in memory anyway, and likely pointless without checksums,
+    because in that case, metadata blocks are read from disk only during journal
+    flushing.
+
+    If the same device is used for data and metadata, enabling [cached_io_data](#cached_io_data)
+    also enables this parameter, given that it isn't turned off explicitly.
+  info_ru: |
+    Читать и записывать *метаданные* через системный кэш Linux. Может улучшить
+    скорость чтения, если у вас медленные диски, и только если контрольные суммы
+    включены, а параметр [inmemory_metadata](#inmemory_metadata) отключён, так
+    как в этом случае блоки метаданных читаются с диска при каждом запросе чтения
+    для проверки контрольных сумм и их кэширование может снизить дополнительную
+    нагрузку на диск.
+
+    Абсолютно бессмысленно включать данный параметр, если параметр
+    inmemory_metadata включён (по умолчанию это так), и также вероятно
+    бессмысленно включать его, если не включены контрольные суммы, так как в
+    этом случае блоки метаданных читаются с диска только во время сброса
+    журнала.
+
+    Если одно и то же устройство используется для данных и метаданных, включение
+    [cached_io_data](#cached_io_data) также включает данный параметр, при
+    условии, что он не отключён явным образом.
+- name: cached_io_journal
+  type: bool
+  default: false
+  info: |
+    Read and write *journal* through Linux page cache. May improve read
+    performance if [inmemory_journal](#inmemory_journal) is turned off.
+
+    If the same device is used for metadata and journal, enabling [cached_io_meta](#cached_io_meta)
+    also enables this parameter, given that it isn't turned off explicitly.
+  info_ru: |
+    Читать и записывать *журнал* через системный кэш Linux. Может улучшить
+    скорость чтения, если параметр [inmemory_journal](#inmemory_journal)
+    отключён.
+
+    Если одно и то же устройство используется для метаданных и журнала,
+    включение [cached_io_meta](#cached_io_meta) также включает данный
+    параметр, при условии, что он не отключён явным образом.
 - name: journal_sector_buffer_count
   type: int
   default: 32