Add an alternative RDMA implementation via RDMA-CM
Required for non-RoCE cards: iWARP and, possibly, Infiniband
This commit is contained in:
@@ -12,6 +12,8 @@
|
||||
- [tcp_header_buffer_size](#tcp_header_buffer_size)
|
||||
- [use_sync_send_recv](#use_sync_send_recv)
|
||||
- [use_rdma](#use_rdma)
|
||||
- [use_rdmacm](#use_rdmacm)
|
||||
- [disable_tcp](#disable_tcp)
|
||||
- [rdma_device](#rdma_device)
|
||||
- [rdma_port_num](#rdma_port_num)
|
||||
- [rdma_gid_index](#rdma_gid_index)
|
||||
@@ -61,11 +63,34 @@ Vitastor содержат 128-байтные заголовки, за котор
|
||||
- Тип: булево (да/нет)
|
||||
- Значение по умолчанию: true
|
||||
|
||||
Пытаться использовать RDMA для связи при наличии доступных устройств.
|
||||
Отключите, если вы не хотите, чтобы Vitastor использовал RDMA.
|
||||
TCP-клиенты также могут работать с RDMA-кластером, так что отключать
|
||||
RDMA может быть нужно только если у клиентов есть RDMA-устройства,
|
||||
но они не имеют соединения с кластером Vitastor.
|
||||
Попробовать использовать RDMA через libibverbs для связи при наличии
|
||||
доступных устройств. Отключите, если вы не хотите, чтобы Vitastor
|
||||
использовал RDMA. TCP-клиенты также могут работать с RDMA-кластером,
|
||||
так что отключать RDMA может быть нужно, только если у клиентов есть
|
||||
RDMA-устройства, но они не имеют соединения с кластером Vitastor.
|
||||
|
||||
`use_rdma` работает с RoCEv1/RoCEv2 сетями, но не работает с iWARP и
|
||||
может не работать с частью конфигураций Infiniband, требующих RDMA-CM.
|
||||
Рассмотрите включение `use_rdmacm` для таких сетей.
|
||||
|
||||
## use_rdmacm
|
||||
|
||||
- Тип: булево (да/нет)
|
||||
- Значение по умолчанию: true
|
||||
|
||||
Использовать альтернативную реализацию RDMA на основе RDMA-CM (Connection
|
||||
Manager). Работает со всеми типами RDMA-сетей: Infiniband, iWARP и
|
||||
RoCEv1/RoCEv2, и даже позволяет полностью отключить TCP и работать
|
||||
только на RDMA. Когда опция включена, OSD слушают один и тот же порт
|
||||
на одних и тех же адресах через TCP и RDMA-CM. Также при включении
|
||||
автоматически отключается опция `use_rdma`.
|
||||
|
||||
## disable_tcp
|
||||
|
||||
- Тип: булево (да/нет)
|
||||
- Значение по умолчанию: true
|
||||
|
||||
Полностью отключить TCP и использовать только RDMA-CM для соединений с OSD.
|
||||
|
||||
## rdma_device
|
||||
|
||||
@@ -97,13 +122,14 @@ Control) и ECN (Explicit Congestion Notification).
|
||||
## rdma_port_num
|
||||
|
||||
- Тип: целое число
|
||||
- Значение по умолчанию: 1
|
||||
|
||||
Номер порта RDMA-устройства, который следует использовать. Имеет смысл
|
||||
только для устройств, у которых более 1 порта. Чтобы узнать, сколько портов
|
||||
у вашего адаптера, посмотрите `phys_port_cnt` в выводе команды
|
||||
`ibv_devinfo -v`.
|
||||
|
||||
Опция неприменима к RDMA-CM (use_rdmacm).
|
||||
|
||||
## rdma_gid_index
|
||||
|
||||
- Тип: целое число
|
||||
@@ -120,13 +146,14 @@ libibverbs < v32.
|
||||
|
||||
Правильный rdma_gid_index для RoCEv2, как правило, 1 (IPv6) или 3 (IPv4).
|
||||
|
||||
Опция неприменима к RDMA-CM (use_rdmacm).
|
||||
|
||||
## rdma_mtu
|
||||
|
||||
- Тип: целое число
|
||||
- Значение по умолчанию: 4096
|
||||
|
||||
Максимальная единица передачи (Path MTU) для RDMA. Должно быть равно 1024,
|
||||
2048 или 4096. Обычно нет смысла менять значение по умолчанию, равное 4096.
|
||||
2048 или 4096. По умолчанию используется значение MTU RDMA-устройства.
|
||||
|
||||
## rdma_max_sge
|
||||
|
||||
|
||||
Reference in New Issue
Block a user