文章目录

• 多路径软件multipath介绍
• • 多路径软件描述
  • 多路径软件的优势
  • multipath包含的组件
  • multipath 命令
  • 显示多路径拓扑
  • 路径状态
• 安装multipath软件
• • RHEL/CentOS
  • Ubuntu
• 初始化配置文件
• • RHEL/CentOS
  • Ubuntu
• 自定义多路径配置
• • 查看默认配置
  • 关于配置文件结构描述
  • 配置文件blacklist段
  • 配置文件defaults段
  • 配置文件multipaths段
  • 配置文件devices段
  • 配置文件voverrides段
  • DM multipath管理和排障
  • 多路径常用操作
  • resize多路径设备
• 附件-multipath.conf参数项

多路径软件multipath介绍

多路径软件描述

使用设备映射器多路径（DM Multipath），您可以将服务器节点和存储阵列间的多个 I/O 路径配置为单一设备。这些 I/O 路径是可包含独立电缆、交换机和控制器的物理 SAN 连接。

多路径聚合了 I/O 路径并生成由聚合路径组成的新设备。

多路径软件的优势

• DM 可以提供路径冗余：DM 多路径可在主动/被动（active/passive）配置中提供故障切换。在主动/被动配置中，任何时候只有路径的子集用于 I/O。如果 I/O 路径的任何元素（如电缆、交换机或控制器）出现故障，DM 多路径会切换到备用路径。
• DM还可以提供性能优化：可将 DM 多路径配置为主动/主动模式，其中将 I/O 以轮循（round-robin）方式分布到所有路径中。在某些配置中，DM-Multipath 可以检测 I/O 路径上的加载，并动态重新平衡负载。

multipath包含的组件

multipath 命令

multipath 命令用于检测和组合到设备的多个路径。它提供不同的选项来管理您的多路径设备。

下表描述了可能会用到的 multipath 命令的一些选项。

显示多路径拓扑

要有效地监控路径，对多路径问题进行故障排除，或者检查多路径配置是否正确，您可以显示多路径拓扑。

流程

1. 显示多路径设备拓扑：

   # multipath -ll
   mpatha (3600d0230000000000e13954ed5f89300) dm-4 WINSYS,SF2372
   size=233G features='1 queue_if_no_path' hwhandler='0' wp=rw
   `-+- policy='service-time 0' prio=1 status=active
    `- 6:0:0:0 sdf 8:80 active ready running
   

   输出可以被分成三个部分。每个部分都显示以下组的信息：

   • 多路径设备信息：

     • mpatha (3600d0230000000000e13954ed5f89300): 别名 (如果与别名不同，则为 wwid)
     • dm-4: dm 设备名称
     • WINSYS,SF2372: 供应商，产品
     • size=233G: 大小
     • features='1 queue_if_no_path': 功能
     • hwhandler='0': 硬件处理器
     • wp=rw: 写权限

   • 路径组信息：

     • policy='service-time 0': 调度策略
     • prio=1 ：路径组优先级
     • status=active: 路径组状态

   • 路径信息：

     • 6:0:0:0: host:channellun

     • sdf: devnode

     • 8:80: major:minor 号

     • active: dm status

     • ready ：路径状态

     • running ：在线状态

       有关 dm、路径和在线状态的更多信息，请参阅 路径状态。

用于列出、创建或重新载入多路径设备的其他多路径命令也会显示设备拓扑。但是，某些信息可能未知，并在输出中显示为 undef。这是正常的行为。使用 multipath -ll 命令查看正确的状态。

注意：

在某些情况下，如创建多路径设备，多路径拓扑会显示一个参数，这代表是否采取了任何操作。例如，以下命令输出显示create: 参数，来表示创建了一个多路径设备：

create: mpatha (3600d0230000000000e13954ed5f89300) undef WINSYS,SF2372
size=233G features='1 queue_if_no_path' hwhandler='0' wp=undef
`-+- policy='service-time 0' prio=1 status=undef `- 6:0:0:0 sdf 8:80 undef ready running

路径状态

multipathd 守护进程会根据 /etc/multipath.conf 文件中定义的轮询间隔定期对路径状态进行更新。就内核而言，dm 状态与路径状态类似。dm 状态将保留其当前状态，直到路径检查程序完成为止。

• 路径状态

  ready, ghost该路径已启动并准备好进行 I/O。

  faulty, shaky路径为停用。

  i/o pending检查程序正积极检查此路径，状态将很快更新。

  i/o timeout检查程序在超时之前没有返回success/failure。这被认为与 faulty 一样。

  removed该路径已从系统中删除，很快也将从多路径设备中删除。这被认为与 faulty 一样。

  wild multipathd 无法运行路径检查程序，因为内部错误或配置问题。这与 faulty 相同，除了多路径会跳过路径上的许多操作。

  unchecked路径检查程序还没有在此路径上运行，要么是因为它刚刚被发现，还没有一个分配的路径检查程序，要么是路径检查程序遇到了错误。这与 wild 相同。

  delayed路径检查程序返回路径已启动，但多路径会延迟路径的恢复，因为路径最近失败了多次，且多路径已被配置为在此种情况下延迟路径。这被认为与 faulty 一样。

• DM 状态

  Active映射到 ready 和 ghost 路径状态。

  Failed映射到所有其他路径的状态，除了 没有等效的 dm 状态的 i/o pending 。

• 在线状态

  Running设备已启用。

  Offline设备已禁用。

安装multipath软件

RHEL/CentOS

老版本：
# yum install device-mapper-multipath
8之后：
# dnf install device-mapper-multipath

Ubuntu

$ sudo apt-update
$ sudo apt-get install multipath-tools multipath-tools-boot

初始化配置文件

第一次安装multipath后，是没有配置文件/etc/multipath.conf的，可以手动创建或者从模板拷贝。

RHEL/CentOS

• 创建一个空配置

# mpathconf --enable

• 将 DM 多路径配置为使用多路径设备 WWID 作为其名称，而不是 mpath_n_ 用户友好命名方案：

# mpathconf --enable --user_friendly_names n

• 从模板拷贝配置文件

cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf  /etc/multipath.conf

• 通过multipath内置的配置库获取默认的配置文件

1.手动创建一个空的multipath.conf文件

# touch /etc/multipath.conf

2.使用如下命令获取内置配置

# echo "show config" | multipathd -k >/etc/multipath.conf

重新载入配置

# systemctl reload multipathd.service
# systemctl start multipathd.service

验证配置结果

# ls /dev/mapper/

• 查看默认配置

# multipath -t

Ubuntu

• 从模板拷贝配置

# cp /usr/share/doc/multipath-tools/examples /etc/multipath.conf

• 从内部配置库获取配置文件

# touch /etc/multipath.conf --//创建一个空配置
# systemctl restart multipath-tools.service --//重启服务
# echo 'show config' | multipathd -k > multipath.conf-live --//生成内部配置

• 手动创建一个配置文件，然后编辑内容

重启服务，重新加载配置

# systemctl restart multipath-tools.service

自定义多路径配置

查看默认配置

# multipathd show config
# multipath -t

关于配置文件结构描述

在DM的配置文件中可以有以下几类配置项：

• blacklist

  不视为多路径的特定设备列表。

• blacklist_exceptions

  根据 blacklist 部分的参数，列出其他将被忽略的多路径设备。

• defaults

  DM 多路径的常规默认设置。

• multipaths

  各个多路径设备特性的设置。这些值会覆盖在配置文件中的 overrides, devices, 和 defaults 部分指定的值。

• devices

  各个存储控制器的设置。这些值覆盖了在 配置文件的 defaults 部分中指定的内容。如果您使用默认不支持的存储阵列，您可能需要为阵列创建 devices 子部分。

• overrides

  适用于所有设备的设置。这些值覆盖了在配置文件的 devices 和 defaults 部分中指定的值。

当系统决定多路径设备的属性时，它会按照以下顺序检查 multipath.conf 文件中的单独部分的设置：

1. multipaths 部分
2. overrides 部分
3. devices 部分
4. defaults 部分

配置文件blacklist段

blacklist中设置不被DM配置的本地磁盘设备，通常有以下几种方式：

1. 通过设备的WWID设置

   获取到本地设备，如sda的wwid

   # multipathd show paths raw format "%d %w" | grep sda
   sda WDC_WD800JD-75MSA3_WD-WMAM9FU71040
   

   编辑/etc/multipath.conf文件如下：

   blacklist { 
      wwid WDC_WD800JD-75MSA3_WD-WMAM9FU71040
   }
   

2. 通过设备名称设置

   使用devnode 本地磁盘设备名称设置blacklist。

   blacklist { 
    devnode "^sd[a-z]"
   }
   

   此方式不太推荐，因为如果某些设备不经udev规则绑定，可能在系统重启后，设备名称会发生变化。

3. 通过设备类型设置

   通过特定的设备类型，屏蔽某些特定型号的设备。

   blacklist { 
    	device { 
    		vendor "IBM"
    		product "3S42" #DS4200 Product 10
    	}
    	device { 
    		vendor "HP"
    		product "*"
    	}
   }
   

配置文件defaults段

参见文档： multipath默认参数值.xlsx

配置文件multipaths段

使用 multipath.conf 配置文件的 multipaths 部分设置单个多路径设备的属性。设备映射器(DM)多路径使用这些属性覆盖所有其他配置设置，包括 overrides 部分中的设置。

multipaths 部分仅将 multipath 子部分识别为属性。下表显示了您可以在 multipath 子部分中为每个特定多路径设备设置的属性。

以下列表中的属性是可选的。如果没有设置它们，则会应用来自 overrides, devices, 或 defaults 部分中的默认值。以下这些属性的设置可以参考 配置默认设置 章节

• path_grouping_policy
• path_selector
• prio
• prio_args
• failback
• no_path_retry
• rr_min_io
• rr_min_io_rq
• flush_on_last_del
• features
• reservation_key
• user_friendly_names
• deferred_remove
• san_path_err_threshold
• san_path_err_forget_rate
• san_path_err_recovery_time
• marginal_path_err_sample_time
• marginal_path_err_rate_threshold
• marginal_path_err_recheck_gap_time
• marginal_path_double_failed_time
• delay_watch_checks
• delay_wait_checks
• skip_kpartx
• max_sectors_kb
• ghost_delay

配置文件devices段

使用 multipath.conf 配置文件的 devices 部分为单个存储控制器类型定义设置。本节中设置的值覆盖 defaults 部分中的指定的值。系统根据 vendor, product, 和 revision 关键字标识存储控制器类型。这些关键字是正则表达式，必须与有关特定设备的 sysfs 信息匹配。

devices 部分仅将 device 子部分识别为属性。如果某个设备有多个关键字匹配，则所有匹配条目的属性都将应用到其中。如果在多个匹配的 device 子部分中指定属性，则后续版本的条目优先于任何之前条目。

Linux 内核，版本 4.3 及更新版本会自动将设备处理程序附加到已知设备。这包括支持 SCSI-3 ALUA 的所有设备。之后，内核不会启用更改处理程序。在这些内核上设置此类设备的 hardware_handler 属性不会起作用。

以下列表中的属性是可选的。如果没有设置它们，则应用 defaults 部分中的默认值。有关这些属性的完整描述，请参阅配置文件默认值。

• path_grouping_policy
• uid_attribute
• getuid_callout
• path_selector
• path_checker
• prio
• prio_args
• failback
• alias_prefix
• no_path_retry
• rr_min_io
• rr_min_io_rq
• flush_on_last_del
• features
• reservation_key
• user_friendly_names
• deferred_remove
• san_path_err_threshold
• san_path_err_forget_rate
• san_path_err_recovery_time
• marginal_path_err_sample_time
• marginal_path_err_rate_threshold
• marginal_path_err_recheck_gap_time
• marginal_path_double_failed_time
• delay_watch_checks
• delay_wait_checks
• skip_kpartx
• max_sectors_kb
• ghost_delay
• all_tg_pt

配置文件voverrides段

overrides 部分可以识别可选的 protocol 子部分，并可包含多个 protocol 子部分。系统使用强制 type 属性将路径设备与 protocol 子匹配。匹配 protocol 子部分中的属性优先于其它 overrides 部分中的属性。如果有多个匹配的 protocol 子部分，则后续条目具有更高的优先级。

protocol 子部分识别以下强制属性：

以下列表中的属性对于 protocol 子部分是可选的。如果没有设置它们，则应用来自 overrides, devices 或 defaults 部分中的默认值。

• fast_io_fail_tmo
• dev_loss_tmo
• eh_deadline

DM multipath管理和排障

多路径常用操作

1. 查看当前多路径拓扑，显示当前所有可用路径

   # multipath -ll
   

2. 清除所有未使用的路径，然后重新扫描路径

   # multipath -F && multipath -rr
   

3. 显示检测路径，合并路径等过程信息

   # multipath -v2
   # multipath -v3
   

4. 显示路径

   # multipathd show paths
   

5. 显示multipathd后台服务的PID

   # multipathd show daemon
   

6. 显示当前多路径加载的所有配置

   # echo 'show config' | multipathd -k
   

resize多路径设备

1. 存储侧resize LUN设备

2. 主机侧执行

   # multipath -l
   

   查看当前多路径拓扑

3. 主机侧执行

   # echo 1 > /sys/block/device_name/device/rescan
   

   向rescan文件写入1，触发SCSI驱动器重新扫描SCSI设备。

4. resize 多路径设备

   # multipathd -k 'resize map mpatha'
   

5. resize文件系统

   # resize2fs /dev/mapper/mpatha
   

附件-multipath.conf参数项