SCST中readme的翻译和fc的相关说明

测试环境列表：

服务器端(target)：

            服务器型号：    NP370D2

            光纤卡：       1块，型号QLA 2460

            内核版本：        Linux 2.6.24

            所需软件包：    scst-1.0.1.1(SCST core )

                            scstadmin-1.0.6 (简化scst配置的工具软件)

                            qla_isp-1.0.2(针对SCST core的FC卡驱动)

    客户端(Initiator)：

            服务器型号：    AS500N2

            光纤卡：        1块，型号QLA2460

            内核版本：        Red Hat 企业版5 (kernel 2.6.18)

            所需软件包：    qlafc-linux-8.02.23-3 (FC卡驱动)

                            standalone_sansurfer5.0.1b57_linux（FC卡管理软件）

环境搭建详细过程：

    一．Target端配置

    以下是target端的配置方法：

(1)首先配置target 端，给内核打补丁：

        Type: patch -p0 scst_exec_req_fifo-2.6.X.patch

             patch -p0 io_context-2.6.X.patch

内核必须关闭HIGHMEM（通过make menuconfig中配置），否则scst_user模块是无法加载上去的

(2)编译和安装SCST模块

     进入到scst-1.0.1.1目录中

     Type: make

          make install 

(3)加载SCST模块（scst.ko）

     Type: cd /lib/modules/2.6.18-92.e15/extra

            modprobe scst

(4)加载所需要的device handlers模块

    测试实验中加载scst_vdisk.ko模块，所以可以用如下的命令进行加载：

Type: cd /lib/modules/2.6.18-92.e15/extra/Devicehandlers

modprobe scst_vdisk  

（5）编译和安装qla_isp-1.0.1。

         进入到qla_isp-1.0.1目录中

Type: make

               make install .

          加载qla_isp模块（isp_scst.ko和isp_mod.ko）

Type: cd /lib/modules/2.6.18-92.e15/extra

modprobe isp_scst.ko

    (6) 编译和安装scstadmin-1.0.6

     进入到scstadmin-1.0.6目录中

Type: make

          make install

    下面就可以通过scstadmin配置scst，进行虚拟磁盘映射：

（1）  Target Driver配置

     Enable target mode for driver at specified WWN or host.

     Type: scstadmin -enable localhost

（2）Device配置

     向相应的handler添加设备

     Type: scstadmin -adddev disk01 -handler vdisk -path /dev/sda -blocksize 512

     用cat /proc/scsi_tgt/vdisk/vdisk 查看新加入的设备

    （3）Group配置

            可以创建一个新的组，也可以使用默认的组Default

Type: scstadmin -addgroup HOST01

     ls –l /proc/scsi_tgt/groups/

（4）向Group中添加设备

    Type: scstadmin -assigndev disk01 -group Default -lun 0

        注意事项：每个group中的Lun号必须从0开始。

        可以查看添加进组的设备：

Type: cat /etc/sc  st.conf

此处也可以输入scstadmin –help查看命令用法

（5）向配置文件写入配置，刷新配置文件

Type：scstadmin –writeconfig /etc/scst.config

以下是Initiator端的配置方法

（1）首先安装FC卡驱动程序qlafc-linux-8.02.23-3

进入到qlafc-linux-8.02.23-3-install目录中

Type: ./qlinstall

（2）FC管理工具安装：

standalone_sansurfer5.0.1b57_linux解压缩

Type:  chmod 755 standalone_sansurfer5.0.1b57_linux_install.bin

      . /standalone_sansurfer5.0.1b57_linux_install.bin

（3）默认的安装路径是: /opt/QLogic_Corporation/SANsurfer, 进入该路径，找到SANsurfer，运行。此处必须在linux图形界面下运行，如果没有安装X窗口管理器必须安装X窗口管理器后运行。

         点击collect。

        运行qlafc-linux-8.02.23-3-install\\LinuxTools中的ql-dynamic-tgt-lun-disc.sh脚本自动搜寻target端映射过来的卷。

（4）在终端输入fdisk –l 应该可以看到target端挂载的device。

至此，整个FC-scst平台的搭建过程就结束了。

说明： 

        （1）scst通过/proc文件系统，从内核态向用户态输出交互信息。

    可以通过查看c目录下的文件了解详细信息。

            Help文件，提供了scst配置命令。换句话说，我们可以不使用scstadmin配置工具，直接使用help里列出的命令配置scst，不过比较繁琐                scsi-tgt文件，可以设置    scst设备到dev handlers。使用lsscsi命令查看H:C:I:L命名的HANDLER_NAME(host:channel:id:lun)。 

               Sessions文件，列出了当前已链接的发起端initiators。

            Sgv文件 提供了一些关于远端命令的统计。主要是统计这些命令的block size和  sgv-pool的命中率。

            Threads文件，允许读取和设置scst的线程数。

            Version文件，显示scst的版本信息

            Trace-level文件，可以读取并且设置SCST的跟踪调试级别。Help文件中有开起此debug的命令。

            每一个dev handler都有自己的子目录。大多数dev handler在自己的子目录下只有两个文件（dev handler可以理解为scst core的插件，对各种设备的支持）。这两个文件为trace_level和type 。trace-level 与/proc/scsi_tgt下的trace_level 相似。Type文件显示了这个handler的scsi类型号和一些文本描述。

----------------------------------------------

Access and devices visibility management (LUN masking)     

LUN masking允许一个initiator端或者一组initiators看到不同的lun和不同的访问权限。

SCST支持两种访问控制模式

target-oriented。在这种模式，你确定每一个target设备和它的lun，这些设备会被所有的 initiators连接到。这是一种常规存取控制模式。比如IET仅仅支持这种模式。在这种模式下，你必须创建一个名字为“Default_TARGET_NAME”的安全组，TARGET_NAME为target的名字。比如“Default_iqn.2007-05.com.example:storage.disk1.sys1.xyz”为target“iqn.2007-05.com.example:storage.disk1.sys1.xyz”创建。然后把所有的LUNs添加到这个组里，使这些LUN可以被target使用。

Initiator-oriented。这种模式下，你确定哪个设备和他们的LUNs可以对initiator可见。这种模式下，必须为每个或者一些initiators创建的组，这些initiators只能访问相同的设备和LUNs，然后添加允许访问的设备和名字到这个组里。

这两种模式可以同时使用。同时使用时initiator-oriented模式比target-oriented有更高的优先级。

当一个target driver把自己注册进SCST core时，它会把自己的名字通知给scst core。然后，远端发起一个新的链接时，target driver把这个链接注册进scst core并且把远端链接的名字传递给scst core。Scst core 使用下面的规则找到相应的设备：

搜索所有被创建的组，试图找到包含发起端名字的组。如果成功，被找到的组会被使用。

否则，它搜索所有的组试图找到名字为Default_TARGET_NAME的组，如果成功，被找到的组会被使用。

否则，名字为Default的默认组被使用。这个组是一直存在的，但是默认是空的。

Target和initiator的名字可以在kernel日志中看到，kernel log中scst会报告组会话的分配情况。

在/proc/scsi_tgt中，每个组被描绘成“group/GROUP_NAME/”子目录。里面有“device”和“names”文件。“device”列出了设备和他们在组里的LUNs号，“names”列出了允许访问这个组的发起端的名称。

为了配置access and devices visibility management，scst提供了/proc/scsi_tgt里面的文件和目录：

向/proc/scsi_tgt/scsi_tgt写“add_group GROUP” 添加组写 “del_group GROUP”删除组。

向/proc/scsi_tgt/groups/GROUP/devices 写“add H:C:I:L lun [READ_ONLY]”添加（host：channel：id：lun）的设备。设备可能会被标记为只读。找出H：C:：I：L的方法是用lsscsi 命令。

写“del H:C:I:L”到/proc/scsi_tgt/groups/GROUP/devices可以删除为host：channel：id：lun的设备。可用lsscsi查看H：C：I：L。

写“add V_NAME lun [READ_ONLY]”到/proc/scsi_tgt/groups/GROUP/devices添加名字为V_NAME LUN号为lun的虚拟设备到GROUP 中。设备会被标记为只读。

写“del V_NAME”到/proc/scsi_tgt/groups/GROUP/devices删除GROUP组中名字为“V_NAME”的设备。

写“clear”到/proc/scsi_tgt/groups/GROUP/devices清除 GROUP 组的所有设备。

“add NAME”到/proc/scsi_tgt/groups/GROUP/names添加名为NAME到组GROUP中。NAME 可以使用简单的 DOS类型的方式，包含‘*’和‘?’。‘*’意味着匹配所有符号，‘？’意味着匹配任何单独的符号。比如，“blah.xxx”可以使用“bl?h.*”匹配。

“del NAME”到/proc/scsi_tgt/groups/GROUP/names从名为 GROUP的组中删除名字为NAME。

“clear”到/proc/scsi_tgt/groups/GROUP/names清除组GROUP中所有的名单。

例如：

- "echo "add 1:0:1:0 0" >/proc/scsi_tgt/groups/Default/devices"会添加真实的设备位于host 1, channel 0, ID 1, LUN 0 到 "Default"组的  LUN 0。

"echo "add disk1 1" >/proc/scsi_tgt/groups/Default/devices" 可以添加名为disk1到Default组，lun号为1。

"echo "21:*:e0:?b:83:*'" >/proc/scsi_tgt/groups/LAB1/names"会添加一个类型，从LAB1中匹配WWN的光纤端口。

假设你有一个名字为"iqn.2007-05.com.example:storage.disk1.sys1.xyz"的iSCSI target（在iscsi-scst.conf中定义）。并且应该输出到虚拟设备“dev1”Lun为“0”，虚拟设备“dev2”Lun为“1”。但是名字为"iqn.2007-05.com.example:storage.disk1.spec_ini.xyz"的发起端应该只能看到“dev2”Lun为“0”的设备。为了达到目的，你应该输入如下命令：

# echo "add_group Default_iqn.2007-05.com.example:storage.disk1.sys1.xyz" >/proc/scsi_tgt/scsi_tgt

# echo "add dev1 0" >/proc/scsi_tgt/groups/Default_iqn.2007-05.com.example:storage.disk1.sys1.xyz/devices

# echo "add dev2 1" >/proc/scsi_tgt/groups/Default_iqn.2007-05.com.example:storage.disk1.sys1.xyz/devices

# echo "add_group spec_ini" >/proc/scsi_tgt/scsi_tgt

# echo "add iqn.2007-05.com.example:storage.disk1.spec_ini.xyz" >/proc/scsi_tgt/groups/spec_ini/names

# echo "add dev2 0" >/proc/scsi_tgt/groups/spec_ini/devices

建议使用scstadmin命令代替底层接口命令。

注意：在每个安全组中LUN 必须从0开始。比如lun号不能从1开始，这样你在远端不能看到设备，SCST core会向kernel log写 "tgt_dev

for LUN 0 not found, command to unexisting LU?"。

测试过程

经过阅读文档发现，FC的访问权限是根据光纤WWN port号确定的，如果不指定WWN port，则访问默认的Default组，否则访问带有WWN port name 的组。

（1）在target端

        Type:scstadmin –session

查看当前FC使用的组名称和FC卡的WWN port号，输出信息如下

可以看到默认情况下是Default组，光纤卡WWN号为21:00:00:1b:32:92:e2:d2(Initiator Name)

注意：在Initiator端也可以查看FC卡的WWN port，在Initiator端输入

        Type：cat /proc/scsi/qla2xxx/0 |grep port

    scsi-qla0-adapter-port=2100001b3292e2d2;与上面结果是一样的。

（2）新建一个组

        Type：scstadmin –addgroup testgroup    

    （3）将要控制访问的WWN号加入到新建组中

        Type：scstadmin –adduser 21:00:00:1b:32:92:e2:d2 –group testgroup

（4）在新建的组里添加一个虚拟磁盘(注意，每个组lun号必须从0开始)

        Type：scstadmin –assigndev fc0 –group testgroup –lun 0

（5）从起光纤服务

     必须从新启动光纤服务才能从置配置(disable后会断开连接，enable开启连接)。

Type：echo “disable all” >/proc/scsi_tgt/qla_isp/x

        echo  “enable all”>/proc/ scsi_tgt/qla_isp/x

X代表一个数字，qla_isp下有一个文件名为数字的文件，它是几x就写几。

（6）查看新建的会话。

     Type：scstadmin –session 

这时已经把控制组改为testgroup了。这个组下的设备只能被唯一的Initiator看到。

（7）在Initiator端，从起计算机后，用lsscsi命令可以看到testgroup下的映射过来的设备，达到了控制访问设备的目的。

注意：所有的访问控制必须完全的在target驱动加载之前，当你读取或者开启一个target驱动时，比如qla2x00t，它会立即开始接受新的连接，创建新的会话，这些新的会话会使用当前配置的访问控制设置。比如你想把“Default”组换成“HOST004”，因为“HOST004”还未存在。所以在远端的新链接创建之前，必须配置完成所有的安全组。比如在加载target驱动前配置。

最安全的方法是在任何target驱动加载之前配置所有的访问控制，然后仅仅为一个新的远端连接添加新的设备到一个新组。或者是添加新设备到旧的组里，但是不要改变现有的Luns。

VDISK 插件

当加载vdisk模块后，会在/proc/scsi_tgt/目录下创建一个vdisk和一个vcdrom子目录。他们有相似的输出：

-“trace-level”和“type”文件与其他模块此功能类似。

-“help”文件提供了vdisk命令的帮助。

-“vdisk/vcdrom”文件，提供当前添加的设备信息。

Cat /proc/scsi_tgt/vdisk/vdisk时的option选项。

WRITE_THROUGH，写缓存关闭。注意，这个选项只有你手动关闭所有的后端存储设备的写回模式后，才工作。

READ_ONLY 只读模式

O_DIRECT读写缓存都关闭。这个模式目前没有完全的起作用，在这种模式下，必须同时使用用户空间的fileio_tgt 程序。

NULLIO这个模式没有真正的IO操作，但是会成功的返回。使用这个模式测试性能。

NV_CACHE开启非易失性的缓存模式。这个模式假设target端有UPS ，当关闭target端时或者有软硬件bug时，cache的数据会保存在media中。

BLOCKIO通过页缓存在块设备上直接进行块操作。这个模式完美地工作在高端存储HBAs。针对应用，既不需要在应用与磁盘之间的缓存，也不需要大的块数据吞吐。这个模式在下面几种情况下工作的最合适：

（1）数据小于4K扇区，使用小于4K的块大小。经常应用在虚拟环境中。

（2）大的块数据传输，比如流媒体。

（3）关系数据库。

（4）多个target层提供一个一致的target。

它比FILEIO的优点在于它不需要在系统缓存与命令数据缓存之间拷贝数据，所以它节省了大量的CPU资源和存储带宽。

注意：数据在BLOCKIO和FILEIO中是不一致的，如果试图在一个设备里同时运行两种模式，数据会损坏。

REMOVABLE这个标记设置后，在远端看到的设备是可移动的。

默认模式是FILEIO。

小心：如果把磁盘格式化为一种块大小，千万不要把这个磁盘以另一种块大小挂载出去，这样会损坏数据。

注意：默认的VDISK输入输出使用“write back”模式，这通常对于日志文件系统来说是安全的。不过可能由于软硬件问题或者电源问题，缓存中的数据可能丢失。所以必须给target端提供UPS或者用“write through”模式。

一些硬盘和分区表管理单元不支持大于512 bytes的块大小。因此，必须对此确认。当前，只有cfdisk仅工作在512bytes下，其他的比如linux下的fdisk或者windows的标准磁盘管理在不是512bytes块大小下也可以工作。

性能测试

性能非常依赖于选择的IO模式，选择适合的IO模式。

为了达到最高性能，必须做如下几点：

（1）SCST

关闭Makefile里的CONFIG_SCST_STRICT_SERIALIZING, CONFIG_SCST_EXTRACHECKS,CONFIG_SCST_TRACING, CONFIG_SCST_DEBUG*, CONFIG_SCST_STRICT_SECURITY

开启pass-through

CONFIG_SCST_ALLOW_PASSTHROUGH_IO_SUBMIT_IN_SIRQ

（2）targe driver：

关闭Makefile里的CONFIG_SCST_EXTRACHECKS, CONFIG_SCST_TRACING, CONFIG_SCST_DEBUG*

（3）device handlers包括VDISK

关闭Makefile里的CONFIG_SCST_TRACING 和CONFIG_SCST_DEBUG.。

注意：上面的一些编译选项有些默认是打开的。

（4）target和initiator软件部分

确保给内核打了所有可用的SCST补丁，包括io_context-2.6.x.patch。如果你的内核版本不存在对应的补丁 。必须升级内核版本到有对应补丁的版本。

不要开启内核的debug/hancking选项。使用默认的设置。

内核中read-ahead queue默认是对本地磁盘优化的，因此，它没有对remote端的优化（比如SCSI target），有时候因为这点导致数据吞吐率低。必须在所有initiators和target端修改read-ahead size至少512kB以上。

必须所有的initiators每秒最大的SCSI命令。这个必须和target端中的最大read-ahead值相适应。在target端输入：

Echo “” >/sys/block/sdX/queue/max_sectors_kb

X代表target设备，比如b代表sdb。

增加read-ahead大小：

blockdev –setra N /dev/sdX

N是在512-byte sectors的read-ahead号。X跟上面一样代表设备。

注意：在你修改每秒最大的SCSI命令之后，必须从新设置target端的read-ahead。

修改read-ahead后，必须从起target的SCST。

你需要增加initiator端操作系统对target发送的请求数。在initiators端运行：

echo “” >/sys/block/sdX/queue/nr_requests

X代表磁盘，比如X为b时代表sdb。

你必须对/sys/block/sdX目录中的其他参数进行设置，这些同样影响着性能。

在target端，使用CFQ IO 调度。在大多数情况下，它比其他IO调度有着更好的性能。

关闭kernel的preemption 模式为No Forced Preemption（server）。

在target端，存储设备最好是XFS文件系统，因为它与ext3相比有更好的线性相吞吐量。

（5）确保你的target端硬件。

确保targe端的硬件（比如FC或网卡）和IO硬件（比如IO卡，像SATA、SCST或RADI卡）不分享相同的PCI 总线。可以用lspci命令查看。它们必须并行的工作。所以没有产生总线竞争会更好。问题是不仅带宽会被分享，而且会出现竞争。这是很重要的，因为一些情况下，如果target和后端存储控制器共享PCI总线，会导致5-10倍的性能下降。此外，如果几个告诉设备在同一个总线上并行的工作，一些母板（尤其是Supermicro制造的）会有严重的稳定性问题。如果你只能使用共享的总线，没有其他选择，那么在PCI里的 BIOS中尽可能的降低速率。

（6）如果设置VDISK IO模式为FILEIO，NV_CACHE选项会提供最好的性能，但是确保使用一个UPS，在出现电力故障时关机。

http://lkml.org/lkml/2009/3/30/283这个网站有一些测试结果。

注意：如果在initiator端使用某些版本的windows(比如w2k)，在VDISK FILEIO设备默认512b块大小，你不能得到很好的写性能。因为与linux下的页缓存机制不协调，所以每次写相应的块必须先读。VDISK设备使用4096b块大小，会得到理想的性能。实际上，不仅仅是window，任何在initiator端的操作系统都会通过块大小(PAGE_SIZE，BLOCK_SIZE_ON_UNDERYING_FS)获得优化。

一些情况下，比如用SSD设备，在它们内部线程会消耗单个CPU100%的计算量。为了最大化IOPS，可以指定CPU 对这些线程进行运算，利用linux CPU affinity功能。这些CPUs应该禁止IRQ中断响应。检查，/proc/interrupts。看kernel文档里的IRQ-affinity.txt，如何分配IRQ affinity到任务和中断。

target后端存储或连接缓慢

在高I/O负载下，当你的target后端存储过载，或者target和initiator之间连接缓慢时，当连接不能及时地对所有队列命令提供服务，会遇到I/O堵塞，查看kernel日志。

首先，考虑后端存储太慢的情况。查看密集的通路甚至磁盘或者RAID组。比如能够处理视频流500+MB/s却工作在0.3MB/s。另一个可能的原因是target端的MD/LVM/RAID 与http://lkml.org/lkml/2008/2/27/96 描述的一样。

因此，在这种情况下简单的处理一个或者更多的命令花费太长时间。尤其，默认的并发队列命令(48)有时候对于target disk密集写来说太高了，像LVM在快照模式下。这种情况值取16甚至8-10依赖于你的后端存储速度。

不幸的是，当前的SCST缺少动态的 I/O流量控制，当target端的队列深度快速增加/减少，基于后端存储速度相比target连接的快慢。所以下面有6个行为，可以修复这缺陷：

忽略task management(TM)命令。

减少initiator端的/sys/block/sdX/device/queue_depth或者在scst_priv.h中的SCST_MAX_TGT_DEV_COMMANDS，直到看不到进来的TM命令。

   减少发起段的设备队列深度可以用下面的命令：

Echo Y >/sys/block/sdX/depth/queue_depth

Y是并发队列命令的新长度。X是设备字母，比如‘a’是sda设备。对于Y来说没有特别的，它的值可以是1到尽可能大的值（通常是32）。修改时，可以把当前的值除以二。比如/sys/block/sdX/device/queue_depth中的值是32，可以修改为16.

3．可以增加initiator端的延迟。它在/sys/devices/platform/host*/session*/target*：0：0/*：0：0：1/timeout。这个值能自动地被udev规则所配置。比如，下面的规则会增加300延迟。

SUBSYSTEM=="scsi", KERNEL=="[0-9]*:[0-9]*", ACTION=="add", ATTR{type}=="0|7|14", ATTR{timeout}="300"。

默认的，这个延迟是30或者60秒，依赖于你的发行版。

4、避免大量的密集查找的负荷。

5、增加target端存储的速度。

6、增加I/O动态流量控制，最终的解决方法，看http://scst.sourceforge.net/contributing.html中关于“Dynamic I/O flow control”章节。

接下来，考虑这种情况。当initiator端试图并发地发送N个命令到target端时，initiator和target端连接缓慢。发送或者接受这些连接上的命令可能会比处理单个命令花费更长时间，可能会超时。所以可能在队列末尾的命令不会被及时地处理。所以initiator端会决定这些命令是否是这种情况，然后试图恢复。

为了修复这种情况出现的缺陷，可以使用上面的1，2，3，6方法或7：增加target端和initiator端的速度。但是对于一些发出写命令的initiator端来说，target端没有方法检测这个缺陷，所以动态I/O流量控制可能没有帮助。这种情况下，你需要在initiator端上减少队列深度(方法2)，或者增加延迟（方法3）。

注意：QUEUE_FULL 状态的信息本质来说是不同的。这是一个正常的工作，仅仅是SCSI流量控制的行为。通常，不要开启“mgmt_monor”logging级别，或者你对后端存储与initiator-target连接的最坏性能有信心的话，可以在scst_priv.h中增加SCST_MAX_TGT_DEV_COMMANDS