使用 Spectrum LSF 设置多集群和作业转发

以下示例是有关如何使用 Spectrum LSF设置多集群和作业转发的指南。 此示例说明了集群是本地集群，另一个在云中的常见情况。

此示例假定标注为 "OnPremiseCluster" 的内部部署集群使用子网 192.168.0.0/24 ，其管理主机使用 192.168.0.4 (内部部署管理)。 标注为 "HPCCluster" 的云集群使用子网 10.244.128.0/24 ，其管理主机使用 10.244.128.37 (icgen2host-10-244-128-37)。 这两个配置目录都位于 /opt/ibm/lsf/conf中，但您可以根据集群配置来更改目录。

(1)以下是云集群的 /etc/hosts 文件的示例。 您需要确保 LSF 管理主机的主机名是 DNS-resolveable。

...
10.244.128.61 icgen2host-10-244-128-61
10.244.128.62 icgen2host-10-244-128-62
10.244.128.63 icgen2host-10-244-128-63

192.168.0.4 on-premise-management   # added

对于本地 /etc/hosts 文件，请确保在云集群中添加有关管理主机的信息:

10.244.128.37 icgen2host-10-244-128-37 #added

(2)这两个集群都需要相互识别，因此您需要修改 /opt/ibm/lsf/conf/lsf.shared。 此配置文件在两个集群中应该相同。

...
Begin Cluster
ClusterName        Servers                       # Keyword             # modified
HPCCluster         (icgen2host-10-244-128-37)    # modified
OnPremiseCluster   (on-premise-management)       # modified
End Cluster
...

(3) 这两个集群配置为具有不同的 lsb.queues 文件。 在云集群中，您需要将以下行附加到 /opt/ibm/lsf/conf/lsbatch/HPCCluster/configdir/lsb.queues 以注册接收队列:

...
Begin Queue
QUEUE_NAME=recv_q
RCVJOBS_FROM=OnPremiseCluster
PRIORITY=30
NICE=20
RC_HOSTS=all
End Queue

本地集群配置为在 /opt/ibm/lsf/conf/lsbatch/OnPremiseCluster/configdir/lsb.queues处具有发送队列:

...
Begin Queue
QUEUE_NAME=send_q
SNDJOBS_TO=recv_q@HPCCluster
PRIORITY=30
NICE=20
End Queue

(4)通过运行以下命令来重新启动这两个集群:

$ lsfrestart

(5)重新启动这两个集群后，现在可以将作业从本地转发到云。 在本地集群中，可以测试以下作业:

$ bsub -q send_q sh -c 'echo $HOSTNAME >
 /home/lsfadmin/shared/mc-test.txt'

您可以看到该作业出现在 HPCCluster 上，网址为 10.244.128.37。

$ bjobs -aw

　JOBID   USER      STAT   QUEUE    FROM_HOST   EXEC_HOST   JOB_NAME   SUBMIT_TIME 304     lsfadmin  DONE   recv_q   on-premise-management@OnPremiseCluster:911 icgen2host-10-244-128-39 sh -c 'echo $HOSTNAME > /home/lsfadmin/shared/mc-test.txt' Jun 17 02:27