pbs或者torque如何不指定ppn调用节点所有核心

Question

在pbs队列资源申请的脚本中，无法避免不指定ppn=整数，不加这个只会申请一个核心。因为组里的小集群管理不善，导致有32.36.52.64核各不相同，提交到队列不知道会交到哪个节点却要我必须指明cpu数量😭

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

在PBS（Portable Batch System）或Torque中，通常需要通过ppn（processors per node）来指定每个节点上的处理器数量。如果不指定这个参数，系统默认可能只会分配一个核心进行处理。但是确实也存在需要处理节点间核心数量差异的情况，尤其在集群配置复杂的环境中。解决这一问题可能需要结合多种策略：

方法一：自动化脚本和工具检查节点核心数

编写一个脚本或工具，在提交作业前自动检测目标节点的核心数，然后根据这个核心数自动设置ppn的值。可以使用一些Linux命令和工具如lscpu、nproc等获取当前系统的核心数信息。然后将这个值传递给作业提交命令中的ppn参数。这样，即使集群中的节点核心数不同，也可以动态地为每个作业设置适当的值。这通常需要对脚本编写有一定了解，并且在PBS/Torque的脚本中实现相应的逻辑处理。

方法二：预设多个PBS/Torque队列对应不同节点配置

管理员可以通过设置不同的PBS队列来分别管理不同核心数量的节点。每个队列可以设定不同的资源限制（包括核心数），这样用户可以根据需要提交到不同的队列中。这种方法需要管理员对PBS/Torque有足够的了解并进行相应的配置工作。但这种方法可能会增加管理的复杂性，特别是在节点配置差异较大的情况下。

方法三：使用更高级的资源管理工具和策略

考虑使用更高级的资源管理工具如Slurm或Kubernetes等，这些工具提供了更为灵活的资源配置和调度策略。它们能够自动处理节点的差异并基于不同的资源需求进行作业调度。当然这需要更多的学习和配置工作，但长期来看可能更适合处理复杂的集群环境。

方法四：与集群管理员沟通协作

鉴于上述问题主要由于集群管理不善造成，最直接的方式是与负责管理集群的IT或管理员进行沟通，向他们反馈你遇到的问题并寻求解决方案。一个好的集群管理员会有一套针对这种问题的处理方案或至少能够提供必要的帮助和建议。通过与管理员的协作可以更好地解决这个问题，毕竟这种特定的资源管理问题是系统管理范畴的问题。

总的来说，要解决这种问题可能需要结合你的实际需求和环境特点采取多种策略。自动化脚本、资源管理工具的升级以及与管理员的沟通都是可能的解决方向。此外，提高个人的技术知识和与团队间的协作也非常重要。