findNodesThatFit
kube-scheduler源码分析（四）之 findNodesThatFit
以下代码分析基于
kubernetes v1.12.0版本。
本文主要分析调度逻辑中的预选策略，即第一步筛选出符合pod调度条件的节点。
1. 调用入口
预选，通过预选函数来判断每个节点是否适合被该Pod调度。
genericScheduler.Schedule中对findNodesThatFit的调用过程如下：
此部分代码位于pkg/scheduler/core/generic_scheduler.go
func (g *genericScheduler) Schedule(pod *v1.Pod, nodeLister algorithm.NodeLister) (string, error) {
...
// 列出所有的节点
nodes, err := nodeLister.List()
if err != nil {
return "", err
}
if len(nodes) == 0 {
return "", ErrNoNodesAvailable
}
// Used for all fit and priority funcs.
err = g.cache.UpdateNodeNameToInfoMap(g.cachedNodeInfoMap)
if err != nil {
return "", err
}
trace.Step("Computing predicates")
startPredicateEvalTime := time.Now()
// 调用findNodesThatFit过滤出预选节点
filteredNodes, failedPredicateMap, err := g.findNodesThatFit(pod, nodes)
if err != nil {
return "", err
}
if len(filteredNodes) == 0 {
return "", &FitError{
Pod: pod,
NumAllNodes: len(nodes),
FailedPredicates: failedPredicateMap,
}
}
// metrics
metrics.SchedulingAlgorithmPredicateEvaluationDuration.Observe(metrics.SinceInMicroseconds(startPredicateEvalTime))
metrics.SchedulingLatency.WithLabelValues(metrics.PredicateEvaluation).Observe(metrics.SinceInSeconds(startPredicateEvalTime))
...
} 核心代码：
findNodesThatFit基于给定的预选函数过滤node，每个node传入到预选函数中来确实该节点是否符合要求。
findNodesThatFit的入参是被调度的pod和当前的节点列表，返回预选节点列表和错误。
findNodesThatFit基本流程如下：
设置可行节点的总数，作为预选节点数组的容量，避免总节点过多需要筛选的节点过多。
通过
NodeTree不断获取下一个节点来判断该节点是否满足pod的调度条件。通过之前注册的各种预选函数来判断当前节点是否符合pod的调度条件。
最后返回满足调度条件的node列表，供下一步的优选操作。
findNodesThatFit完整代码如下：
此部分代码位于pkg/scheduler/core/generic_scheduler.go
以下对findNodesThatFit分段分析。
3. numFeasibleNodesToFind
findNodesThatFit先基于所有的节点找出可行的节点是总数。numFeasibleNodesToFind的作用主要是避免当节点过多（超过100）影响调度的效率。
numFeasibleNodesToFind基本流程如下：
如果所有的node节点小于
minFeasibleNodesToFind(当前默认为100)则返回节点数。如果节点数超100，则取指定计分的百分比的节点数，当该百分比后的数目仍小于
minFeasibleNodesToFind，则返回minFeasibleNodesToFind。如果百分比后的数目大于
minFeasibleNodesToFind，则返回该百分比。
4. checkNode
checkNode是一个校验node是否符合要求的函数，其中实际调用到的核心函数是podFitsOnNode。再通过workqueue并发执行checkNode操作。
checkNode主要流程如下：
通过cache中的nodeTree不断获取下一个node。
将当前node和pod传入
podFitsOnNode判断当前node是否符合要求。如果当前node符合要求就将当前node加入预选节点的数组中
filtered。如果当前node不满足要求，则加入到失败的数组中，并记录原因。
通过
workqueue.ParallelizeUntil并发执行checkNode函数，一旦找到配置的可行节点数，就停止搜索更多节点。
workqueue的并发操作：
ParallelizeUntil具体代码如下：
5. podFitsOnNode
podFitsOnNode主要内容如下：
podFitsOnNode会检查给定的某个Node是否满足预选的函数。对于给定的pod，
podFitsOnNode会检查是否有相同的pod存在，尽量复用缓存过的预选结果。
podFitsOnNode主要在Schedule（调度）和Preempt（抢占）的时候被调用。
当在Schedule中被调用的时候，主要判断是否可以被调度到当前节点，依据为当前节点上所有已存在的pod及被提名要运行到该节点的具有相等或更高优先级的pod。
当在Preempt中被调用的时候，即发生抢占的时候，通过SelectVictimsOnNode函数选出需要被移除的pod，移除后然后将预调度的pod调度到该节点上。
podFitsOnNode基本流程如下：
遍历之前注册好的预选策略
predicates.Ordering，并获取预选策略的执行函数。遍历执行每个预选函数，并返回是否合适，预选失败的原因和错误。
如果预选函数执行的结果不合适，则加入预选失败的数组中。
最后返回预选失败的个数是否为0，和预选失败的原因。
入参：
pod
PredicateMetadata
NodeInfo
predicateFuncs
schedulercache.Cache
nodeCache
SchedulingQueue
alwaysCheckAllPredicates
equivClass
出参：
fit
PredicateFailureReason
完整代码如下：
此部分代码位于pkg/scheduler/core/generic_scheduler.go
5.1. predicateFuncs
根据之前初注册好的预选策略函数来执行预选，判断节点是否符合调度。
预选策略如下：
6. PodFitsResources
以下以PodFitsResources这个预选函数为例做分析，其他重要的预选函数待后续单独分析。
PodFitsResources用来检查一个节点是否有足够的资源来运行当前的pod，包括CPU、内存、GPU等。
PodFitsResources基本流程如下：
判断当前节点上pod总数加上预调度pod个数是否大于node的可分配pod总数，若是则不允许调度。
判断pod的request值是否都为0，若是则允许调度。
判断pod的request值加上当前node上所有pod的request值总和是否大于node的可分配资源，若是则不允许调度。
判断pod的拓展资源request值加上当前node上所有pod对应的request值总和是否大于node对应的可分配资源，若是则不允许调度。
PodFitsResources的注册代码如下：
PodFitsResources入参：
pod
nodeInfo
PredicateMetadata
PodFitsResources出参：
fit
PredicateFailureReason
PodFitsResources完整代码：
此部分的代码位于pkg/scheduler/algorithm/predicates/predicates.go
6.1. NodeInfo
NodeInfo是node的聚合信息，主要包括：
node：k8s node的结构体
pods：当前node上pod的数量
requestedResource：当前node上所有pod的request总和
allocatableResource：node的实际所有的可分配资源(对应于Node.Status.Allocatable.*)，可理解为node的资源总量。
此部分代码位于pkg/scheduler/cache/node_info.go
6.2. Resource
Resource是可计算资源的集合体。主要包括：
MilliCPU
Memory
EphemeralStorage
AllowedPodNumber：允许的pod总数(对应于Node.Status.Allocatable.Pods().Value())，一般为110。
ScalarResources
以下分析podFitsOnNode的具体流程。
6.3. allowedPodNumber
首先获取节点的信息，先判断如果该节点当前所有的pod的个数加上当前预调度的pod是否会大于该节点允许的pod的总数，一般为110个。如果超过，则predicateFails数组增加1，即当前节点不适合该pod。
6.4. podRequest
如果podRequest都为0，则允许调度到该节点，直接返回结果。
6.5. AllocatableResource
如果当前预调度的pod的request资源加上当前node上所有pod的request总和大于该node的可分配资源总量，则不允许调度到该节点，直接返回结果。其中request资源包括CPU、内存、storage。
6.6. ScalarResources
判断其他拓展的标量资源，是否该pod的request值加上当前node上所有pod的对应资源的request总和大于该node上对应资源的可分配总量，如果是，则不允许调度到该节点。
7. 总结
findNodesThatFit基于给定的预选函数过滤node，每个node传入到预选函数中来确实该节点是否符合要求。
findNodesThatFit的入参是被调度的pod和当前的节点列表，返回预选节点列表和错误。
findNodesThatFit基本流程如下：
设置可行节点的总数，作为预选节点数组的容量，避免总节点过多导致需要筛选的节点过多，效率低。
通过
NodeTree不断获取下一个节点来判断该节点是否满足pod的调度条件。通过之前注册的各种预选函数来判断当前节点是否符合pod的调度条件。
最后返回满足调度条件的node列表，供下一步的优选操作。
7.1. checkNode
checkNode是一个校验node是否符合要求的函数，其中实际调用到的核心函数是podFitsOnNode。再通过workqueue并发执行checkNode操作。
checkNode主要流程如下：
通过cache中的nodeTree不断获取下一个node。
将当前node和pod传入
podFitsOnNode判断当前node是否符合要求。如果当前node符合要求就将当前node加入预选节点的数组中
filtered。如果当前node不满足要求，则加入到失败的数组中，并记录原因。
通过
workqueue.ParallelizeUntil并发执行checkNode函数，一旦找到配置的可行节点数，就停止搜索更多节点。
7.2. podFitsOnNode
其中会调用到核心函数podFitsOnNode。
podFitsOnNode主要内容如下：
podFitsOnNode会检查给定的某个Node是否满足预选的函数。对于给定的pod，
podFitsOnNode会检查是否有相同的pod存在，尽量复用缓存过的预选结果。
podFitsOnNode主要在Schedule（调度）和Preempt（抢占）的时候被调用。
当在Schedule中被调用的时候，主要判断是否可以被调度到当前节点，依据为当前节点上所有已存在的pod及被提名要运行到该节点的具有相等或更高优先级的pod。
当在Preempt中被调用的时候，即发生抢占的时候，通过SelectVictimsOnNode函数选出需要被移除的pod，移除后然后将预调度的pod调度到该节点上。
podFitsOnNode基本流程如下：
遍历之前注册好的预选策略
predicates.Ordering，并获取预选策略的执行函数。遍历执行每个
预选函数，并返回是否合适，预选失败的原因和错误。如果预选函数执行的结果不合适，则加入预选失败的数组中。
最后返回预选失败的个数是否为0，和预选失败的原因。
7.3. PodFitsResources
本文只示例分析了其中一个重要的预选函数：PodFitsResources
PodFitsResources用来检查一个节点是否有足够的资源来运行当前的pod，包括CPU、内存、GPU等。
PodFitsResources基本流程如下：
判断当前节点上pod总数加上预调度pod个数是否大于node的可分配pod总数，若是则不允许调度。
判断pod的request值是否都为0，若是则允许调度。
判断pod的request值加上当前node上所有pod的request值总和是否大于node的可分配资源，若是则不允许调度。
判断pod的拓展资源request值加上当前node上所有pod对应的request值总和是否大于node对应的可分配资源，若是则不允许调度。
参考：
最后更新于
这有帮助吗？