0%

任务执行

1.TaskManager上算子运行

(1)可以同时执行多个任务
(2)每个TaskManager可以有多个Slot
(3)每个Slot可执行过高算子,但是每个Slot中只能有一个同样的算子
(4)TaskManager中的多个任务可以在同一个进程内高兴第执行,数据交换无需访问网络
(5)任务过于集中,使得TaskManager负载过高,从而导致性能下降
(6)后面控制任务调度会讲到

2.TaskManager运行

(1)TaskManager会在同一个JVM进程内以多线程方式执行任务
(2)和独立进程相比,线程更加轻量级并且通信开销更低
(3)但是无法严格隔离任务
(4)只要有一个任务运行异常,就可能沙溪TaskManager,导致TaskManager上的所有任务失败
(5)可以将TaskManager配置成一个TaskManager有一个Slot
(6)通过在TaskManager内部采用线性并行级每个主机上多部署TaskManager