Вопрос: Разрешено ли многопоточность на Spark / YARN?


Поскольку YARN отвечает за управление ресурсами приложений Hadoop, таких как ядра и процессы, является ли приложение YARN разрешено создавать новые потоки?

Я имею в виду главным образом приложения Spark, работающие с менеджером ресурсов YARN. Я знаю, что если вы создаете новый поток, ошибки не будут выброшены, но безопасно ли это?


7


источник


Ответы:


Я отвечаю на себя. YARN управляет такими ресурсами, как память и ядра, а не потоки. Ядра контролируются путем изменения специфических параметров ОС при создании контейнеров (сродство процессов). Затем JVM запускается с использованием определенного количества ядер, и вы можете создать столько потоков, сколько хотите.


5