Ошибка при запуске Spark-задачи: The node was low on resource: ephemeral-storage

При запуске Spark-задачи появляется ошибка:

 
The node was low on resource: ephemeral-storage

Ошибка возникает из-за нехватки временного дискового пространства (ephemeral storage) на узлах кластера. Чаще всего это связано с большим размером обрабатываемого датасета или недостаточным количеством worker-узлов.

Решение проблемы описано в инструкции Ошибка при обработке датасета более 100 ГБ.