Программирование [ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)

[MegaSliv]

[ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)

Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:

• cхема выполнения задачи в Spark;
• основные термины Spark (job, task, stage);
• представление вычислений в виде графа. Spark Python API. Spark RDD API;
• Broadcast-сообщения и счетчики.
• взаимодействие Hive и Spark SQL;
• отличия DF от RDD.
• Spark on YARN;
• типы stage в Spark;
• оптимизация операции shuffle;
• настройка Garbage Collection, тюнинг потребления памяти.

Подробнее:

Практический курс по Big Data | BigData Team

Самый быстрый способ прокачать свои навыки для IT-специалистов. Научитесь эффективно обрабатывать большие данные, выполняя практические задания на реальном кластере.

bigdatateam.org

Скачать:

Ссылка доступна для пользователей с платной группой