YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее / Алексей Шишкин (Яндекс)
1 847
15.4
Онтико85.3 тыс
Следующее
05.10.23 – 2 7013:12:05Популярные
Опубликовано 1 сентября 2023, 10:13
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023
Генеральный партнер конференции Garage Eight.
Презентация и тезисы:
highload.ru/spb/2023/abstracts...
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
...
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023
Генеральный партнер конференции Garage Eight.
Презентация и тезисы:
highload.ru/spb/2023/abstracts...
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
...
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Свежие видео
4 дня – 36 54018:43
4 дня – 11 1080:24
7 дней – 14 5182:11
8 дней – 8407:35
9 дней – 14 5057:38:48
Случайные видео
84 дня – 3 7801:00
111 дней – 10 6590:59
329 дней – 1 9091:31:30
21.11.23 – 5451:04:56
06.12.22 – 6 48731:29
23.07.22 – 1 5452:48
1 день – 5 5182:04
2 дня – 40 01524:56
7 дней – 47 8131:30:31
7 дней – 6 67230:21
9 дней – 36722:33
10 дней – 3 0629:53
2 дня – 2 9831:49:56