Frontera распределенный робот для обхода веба в больших объемах / Александр Сибиряков (Scrapinghub)
1 020
16.2
Онтико85 тыс
Следующее
Популярные
Опубликовано 7 апреля 2017, 18:40
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2015
Презентация и тезисы:
highload.ru/2015/abstracts/194...
В этом докладе я собираюсь поделиться нашим опытом обхода испанского интернета. Мы поставили перед собой задачу обойти около 600 тысяч веб-сайтов в зоне .es с целью сбора статистики об узлах и их размерах. Я расскажу об архитектуре робота, хранилища, проблемах, с которыми мы столкнулись при обходе, и их решении.
...
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2015
Презентация и тезисы:
highload.ru/2015/abstracts/194...
В этом докладе я собираюсь поделиться нашим опытом обхода испанского интернета. Мы поставили перед собой задачу обойти около 600 тысяч веб-сайтов в зоне .es с целью сбора статистики об узлах и их размерах. Я расскажу об архитектуре робота, хранилища, проблемах, с которыми мы столкнулись при обходе, и их решении.
...
Свежие видео
3 дня – 00:00
5 дней – 7 4093:56
6 дней – 1 8036:47
Случайные видео
164 дня – 49650:59
171 день – 582 50546:26
196 дней – 1430:42
20.09.23 – 1 04249:15
06.04.22 – 771 75448:57
3 дня – 04:48
7 дней – 2 4791:42:37
13 дней – 12 9561:14:52
13 дней – 6 7601:00