Frontera распределенный робот для обхода веба в больших объемах / Александр Сибиряков (Scrapinghub)
1 017
16.1
Онтико84.4 тыс
Следующее
Популярные
Опубликовано 7 апреля 2017, 18:40
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2015
Презентация и тезисы:
highload.ru/2015/abstracts/194...
В этом докладе я собираюсь поделиться нашим опытом обхода испанского интернета. Мы поставили перед собой задачу обойти около 600 тысяч веб-сайтов в зоне .es с целью сбора статистики об узлах и их размерах. Я расскажу об архитектуре робота, хранилища, проблемах, с которыми мы столкнулись при обходе, и их решении.
...
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2015
Презентация и тезисы:
highload.ru/2015/abstracts/194...
В этом докладе я собираюсь поделиться нашим опытом обхода испанского интернета. Мы поставили перед собой задачу обойти около 600 тысяч веб-сайтов в зоне .es с целью сбора статистики об узлах и их размерах. Я расскажу об архитектуре робота, хранилища, проблемах, с которыми мы столкнулись при обходе, и их решении.
...
Свежие видео
3 дня – 22 5180:59
4 дня – 6140:09
9 дней – 226 21333:55
10 дней – 1 4571:31:57
10 дней – 15 1131:00Случайные видео
194 дня – 75 40015:43
198 дней – 12 0050:54
360 дней – 721 89411:50
10.10.22 – 12 0891:54:05
16.01.22 – 50 4201:11:18
06.10.21 – 64 08526:05
4 дня – 3 8520:54
5 дней – 26 9223:54
7 дней – 41 00030:47
7 дней – 7990:08
7 дней – 26 4223:58
9 дней – 5 41421:36
10 дней – 11044:45
2 дня – 5800:11