Atrax, a distributed web crawler
4 794
84.1
Microsoft Research330 тыс
Следующее
09.09.16 – 7801:14:47Популярные
17.02.23 – 2 5981:01:27
01.02.23 – 3 8394:51Опубликовано 9 сентября 2016, 22:15
This talk describes Atrax, a distributed and very fast web crawler. Running Atrax on a cluster of four DS20E Alpha servers saturates our internet connection. During a recent crawl, we were able to download about 115 Mbits/sec, or about 50 million web pages per day, over a sustained period of time. Atrax has been used to collect the raw data for numerous web studies performed at Compaq Research.
Свежие видео
2 дня – 2 14512:09
3 дня – 87 8867:40
6 дней – 99 66713:52
7 дней – 5 1920:31
7 дней – 93 51311:51
Случайные видео
94 дня – 43 78222:25
08.06.23 – 338 01113:00
22.05.22 – 2143:05
25.02.22 – 49 70812:18
05.06.21 – 186 72610:07
10.12.12 – 106 8515:55
4 дня – 1 7921:01
11 дней – 21 07034:54
12 дней – 333 1832:09:45
14 дней – 549 5662:18:09
14 дней – 135 61930:04
14 дней – 4570:33
16 дней – 117 9750:59