Can I use robots.txt to optimize Googlebot's crawl?
29 619
97.8
Google Webmasters674 тыс
Следующее
17.08.10 – 11 6112:30Популярные
16 дней – 3 6515:48
2 дня – 3 04331:52Опубликовано 16 августа 2010, 17:23
Can I use robots.txt to optimize Googlebot's crawl? For example, can I disallow all but one section of a site (for a week) to ensure it is crawled, and then revert to a 'normal' robots.txt?
Blind Five Year Old, SF, CA
Blind Five Year Old, SF, CA
Свежие видео
8 дней – 2380:29
12 дней – 6970:19
15 дней – 21 8351:00
16 дней – 4 6190:58Случайные видео
80 дней – 1 9570:28
108 дней – 1 3354:47
280 дней – 274 9500:32
342 дня – 17 9480:19
07.04.22 – 18 87329:39
06.10.20 – 103 9894:46
3 дня – 988 72717:54
3 дня – 1 0284:01
5 дней – 1 131 85414:38
5 дней – 4131:35
5 дней – 1 0523:56
6 дней – 7 6030:47