Can I use robots.txt to optimize Googlebot's crawl?
29 591
98.6
Google Webmasters664 тыс
Следующее
17.08.10 – 11 5972:30Популярные
31.08.23 – 6 3250:29
05.04.23 – 4 89325:59Опубликовано 16 августа 2010, 17:23
Can I use robots.txt to optimize Googlebot's crawl? For example, can I disallow all but one section of a site (for a week) to ensure it is crawled, and then revert to a 'normal' robots.txt?
Blind Five Year Old, SF, CA
Blind Five Year Old, SF, CA
Свежие видео
11 дней – 1 7660:24
16 дней – 116 05016:16
Случайные видео
72 дня – 2 6010:15
285 дней – 18 1627:39
28.01.23 – 96 7668:05
16.11.22 – 12 10011:07
12.11.22 – 634 83212:16
13.04.22 – 42 6620:36
2 дня – 6560:26
7 дней – 5810:19
7 дней – 3 05612:09
11 дней – 1 2491:03
12 дней – 155 0275:15
15 дней – 8300:32
