Should I block duplicate pages using robots.txt?
12 273
141.1
Google Webmasters674 тыс
Следующее
11.03.10 – 18 9370:09Популярные
19.09.23 – 10 31120:47
15.05.23 – 19 84810:27Опубликовано 10 марта 2010, 19:25
Halfdeck from Davis, CA asks: "If Google crawls 1,000 pages/day, Googlebot crawling many dupe content pages may slow down indexing of a large site. In that scenario, do you recommend blocking dupes using robots.txt or is using META ROBOTS NOINDEX,NOFOLLOW a better alternative?"
Short answer: No, don't block them using robots.txt. Learn more about duplicate content here: google.com/support/webmasters/...
Short answer: No, don't block them using robots.txt. Learn more about duplicate content here: google.com/support/webmasters/...
Свежие видео
9 часов – 30 29615:57
1 день – 9554:01
2 дня – 6990:32
2 дня – 1 6641:22
3 дня – 10 0442:05Случайные видео
224 дня – 153 70424:55
248 дней – 8971:36
13.08.23 – 11 7751:18
04.04.23 – 32 5080:41
12.10.21 – 217 9248:47
09.05.12 – 107 3226:01
2 дня – 1892:41
2 дня – 1 3540:31
3 дня – 2 071 84112:31
3 дня – 9143:56
7 дней – 1061:11
13 дней – 48 63511:55
14 дней – 7961:02