robots.txt и его аналоги

robots.txt - файл, с помощью которого можно управлять индексированием страниц на сайте. Находиться он должен в корневом каталоге (то есть, например, www.domen.ru/robots.txt). Любой робот (есть и исключения, естественно), прежде чем начнёт индексацию ваших страниц, проверит, есть ли в корневом каталоге файл robots.txt. При обнаружение этого файла, робот будет руководствоваться им, при отсутствие примет значение “по-умолчанию”, то есть будет индексировать все ваши файлы, включая даже скрипты! Однако, если вам это значение подходит (хотя кому нужно индексация скриптов и картинок?), то желательно всё равно создать файл robots.txt. В robots.txt (заметьте, файл должен состоять из маленьких букв!) нужно прописывать какой каталог/файл/окончание не требует индексации. Рассмотрим данный пример:

User-agent: *
Disallow: /cgi-bin/

«User-agent: *» означает, что «Disallow», который находиться внизу (до следующего User-agent, если таковой будет) относиться для всех роботов, а если же вы хотите, чтобы не индексация каталога «/cgi-bin/» была, например, только для робота Рамблера, то следует вместо «*» поставить имя данного робота, т.е. StackRambler. И, как вы уже поняли, в «Disallow» (количество их может быть неограниченно) надо вписать именно тот каталог, файл или даже окончание названия файла (подробнее об этом ниже), который не требует индексации.

В «Disallow» можно вписать не только каталог, но и сам URL (полный) файла или его окончание, то есть, например, если у вас в каталоге лежит ещё один каталог (предположим в «/img/»), то можно вписать в «Disallow: /img», тем самым вы запретите индексирования всего каталога img и его подкаталогов, лежащих в «img». Если вы поставите «/img/», то запрет на индексирование получит только сам каталог «img».

А как мне сделать так, чтобы весь сайт не индексировался?

Для этого достаточно поставить следующее: «Disallow: /».

А как мне разрешить индексирование всего сайта (при этом создав, естественно, robots.txt)?

Для этого достаточно поставить следующее: «Disallow: *».

Что ещё можно вписать в robots.txt?

Ещё можно вписать главный URL вашего сайта, тем самым вы отсеете свои алиасы (документ, который полностью идентичен). Для это достаточно вписать:
«Host: www.glavniyurl.ru»
Если вы хотите, чтобы главным URL`ом был адрес без www, то следует написать следующее:
«Host: glavniyurl.ru»
Также заметьте, что никакие «http://» не нужны в данном случае, «Host:» следует писать после всех «Disallow» и «User Agent» для соблюдения стандарта.

А есть аналоги?

Да, есть: можно в head поставить “meta name=robots content=X”. Где «X» будет:

ALL - индексировать документ и идти дальше по ссылкам.
NONE - не индексировать документ и не идти дальше по ссылкам.
INDEX - индексировать документ.
FOLLOW - идти по ссылкам.
NOINDEX - не индексировать документ.
NOFOLLOW - не идти по ссылкам.

Стоит заметить, что нынче поисковые боты “по умолчанию” пройдут по всем ссылкам, если это не запрещено, например, тем же robots.txt.

А как мне запретить индексирование отдельной части документа?

Для этого следует эту часть пометить следующими тегами: “noindex” фрагмент документа, который не требует индексации “/noindex”. Однако мало того, что такой фрагмент не будет проиндексирован, так из этого фрагмента ещё и не будут выделены ссылки для дальнейшего перехода по ним робота, поэтому будьте осторожны.

P.S. “” замените на <>.

Вспоминая давнюю историю про то, как 7Wolf с AG`ом судился, наткнулся на соотвествующую новость на DTF. Вот только поразила меня не столько новость, сколько комментарии к ней.
http://www.dtf.ru/forum/flat.php?id=4562&page=1&page_size=20

“Нельзя работать в коммерческом проекте, сохраняя
психологию любителя, считающего всю информацию в Сети ничейной и
бесплатной.” Очень здравые мысли.

Топ-пятьдесят самых посещаемых европейцами сайтов выглядят следующим образом:

1. MSN-Microsoft — 131 млн., 83,9%
2. Google — 127,4 млн., 81,6%
3. Yahoo! — 94,3 млн., 60,4%
4. eBay — 81 млн., 51,9%
5. Warner Network — 57 млн., 36,5%
6. Amazon — 42,3 млн., 27,1%
7. Wanadoo — 36,8 млн., 23,6%
8. Lycos Europe — 36 млн., 23,1%
9. T-Online — 35,4 млн., 22,7%
10. Ask Jeeves — 32,7 млн., 21%
11. CNET Networks — 31,7 млн., 20,3%
12. Verisign — 31,7 млн., 20,3%
13. Wikipedia — 26,2 млн., 16,8%
14. Mediaplazza — 26,1 млн., 16,7%
15. Iliad/Free.fr — 24,6 млн., 15,8%
16. Vodafone Group — 24 млн., 15,4%
17. Apple — 22,6 млн., 14,5%
18. BBC — 22,3 млн., 14,3%
19. Expedia — 22 млн., 14,1%
20. RTL Group — 21 млн., 13,4%
21. Telecom Italia — 20,7 млн., 13,3%
22. Lycos — 20,7 млн., 13,3%
23. Real.com — 20,2 млн., 13%
24. OD2.com — 19,6 млн., 12,6%
25. mmO2 — 19 млн., 12,2%
26. eMule (программа) — 18,6 млн., 11,9%
27. Deutsche Telekom — 17,3 млн., 11,1%
28. Otto Gruppe — 16,9 млн., 10,9%
29. Macromedia — 16,2 млн., 10,4%
30. Tiscali — 16,1 млн., 10,3%
31. Tiscali — 16,1 млн., 10,3%
32. Web.de Sites - 15,853 млн., 10,2%
33. Monster Worldwide 15,626 млн., 10,0%
34. ProSiebenSat1 Sites 15,389 млн., 9,9%
35. Sony Online 15,377 млн., 9,9%
36. Freenet.de Sites 15,263 млн., 9,8%
37. United-Internet Sites 15,093 млн., 9,7%
38. Groupe PPR 15,022 млн., 9,6%
39. Adobe Sites 14,978 млн., 9,6%
40. Skype 14,946 млн., 9,6%
41. Vivendi-Universal Sites 14,414 млн., 9,2%
42. Vendare Media 14,133 млн., 9,1%
43. Michelin Group 13,766 млн., 8,8%
44. Viacom Online 13,687 млн., 8,8%
45. Groupe Pages Jaunes 13,580 млн., 8,7%
46. Walt Disney Internet Group (WDIG) 13,462 млн., 8,6%
47. Terra Networks 13,219 млн., 8,5%
48. SEDO Sites 13,103 млн., 8,4%
49. Ciao Sites 12,320 млн., 7,9%
50. ARD Sites 12,291 млн., 7,9%

Где-то чуть-чуть дальше плетется IGN.

Хотелось бы узнать, как кто относится к вступительной странице (прим. gamespot.com, ign.com)? С точки зрения обычного пользователя, естественно. Интересно мнение каждого.

http://www.dtf.ru/articles/read.php?id=4056
Очень познавательно.

Ещё одна бессонная ночь на благо проектов. Интересно, хоть кто-нибудь оценит?

“Хочется донести до вас, наши замечательные посетители. Мы начинаем публикавать рецензии на средненькие игры. Если раньше наш оценочный уровень заканчивался отметкой - 70, то отныни расброс велик - от 0 и до 100. Мы поменяли политику и теперь вы сможите найти рецензии на игры как хорошие, так и “среднечки”.” Цитата с одного игрового сайта. Очень интересно, это они, похоже, ещё до выхода определяют балл игры. Забавная политика, однако.

Провел пару суток за игрой Championship Manager 5. Честно? Ничего особенного. Не удобный интерфейс, 2D матч, геймплей в футбольных симуляторах мы видели и по лучше. Твердая 6-а.

С искоркой.

На MTV Music Awards в номинации “Песня года” победила, как вы догадались, группа ColdPlay с песней Speed Of Sound. Радости нет предела.