IPB
regite

Регистрация доменов РФ за 150 рублей
Зарегистрировать домен .РФ, .RU, .COM
Проверка домена, данные whois, online.


Здравствуйте, гость ( Вход | Регистрация )

 
Ответить в данную темуНачать новую тему
> robots.txt, всё о файле robots
Рейтинг 4 V
LASDIES
сообщение 11.4.2008, 10:40
Сообщение #1


Активный участник
***

Группа: Пользователи
Сообщений: 174
Регистрация: 10.12.2007
Из: город Петров
Пользователь №: 211



robots.txt


Файл robots.txt указывает роботам (паукам) как индексировать сайт. Отчего напрямую зависит развитие вашего проекта. Залить файл в корень сайта.


--------------------
Перейти в начало страницы
 
+Цитировать сообщение
NEO
сообщение 11.4.2008, 10:48
Сообщение #2


Активный участник
***

Группа: Пользователи
Сообщений: 180
Регистрация: 3.12.2007
Пользователь №: 192



Если не делать запреты к индексации сайта, то можно сделать пустой файл robots.txt.
И робот будет индексировать всё.


--------------------
а вот не увидишь здесь рекламы.
Перейти в начало страницы
 
+Цитировать сообщение
1000domains
сообщение 11.4.2008, 14:33
Сообщение #3


Активный участник
***

Группа: Пользователи
Сообщений: 254
Регистрация: 4.10.2007
Из: St/ Petersburg
Пользователь №: 115



Разрешить роботам индексировать свой сайт


CODE
User-agent: *
Disallow:


--------------------
Домены это песок.

Нужно найти золотые крупинки.


dn-s.net это престижно.
Перейти в начало страницы
 
+Цитировать сообщение
1000domains
сообщение 11.4.2008, 14:35
Сообщение #4


Активный участник
***

Группа: Пользователи
Сообщений: 254
Регистрация: 4.10.2007
Из: St/ Petersburg
Пользователь №: 115



Разрешить индексацию сайта одному роботу, в данном случае Yandex


CODE
User-agent: Yandex
Disallow:


--------------------
Домены это песок.

Нужно найти золотые крупинки.


dn-s.net это престижно.
Перейти в начало страницы
 
+Цитировать сообщение
baltimor
сообщение 14.4.2008, 15:45
Сообщение #5


Участник
**

Группа: Пользователи
Сообщений: 52
Регистрация: 29.12.2007
Пользователь №: 386



яндекс помогает увидеть robots.txt как видит это он


--------------------
Балтийский домен продам.
Перейти в начало страницы
 
+Цитировать сообщение
prodavec
сообщение 14.4.2008, 19:17
Сообщение #6


Активный участник
***

Группа: Пользователи
Сообщений: 129
Регистрация: 23.11.2007
Пользователь №: 153



Директива Host
можете помочь яндексу с точным адресом с www или без него.

пример

CODE
User-agent: Yandex
Host: www.ваш домен.ru


--------------------
Перейти в начало страницы
 
+Цитировать сообщение

Ответить в данную темуНачать новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 



RSS Текстовая версия Сейчас: 22.9.2019, 20:08

Rambler's Top100 Рейтинг@Mail.ru