[identity profile] vadimbondar.livejournal.com posting in [community profile] useful_faq
Скажите как поисковые системы ищут страницы в сети
конкретный вопрос

1)индексируются ли страницы на которые нет ссылок с других страниц ресурса?

Date: 2006-01-22 09:33 am (UTC)
From: [identity profile] kkirsanov.livejournal.com
Индексируются, если поисковик заранее предупредить об их существовании.

Date: 2006-01-22 09:48 am (UTC)
From: [identity profile] rusputin.livejournal.com
"Добавить сайт" - такая ссылка есть почти у каждого поисковика.
Тем не менее, при поисковых запросах "рейтинг" у таких страничек будет низкий. То есть, если тематика сайта не уникальна, то при прочих равных, выше в списке найденных страниц будут выводиться сайты, на которые ссылки с других ресурсов есть.

Date: 2006-01-22 01:37 pm (UTC)
From: [identity profile] hokum.livejournal.com
поисковики ищут в корне сервера файл robots.txt, в котором указано, какие директории можно индексировать, а какие нельзя

Date: 2006-01-22 10:12 am (UTC)
From: [identity profile] ldok.livejournal.com
Почитайте http://searchengines.ru. Ресурс посвящен работе поисковых систем, поисковой раскрутке и т.п.