Защищенные и динамические страницы.
У поисковых машин, действительно есть способность индексировать защищенные страницы, расположенные на сервере, однако, зачастую такие страницы требуют, чтобы посетитель либо заполнил форму, либо зарегистрировался на сайте. Если какая либо страница для своего открытия требует заполнения формы или ввода пароля, роботы поисковиков попросту отвергнут ее. Они не в состоянии зарегистрироваться, поскольку не могут заполнять формы, оставлять e-mail адреса или вводить пароли.
Я разговаривал с вебмастером, ведущим сайт электронной коммерции на 4500 страниц. Он удивлялся, отчего поисковики игнорируют такой большой сайт. Я узнал URL сайта и посетил главную страницу. И вот, что выяснил - при загрузке один URL немедленно изменялся на защищенный (anybusiness.com на anybusiness.com). Вот вам и две тому причины, порождающие данную проблему – это метод редиректа и другой хост-сервер. Если постоянный редирект будет написан на javascript – новости совсем никудышные.
Первое. Поисковики часто либо наказывают или понижают в ранжировании сайты, использующие быстрый редирект(?) URLа, особенно с home page. URL forwarding предполагает наличие входных страниц (отрицание их поисковой машиной). Либо же наихудший изо всех сценариев – скрытие страниц. Вы можете ничего такого не делать, но роботы этого не ведают, их это не волнует, поэтому они попросту не индексируют ваш сайт, - просто и со вкусом.
Второе. Защищенные сервера очень часто являются отдельными веб-сайтами. Это значит, что защищенный сервер по сути - другая машина и является полностью отличным сайтом от не защищенного сайта, если только ваш сайт не размещен на определенном сервере, с собственным IP-адресом, сертификатом защиты на том же домене. Такое может происходить, когда запароленные (защищенные) shopping carts имеют хостинг у третьего party host, так что небольшой сайт электронной коммерции не нуждается в покупке сертификата защиты или установке сложных shopping carts.
Например. Если ваша shopping cart хостится на складе Yahoo или у другого провайдера прикладной службы (ASP), то страницы, размещенные в shopping cart, не находятся на вашем домене и не могут быть распознаны, как страницы ВАШЕГО сайта, пока вы не разместите ваш домен в той же компании.
К несчастью, многие shopping cart ASP's используют динамические IP-адреса (IP-адрес другой во время очередного вашего визита) и пользуются базой данных, сгенерированной динамически.
Процесс предоставления динамических страниц не является проблемой. Проблема попросту в том, что URL таких страниц содержит несколько знаков, которые либо останавливают, либо серьезно ограничивают пауков поисковой машины. Вопросительные знаки (?) - самая большая западня, далее следуют знаки (&), знаки равенства (=) процентные символы (%)и знаки плюса (+) в URLах динамических страниц.
Эти символы служат сигналами тревоги для пауков. Они либо полностью их отвергают и не индексируют, либо серьезно замедляют индексирование ваших страниц. Об этом ясно говорится на странице Google «Информация для вебмастеров» "Information for Webmasters"
http://www.google.com/webmasters/2.html
Причины, по которым ваш сайт может быть не включен. «Ваши страницы динамически сгенерированы. Мы индексируем динамически сгенерированные страницы. Однако, поскольку наш робот может с легкостью перенаправить и повредить сайты с динамическим содержанием, мы ограничиваем количество динамических страниц, индексируемых нашей системой». Лишь потому, что ваш сайт динамический, создание длинного URLа, полного вопросительных знаков, знаков равенства и знаков &&, как например:
www.domain.com/category.asp?ct=this+%28that+other%29&l=
- не означает, что вы в пределах недосягаемости поисковой машины. Есть простые решения, доступные вашему вебмастеру. Вот несколько статей, предлагающих решение, названное "mod_rewrite".
Вы можете ознакомиться с этими статьями в случае необходимости:
http://alistapart.com/articles/urls/
http://alistapart.com/articles/succeed/
Этот метод попросту несет набор инструкций для вашего веб-сервера, с целью предоставления URLа в иной форме, которая заменяет «нехорошие» вопросительные знаки, знаки &&, на знаки (/). Данный метод потребует от вашего вебмастера немного больше технической смекалки, чем у большинства доморощенных оптимизаторов, создающих свои сайты. Некоторым сайтам поможет просто включение "mod_rewrite" для хостинговых клиентов.
Не играйте в прятки с поисковиками! Сообщайте им В ТОЧНОСТИ, где искать каждую страницу вашего сайта и, если возникают какое-либо сомнения, найдут ли они любую страницу – дайте им карту сайта.
Автор: Mike Valentine
|
