Просмотр содержимого файла robots.txtДля просмотра содержимого этого файла мы рекомендуем воспользоваться скриптом, созданным Сергеем Матвеенко – специалистом по IT из Санкт-Петербурга. Скрипт доступен по адресу: http://serge.matveenko.ru/robotstxt/. Вот что пишет о нем сам автор. Кнопка на панель ссылок браузера для просмотра текста файла robots.txt Вы можете добавить на панель ссылок вашего браузера кнопку «Посмотреть robots.txt». Чтобы установить кнопку, просто перетащите эту ссылку на панель ссылок вашего браузера: Посмотреть robots.txt. Теперь, если Вы захотите увидеть файл robots.txt сайта, который в данный момент открыт в браузере, просто щелкните по кнопке «Посмотреть robots.txt» в панели ссылок. Откроется страница, содержащая текст файла. Кнопка работает во всех браузерах при включенном JavaScript. При просмотре сайта компании «Автоленд» выяснилось, что файл robots.txt на ресурсе отсутствует. Таким образом, данный способ ограничения индексации поисковыми роботами в указанном случае не применяется. Для получения доказательств того, что скрипт все-таки работает, мы обратились к другому сайту, а именно – форуму на екатеринбургском портале e1 по адресу: www.e1.ru/talk/ forum/. Результат проверки содержимого файла robots.txt на сайте форума приведен ниже. User-Agent: * Disallow: /mye1 Disallow: /ad.php Disallow: /cgi/go Disallow: /talk/forum/go.php Disallow: /fun/photo/get_code.php Disallow: /auto/sale/print/ Disallow: /talk/forum/forum_news.php В ряде случаев специалиста конкурентной разведки может ждать удача – когда переход по гиперссылке, указанной в окне с результатами проверки содержимого файла robots.txt, открывает доступ в те зоны сайта, которые в принципе предназначены лишь для служебного пользования, но при этом не запрещены к посещению людьми (то есть ограничения на посещение введены исключительно для поисковых пауков). Соответственно, на наш взгляд, ничего противозаконного или неэтичного в попытке представителя конкурентной разведки взглянуть на страницы ресурса, к которым ведут гиперссылки в файле robots.txt, нет. Визуальный осмотр офиса изучаемого предприятия на спутниковой фотографии с использованием Google MapЭтот метод хорош при работе с иностранными партнерами из развитых стран, поскольку в Гугле сделана привязка карт к каталогам с названиями компаний. Отечественные предприятия пока что не очень широко представлены в этом списке, а русский язык сервисом Google Map вообще на момент написания книги не поддерживался. Да и правила пользования подобными сервисами не всегда полностью соответствуют требованиям, предъявляемым к максимально разрешенной в России точности карт. На момент написания книги не были завершены дебаты о том, что ограничения на точность карт в России, возможно, устарели и требуют внесения изменений. Мы рекомендуем изучить законодательство на текущий момент, прежде чем пользоваться ресурсами Google Map по отношению к объектам на территории нашей страны, во избежание конфликтов с Законом. — 101 —
|