Home > Optymalizacja i pozycjonowanie stron internetowych - SEO > Pająki i roboty w wyszukiwarkach internetowych

Pająki i roboty w wyszukiwarkach internetowych

Sierpień 11th, 2011 Zostaw komentarz Idź do komentarzy

roboty i pająki w wyszukiwarkachDzisiaj trochę informacji o pająkach w internecie, zwanych też robotami. Pająki co jakiś czas odwiedzają naszą stronę, zbierają informację o niej i indeksują treść, dzięki temu strona pojawia się w wynikach wyszukiwania.

Aby zobaczyć stronę internetową tak, jak ją widzi pająk/robot należy wpisać adres witryny na stronie: http://www.seo-browser.com

Jeśli podejrzewasz, że roboty mogą nie wykryć wszystkich Twoich stron witryny, zastanów się nad utworzeniem mapy XML Sitemap.

Robots.txt

Robots.txt to plik, który jest otwierany przez roboty w czasie wizyty w witrynie. Plik może zawierać informacje jakie strony wyłączyć z indeksowania. Jeśli nie zastosuje się takiego pliku, wszystkie roboty będą mieć swobodny dostęp do każdej strony witryny. Plik robots.txt można wygenerować automatycznie na stronie głównej Narzędzi dla webmasterów lub sporządzić go samodzielnie.

Istnieją dwie podstawowe zasady w pliku robots.txt:

User-agent – robot, którego dotyczy dana reguła. Lista dostępnych robotów znajduje się na stronie: http://www.robotstxt.org/db.html

Disallow – adres URL, plik, folder, który ma być blokowany

Disallow: / – aby zablokować całą witrynę, należy użyć ukośnika.

* – oznacza wszystkie roboty


Tak wygląda przykładowy plik robots.txt, który nie indeksuje folderu mojearchiwum:

User-agent: googlebot

Disallow:/mojearchiwum/

Plik robots.txt musi znajdować się w katalogu głównym domeny i mieć nazwę ,,robots.txt„.

 

Meta robots

Podobną rolę pełnią znaczniki meta robots. Za pomocą tego znacznika można zablokować roboty tylko dla jednej strony. W tym celu należy umieścić w kodzie html:

<meta name=”robots” content=”noindex, nofollow”>

Strony wyłączone za pomocą znacznika meta robots w ogóle nie są wyświetlane na listach wyników.

 

 

 

  1. Brak komentarzy
  1. Brak jeszcze trackbacków