6 pomysłów na wyindeksowanie strony z wyników wyszukiwania

W dzisiejszych czasach obecność w internecie jest niezwykle ważna dla firm i przedsiębiorstw, które chcą dotrzeć do potencjalnych klientów oraz zwiększyć swoją widoczność i zasięg. Wyświetlanie się na pierwszych stronach wyników wyszukiwania stało się jednym z kluczowych czynników w budowaniu marki i przyciąganiu nowych, potencjalnych klientów.

Jednakże czasami zdarza się, że strony internetowe lub ich części muszą zostać usunięte z wyników wyszukiwania ze względu na błąd na stronie, atak złośliwego oprogramowania lub po prostu z powodu zmiany strategii marketingowej. W takich sytuacjach usuwanie stron z wyników z indeksu bywa koniecznością.

W niniejszym artykule omówię różne sposoby na usunięcie stron z wyników wyszukiwania Google, w tym korzystanie z Indexing API, metatagów, noindex, a także narzędzi Google Search Console.

Skąd wiadomo, że strona jest zaindeksowana?

Zanim przejdę do sposobów na wyindeksowanie podstron z wyników wyszukiwania Google, pokrótce objaśnię, jak można sprawdzić, czy nasza podstrona znajduje się już we wspomnianym indeksie. Jest na to kilka prostych sposobów.

Pierwszym z nich jest użycie odpowiedniej komendy w Google. Wystarczy, że przed interesującym nas adresem w Google wpiszemy „site:”, np. site:twojadomena.pl/strona-do-sprawdzenia. Co zrobić, jeżeli w wynikach znajdziemy informację:

Podana fraza – site:twojadomena.pl/strona-do-sprawdzenia – nie została odnaleziona.

Podpowiedzi:

• Sprawdź, czy wszystkie słowa zostały poprawnie napisane.
• Spróbuj użyć innych słów kluczowych.
• Spróbuj użyć bardziej ogólnych słów kluczowych.

Oznacza to, że strona prawdopodobnie nie została zaindeksowana. Jest to także dobry sposób w przypadku witryn z niewielką liczbą podstron na przeanalizowanie, czy w indeksie nie znajdują się zbędne zaindeksowane podstrony. Jeżeli wpiszesz tylko „site:twojadomena.pl” otrzymasz wszystkie wyniki podstron Twojej witryny, które znajdują się w wynikach wyszukiwania Google.

Drugim sposobem jest wykorzystanie Google Search Console. Odpowiedni adres należy wpisać w okienko narzędzia. Po chwili otrzymamy informację, czy dana podstrona została zaindeksowana, podobnie jak na zdjęciu poniżej.

W jakim celu usuwa się strony z indeksu?

Często zdarza się, zwłaszcza przy dużych serwisach, że przez niedopatrzenie zaindeksowały się strony, których wolelibyśmy unikać. Mogą to być przykładowo strony związane z filtrowaniem, sortowaniem produktów, zbędne tagi, duplikaty podstron, strony z poufnymi treściami. Dodatkowe strony, które nie są wartościowe dla użytkowników lub nie powinny być indeksowane, mogą negatywnie wpłynąć na proces pozycjonowania strony internetowej i jej wyniki w wyszukiwarce Google. Mogą one przyczynić się do zmniejszenia efektywności crawl budgetu, czyli liczby stron, które Googlebot jest w stanie przeszukać w określonym czasie.

Na dodatek zduplikowane treści lub strony z poufnymi treściami mogą negatywnie wpłynąć na ocenę strony przez algorytm Google. Duplikaty są uważane za sztuczne podwajanie treści, co może obniżyć pozycję strony w wynikach wyszukiwania. Strony z poufnymi treściami, które zostały indeksowane przez Google, mogą być wyświetlane w wynikach wyszukiwania i dostępne publicznie, co jest sprzeczne z polityką prywatności i może naruszać prywatność użytkowników. Czasami zdarza się także, że nasza witryna zostaje zawirusowana. Takich podstron już tym bardziej nie chcemy nikomu pokazywać. Wpłynie to skutecznie nie tylko na crawl budget, ale także na zwiększenie współczynnika odrzuceń. Kto by wrócił na witrynę, na której są wirusy?

Dlatego ważne jest, aby regularnie monitorować indeksację swojej witryny i usuwać niepotrzebne strony lub ograniczać ich dostępność.

Jeżeli jednak jesteś dopiero na początku tworzenia swojej strony, pamiętaj, że w indeksie nie powinny znajdować się także takie strony, jak:

• operacyjne, czyli wszystkie podstrony związane z logowaniem, rejestracją, odzyskiwaniem haseł, sprawdzaniem konta, edytowaniem koszyka zakupowego
• testowe – gdy przykładowo sprawdzałeś, jak będą wyglądać czcionki czy działać różne funkcje itd.
• podstrony o niskiej jakości, czyli takie, które nie zawierają zbyt wiele lub żadnej wartościowej treści dla użytkownika.

Jak usunąć stronę z indeksu?

Usunięcie strony z indeksu Google może być konieczne z różnych powodów, takich jak błędy indeksacji, duplikaty podstron, a także z powodu przestarzałych informacji na stronie lub zmiany strategii marketingowej. Bez odpowiedniej optymalizacji SEO te strony mogą negatywnie wpływać na ocenę witryny przez wyszukiwarkę Google, co może prowadzić do niższych pozycji w wynikach wyszukiwania. Poniżej przedstawiam kilka sposób na usunięcie stron z wyników wyszukiwania.

Indexing API

Chyba większość ludzi, która walczyła z indeksowaniem, zna te narzędzie. Dla użytkowników WordPressa powstały już pierwsze wtyczki, które same wysyłają nowe podstrony z prośbą o indeksowanie. Co ciekawe, Indexing API może być także pomocne w usuwanie witryn z site.

W tej sytuacji mamy dwie możliwości do wyboru. Pierwsza to URL_DELETED – ma zastosowanie, gdy został już usunięty dany adres URL i jest pusty, czyli kod zwraca 404. Drugi dotyczy zaktualizowania danego adresu, czyli URL_UPDATE, stosuje się je, gdy w sekcji <head> kodu HTML zmieniłeś dyrektywę na meta robots=noindex, ale strona nadal zwraca kod HTTP 200 – czyli wciąż istnieje w indeksie.

Po więcej informacji na ten temat odsyłam do dokumentacji Google.

Błąd 404 i 410

W sytuacji, gdy zasoby na danej podstronie nie będą już do niczego więcej wykorzystywane, możesz je po prostu usunąć, po czym strona będzie zwracać błąd 404.

Jeżeli jednak Twoja strona została zainfekowana przez wirusy, lepszym rozwiązaniem będzie wykorzystanie kodu 410. Wspomniany kod określa, że nie tylko chcemy się pozbyć danych zasobów z indeksu, ale także nie przyznajemy się do nich. Inaczej mówiąc, przekazujemy informację, że utworzone podstrony zostały zmienione bez naszej zgody, co stanowi jasny sygnał, że jest to celowa próba usunięcia zasobów na stronie.

Narzędzia dla webmasterów do usuwania adresów URL w Google Search Console

Google Search Console jest darmowym narzędziem dostępnym dla każdego, kto posiada swoją stronę internetową.

Na początku przygotuj listę podstron, które chcesz usunąć z wyników wyszukiwania. Następnie zaloguj się do swojego konta. Z bocznego menu wybierz „Indeks”, następnie „Ustawienia” i zakładkę „Tymczasowe usunięcia”.

Narzędzie to daje możliwość usunięcia pojedynczych adresów URL lub ich grup, które posiadają określony prefiks. Oznacza to, że po wpisaniu adresu twojadomena.pl/blog/ automatycznie zgłosiłyby się wszystkie podstrony dotyczące bloga, np.:

• twojadomena.pl/blog/pierwszy-wpis-blogowy
• twojadomena.pl/blog/drugi-wpis-blogowy
• twojadomena.pl/blog/trzeci-wpis-blogowy
• twojadomena.pl/blog/czwarty-wpis-blogowy
• twojadomena.pl/blog/piaty-wpis-blogowy.

Jednocześnie bez zmian pozostałyby wpisy o strukturze adresu URL, przykładowo:

• twojadomena.pl/aktualności/pierwszy-wpis-blogowy.

Istotnym faktem jest, że za pomocą takiego rozwiązania możliwe jest usunięcie podstron z wyników wyszukiwania Google na 6 miesięcy. Oznacza to, że należałoby te czynności powtarzać co pół roku, jeśli dana podstrona nie zostanie zablokowana przed indeksacją.

Metatagi

Metatagi są informacjami w kodzie HTML strony, które umieszczamy w sekcji <head>. Standardowy zapis dla stron, które chcemy indeksować, to <meta name=”robots” content=”index, follow”>. Jednakże jeżeli chcemy usunąć stronę z wyników wyszukiwania, należy zmienić je na <meta name=”robots” content=”noindex, follow”> lub <meta name=”robots” content=”noindex, nofollow”>.

Pierwszy zapis stanowi informację dla robotów Google o tym, że strony nie należy indeksować, ale roboty mogą przechodzić dalej po linkach, które się na niej znajdują – do pozostałych podstron. Drugi natomiast sygnalizuje, że strony nie należy indeksować i jednocześnie zabrania robotom przechodzenie na kolejne podstrony po linkach znajdujących się na stronie.

Metoda ta w porównaniu do wyżej omawianego narzędzia dla webmasterów jest stała tak długo, póki pozostaje dyrektywa noindex w witrynie. Podstrony z wyników wyszukiwania powinny zniknąć, gdy tylko roboty Google odwiedzą witrynę. Jeżeli chcesz przyśpieszyć ten proces, możesz za pomocą Google Search Console wysłać robotom „zaproszenie” do swojej strony.

Adresy kanoniczne

Jeżeli na Twojej stronie pojawiła się duża liczba zduplikowanych podstron, dobrym pomysłem będzie nadanie im odpowiednich adresów kanonicznych. Strona z adresem kanonicznym powinna mieć taką samą zawartość jak strona oryginalna. W przeciwnym wypadku Google sam może wybrać inną podstronę jako wersję oryginalną lub zignorować tag.

Takie rozwiązanie często jest stosowane w przypadku, gdy sortowanie grup produktów ma unikalny adres URL i nie ma zablokowanej indeksacji, przez co te same produkty inaczej ułożone indeksują się w wynikach wyszukiwania. Co więcej, w sytuacji gdy nawet nie posiadasz duplikatów podstron (jeszcze), w myśl zasady, że warto dmuchać na zimne, dobrą praktyką będzie już na początku budowania witryny ustawić self-canonical, czyli taki sam adres kanoniczny jak adres URL Twojej podstrony. Ważne jest, aby adresy były dokładnie takie same.

Przykładowo:

• twojadomena.pl/strona-z-informacjami/

Adresy kanoniczne niepoprawne:

• twojadomena.pl/strona-z-informacjami
• twojadomena.pl/ z-informacjami
• twojadomena.pl/strona-zinformacjami/

Jedynym poprawnym adresem kanonicznym, jeżeli ma wskazywać sam na siebie, będzie dokładny adres podstrony, to znaczy: twojadomena.pl/strona-z-informacjami/.

Przekierowanie 301

W sytuacji gdy zmieniasz lub uszczuplasz asortyment w swoim sklepie, może pojawić się wiele podkategorii czy kategorii, które nie będą Ci już potrzebne. Jeżeli podstrony te były długo na Twojej stronie, bardzo możliwe, że prowadzą do nich wartościowe linki zewnętrzne. W takiej sytuacji zamiast standardowego 404 warto wykonać przekierowanie 301 (co będzie miało lepszy wpływ na proces pozycjonowania sklepu internetowego).

W miarę możliwości podstrony warto przekierowywać do podobnych tematycznie. Jeżeli masz bardzo długą listę adresów, mapę przekierowań może pomóc Ci wykonać darmowe narzędzie Get Redirects. Pamiętaj jednak, że warto zweryfikować zaproponowane przekierowania, zanim je wykonasz.

Typowe błędy, których należy unikać podczas usuwania stron z indeksu

Podstawowym błędem podczas prób wyindeksowania strony z wyników wyszukiwania jest dodanie zapisu w pliku robots.txt „disallow: /twoja-strona-do-wyindeksowania.php”.

Takie rozwiązanie przyczyni się do tego, że boty Google nie odczytają metatagów „noindex” na stronie, ponieważ w robot.txt zabroniliśmy im do niej dostępu. W efekcie strona nie zostanie wyindeksowana. Ponadto nawet jeżeli usuniemy już stronę z indeksu i zablokujemy do niej dostęp w robots.txt, w sytuacji gdy roboty Google znajdą odnośnik do konkretnej zablokowanej strony, nadal mogą ją wyświetlać w wynikach wyszukiwania. W związku z tym z powyższej metody można skorzystać pod warunkiem że nigdy nie prowadziły i nie będą prowadzić do niej linki wewnętrzne ani zewnętrzne.

Drugim błędem może być używanie jednocześnie noindex i adresu kanonicznego. Używanie obydwóch metod jest sprzeczne ze sobą. Wskazujemy oryginalną wersję strony, jednocześnie próbując ją wyindeksować. W takiej sytuacji Google może zignorować noindex i wziąć pod uwagę tylko adres kanoniczny.

Czy możesz usunąć stronę z wyszukiwarki Google, jeżeli nie jesteś jej właścicielem?

Wyżej w artykule przedstawiłam metody, w jaki sposób można usunąć z indeksu strony, których jesteśmy właścicielem. Jednakże w dość skrajnych przypadkach można spróbować usunąć stronę, gdy nie należy ona do nas. Google umożliwia takie działanie w przypadkach podanych poniżej:

• ktoś na stronie bez zgody zamieścił Twoje zdjęcia o charakterze intymnym lub prywatnym,
• na stronie znajdują się sfabrykowane zdjęcia pornograficzne opublikowane bez zgody przedstawionych osób,
• strona stwarza problemy przy składaniu prośby o usunięciu treści np. poprzez żądanie opłaty,
• strona zawiera Twoje poufne dane (adres, numer PESEL, dane kart płatniczych, dane dowodu osobistego itp.),
• strona zawiera dane kontaktowe wykorzystywane do tzw. doxingu (polega on na gromadzeniu i ujawnianiu danych zebranych w internecie o danej osobie w celu jej prześladowania bądź innej szkody),
• strona zawiera zdjęcia osób nieletnich (nie tylko w przypadku naruszenia prawa czy obyczajów),
• na stronie są zasoby pornograficzne, które ktoś celowo bądź omyłkowo błędnie powiązał z Twoim imieniem i nazwiskiem,
• strony zawierające podrobione produkty,
• strona narusza obowiązujące przepisy prawne.

Jeżeli któreś z powyższych sytuacji dotyczą Ciebie, możesz poprzez stronę supportu skontaktować się z Google. Mam jednak nadzieję, że nigdy nie będziesz zmuszony do wypróbowania tej metody.

Podsumowanie

Regularne utrzymywanie i aktualizacja strony internetowej są kluczowe dla jej skuteczności i dalszego rozwoju. Ważne jest, aby regularnie sprawdzać, czy wszystkie strony na stronie internetowej są aktualne i przydatne dla użytkowników. W ten sposób unikniemy sytuacji, w której niepotrzebne lub przestarzałe strony wpływają negatywnie na indeksowanie i pozycję witryny w wynikach wyszukiwania.

Dodatkowo znajomość wszystkich stron zaindeksowanych w Twojej witrynie może pomóc w odkryciu nowych możliwości uzyskania wyższej pozycji w wynikach wyszukiwania bez konieczności ciągłego publikowania nowych treści. Dzięki temu będziemy mogli w pełni wykorzystać potencjał naszej witryny, zwiększać jej popularność w internecie i przyciągać nowych użytkowników.

Regularne utrzymywanie i aktualizacja strony internetowej wpływają pozytywnie na pozycjonowanie, a także na doświadczenie użytkownika. Dzięki aktualizacji zawartości i wprowadzaniu nowych funkcjonalności strona staje się atrakcyjniejsza i użyteczniejsza dla odwiedzających.

Szybkie pytania i odpowiedzi

Dlaczego warto usuwać strony z indeksu?

Posiadanie podstron, które nie stanowią żadnej wartości do użytkownika, może mieć negatywny wpływ na proces pozycjonowania witryny. Ponadto duża liczba zbędnych podstron marnuje także crawl budget, przez co wartościowe podstrony mogą się wolniej indeksować.

Jakie strony nie powinny znajdować się w indeksie?

• zduplikowane
• naruszające prawo
• puste
• zaatakowane przez wirusy
• operacyjne (podstrony związane z rejestracją, logowaniem, koszykiem)
• testowe
• zawierające prywatne informacje.

Czy można usunąć stronę, której nie jesteśmy właścicielem?

Google umożliwia usunięcie strony, gdy nie jesteśmy jej właścicielem, jeśli dana witryna narusza nasze dobro, np. zawiera zdjęcia, na których publikację nie wyraziliśmy zgody, lub treści niezgodne z prawem.

Czy usunięcie stron z wyników wyszukiwania uniemożliwi użytkownikom wejście na nią?

Usunięcie strony z wyników wyszukiwania nie oznacza usunięcia jej z zasobów całego internetu. Może się okazać, że na stronę jest możliwe wejście za pomocą innych przeglądarek jak Bing czy Yahoo lub poprzez bezpośredni odnośnik do Twojej strony.

Na jak długo strona zostanie wyindeksowana przy pomocy narzędzia Google Search Console?

Jeżeli Twoja prośba o usunięcie strony zostanie rozpatrzona pozytywnie, strona zostanie usunięta na 6 miesięcy.

Jakie są najczęstsze błędy podczas usuwania stron z indeksu?

Najczęstszym błędem jest zablokowanie witryny w robots.txt, przez co roboty Google nie mogą odczytać <meta name=”robots” content=”noindex, nofollow”>.