Co to jest Screaming Frog?
Screaming Frog to zaawansowane narzędzie do przeglądania stron internetowych, które skanuje adresy URL, aby zebrać niezbędne dane dla poprawy wydajności SEO Twojej strony. Dzięki niemu możemy przeprowadzić audit wewnętrznego linkowania czy stworzyć mapę strony XML w szybki i efektywny sposób. Dodatkowo, Screaming Frog monitoruje strony pod kątem typowych błędów SEO, takich jak: zły typ treści, duplikaty stron, brakujące metadane i wiele innych.
Jak Pobrać Screaming Frog za Darmo?
Narzędzie Screaming Frog dostępne jest w wersji lite, która umożliwia przeglądanie do 500 URLi za darmo. W przypadku zakupu licencji, ten limit zostaje usunięty, a użytkownik otrzymuje dostęp do szeregu zaawansowanych funkcji, takich jak renderowanie JavaScript, niestandardowe roboty, sprawdzanie pisowni i gramatyki, niestandardowe wydobycie danych, integrację z Google Analytics i Search Console, oraz wiele innych.
Do Czego Służy Screaming Frog SEO Spider?
Screaming Frog SEO Spider to wszechstronne narzędzie, które pomaga w przeprowadzeniu pełnego skanowania strony. Może służyć do analizy technicznej strony, jak również do sprawdzania wewnętrznych i zwrotnych linków.
Jak Używać Screaming Frog w Celu Poprawy SEO na Stronie?
Aby w pełni zrozumieć możliwości narzędzia Screaming Frog, zaprezentujemy, jak przeprowadzić pełne skanowanie strony.
Jak przeprowadzić pełne skanowanie strony za pomocą Screaming Frog SEO
Przed rozpoczęciem procesu skanowania strony w Screaming Frog SEO, określ:
- Jakie informacje chcesz uzyskać.
- Jak duża jest strona.
- Którą część strony musisz sprawdzić pod kątem kompletności.
W przypadku dużych stron, lepiej ograniczyć analizowany obszar do podsekcji URLi, aby uzyskać reprezentatywną próbkę danych. Dzięki temu rozmiary plików i dane do eksportu są łatwiejsze do zarządzania.
Aby przeprowadzić pełne skanowanie strony ze wszystkimi poddomenami, konieczne jest nieco zmienienie ustawień przed rozpoczęciem. Domyślnie Screaming Frog sprawdza tylko wprowadzone poddomeny. Dodatkowe będą traktowane przez algorytm jako linki zewnętrzne. Aby sprawdzić dodatkowe poddomeny, musisz zmienić ustawienia w menu Konfiguracji Screaming Frog. Wybierając Spider > Crawl all Subdomains, zapewnisz, że algorytm przegląda wszystkie linki do poddomen Twojej strony.
Krok 1 – Konfiguracja skanowania domeny i poddomen
Pierwszym krokiem w optymalizacji korzystania z narzędzia Screaming Frog jest prawidłowe skonfigurowanie skanowania domen i poddomen. Domyślnie narzędzie skanuje tylko wprowadzone poddomeny, traktując pozostałe jako linki zewnętrzne. Aby sprawdzić dodatkowe poddomeny, należy zmienić ustawienia w menu konfiguracji (Configuration). Wybierając opcję Spider > Crawl all Subdomains, zapewnimy, że algorytm przegląda wszystkie linki do poddomen naszej strony.
Krok 2 – Konfiguracja przeglądania całej strony
Jeżeli rozpoczęliśmy przeglądanie od konkretnego podfolderu, ale wciąż chcemy, aby Screaming Frog skanował całą stronę, zaznaczamy opcję «Crawl Outside of Start Folder».
Wskazówka – Wyłącz skanowanie obrazów, CSS i JavaScript
Aby oszczędzić czas i miejsce na dysku, możemy wyłączyć skanowanie obrazów, plików CSS i JavaScript. W tym celu odznaczamy te opcje w Screaming Frog.
Jak skonfigurować Screaming Frog do przeglądania jednego folderu?
Aby ograniczyć Screaming Frog SEO Spider do jednego folderu, wprowadź URL i kliknij “start” bez zmiany domyślnych ustawień. Jeśli nadpisaliśmy początkowe ustawienia, zresetuj domyślne konfiguracje w File > Configuration > Clear Default Configuration.
Jeśli chcemy rozpocząć przeglądanie w określonym folderze, ale kontynuować w pozostałym poddomeniu, wybierz «Crawl outside of start folder» z menu Konfiguracji przed wprowadzeniem URL startowego.
Jak sprawdzić poddomeny i podkatalogi: dostosowywanie Screaming Frog
Aby ograniczyć sprawdzenie Screaming Frog do konkretnego zestawu poddomen lub podkatalogów, możemy użyć RegEx do ustawienia tych zasad w ustawieniach Include lub Exclude w menu Configuration.
Wykluczenie
Na przykład, przeszukaliśmy każdą stronę na seerinteractive.com, wykluczając stronę “About” na każdym poddomeniu.
Krok 1 — napisz reguły wykluczające Otwórz Configuration > Exclude; użyj wyrażenia wieloznacznego, aby wykluczyć parametry lub URLi.
Krok 2 — Testowanie, jak będzie działać wykluczenie Przetestuj wyrażenie, aby upewnić się, że są strony, które powinny być wykluczone przed rozpoczęciem testu.
Włączenie
W poniższym przykładzie chcieliśmy przeszukać podfolder command na seerinteractive.com. Użyj zakładki Test, aby przetestować wiele URLi i upewnić się, że RegEx dla sub-reguły jest prawidłowo ustawiony.
Jak zebrać wszystkie strony na stronie
Domyślnie Screaming Frog sprawdza wszystkie obrazy, pliki JavaScript, CSS i flash.
Aby zebrać wszystkie strony witryny (tylko HTML) w Screaming Frog, odznacz «Check Images», «Check CSS», «Check JavaScript» i «Check SWF» w menu Configuration.
Kiedy wyłączysz powyższe opcje, Screaming Frog SEO Spider zebra wszystkie strony na stronie z wewnętrznymi linkami do nich.
Po zakończeniu przeglądania, wybierz zakładkę «Internal» i filtruj wyniki według «HTML». Kliknij «Export», a otrzymasz pełną listę stron w formacie CSV.
Wskazówka — Zapisz ustawienia Screaming Frog, których używasz podczas każdego sprawdzenia
Pamiętaj, że konfiguracja Screaming Frog jest kluczowa dla efektywności pracy z tym narzędziem. Zapisywanie ustawień pozwoli Ci na łatwe i szybkie przystosowanie narzędzia do Twoich potrzeb.
Konfiguracja ustawień do crawlowania stron
Aby wylistować wszystkie strony w określonym podkatalogu, konieczne jest zmodyfikowanie kilku ustawień w skanerze stron. Obejmuje to wyłączenie opcji „Sprawdzanie CSS”, „Sprawdzanie JavaScript” oraz „Sprawdzanie SWF”.
Dodatkowo, istotne jest zresetowanie opcji „Sprawdzanie linków poza folderem”. Wyłączając te ustawienia i uruchamiając skan, otrzymamy listę wszystkich stron zawartych w folderze startowym.
Metoda 1: Użycie Screaming Frog
Aby znaleźć wszystkie subdomeny na określonej stronie, przejdź do sekcji „Konfiguracja > Spider” w Screaming Frog i upewnij się, że opcja „Przeszukaj wszystkie subdomeny” jest zaznaczona. Pozwoli to na sprawdzenie każdej powiązanej subdomeny podczas skanowania. Należy jednak pamiętać, że niepowiązane subdomeny nie zostaną znalezione.
Metoda 2: Użycie Google
Korzystając z rozszerzenia Scraper dla Chrome i zaawansowanych operatorów wyszukiwania, można znaleźć wszystkie zaindeksowane subdomeny dla danego domeny.
Krok 1: użycie operatorów site i inurl
Rozpocznij od użycia operatora wyszukiwania site: w Google, aby ograniczyć wyniki do konkretnej domeny. Następnie użyj operatora wyszukiwania -inurl, aby zawęzić wyniki wyszukiwania poprzez usunięcie głównej domeny. Po tym zobaczysz listę zaindeksowanych przez Google subdomen, które nie zawierają głównej domeny.
Krok 2: użycie rozszerzenia Scraper
Skorzystaj z rozszerzenia Scraper, aby wyodrębnić wyniki do arkusza Google. Aby to zrobić, kliknij prawym przyciskiem myszy na link w wynikach wyszukiwania, wybierz opcję „Scrape similar” i wyeksportuj do dokumentu Google.
Krok 3: usuwanie zbędnych danych
W arkuszu Google użyj następującej funkcji, aby skrócić adresy URL do subdomeny:
=LEFT(A2,SEARCH("/",A2,9))
Ta funkcja pomoże usunąć wszelkie podkatalogi, strony lub nazwy plików na końcu twojego adresu URL. Funkcja mówi arkuszom lub Excelowi, aby zwróciły to, co jest po lewej stronie ukośnika. Liczba 9 na początku jest istotna, ponieważ prosimy o rozpoczęcie szukania ukośnika po 9-tym znaku. Uwzględnia to protokół https:// o długości 8 znaków.
Usuń duplikaty z listy i załaduj ją do Screaming Frog w trybie listy. Możesz wstawić listę domen ręcznie, użyć funkcji lub załadować plik CSV.
Metoda 3: Znalezienie subdomen w Screaming Frog
Wprowadź główny adres URL domeny do narzędzi, które pomogą ci znaleźć strony o tym samym adresie IP. Alternatywnie, skorzystaj z dedykowanych wyszukiwarek, takich jak FindSubdomains. Załóż darmowe konto, aby zalogować się i wyeksportować listę subdomen. Następnie załaduj listę do Screaming Frog, korzystając z trybu listy.
Po zakończeniu skanowania będziesz mógł zobaczyć kody statusu, a także wszelkie linki do stron głównych subdomen, teksty kotwic i duplikaty tytułów stron itp.
Co jest potrzebne do scrapingu dużych stron za pomocą Screaming Frog Spider:
- Możesz zwiększyć przydzieloną pamięć.
- Możesz podzielić sprawdzanie na podkatalogi lub sprawdzać tylko określone części strony, korzystając z ustawień Include/Exclude.
- Możesz zdecydować się na niewybieranie obrazów, JavaScriptu, CSS i plików flash. Odznaczając te opcje w ustawieniach Screaming Frog Seo Spider, oszczędzasz pamięć na skanowanie tylko HTML.
Wskazówka — zatrzymaj skanowanie w razie potrzeby
Do niedawna Screaming Frog SEO Spider mógł zatrzymać się lub awarii podczas skanowania dużej strony. Teraz, z domyślnym magazynowaniem w bazie danych, można kontynuować skanowanie tam, gdzie się skończyło. Ponadto masz dostęp do kolejki adresów URL, na wypadek gdybyś chciał wykluczyć lub dodać dodatkowe parametry do testowania dużej strony.
W niektórych przypadkach stare serwery mogą nie być w stanie przetworzyć określonej liczby żądań na sekundę domyślnie. Przy okazji, zalecamy ustawienie tego limitu, aby szanować etykietę serwera. Najlepiej informować klienta, kiedy planujesz sprawdzić stronę pod kątem nieznanych agentów użytkownika. W tym przypadku mogą oni dodać twoje IP do listy białej, zanim zaczniesz skanować stronę. W przeciwnym razie wyślesz zbyt wiele żądań do serwera i przypadkowo spowodujesz awarię strony.
Aby zmienić prędkość skanowania, otwórz „Konfiguracja > Prędkość” i w okienku wybierz maksymalną liczbę wątków, które powinny działać jednocześnie. W tym menu możesz również wybrać maksymalną liczbę żądań URL na sekundę.
Wskazówka — zwiększ “Czas odpowiedzi” w ustawieniach
Jeśli wynik skanowania daje wiele błędów serwera, przejdź do „Konfiguracja > Spider > Zaawansowane” w ustawieniach i zwiększ „Czas odpowiedzi” oraz „Powtórzenia odpowiedzi 5xx”, aby uzyskać lepsze wyniki.
Screaming Frog Seo Spider pozwala na skanowanie stron, które wymagają plików cookie. Chociaż boty wyszukiwarki nie akceptują plików cookie, jeśli skanujesz stronę i musisz je zezwolić, wystarczy przejść do „Konfiguracja > Spider > Zaawansowane” i zaznaczyć opcję „Zezwalaj na pliki cookie”.
Tak, można zarządzać uwierzytelnianiem w ustawieniach Screaming Frog. Kiedy algorytm Screaming Frog napotyka stronę chronioną hasłem, pojawi się okno dialogowe, w którym można wpisać wymagane nazwę użytkownika i hasło.
Uwierzytelnianie oparte na formularzach to potężna funkcja, która może wymagać JavaScriptu do skutecznej pracy.
Należy jednak pamiętać, że uwierzytelnianie oparte na formularzach powinno być używane rzadko i tylko przez zaawansowanych użytkowników. Algorytm jest zaprogramowany tak, aby klikał na każdy link na stronie. Mogłoby to potencjalnie wpływać na linki tworzące posty lub nawet usuwające dane.
Aby zarządzać uwierzytelnianiem, przejdź do „Konfiguracja > Uwierzytelnianie”.
Aby wyłączyć żądania uwierzytelniania, przejdź do „Konfiguracja > Uwierzytelnianie” i odznacz opcję „Uwierzytelnianie oparte na standardach”.