Hvordan ekskludere WordPress-innhold fra Google Søk

Hvordan ekskludere WordPress-innhold og filer fra Google Søk

Noen ganger må du ekskludere spesifikt WordPress-innhold eller filer fra å bli indeksert i Googles søkeresultater. Indeks eller “indeksering” før fremveksten av Google og andre søkemotorer var et ord som for det meste ble assosiert med bøker. Den ligger vanligvis bakerst i de fleste bøker, og det er grunnen til at Cambridge-ordboken definerer den i denne sammenhengen som:


indeks: en alfabetisk liste, for eksempel en som er skrevet på baksiden av en bok som viser hvilken side et emne, navn osv. er på.

Spol frem til 1995, under internettboomen, har vi tjenester som Yahoo-søkemotoren, og i 1997 har Google-søk dramatisk endret hvordan vi søker og får tilgang til informasjon på internett.

I følge en undersøkelse gjort i januar 2018, er det 1 805,260,010 (over 1,8 milliarder) nettsteder på internett, og mange av disse nettstedene får ingen besøkende i det hele tatt.

Hva er Google Indeksering?

Det er forskjellige søkemotorer med et annet indeksformat, men de populære søkemotorene inkluderer, Google, Bing og for personlige sinn, individer, duckduckgo.

Google-indeksering refererer vanligvis til prosessen med å legge til nye websider, inkludert digitalt innhold som dokumenter, videoer og bilder, og lagre dem i databasen. Med andre ord, for at innholdet på nettstedet ditt skal vises i Googles søkeresultater, må det først lagres i Google-indeksen.

Hva er Google Indeksering?

Google kan indeksere alle disse digitale sidene og innholdet ved hjelp av edderkopper, gjennomsøkere eller bots som gjentatte ganger gjennomsøker forskjellige nettsteder på Internett. Disse boter og gjennomsøkere følger nettstedseiernes instruksjoner om hva de skal gjennomgå og hva som bør ignoreres under gjennomsøking.

Hvorfor nettsteder må indekseres?

I denne epoken av den digitale tidsalderen er det nesten umulig å navigere gjennom milliarder av nettsteder for å finne et bestemt emne og innhold. Det vil være mye enklere hvis det finnes et verktøy for å vise oss hvilke nettsteder som er pålitelige, hvilket innhold som er nyttig og relevant for oss. Det er grunnen til at Google eksisterer og rangerer nettsteder i søkeresultatene.

Indeksering blir en uunnværlig del av hvordan søkemotorer generelt og Google spesielt fungerer. Det hjelper til med å identifisere ord og uttrykk som best beskriver en side, og generelt bidrar til rangering av sider og nettsteder. For å vises på den første siden på Google, må nettstedet ditt, inkludert websider og digitale filer som videoer, bilder og dokumenter, først indekseres.

Indeksering er et forutsetningstrinn for at nettsteder skal rangeres godt på søkemotorer generelt og Google spesielt. Ved hjelp av nøkkelord kan nettsteder bli bedre sett og oppdaget etter å ha blitt indeksert og rangert av søkemotorer. Dette åpner deretter dører for flere besøkende, abonnenter og potensielle kunder for nettstedet og bedriften din.

Det beste stedet å skjule en død kropp er side to på Google.

Selv om det å ha mange indekserte sider ikke automatisk gjør at nettstedene dine rangeres høyere, hvis innholdet på disse sidene også er av høy kvalitet, kan du få et løft når det gjelder SEO.

Hvorfor og hvordan du blokkerer søkemotoren fra å indeksere innhold

Selv om indeksering er flott for eiere av nettsteder og bedrifter, er det sider du kanskje ikke vil vises i søkeresultatene. Du kan også risikere å eksponere sensitive filer og innhold på Internett. Uten passord eller autentisering risikerer privat innhold å bli eksponert og uautorisert tilgang hvis roboter får frie tøyler over nettstedets mapper og filer.

På begynnelsen av 2000-tallet, hackere brukte Google-søk for å vise kredittkortinformasjon fra nettsteder med enkle søk. Denne sikkerhetsfeilen ble brukt av mange hackere for å stjele kortinformasjon fra nettsteder.

Nok en nyere sikkerhetsfeil skjedde i fjor til box.com, et populært skylagringssystem. Sikkerhetshullet ble utsatt av Markus Neis, trussel etterretningssjef for Swisscom. Han rapporterte at enkle utnyttelser av søkemotorer inkludert Google og Bing kunne eksponere fortrolige filer og informasjon fra mange forretnings- og enkeltkunder.

Saker som disse skjer online, og kan føre til tap i salg og inntekter for bedriftseiere. For bedrifts-, e-handel- og medlemsnettsteder er det kritisk viktig å først blokkere søkeindeksering av sensitivt innhold og private filer og deretter sannsynligvis legge dem bak et anstendig brukerautentiseringssystem..

La oss se på hvordan du kan kontrollere hvilket innhold og filer som kan gjennomsøkes og indekseres av Google og andre søkemotorer..

1. Bruke Robots.txt for bilder

Robots.txt er en fil som ligger på roten av nettstedet ditt som gir Google, Bing og andre søkemotorer bots med instruksjoner om hva du skal gjennomsøke og hva ikke. Mens robots.txt vanligvis brukes til å kontrollere gjennomgang av trafikk og web (mobil vs desktop) gjennomsøkere, kan det også brukes til å forhindre at bilder vises i Googles søkeresultater..

En robots.txt-fil med normale WordPress-nettsteder vil se slik ut:

Bruker agent: *
Avvis: / wp-admin /
Disallow: / wp-inkluderer /

Standard robots.txt-filen starter med en instruksjon for bruker-agent og et stjerne-symbol. Stjernen er en instruksjon for alle roboter som ankommer nettstedet for å følge alle instruksjonene som er gitt under den.

Hold roboter unna spesifikke digitale filer ved hjelp av Robot.txt

Robots.txt kan også brukes til å stoppe gjennomsøking av søkemotorer av digitale filer som PDF-er, JPEG eller MP4. For å blokkere gjennomsøking av PDF og JPEG-fil, bør dette legges til robots.txt-filen:

PDF-filer

Bruker agent: *
Disallow: / pdfs / # Blokkerer / pdfs / katalogen.
Disallow: * .pdf $ # Blokker pdf-filer fra alle boter. Om enn ikke-standard, det fungerer for store søkemotorer.

Bilder

Bruker-agent: Googlebot-Image
Disallow: /images/cats.jpg #Block cats.jpg bilde for Googlebot spesifikt.

I tilfelle du vil blokkere alle .GIF-bilder fra å bli indeksert og vises på google-bildesøk mens du tillater andre bildeformater som JPEG og PNG, bør du bruke følgende regler:

Bruker-agent: Googlebot-Image
Disallow: /*.gif$

Viktig: Ovennevnte kodebiter ekskluderer ganske enkelt innholdet ditt fra å bli indeksert av tredjepartsnettsteder som Google. De er fremdeles tilgjengelige hvis noen vet hvor de skal lete. For å gjøre filer private slik at ingen får tilgang til dem, må du bruke en annen metode, for eksempel disse innholdsbegrensningsprogrammene.

Googlebot-Image kan brukes til å blokkere bilder og en bestemt bildetillegg fra Google-bildesøk. I tilfelle du vil ekskludere dem fra alle Google-søk, f.eks. websøk og bilder, anbefales det å bruke en Googlebot-brukeragent i stedet.

Andre Google-brukeragenter for forskjellige elementer på et nettsted inkluderer Googlebot-Video for videoer fra Google-videodelen på nettet. På samme måte vil bruk av Googlebot-brukeragent blokkere at alle videoer vises i google-videoer, websøk eller mobilt websøk.

Roboter txt No-Index

Husk at bruk av Robots.txt ikke er en passende metode for å blokkere sensitive eller fortrolige filer og innhold på grunn av følgende begrensninger:

  • Robots.txt kan bare instruere veloppdragne gjennomsøkere; andre søkemotorer og bots som ikke er kompatible, kan ganske enkelt ignorere instruksjonene.
  • Robots.txt hindrer ikke serveren din i å sende disse sidene og filene til uautoriserte brukere på forespørsel.
  • Søkemotorer kan fremdeles finne og indeksere siden og innholdet du blokkerer i tilfelle de er lenket fra andre nettsteder og kilder.
  • Robots.txt er tilgjengelig for alle som deretter kan lese alle instruksjonene du har gitt, og få tilgang til innholdet og filene direkte

For å blokkere søkeindeksering og beskytte din private informasjon mer effektivt, vennligst bruk følgende metoder i stedet.

2. Bruk av ingen indeks Metatagg for sider

Å bruke metatag uten indeks er en riktig og mer effektiv metode for å blokkere søkeindeksering av sensitivt innhold på nettstedet ditt. I motsetning til robots.txt, er ikke-indeks metataggen plassert i delen av en webside med en veldig enkel HTML-kode:



...

Alle sider med denne instruksjonen på overskriften vises ikke i Googles søkeresultat. Andre direktiver som nofollow og notranslate kan også brukes for å fortelle nett crawler om ikke å gjennomsøke lenkene og tilbyr oversettelse av den siden.

Du kan instruere flere gjennomsøkere ved å bruke flere metakoder på en side som følger:



...


Det er to måter å legge denne koden til på nettstedet ditt. Det første alternativet ditt er å lage et WordPress-barnetema, deretter kan du i funksjonene.php benytte deg av WordPress wp_head-handlingshaken for å sette inn en noindex eller andre metatagger. Nedenfor er et eksempel på hvordan du vil noindex til innloggingssiden.

add_action ('wp_head', funksjon () {
if (is_page ('login')) {
ekko '';
}
});

Det andre alternativet ditt er å bruke SEO-pluginen din for å kontrollere en sides synlighet. Med Yoast SEO kan du for eksempel gå til avanserte innstillingsdelen på en side og bare velge “Nei” for alternativene for å la søkemotoren vise siden:

Yoast SEO Søkeresultatinnstilling

3. Bruke X-Robots-Tag HTTP-header for andre filer

X-Robots-tag gir deg mer fleksibilitet til å blokkere søkeindeksering av innholdet og filene dine. Når det sammenlignes med metataggen uten indeks, kan det spesielt brukes som HTTP-topprespons for en gitt URL. Du kan for eksempel bruke X-Robots-taggen for bilde-, video- og dokumentfiler der det ikke er mulig å bruke robotens metakoder.

Du kan lese Googles komplette metatagguide for roboter, men slik kan du instruere crawler om ikke å følge og indeksere et JPEG-bilde ved hjelp av X-Robots-Tag på HTTP-svaret:

HTTP / 1.1 200 OK
Innholdstype: image / jpeg
Dato: Lør 27. nov 2018 01:02:09 GMT
(...)
X-Robots-Tag: noindex, nofollow
(...)

Eventuelle direktiver som kan brukes med en robot-metatagg, er også gjeldende for en X-Robots-Tag. På samme måte kan du også instruere flere søkemotoroboter:

HTTP / 1.1 200 OK
Dato: Tirs. 21. september 2018 21:09:19 GMT
(...)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: bingbot: noindex
X-Robots-Tag: otherbot: noindex, nofollow
(...)

Det er viktig å merke seg at søkemotoroboter oppdager Roboter-metakoder og X-Robots-Tag HTTP-overskrifter under gjennomsøkingsprosessen. Så hvis du vil at disse robotene skal følge instruksjonene dine om ikke å følge eller indeksere noe konfidensielt innhold og dokumenter, må du ikke stoppe disse URL- og filadressene fra å gjennomsøke.

Hvis de er blokkert fra å gjennomsøke ved å bruke robots.txt-filen, blir ikke instruksjonene dine om indeksering lest, og så ignorert. Som et resultat, i tilfelle andre nettsteder kobler til innholdet og dokumentene dine, vil de fortsatt indekseres av Google og andre søkemotorer.

4. Bruke .htaccess-regler for Apache-servere

Du kan også legge til X-Robots-Tag HTTP-topptekst i .htaccess-filen din for å blokkere gjennomsøkere fra å indeksere sider og digitalt innhold på nettstedet ditt som er vert på en Apache-server. I motsetning til metatagger uten indeks, kan .htaccess-regler brukes på et helt nettsted eller en bestemt mappe. Støtten av vanlige uttrykk gir enda større fleksibilitet for deg å målrette mot flere filtyper samtidig.

For å hindre Googlebot, Bing og Baidu fra å gjennomsøke et nettsted eller en spesiell katalog, bruker du følgende regler:

RewriteEngine On
RewriteCond% {HTTP_USER_AGENT} (googlebot | bingbot | Baiduspider) [NC]
RewriteRule. * - [R = 403, L]

For å blokkere søkeindeksering av alle .txt, .jpg, .jpeg, .pdf-filer på hele nettstedet ditt, legger du til følgende kodebit:


Topptekst X-Robots-Tag "noindex, nofollow"

5. Bruke sidegodkjenning med brukernavn og passord

Metodene ovenfor vil forhindre at ditt private innhold og dokumenter vises i Googles søkeresultater. Imidlertid kan alle brukere med lenken nå innholdet ditt og få tilgang til filene dine direkte. For sikkerhets skyld anbefales det at du konfigurerer riktig godkjenning med brukernavn og passord samt tillatelse til rolle tilgang.

Bruke sidegodkjenning

For eksempel skal sider som inkluderer personlige profiler av ansatte og sensitive dokumenter som ikke må få tilgang til av anonyme brukere, skyves bak en autentiseringsport. Så selv når brukere på en eller annen måte klarer å finne sidene, vil de bli bedt om legitimasjon før de kan sjekke ut innholdet.

WordPress Passord Protect

For å gjøre dette med WordPress, angi bare synligheten til et innlegg passordbeskyttet. På denne måten kan du velge et passord som kreves for å se innholdet på den siden. Dette er ganske enkelt å gjøre per post / side. For å få et mer omfattende personvern av nettstedet, kan du prøve å legge til et av disse WordPress-medlemskapsprogrammene på nettstedet ditt.

Husk at passordbeskyttede eller skjulte sider fra søkemotorer og besøkende ikke nødvendigvis beskytter dokumentene, videoene og bildene som er knyttet til innholdet. For virkelig beskyttelse av dine WordPress-filopplastinger, er en førsteklasses tjeneste som Prevent Direct Access Gold sterkt anbefalt.

Konklusjon

I løpet av å være på side en av Google, kan det hende at bedriftseiere ikke tar hensyn til hva søkemotorer kan se. Enten du blokkerer bots fra en bestemt fil, skjuler en tilpasset påloggingsside eller passordbeskytter private brukerkataloger … det er mange sider du bør vurdere å ikke indeksere når det gjelder søkemotorer.

Har du spørsmål om å ekskludere innhold fra søkeresultatene? Eller forhindre at enkelte filer blir indeksert? Legg igjen en kommentar nedenfor!

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map