Groot alarm in de SEO wereld eind september 2013. Althans als je al deze posts leest. Wat is er aan de hand? Google geeft steeds minder zoekwoorden door, die gebruikers van Google intikte om je site te vinden.
Ga er even lekker voor zitten of print het uit voor later: dit is een lang artikel: leestijd 20 minuten.
Google geeft aan dat het om privacy redenen de referrals niet meer doorgeeft:
We added SSL encryption for our signed-in search users in 2011, as well as searches from the Chrome omnibox earlier this year. We’re now working to bring this extra protection to more users who are not signed in.
Deze privacy redenen gelden dan alleen voor organic search, want voor het betaalde verkeer via Adwords gaat deze privacy vlieger niet op. Begrijpelijk natuurlijk want daar verdient Google zijn geld mee. Google blijft volhouden dat het om privacy van haar gebruikers gaat terwijl het natuurlijk om haar eigen portemonnee is te doen. Niks mis mee maar doe dan niet zo flauw door je achter het een beetje te doorzichtige argument van NSA en privacy stuff te verschuilen. Althans dat is mijn mening.
Door het bakje ‘organic search’ (dat in Google analytics dan ook niet-betaald verkeer is gedoopt) op 1 hoop te vegen en niet meer te segmenteren naar zoekwoord is het lastiger om op zoekwoorden niveau prestaties, conversies en optimalisatie uit te voeren.
Omdat Google bijna tegelijkertijd in Adwords een soort benchmark tussen AdWords en organic traffic heeft vrijgegeven probeert het op die manier meer ondernemers naar Adwords te lokken.
Op dit moment licht het percentage ‘Not provided’ voor veel sites al op 80+%. Op http://www.notprovidedcount.com/ kun je zien hoe dit in de UK is voor een steekproef van 60 websites.
Impact Knowledgegraph en Hummingbird
Daarnaast kondigde Google dit najaar de Knowledgegraph kaarten aan en de Hummingbird algo update. Onder invloed van mobile zoekopdrachten, voice search en dus meer vragende zoekopdrachten worden er door Hummingbird naar de zoekintentie gekeken voor het antwoord middels de ‘cards’ uit de Knowledgegraph. Probeer Google now maar eens uit op je mobiel.
Gevolg? Van het web van woorden naar het web van dingen. Van korte zoekwoorden naar langere zoekzinnen.
Wat is ‘not provided?’
Eind 2011 kondigde Google aan ingelogde gebruikers op google.com te laten zoeken via secure search. Dit kun je zien in de adresbalk. Er staat dan voor iedereen https in plaats van http. De http referral die eerder meegestuurd werd bevatte de bron (bv ‘Google’) en het zoekwoord. Met https sloopt Google het zoekwoord eruit. Not provided werd daarna uitgebreid naar Android, ingelogde gebruikers wereldwijd, Firefox, Safari, Chrome. En dus sinds november 2013 voor iedereen.
Privacy reden ‘Not provided’
Meekijkende regimes of overheden (of de NDA of AIVD dat nog wel kan is de vraag natuurlijk) hebben zo geen zicht meer op wat we zoeken. Althans Google geeft het privacy argument aan als argument. Op zich een goede zaak… als dit ook voor Adwords gold. En als het echt waterdicht zou zijn.
Facebook en retargeting software kan ook niet meer meekijken
Er is ook een wat samenzweerderige theorie dat Facebook via de ‘like’ knoppen meekeek met de search referrals om zo sociale intentie en zoekintentie te kunnen mengen. Google zou met secure search Facebook de pas af hebben willen snijden. Het plotselinge dichtgooien naar 100% zonder aankondigen via eigen blog vooraf past in deze theorie. Hetzelfde zou gelden voor remarketing tools die de zoekwoord referral gebruikte voor hun remarketing methoden. Google zou hiermee deze potentiele concurrentie bewust om zeep hebben geholpen.
Geen enkel web statistieken programma geeft meer Google referrals door
Voor de duidelijkheid: Google geeft de referrals niet meer door. Dit betekent dat geen enkele analytics programma deze nog wel kan opvangen. Het is dus niet zo dat alleen Google Analytics de referrals niet meer laat zien. Ook Adobe sitecatalyst, Webtrends, NetInsights en andere webanalytics programma’s kunnen de zoekwoorden van Google niet meer tonen.
Wat doet Bing? En Yahoo!?
Op dit moment geven Bing en Yahoo! Nog gewoon referral data door. Wel kondigde Yahoo! onlangs aan dat het haar mail programma secure maakte. Dus wie weet wat deze beweging voor de zoekwoord referralsgaat betekenen.
Not provided data: zoekwoorden zijn van known knowns naar unknown unknows gegaan.
… there are known knowns; there are things we know that we know.
There are known unknowns; that is to say, there are things that we now know we don’t know.
But there are also unknown unknowns – there are things we do not know we don’t know.
United States Secretary of Defense, Donald Rumsfeld feb 2002
En in die laatste categorie zit ‘not provided’. Althans de zoekwoorden daarin. ‘Not provided’ zelf is een known unknown. We zijn gewend steeds meer data van Google te krijgen en nu wordt het juist minder. Zijn we dus gewoon verwende kinderen wiens speeltje is afgepakt?
Wat kun je door ‘not provided’ nu niet meer doen?
· Prestaties van zoekwoorden zijn niet meer in te zien en dus ook niet meer te gebruiken voor site optimalisatie. Voorheen kon je zien welke zoekwoorden op welke pagina’s uitkwamen. Als dit tot een mismatch leidde tussen zoekintentie (het zoekwoord) en de content van de pagina kon je dit rechttrekken door of de content aan te passen. Een andere pagina die wel bij de zoekintentie paste te laten scoren et cetera.
· Conversie meten op zoekwoord niveau is lastiger geworden. Bv De long tail zoekwoorden met conversie leren kennen en bv hergebruiken in Adwords. Bedenk dat elke dag weer 15% van de gezochte zoekzinnen nieuw zijn en dus nog nooit gebruikt zijn! Dus zowel in de oude als nieuwe situatie kan je je in 15% van de gevallen niet beroepen op prestaties uit het verleden.
· SEO is door not provided lastiger te verkopen als dienst omdat de opbrengst lastiger meetbaar is.
- Zo kan het moeilijker zijn uitgaven voor linkbuilding op een bepaald zoekwoord te verantwoorden omdat het extra verkeer op dat zoekwoord minder goed te meten is. Linkbuilding op 1 zoekterm voor 1 pagina was toch al niet erg slim. Door de Pinguïn update is het slimmer om met gevarieerde tekstlinks en citaten te werken. Een natuurlijk linkprofiel gaat voor alles.
- Ook kun je veranderingen in verkeer tussen periodes, bijvoorbeeld voor en na de optimalisatie lastiger inzichtelijk maken op zoekwoordniveau.
6 Oplossingen voor deze ‘not provided’ problemen
Er zijn gelukkig ook oplossingen of work arounds om bovenstaande klachten en meetproblemen op te lossen.
Ze zijn in te delen in de volgende categorieën:
- Metadata op bronniveau in Google analytics
- Google webmaster tools data
- Geavanceerde webanalyses, bv met filters in bv Google analytics
- Paid search reports in Google analytics
- Ranking posities en rank URL’s monitoren met ctr benchmark
- Alternatieven gebruiken om aan zoekwoorden te komen
1: Meta data in bv Google analytics
Gelukkig zijn er wel analytics rapporten over om de interactie tussen Organic en an andere bronnen zoals Adwords te laten zien.
Het geaggregeerde niveau vertelt ook veel.
- Kijk bijvoorbeeld naar de multi channel groepen dan zie je de bijdrage van organic search aan conversies. Hoeveel conversie paden starten of eindigen met organic search? Hoeveel paden leidenalleen via organic search naar conversies?
- Kijk bv naar assisted conversie rapporten. Daaruit kun je de bijdrage afleiden van de ‘assists’ die organic search levert.
Voorbeeld Multi channel groepen > Beste conversiepaden:
Voorbeeld Multi channel groepen > Assisted conversiepaden:
Deze 2 rapporten zijn oplossingen voor probleem 1: hoe vertel ik m’n baas, collega, klant, buurman dat SEO werkt? Althans op het geaggregeerde niveau.
2: Google webmaster tools data
Google webmaster tools laat voor maximaal 2000 zoekwoorden tot 2 maanden terug impressies, CTR en Kliks zien.
In het zoekopdrachten overzicht van Webmaster tools zie je welke zoekwoorden zichtbaar zijn geweest in een zoekresultaat en welke tot een ‘klik’ hebben geleidt. Let op: ‘kliks’ worden anders gemeten dan ‘bezoeken’ in Google analytics.
In het vervolgrapport van webmaster tools zie je dan zelfs op welke pagina URL’s deze kliks dan uitkwamen. Daarmee kun je dan weer kijken of de zoekintentie overeenkomt met de content op die pagina.
Nadelen Google webmaster tools
- Woorden met minder dan 10 klikken krijgen het predicaat ‘<10′ dus daar heb je dan weer niet zoveel aan.
- De jongste data zijn van 2 dagen terug, dus echt real time is het niet.
- De getoonde rankings zijn gemiddelden inclusief persoonlijk zoeken. Dit betekent dat je niet goed kunt zien wat je eigen bijdrage aan de optimalisatie nu is. Als bv de Google+ cirkels van content schrijvers van de gemonitorde site enorm toeneemt, verhoogd dat de rankings in WMT terwijl voor de mensen die niet in die cirkels zitten de site bv niet beter scoort. In SEO Effect is dat persoonlijke cirkel verhaal uitgesloten en zie je hoe je site het doet voor al die mensen die niet in schrijvers hun cirkels zitten.
- Maar het grootse minpunt is dat er maar 2000 zoekwoorden in worden opgenomen. Naar de rest kun je fluiten. In de screenshot zie je aantal vertoningen 1.200.000 en dan in grijs daaronder : 700.000 worden weergegeven. Idem bij ‘Aantal klikken’. Met 2000 zoekwoorden dek je in dit geval dus wel zo’n 60% van het verkeer maar niet alles.
Tips Google webmaster tools
- Let op de filters: standaard staat deze op ‘web’ maar in Google analytics wordt ook mobile en image search meegeteld. Je kunt het webmaster tools filter daar ook op instellen en dan komen de aantallen meer overeen met wat je voorheen in Google Analytics zou zien.
- Download meer dan 90 dagen terug door bv elke maand automatisch de CSV bestanden te downloaden met Python. Helaas is de API van WMT al geen jaren geüpdate. Juni 2013 vertelde Matt Cutts himself dat de api ‘relativly soon’ een uitbreiding krijgt om de CTR en linkdata per API te verwerken. We wachten nog steeds dus gebruik voor nu de Python versie. Zie de video hieronder.
- Je kunt Google webmaster tools koppelen aan Google Analytics zodat je dit rapport ook in Google Analytics kunt inzien.
- Daarnaast kun je je Google webmaster tools ook koppelen aan je Adwords data. Je kunt hier de symbiose of kannibalisme bekijken van gelijktijdige inzet van organic en paid search.
- Het maximum van 2000 query’s in webmaster tools valt te omzeilen als je per subdomeinenof map een WMT profiel aanmaakt. Je kunt zo een grotere site opdelen volgens de mappen structuur en zo meer dan 2000 zoektermen binnenhalen.
Voorbeeld Adwords rapport organic en paid search: lekker weggestopt in Dimensies> weergave: betaald en organisch.
3: Geavanceerde webanalyses, bv met filters in bv Google analytics
Het gaat te ver om hier nu heel diep op in te gaan. Kort gezegd komt het er op neer dat je prestaties op pagina niveau gaat gebruiken met het segment ‘organic search’.
Bonus: Als je bekend bent met Dashboard reports, download dan het volgende ‘not provided’dashboard voor Google analytics:
- Login in Google analytics als je dat nog niet was
- Open het sjabloon ‘not provided’ dashboard
- Kies een profile waar je het dashboard op los wilt laten
Je krijgt dan het volgende dashboard te zien maar dan gevuld met de data van het gekozen profiel.
Je ziet nu een aantal grafieken en tabellen. Links zie je hoeveel last je site op dit moment heeft van ‘Not provided’.
4: Paid search reports in Google analytics
Ook de Adwords rapportages in Google analytics kunnen ons helpen. Adwords advertenties worden getriggerd door opgegeven zoekwoorden. Behalve als je de zoekterm op exact match gezet hebt worden deze advertenties ook getriggerd door uitgebreidere zoekzinnen. Als je bv een advertentie opzet op ‘gymschoenen’ wordt je advertentie ook getoond op ‘blauwe gymschoenen’, ‘gymschoenen schoonmaken’ en ‘gymschoenen kopen met blauwe streep aan onderkant voor bijzondere afdruk’.
Onder het kopje Acquisitie > AdWords > “Overeenkomstige zoekopdrachten” vind je deze werkelijk gezochte termen terug.
Gebruik deze termen als inspiratie maar vertaal ze nooit 1 op 1 naar je SEO. Dankzij ‘not provided’ weet je immers nooit of je SEO en Adwords kanaal elkaar veel of weinig overlappen en of het zoekvolume op dat ene zoekwoord in SEO nu wel of niet overeenkomt met het zoekvolume in Adwords.
5: Rankings monitoren met ctr benchmark
Google heeft altijd aangegeven dat ze het meten van rankings afraad. Zie ook de case van Raven waar Google op straffe van uitsluiting van haar andere API services het Raven verbood een rank tracker aan te bieden aan haar klanten. Door ‘not provided’ ontstaat echter de situatie dat ranks een belangrijk meetmiddel kunnen worden om not provided terug te halen.
Hoe werkt dit?
Als je meet waar je staat in de Google resultaten kun je op basis van benchmark CTR cijfers per rank positie de kliks bepalen. Koppel daar ook nog de rank URLS aan en je kunt dan per URL meten:
- Hoeveel kliks een zoekwoord op die URL gaf
- Per URL de instapzoekwoorden met kliks optellen
- De engagement en conversies van die URLs koppelen uit Google analytics om de effectiviteit van de zoekwoorden te meten
Alain Sadon van SEOguru gaf hier onlangs een mooi voorbeeld van dit alternatief voor not provided berekening. Dit werkt niet met een ctr benchmark maar gebruikt de wmt klikdata + wmt URL data + Google analytics engagement en conversie metrics.
In Alain zijn alternatief ben je afhankelijk van WMT data en kun je het dus allen berekenen voor sites waar je die WMT toegang hebt.
Het mooie is dat je via de CTR benchmark methode niet afhankelijk bent van Webmaster tools en voor de punten 1 en 2 hetzelfde trukje voor concurrenten kunt uitvoeren.
Minder aan deze oplossing is dat je alleen zoekwoorden kunt meten die je al kent. Je moet immers op basis van een zoekterm de rank en URL ophalen. Wil je dus een beetje overzicht hebben dan moet je heel veel zoektermen monitoren en ook regelmatig aanvullen met de Google suggest, interne zoekwoorden en de AdWords overeenkomstige zoekopdrachten.
En daarmee komen we toe aan de laatste extra bron die we missen door ‘not provided’: zoekwoord ideeën.
6: Alternatieven gebruiken om aan zoekwoorden te komen
- Gebruik de Google instant search zoeksuggesties in Google of bv van Ubersuggest om zoekwoorden te vinden die je nog niet kende en vul ze aan met zoekvolumes uit de Adwords keyword planner. Ook in de wordpress SEO plugin zit de Google suggest tool ingebouwd.
- Vang in Google analytics de interne zoekmachine zoekwoorden op en koppel die aan conversies
- Gebruik je Adwords campagne om zoekwoorden die goed scoren ook te gebruiken in je SEO
- Gebruik de Google keyword planner voor zoekwoord ideeën. In SEO Effect worden die gekoppeld met de waarden uit WMT om zo inzicht te krijgen op welke woorden je al wel en nog geen verkeer hebt. Pagina’s met zoekverkeer van woorden met veel zoekvolume, top 10 maar geen top 5 positie verdienen SEO aandacht.
- Gebruik Google trends tools om zoekwoorden te vergelijken of (nieuwe) toplijsten in te zien
Conclusie ‘not provided’
De ‘not provided’ data invullen zoals ze waren, komt nooit meer terug en is ook niet geheel in te vullen met genoemde methoden. Bedenk echter voor welk doel je de data ooit gebruikte.
Gebruikte je de keyword data om je klant of baas te overtuigen van het nut van SEO gebruik dan de meta organic search data.
Wil je echter de linkbuilding impact op bepaalde zoekwoorden laten zien of wil je alsnog conversies op zoekwoordniveau inzien dan ben je aangewezen op de methode waarbij je rankings koppelt aan pagina’s en engagement statistieken van die pagina’s. Best raar dat Google door ‘not provided’ zo uit te breiden het door haar zo verfoeide ranking monitoren weer in beeld brengt. Het zij zo.
Bedenk dat door de Hummingbird update search veranderd van search naar ‘woorden’ naar search naar objecten, dingen. Content-marketing met als doel je doelgroep te helpen zal dan ook op termijn belangrijker worden dan puur SEO content schrijven op basis van zoekwoorden. Alhoewel, het Adwords model drijft op zoekwoorden en dat zal dan ook niet zo snel veranderen.
Goed nieuws: SEO Effect komt ook met alternatief
Voorlopig moeten we het dus met zoekwoorden doen. En er is ook goed nieuws: binnenkort komt SEO Effect ook met een oplossing om de verloren ‘not provided’ data weer zichtbaar te maken. We zijn het nu aan het testen. Geen gezweet met Excel en veel copy-paste werk. Nee, een eenmalige koppeling en wij vullen je data weer aan. Wordt vervolgd, houdt dit blog en de nieuwsbrief in de gaten!