De gemeente moet 'voorzichtig zijn met het interpreteren van de uitkomsten' van haar onderzoek naar de mening van Amsterdammers over de knip op de Weesperstraat. Dat zegt Andries van der Ark, bijzonder hoogleraar Kwantitatieve onderzoeksmethodologie aan de UvA tegen AT5. Volgens hem is er op de gebruikte methode namelijk 'het een en ander aan te merken'. Wel is hij te spreken over het exploratieve karakter van het onderzoek. "Dit lijkt mij in dit geval een goede aanpak."
Het gaat allemaal over het zogenoemde belevingsonderzoek dat de gemeente inzet om achter de mening van Amsterdammers over de knip in de Weesperstraat te komen. Het onderzoek bestaat uit één enquête van vijf vragen. Als je je voor de start van de proef via de website van de gemeente aanmeldde, kreeg je de enquête tot drie keer toe: voor de start van de proef, rond 27 juni en begin deze week. Na afloop van de proef krijg je hem nog een vierde keer.
De enquête:
Sturend onderzoek
Vooral over de eerste vraag van de enquête ontstond al snel verbazing. In eerste instantie was dat online, toen buurtbewoner Peter Pannekoek een afbeelding deelde van de vraag met bijbehorende smileys. Op de vraag hoe je de knip beleeft, worden twee positieve antwoordopties (tevreden en zeer tevreden) gegeven, tegenover een negatieve optie (ontevreden). "Dit is toch een sturend onderzoek als dit de opties van antwoorden zijn? Gemiddeld zou 'neutraal' moeten zijn en niet 'tevreden'. En waar is dan de optie 'zeer ontevreden'?", aldus Pannekoek in z'n tweet.
Een dag later kreeg verantwoordelijk wethouder Melanie van der Horst (Verkeer) vergelijkbare vragen tijdens een verhit spoeddebat uit de raad. "Ik vond het zelf, moet ik eerlijk zeggen, ook niet zo gelukkig gekozen", zegt ze op 6 juli tijdens een nieuwe debat over de knip als antwoord op die vragen. "Ik had zelf liever ook een blokje 'zeer ontevreden' gehad."
Van der Horst legt tijdens die vergadering ook uit waarom ervoor is gekozen om het onderzoek uit te laten voeren door marketing adviesbureau Van Emden en niet door bijvoorbeeld de afdeling Onderzoek & Statistiek (O&S) van de gemeente zelf.
"We hebben een extern bureau ingehuurd, juist om de onafhankelijkheid van het onderzoek te waarborgen", zegt Van der Horst erover. "Zij hebben er zelf voor gekozen om dit zo te doen en om niet voor een neutrale optie te kiezen, om uitspraken van mensen te krijgen en meer te duiden waarom ze iets vinden." Wel zegt de wethouder dan 'heel goed te snappen dat het niet zo goed overkomt.'
Mogelijk vertekende resultaten
Feit blijft dat de resultaten van de enquête, zoals op de website van de gemeente te lezen is, aan de gemeenteraad zullen worden voorgelegd. Daarom legde AT5 de enquête voor aan twee experts, ten eerste vragenlijstspecialist Jeroen van Lindert van Kieskompas. "Als onderzoeker zou ik er altijd voor kiezen om een schaal in balans te brengen. Wij maken eigenlijk altijd gebruik van een schaal met vijf opties: twee positieve, een neutrale en twee negatieve. Op die manier kun je opinies het beste in beeld brengen."
En er valt hem nog iets op. "Het groene poppetje is zeer tevreden, maar het gele, waar ik eerder een neutrale zou verwachten, zegt nog steeds tevreden te zijn." En daar zegt Van der Ark, de UvA-hoogleraar onderzoeksmethodologie, het volgende over:"Omdat het gebruikelijk is dat de middelste categorie neutraal is, zullen veel respondenten de gele smiley interpreteren als de neutrale categorie, waardoor mogelijk de resultaten vertekend kunnen zijn."
Ook raadt hij de gemeente dus aan om voorzichtig te zijn met het interpreteren van de uitkomsten van het onderzoek omdat er in zijn ogen het een en ander op het onderzoek is aan te merken.
Reactie Van Emden Marketing Consultancy (uitvoerder onderzoek)
De in het onderzoek gebruikte 3-puntschaal gaat uit van het principe dat er balans is in tevredenheid indien een verwachting (vooraf) en een ervaring (tijdens een gebeurtenis) gelijk zijn. Wanneer deze - in de optiek van de respondent - niet gelijk is ontstaat er ontevredenheid of juist het omgekeerde.
Deze theorie is geïnspireerd op onderzoek van Jones& Sasser: “Why satifisfied customers defect?” en publicaties van Fred Reighheld, auteur van The ultimate question en ontwikkelaar van de Net Promotor Score.
Iedere respondent kan zijn of haar persoonlijke keuze motiveren. Deze motivaties zullen worden verwerkt in een rapportage. Hieruit zal blijken wat de precieze onderbouwing is van de drie antwoord categorieën. Indien men voorafgaand aan de start van pilot ‘ontevreden’ is en deze verwachting blijkt te kloppen met de ervaring tijdens de knip, dan is het niet aannemelijk dat men dan kiest voor ‘tevreden’. Dit zal pas gebeuren wanneer de ervaring in positieve zin afwijkt van de verwachting.
Er hebben zich inmiddels ruim 4000 mensen geregistreerd voor deelname aan het onderzoek. Omdat de pilot niet alleen impact heeft op omwonenden van de Weesperstraat, is ervoor gekozen om iedereen die dit wil de gelegenheid te geven om deel te nemen. Deelnemers is vooraf gevraagd naar NAW gegevens (en een aantal andere kenmerken), zodat bepaald kan worden in hoeverre de beleving samenhangt met de locatie van de respondent en een aantal andere kenmerken. Er zullen in totaal 4 metingen uitgevoerd worden. Hiervan zijn er inmiddels 3 gerealiseerd met een gemiddelde respons van circa 70-80%.
De onderzoeksaanpak voor de Weesperstraat is niet nieuw. Er zijn inmiddels meer dan 100 infraprojecten in Nederland met deze aanpak uitgevoerd, waaronder in Amsterdam: de Amstelveenlijn en de afsluiting van de Piet Heintunnel. De onderzoeksaanpak leidt tot bruikbare inzichten in de perceptie van stakeholders. Er is geen aanleiding geweest om op basis van deze ervaringen de onderzoeksopzet te wijzigen
Wel zegt Van der Ark hierbij dat 'elk onderzoek altijd beter kan en dat dingen beter onderzocht kunnen worden als je er maar genoeg geld tegenaan gooit.' Zo snapt hij dat de gemeente een compromis moet vinden tussen uitvoerigheid van het onderzoek en de financiële kosten. Dát de gemeente onderzoek doet vindt hij dan ook positief, net als het verkennende karakter van het onderzoek.
Exploratief onderzoek
Ook Van Lindert zegt het onderzoek vooral te zien als exploratief. "Ik zie vier open vragen. Dat geeft ruimte aan iedereen om een mening te geven. Maar ik denk dat het lastig is om een representatief beeld te geven van hoe er over het onderwerp wordt gedacht."
AT5 legde dit alles voor aan wethouder Van der Horst. Zij benadrukt dat de uitkomsten van de enquête een aanvulling zullen zijn op de 'harde cijfers' die tijdens deze laatste twee weken van de proef verzameld worden. Aanstaande zondag om 23.00 uur is de proef voorbij, het eindrapport van de gemeente wordt in november van dit jaar verwacht.
Reactie wethouder Melanie van der Horst (Verkeer)
We willen er met dit belevingsonderzoek voor zorgen dat de evaluatie van de pilot niet alleen wordt gebaseerd op cijfers van drukte of geluid, maar dat we daarin ook ervaringen van mensen meenemen. Juist hoe mensen de afsluiting hebben beleefd, of dat nou positief of negatief is en waarom, is voor ons van grote waarde. Ook suggesties nemen we graag mee. We doen dat vaker bij grote verkeersprojecten, zodat we daarvan kunnen leren voor een volgende keer. We hebben daarbij ook eerder met dit bureau gewerkt. Dit project ligt natuurlijk zo onder een vergrootglas, dat er kritisch wordt meegekeken naar dit onderzoek. We kijken met dit bureau of dit in het vervolg ook op deze manier moet worden gedaan, want we begrijpen de kritiek.
💬 Wil je niets missen uit Amsterdam?
- Blijf op de hoogte via nhnieuws.nl/amsterdam
- Mail je tips naar [email protected]
- Praat mee en deel jouw nieuws in onze speciale Amsterdamse Facebookgroep!
Tikfout gezien? Laat het ons weten via [email protected]