archiefvorig nr.lopend nr.

Nummer 12
Jaargang 8
14 april 2011
Vermaak en Genot > Een omweg waard delen printen terug
Een kwestie van smaak? Katharina Kouwenhoven

0812VG Thema
Tijdens mijn werkzame leven werd ik geacht studenten te leren hoe ze onderzoek moesten doen. Daartoe liet ik ze nogal eens onderzoek doen naar het beoordelen van creatieve producten, met name van gedichten en ontwerpen van gebruiksvoorwerpen. Voor het bepalen van de kwaliteit van deze producten had ik objectieve criteria ontwikkeld. Jazeker, velen achtten dit onmogelijk, maar dat viel reuze mee. Waardering voor een creatief product, of het nu muziek is of een installatie, een film of video, een lantaarnpaal of een Vinexwijk, dat is een kwestie van smaak. Maar het beoordelen van de kwaliteit van deze zaken is dat niet. Los van hun persoonlijke voorkeur kunnen mensen heel goed beoordelen of ze met prullen te maken hebben of met iets voortreffelijks. En de overeenstemming tussen beoordelaars is dan ook onverwacht groot. Als er tenminste met een aantal dingen rekening gehouden wordt.

Het aantal beoordelaars moet niet te klein zijn, want anders gaan de idiosyncratische eigenaardigheden van een individuele beoordelaar te veel gewicht in de schaal leggen. Bij een voldoende groot aantal beoordelaars middelen deze eigenaardigheden zich uit. Ook moeten beoordelingen vergelijkenderwijs plaats vinden, dus beoordelaars moeten van een aantal producten aangeven welke het beste is en het op een na beste enzovoort, bijvoorbeeld door een rangorde aan te brengen. Hoewel er tussen expertbeoordelaars en onervaren beoordelaars nauwelijks verschillen bestaan – beide groepen wijzen dezelfde producten aan als het beste of slechtste – zijn alleen experts enigszins in staat absolute oordelen te geven, omdat zij een schat aan vergelijkingsmateriaal in hun hoofd hebben.

Het beoordelen wordt vergemakkelijkt als de te beoordelen producten de nodige variatie aan kwaliteit vertonen. Een jury die een boek moet aanwijzen dat in aanmerking komt voor een literaire prijs, heeft het moeilijk als alle boeken van hetzelfde niveau zijn, maar kan vroeg naar huis als er één boek bij is dat er met kop en schouders bovenuit steekt. En daar is ook nooit kwestie over. Het getob begint pas als alle boeken even slecht, middelmatig of goed zijn, hoewel dat laatste zelden voorkomt. Zoveel0812VG 12 angry men goede boeken worden er niet geschreven.

Personen die producten of prestaties beoordelen moeten zich niet af laten leiden door irrelevante kenmerken. Dat gebeurt vaak wel, zoals lange tijd bij de juryleden die kunstschaatsers en turners moesten beoordelen. Om dit te voorkomen kan aan juryleden een lijst met criteria worden gegeven. Zo gebeurt het nu bij het kunstschaatsen en turnen. De beoordelaars moeten ook onafhankelijk tot een standpunt komen; zij moeten elkaar niet kunnen beïnvloeden.
In die talentenjacht Tv-programma’s mankeert aan de kwaliteit van het beoordelen veel. Het gebeurt niet onafhankelijk, de beoordelingscriteria zijn onduidelijk en niet expliciet en het aantal juryleden is te gering. Ze kwekken maar wat.

Dit is geen reden om het beoordelen van creatieve prestaties maar helemaal achterwege te laten. Niet alles kan met objectieve tests worden bepaald en iedereen wordt voortdurend blootgesteld aan subjectieve beoordelingen. Op school bestaat er zoiets geheimzinnigs als de indruk van de onderwijzer(es), waaraan sommige meer waarde hechten dan aan de objectieve Cito-toets voor het bepalen van de middelbare schoolkeuze.
Veel sportprestaties worden subjectief beoordeeld. Tijdens sollicitatiegesprekken ben je overgeleverd aan de subjectieve indruk die je wekt bij een aantal onbekenden, die een ongestructureerd gesprek met je voeren, terwijl je geen idee hebt waar ze op letten. De beoordelingen van je arbeidsprestaties zijn doorgaans ook in hoge mate subjectief, zelfs als het aantal bladzijden van je wetenschappelijke output in gerenommeerde tijdschriften wordt geteld, want dit zegt bitter weinig over je leidinggevende capaciteiten.

Jureren en een oordeel uitspreken is dus heel gewoon, maar slechts zelden wordt aan de minimale eisen voldaan om tot een betrouwbaar oordeel te komen. Dat geldt helaas ook voor juryrechtspraak.
 
********************
Doe iets leuks met je geld:
Word donateur van De Leunstoel.


© 2011 Katharina Kouwenhoven meer Katharina Kouwenhoven - meer "Een omweg waard" -
Vermaak en Genot > Een omweg waard
Een kwestie van smaak? Katharina Kouwenhoven
0812VG Thema
Tijdens mijn werkzame leven werd ik geacht studenten te leren hoe ze onderzoek moesten doen. Daartoe liet ik ze nogal eens onderzoek doen naar het beoordelen van creatieve producten, met name van gedichten en ontwerpen van gebruiksvoorwerpen. Voor het bepalen van de kwaliteit van deze producten had ik objectieve criteria ontwikkeld. Jazeker, velen achtten dit onmogelijk, maar dat viel reuze mee. Waardering voor een creatief product, of het nu muziek is of een installatie, een film of video, een lantaarnpaal of een Vinexwijk, dat is een kwestie van smaak. Maar het beoordelen van de kwaliteit van deze zaken is dat niet. Los van hun persoonlijke voorkeur kunnen mensen heel goed beoordelen of ze met prullen te maken hebben of met iets voortreffelijks. En de overeenstemming tussen beoordelaars is dan ook onverwacht groot. Als er tenminste met een aantal dingen rekening gehouden wordt.

Het aantal beoordelaars moet niet te klein zijn, want anders gaan de idiosyncratische eigenaardigheden van een individuele beoordelaar te veel gewicht in de schaal leggen. Bij een voldoende groot aantal beoordelaars middelen deze eigenaardigheden zich uit. Ook moeten beoordelingen vergelijkenderwijs plaats vinden, dus beoordelaars moeten van een aantal producten aangeven welke het beste is en het op een na beste enzovoort, bijvoorbeeld door een rangorde aan te brengen. Hoewel er tussen expertbeoordelaars en onervaren beoordelaars nauwelijks verschillen bestaan – beide groepen wijzen dezelfde producten aan als het beste of slechtste – zijn alleen experts enigszins in staat absolute oordelen te geven, omdat zij een schat aan vergelijkingsmateriaal in hun hoofd hebben.

Het beoordelen wordt vergemakkelijkt als de te beoordelen producten de nodige variatie aan kwaliteit vertonen. Een jury die een boek moet aanwijzen dat in aanmerking komt voor een literaire prijs, heeft het moeilijk als alle boeken van hetzelfde niveau zijn, maar kan vroeg naar huis als er één boek bij is dat er met kop en schouders bovenuit steekt. En daar is ook nooit kwestie over. Het getob begint pas als alle boeken even slecht, middelmatig of goed zijn, hoewel dat laatste zelden voorkomt. Zoveel0812VG 12 angry men goede boeken worden er niet geschreven.

Personen die producten of prestaties beoordelen moeten zich niet af laten leiden door irrelevante kenmerken. Dat gebeurt vaak wel, zoals lange tijd bij de juryleden die kunstschaatsers en turners moesten beoordelen. Om dit te voorkomen kan aan juryleden een lijst met criteria worden gegeven. Zo gebeurt het nu bij het kunstschaatsen en turnen. De beoordelaars moeten ook onafhankelijk tot een standpunt komen; zij moeten elkaar niet kunnen beïnvloeden.
In die talentenjacht Tv-programma’s mankeert aan de kwaliteit van het beoordelen veel. Het gebeurt niet onafhankelijk, de beoordelingscriteria zijn onduidelijk en niet expliciet en het aantal juryleden is te gering. Ze kwekken maar wat.

Dit is geen reden om het beoordelen van creatieve prestaties maar helemaal achterwege te laten. Niet alles kan met objectieve tests worden bepaald en iedereen wordt voortdurend blootgesteld aan subjectieve beoordelingen. Op school bestaat er zoiets geheimzinnigs als de indruk van de onderwijzer(es), waaraan sommige meer waarde hechten dan aan de objectieve Cito-toets voor het bepalen van de middelbare schoolkeuze.
Veel sportprestaties worden subjectief beoordeeld. Tijdens sollicitatiegesprekken ben je overgeleverd aan de subjectieve indruk die je wekt bij een aantal onbekenden, die een ongestructureerd gesprek met je voeren, terwijl je geen idee hebt waar ze op letten. De beoordelingen van je arbeidsprestaties zijn doorgaans ook in hoge mate subjectief, zelfs als het aantal bladzijden van je wetenschappelijke output in gerenommeerde tijdschriften wordt geteld, want dit zegt bitter weinig over je leidinggevende capaciteiten.

Jureren en een oordeel uitspreken is dus heel gewoon, maar slechts zelden wordt aan de minimale eisen voldaan om tot een betrouwbaar oordeel te komen. Dat geldt helaas ook voor juryrechtspraak.
 
********************
Doe iets leuks met je geld:
Word donateur van De Leunstoel.
© 2011 Katharina Kouwenhoven
powered by CJ2