De podcast als toets binnen rechtsgeleerdheid

Editorial note

Law & Method publishes articles on legal research and legal education in English and Dutch. As editors, we encourage colleagues to write and submit articles in which they report on innovations/interventions in their own education and on the effects of those innovations from an (educational) research-informed perspective, without thus being educationalists themselves. This is a new category in the journal and for this category, we use a different form of peer review: we ask two colleagues (one from law and one from educational science) to read the article as sympathetic readers and provide constructive criticism and suggestions on the clarity and comprehensibility of the article in an open review procedure (i.e., not blind/anonymous).

• 1. Introductie

  Podcasts zijn sterk in opkomst in Nederland.¹x Markteffect, Podcast Monitor, 2021. Naast een groeiende populariteit in algemene zin maken verschillende wetenschappers inmiddels gebruik van podcasts als middel om wetenschappelijk onderzoek te bediscussiëren en toegankelijk te maken voor een breder publiek. De toepassing van podcasts in het universitaire onderwijs lijkt echter nog in de kinderschoenen te staan, terwijl er kansen liggen voor de ontwikkeling van kennis en vaardigheden bij studenten. Dit geldt ook voor Rechtsgeleerdheid. Podcasts kunnen bijvoorbeeld gebruikt worden als verplicht of als verdiepend studiemateriaal of als methode waarmee studenten hun analytische en spreekvaardigheden kunnen ontwikkelen door zelf een podcast te maken.
  In deze bijdrage delen wij onze ervaringen in de vorm van een casestudie met twee onderwijspilots waarin is geëxperimenteerd met het maken van podcasts als toetsvorm binnen twee juridische cursussen van Rechtsgeleerdheid aan de Universiteit Utrecht.²x Hiervoor kregen wij financiering van het Universitair Stimuleringsfonds Onderwijs (USO) in de Faculteit Rechtsgeleerdheid, Economie en Bestuurs- en Organisatiewetenschappen. De opbouw is als volgt. We positioneren allereerst het maken van podcasts als toetsvorm in het onderwijs binnen de literatuur daarover (paragraaf 2). Daarna beschrijven wij de inhoud van beide pilots (paragraaf 3), de beoordeling van de podcasts (paragraaf 4), delen wij onze ervaringen als docenten (paragraaf 5) en bespreken we de gemeten ervaringen van de studenten (paragraaf 6). We sluiten af met enkele korte concluderende gedachten (paragraaf 7).

• 2. Podcasts als toetsvorm in het (juridisch) onderwijs

  Aanleiding voor het uitvoeren van beide pilots was de aanname dat het maken van een podcast door studenten Rechtsgeleerdheid interessant kan zijn, omdat veel van hen een togaberoep of een baan als juridisch adviseur ambiëren. Dit zijn banen waarin nog steeds veel presentaties gegeven moeten worden. Hier komt bij dat juridische professionals vaak zonder gebruik van visuele ondersteuning een presentatie moeten houden, zoals in de rechtszaal of tijdens een bespreking met een cliënt. Momenteel worden presentatievaardigheden zonder visuele ondersteuning in het huidige curriculum veelal alleen geoefend in een oefenrechtbank, maar wij merken dat docenten op zoek zijn naar alternatieven. Het belang van het trainen van vaardigheden sluit goed aan op lopende discussies, zoals de discussie over de T-shaped lawyer. Hierin wordt beargumenteerd dat (juridische) vaardigheden (ook) centraal of centraler moeten staan in het onderwijs binnen Rechtsgeleerdheid.³x Voor een overzicht van de discussie, zie: Mak (2017).
  Spreek- en presentatievaardigheden zijn essentieel voor het verbaal overbrengen van een gestructureerd en goed onderbouwd verhaal zonder visuele ondersteuning. Onze interesse in dit thema werd geboren omdat zulke presentaties, die tot het standaardwerk van de jurist behoren, ook veel weg hebben van het maken van een podcastaflevering. Een podcastaflevering duurt veelal 20-60 minuten, heeft een specifiek onderwerp, een duidelijke opbouw en wordt gemaakt voor een afgebakende doelgroep. Het maken van een goede podcastaflevering vereist niet alleen gedegen kennis van een onderwerp, maar ook analytische en spreekvaardigheden om deze kennis effectief en efficiënt over te kunnen brengen. Hierdoor lijkt het maken van een podcast ook nuttig om kennis en vaardigheden te trainen én deze uiteindelijk te toetsen. Hierna lichten wij deze hypothese nader toe door gebruik te maken van de literatuur over de toepassing van podcasts in het onderwijs.

  2.1 Het gebruik van podcasts als toetsvorm

  Een podcast maken is een kwalitatief andere oefening dan het geven van een mondelinge presentatie (met visuele ondersteuning) of het schrijven van een essay.⁴x Hierbij laten wij verder onbesproken dat het maken van een podcast ook andere technische vaardigheden vraagt van de maker. Een podcast is een intens geluidslandschap (soundscape) (Armstrong e.a., 2009, p. 88), zonder vaste vorm (Powell & Robson, 2014, pp. 326-337), waarin een relatie wordt opgebouwd met de luisteraar (Rua Wall, 2019). Een podcast herbergt daarmee allerlei kenmerken waardoor het een interessante toetsvorm is voor (juridisch) onderwijs. Daarnaast worden ‘standaard’ vaardigheden, zoals taalvaardigheden (Yeh e.a., 2021, p. 2861) en analytisch denken (Powell & Robson, 2014, pp. 326-337), getraind, terwijl het creëren van podcasts leidt tot dieper leren over het onderwerp waarover de podcast wordt gemaakt (Dale & Povey, 2009, p. 121). Op deze aspecten gaan wij hierna nader in.
  In verschillende publicaties over het maken van podcasts als toetsvorm in het hoger onderwijs wordt stilgestaan bij het feit dat de podcast geen vastomlijnde vorm heeft (Powell & Robson, 2014, pp. 326-337). Zo beschrijft Rua Wall dat hij studenten naar podcasts laat luisteren

  in order to identify different narrative styles, different shifts in narrative, pacing, tone, narration, use of experts, and different ways of constructing a ‘hook’. Most importantly, we wanted to experience the different worlds that each podcast tried to create. (Rua Wall, 2019, p. 314)

  Studenten moeten, wanneer zij een podcast maken, zelf keuzes maken uit onder andere de verschillende narratieve stijlen. Zo kan een interview integraal worden opgenomen en gepubliceerd als podcast. Een selectie van de vragen en de antwoorden kunnen ook worden toegevoegd aan een verhaal dat de host vertelt⁵x Bijvoorbeeld de bekende true crime podcasts Serial en Dr. Death werken op deze manier. of een scenario wordt nagespeeld met stemacteurs.⁶x Denk bijvoorbeeld aan de drama podcast Fall of the Shah of de true crime podcast Billionaire Boys Club. Doordat de keuzes eindeloos zijn en ook het toevoegen van geluidseffecten of achtergrondmuziek tot de mogelijkheden behoort, kunnen studenten hun creativiteit ten volle tot uiting brengen. Een podcast is dus ook (of misschien wel vooral) een creatieve outlet (Armstrong e.a., 2009, p. 88). In vergelijking met een oefenrechtbank – de andere ons bekende toetsvorm waarin spreek- en presentatievaardigheden zonder visuele ondersteuning worden beoordeeld – heeft die presentatievorm een vastomlijnder kader. Wij denken dat dat ermee te maken heeft dat de presentatie is ingericht op de oordeelvorming van de rechter. De advocaat of officier van justitie legt in de juiste volgorde van het beslisschema uit waar de pijnpunten zitten. De nadruk ligt daardoor (onbewust) veel meer op het ontwikkelen van het inhoudelijke verhaal. Doordat de podcast vormvrij is en niet gelinkt wordt aan een beslissing van de luisteraar kunnen studenten veel beter dan met een oefenrechtbank daadwerkelijk oefenen met (voornamelijk) presentatievaardigheden.
  Ook wordt in de literatuur benadrukt dat binnen het gekozen format een relatie wordt opgebouwd. Dat gebeurt bij podcasts op meerdere manieren. Ten eerste moet gedacht worden aan de relatie tussen de verschillende studenten die werken aan de podcast. Wie neemt welke rol op zich tijdens het maken van de podcast en binnen het format van de podcast? Daarnaast wordt in veel podcasts gebruikgemaakt van interviews, waarmee, ten tweede, een relatie tussen de hosts en de geïnterviewde tot stand komt. Ten derde gaan de hosts ook een relatie aan met de luisteraars. Daarom moet duidelijk zijn wie het beoogde publiek is. Deze relatie wordt versterkt wanneer de podcasts worden gepubliceerd, zoals Rua Wall doet met de podcasts van zijn studenten in de cursus Law & Disorder (2019). Dit verschilt van de stereotype relatie tussen student en docent(beoordelaar) (Rua Wall, 2019), de enige relatie die in een oefenrechtbank wordt opgebouwd.
  Naast de hiervoor genoemde vaardigheden die door het maken van een podcast worden getraind – te weten, technologische vaardigheden, creativiteit en relaties onderhouden – worden ook meer standaardleerdoelen bediend. Zo schrijven Yeh en collega’s (2021, p. 2861), in de context van het leren van een nieuwe taal, dat het maken van een podcast de spreekvaardigheid significant verbetert met betrekking tot goed-vloeiend en correct taalgebruik. Rua Wall (2019) beschrijft ook dat de luistervaardigheid waarschijnlijk versterkt wordt; overigens zonder dat hij daar zelf experimenteel onderzoek naar heeft verricht. Zowel het beluisteren van andere podcasts ter inspiratie, als het luisteren naar elkaar en naar de geïnterviewde, maken dat verondersteld kan worden dat de luistervaardigheid wordt getraind.
  Alle hiervoor genoemde kenmerken komen samen in het laatste punt dat regelmatig wordt genoemd in de literatuur: doordat studenten een eigen product moeten maken – hierbij wordt vaak de term knowledge creators gebruikt – wordt hun analytische denken bevorderd (Hargett, 2018. p. 56), alsmede dat sprake is van een diepere verwerking van de informatie (Armstrong e.a., 2009, p. 88; zie ook Lee e.a., 2008, p. 513). Dit zijn juist aspecten die in mindere mate van belang zijn bij een mondelinge presentatie waarbij bijvoorbeeld een visuele presentatie ter ondersteuning wordt gebruikt. Ook bij oefenrechtbanken zoals die voornamelijk in de bachelorfase worden georganiseerd staan – in tegenstelling tot de grote moot courts met omvangrijke (internationale) vraagstukken – vaak weinig complexe juridische vraagstukken centraal.
  Dit maakt dat het maken van een podcast als toetsvorm bij uitstek de mogelijkheid biedt om de juridische student creatief aan de slag te laten gaan met probleemanalyse en probleembehandeling. Dit vooral in het licht van ingekaderde debatten in oefenrechtbanken en de vaak beperkte omvang van dossiers, zoals die worden behandeld in oefenrechtbanken. Bovendien vindt er diepere verwerking van de informatie plaats en oefenen zij met andere dan analytische vaardigheden.

  2.2 Constructive alignment bij het ontwerpen van een cursus met een podcast als toetsvorm

  Juist die diepere verwerking, die door Biggs en Tang deep level learning of de deep approach worden genoemd, is belangrijk voor de vormgeving van een curriculum (Biggs & Tang, 2011, pp. 26-27, 35). Diepere verwerking is een noodzakelijke voorwaarde voor effectief leren. Om dat te bereiken is het nodig dat niet alleen over de voordelen van een toetsvorm wordt nagedacht, maar dat in de gehele cursus (en in het verlengde ervan: het gehele curriculum) de leerdoelen en activiteiten op elkaar worden afgestemd. Dit staat beter bekend als constructive alignment. Constructive alignment is dus een visie op onderwijs waarin leerdoelen, de leer- en onderwijsactiviteiten en de manier van toetsen volledig op elkaar afgestemd zijn (Biggs, 1996, p. 6). Biggs & Tang:

  ‘Constructive’ comes from the constructivist theory that learners use their own activity to construct their knowledge as interpreted through their own existing schemata. ‘Alignment’ is a principle in curriculum theory that assessment task should be aligned to what it is intended to be learned, as in criterion-referenced assessment (Biggs & Tang, 2011, p. 97).

  De onderwijs- en toetsactiviteiten moeten dus aansluiten bij de beoogde leerdoelen. Als het bevorderen van de in paragraaf 2.1 genoemde vaardigheden onderdeel uitmaken van de leerdoelen van een cursus en deze doelen worden getoetst middels een podcast, dan is het essentieel dat de onderwijsactiviteiten worden afgestemd op dat leerdoel/die leerdoelen. De onderwijsactiviteiten moeten, naast de noodzakelijke theoretische onderbouwing (base knowledge), activerende werkvormen bevatten. Hierdoor verkrijgen studenten functioning knowledge (Biggs & Tang, 2011, hoofdstuk 9). De rol van de docent is dat hij aansluit bij wat de student nodig heeft om de beoogde leerresultaten te bereiken. Dat vraagt een open, coachende houding van de docent, die gericht is op welke activiteiten nodig zijn om die student te helpen om tot leren te komen.
  Dit betekent dat wanneer de keuze valt op het maken van een podcast als toetsvorm om zo leerdoelen voor het vergroten van spreek- en presentatie-vaardigheden te vervullen, de student (naast inhoudelijke onderwijs) ook basiskennis en functionele kennis over het creëren van een podcast moet verkrijgen. Op die manier wordt de student namelijk geschoold in spreek- en presentatievaardigheden alvorens daarop te worden beoordeeld. Dit betekent dat enerzijds de student moet worden ingevoerd in de mogelijkheden van een podcast en dat kennis wordt overgedragen over de opname en productie van een podcast. Anderzijds dient de student zelf aan de slag te gaan met het produceren van een podcast, waardoor hij functionele kennis vergaart.
  Dit kan bijvoorbeeld door in het onderwijs verschillende kleine groepen studenten naar verschillende podcastformats te laten luisteren en daarover een korte presentatie te laten houden. Hierdoor verkrijgen studenten een overzicht van wat er allemaal mogelijk is en kunnen zij op basis daarvan keuzes maken voor hun eigen podcast. Daarnaast zijn enkele onderwijsactiviteiten die zijn gericht op receptive learning van belang: de student moet kennis verkrijgen over de werking van de basiselementen voor de opname en productie van een podcast. De functionele kennis kan worden verkregen door te oefenen met het maken van een podcast – door bijvoorbeeld alleen de introductie op te nemen – om die dan klassikaal te bespreken of middels peer-feedback te becommentariëren. Op deze wijze wordt de student niet in het diepe gegooid; de student hoeft pas als afsluiting van de cursus een volledige podcast in te leveren.

  2.3 Tussenconclusie: learner generated content als voorbereiding voor legal storytelling

  Opvallend is het feit dat nog relatief weinig onderzoek is gedaan naar het gebruik van podcasts in het juridisch onderwijs en dat wat wel is gepubliceerd voornamelijk casestudies betreffen (Rua Wall 2019, pp. 309-320; Killean & Summerville 2020, pp. 31-42). Niettemin lijkt er aanleiding om de hiervoor beschreven hypothese – dat studenten Rechtsgeleerdheid baat hebben bij het maken van podcasts – te staven met ervaringen met het gebruik van podcasts in het onderwijs van andere disciplines. Dit heeft vooral te maken met het feit dat de student zelf content creëert, die overigens ook weer eenvoudig openbaar kan worden gemaakt of kan worden gebruikt als onderwijsmateriaal in daaropvolgende jaargangen. Hierbij spreken Dale & Povey over learner generated content, en benadrukken zij dat studenten: ‘are there not to simply participate in activity and acquire skills, but also to produce shared outcomes and advance the intellectual capital of the group’ (Dale & Povey 2009, p. 118). Hiermee wordt de student, zoals ook gebeurt bij oefenrechtbanken, voorbereid op de werkzaamheden die met de meeste toetsvormen niet worden getraind: het presenteren van een verhaal zonder visuele ondersteuning. Dit behoort zoals gezegd tot het standaardwerk van de jurist en dat maakt de toetsvorm ook nog eens authentieker doordat deze goed aansluit bij de toekomstige werkomgeving van de student.

• 3. Twee pilots: podcasts als toets

  De voorgaande bespreking van de literatuur laat zien dat er een meerwaarde zit in de toepassing van podcasts in brede zin, en meer specifiek als toetsvorm binnen Rechtsgeleerdheid. Duidelijk is ook dat onderzoek naar deze toetsvorm nu slechts sporadisch plaatsvindt. In deze zin draagt dit artikel – en het verslag van de twee pilots – bij aan de kennisontwikkeling op dit gebied voor het juridisch onderwijs.

  3.1 Pilot 1: Cursus ‘Societally Responsible Public Procurement’

  De eerste cursus waarin podcasts zijn ingezet als toetsvorm was Societally Responsible Public Procurement. Dit betreft een korte cursus van drie weken voor studenten in de masters Law & Economics en European Law bij het Departement Rechtsgeleerdheid van de Universiteit Utrecht (coördinator: Willem Janssen). Een groep van elf studenten, die geen van allen ervaring hadden met het maken van podcasts, deed in tweetallen onderzoek naar een specifieke juridische uitdaging relaterend aan duurzaam aanbesteden. Studenten konden bij de start van deze Engelstalige cursus kiezen uit een lijst met onderwerpen voor hun podcast. Dit om tegemoet te komen aan de korte duur van de cursus, zodat studenten direct gefocust onderzoek zouden kunnen verrichten. Zowel juridische verdieping alsook de (door)ontwikkeling van analytische en spreekvaardigheden door middel van het maken van podcasts werden als leerdoelen vastgesteld.
  De opbouw van de cursus was als volgt. Week 1 van de cursus bestond uit kennisoverdracht met drie interactieve workshops over de juridische thema’s van de cursus. In week 2 lag de nadruk op het schrijven van een structuur van de podcast. Tijdens deze week vond ook per groep een Q&A-sessie met de docent plaats en kregen studenten schriftelijke feedback op de conceptstructuur van de docent. In week 3 stond het opnemen van de podcast zelf centraal en werd er een Q&A over technische aspecten van de opname georganiseerd. Naast de Q&A’s konden studenten de docent gedurende de loop van de cursus e-mailen met vragen over de cursus. De studenten maakten veelvuldig gebruik van deze mogelijkheid. Naast deze intensieve begeleiding konden de studenten voorafgaand aan en tijdens de cursus twee kennisclips bekijken: een over de techniek (‘hoe neem ik een podcast op?’) en een over het maken van een structuur van een podcast (‘hoe maak ik een goede structuur van een podcast?’).⁷x De kennisclips kunnen via de hyperlinks worden bekeken door medewerkers van de Universiteit Utrecht. Na een verzoek aan de auteurs van deze bijdrage per mail kunnen deze clips ook met externen worden gedeeld. Alle studenten kozen voor een podcastopzet waarin ze met elkaar in discussie gingen over het gekozen juridische onderwerp (max. 25/30 minuten). Qua toetsing telde de structuur en inhoudelijke correctheid van de podcast (in bullet point-vorm, maar met uitgeschreven volzinnen) voor 70% en de uiteindelijke opname voor 30% mee voor het eindcijfer.

  3.2 Pilot 2: Cursus Strafprocesrecht

  De tweede cursus waarin podcasts als toetsvorm zijn toegepast, is in het honours-programma van de cursus Strafprocesrecht voor 75 tweedejaars studenten van het Utrecht Law College (coördinator: Dave van Toor). Strafprocesrecht is een verplicht bachelor-vak voor alle rechtenstudenten. Voor de studenten van het Utrecht Law College wordt bij verschillende grote bachelor-vakken, waaronder Strafprocesrecht, aanvullend onderwijs aangeboden met eigen toetsing. Dit moet allemaal in dezelfde periode worden afgerond als het verplichte deel (tien onderwijsweken).
  Tijdens het honours-programma woonden studenten twee soorten bijeen­komsten bij: methodologische bijeenkomsten en inhoudelijke bijeenkomsten. Tijdens de drie methodologische bijeenkomsten (i) werd de opdracht geïntroduceerd en werden er voorbeelden gegeven; (ii) werden de opdracht en de beoordelingscriteria uitgebreid besproken; en (iii) werd een Q&A-sessie georganiseerd over het maken van een podcast. Hiervoor kregen de studenten vooraf ook de beschikking over de hiervoor genoemde kennisclips. Tijdens de drie inhoudelijke colleges werd het concept modeling toegepast. De docent selecteerde een onderwerp zoals vereist is in de opdracht en behandelde het onderwerp zoals dat in het eindproduct zou kunnen worden gegoten.
  Voor de opdracht dienden studenten in een true crime-podcast of docuserie aanknopingspunten te vinden om een onderwerp nader te belichten.⁸x Als voorbeeld kan de publicatie van Van Toor dienen. Aan de hand van de podcasts Bear Brook, Man in the Window en Unmasking a Killer beoordeelde hij of het in Nederland ook mogelijk is om een bepaalde soort DNA-onderzoek (genetische genealogie) uit te voeren met behulp van vergelijkingsprofielen in door commerciële bedrijven beheerde DNA-databanken (Van Toor, 2020, p. 4). Aan de podcast, die maximaal 30 minuten mocht duren, werkten drie studenten samen, waarbij zij zelf verantwoordelijk waren voor de rolverdeling. Ook de vorm van de podcast, bijvoorbeeld een plenaire discussie, een interview of storytelling, mochten zij vrij kiezen. Studenten die liever een essay wilden schrijven kregen daartoe de mogelijkheid (max. 2500 woorden). Hiermee werden alleen schriftelijke vaardigheden getoetst en niet de spreek- en presentatievaardigheden. De bevordering van spreek- en presentatievaardigheden vond in die gevallen uitsluitend plaats door de actieve deelname aan het onderwijs (dat overigens niet werd getoetst). Slechts 5 van de 25 groepjes kozen voor deze optie. Gronden die hiervoor werden genoemd zijn dat: (i) studenten juist hun schrijfvaardigheden wilden ontwikkelen (n = 8); (ii) dat een essay schrijven niet afhankelijk is van kennis over en vaardigheid met techniek (n = 8); (iii) dat bij een essay duidelijker is wat wordt verwacht (n = 8); en (iv) dat studenten aangaven graag te schrijven ­(n = 7) (meerdere opties konden worden aangekruist).
  Ook in deze pilot had geen van de studenten ervaring met het maken van een podcast. Tijdens de cursus moesten de studenten in week 3 van de cursus een opzet voor de podcast inleveren. Een week voor deze deadline vond de al genoemde Q&A-sessie plaats, zodat studenten vragen konden stellen over het maken van een podcast. De studenten hadden in deze cursus dus meer tijd voor het maken van een podcast dan in pilot 1.
  De opzet werd in week 4 van de cursus beoordeeld en van feedback voorzien, zodat op tijd gestuurd kon worden door de docent. Het eindproduct moest vier weken na de ontvangen feedback in de week na de laatste onderwijsbijeenkomst, in week 8 van het onderwijsblok, worden ingeleverd. De opzet en de podcastaflevering bepaalden voor 40% het totale eindcijfer van de cijfers; de opzet droeg voor 40% bij aan het cijfer voor de podcastdeeltoets en de podcastaflevering voor 60%. (Het overige deel van het cijfer werd bepaald door het schriftelijke tentamen van het verplichte deel dat alle studenten Rechtsgeleerdheid volgen.)

• 4. De beoordeling van de podcasts

  Voor de beoordeling van de podcasts is er, in samenwerking met onderwijskundigen van de Universiteit Utrecht, een beoordelingsformulier ontwikkeld. Dit formulier is in beide pilots van tevoren aan de studenten versterkt.⁹x Het formulier kan bij de auteurs worden opgevraagd of is te downloaden via < https://www.uu.nl/onderwijs/onderwijsadvies-training/kennisdossiers/kennisdossier-hoger-onderwijs/podcasts-in-je-onderwijs-zo-pak-je-dat-aan>. Hierin staan twee te beoordelen categorieën centraal: (i) de presentatievaardigen in de opname; en (ii) de inhoud zoals weergegeven in de structuur. Ieder categorie (elk met een score van 100%) is nader ingevuld met criteria met een eigen gewicht. Elk criterium wordt nader verduidelijkt met een omschrijving. Vervolgens krijgt de student een score per criterium (1-10) en – waar nodig – aanvullende schriftelijk feedback per criterium.
  De beoordeling van de presentatievaardigheden is nader onderverdeeld in drie criteria. Ten eerste is de ‘presentatie’ met verwijzingen naar het stemgebruik, spreeksnelheid en intonatie (70%) opgenomen. Ten tweede wordt de ‘creativiteit’ van de productie beoordeeld als criterium, waarbij aandacht is voor het gebruik van muziek en andere geluidseffecten, de overgangen tussen onderdelen en presentatievorm (20%). Ten slotte wordt de ‘productiekwaliteit’ beoordeeld, bijvoorbeeld of de productie geen ruis bevat (10%). Dit betekent dat het kunnen maken van een podcast een doel van het vaardighedenonderdeel is, maar dat de beoordeling voor het grootste gedeelte bestaat uit de podcast als vehikel of decor om bepaalde vaardigheden te kunnen toetsen.

  Inhoudelijk is de podcast in beide cursussen beoordeeld op basis van de inleiding (entree), middenstuk (main) en het slot (dessert). De invulling van deze onderdelen komt sterk overeen met criteria die gebruikt worden bij de beoordeling van schriftelijke opdrachten. De inleiding wordt in het formulier nader verduidelijkt door de verwijzing naar een goede opening, de relevantie van de inhoud en de doelgroep en een duidelijke introductie van de sprekers en de structuur (20%). Voor het middenstuk wordt verwezen naar een logische opbouw, de diepgang van de discussie, de relevantie en diversiteit van gebruikte argumenten, de reflectie op literatuur en praktijk, de vorming van een eigen mening en de reflectie op wetenschappelijk bronnen (60%). Ten aanzien van het slot wordt verwezen naar het belang van een samenvatting en de bespreking van toekomstige discussiepunten en/of een cliffhanger (20%).
  In de evaluatie gaven de studenten van de cursus Strafprocesrecht aan dat zij het formulier duidelijk vonden (5,5 op een schaal van 7; ingevuld door 14 studenten; responserate ongeveer 20%). Zowel qua presentatie als inhoudelijk hebben de studenten het goed gedaan: het gemiddelde cijfer van het eindproduct in de cursus Strafprocesrecht was 8,4 en bij Societally Responsible Public Procurement een 7,6.¹⁰x In beide cursussen schreven alle studenten het voorgaande jaar een essay, respectievelijk gewaardeerd met een gemiddelde score van 8,13 en 7,5.

• 5. Resultaten: hoe de docenten het hebben ervaren

  Studenten zijn de uitdaging aangegaan om voor het eerst een podcast te maken. Vanaf de start van beide cursussen was duidelijk dat de studenten te spreken waren over deze ‘innovatieve’ manier van toetsen, waarvoor zij niet alleen inhoudelijk maar ook creatief te werk moesten gaan. Het was ook een erg positieve ervaring voor ons als docenten. Dat enthousiasme van de makers is ook duidelijk in de podcasts terug te horen. Studenten zijn creatief en passen veel verschillende presentatieformats toe, nemen aparte fragmenten op en voegen geluidseffecten toe. Hierdoor is het beluisteren van de podcasts afwisselend en boeiend.
  Voor ons als docenten werkte het beoordelingsformulier met een duidelijke tweedeling tussen presentatie en inhoud goed. Hierbij verdient het de opmerking dat in pilot 1 de inhoud voorafgaand aan het eindproduct is beoordeeld, namelijk op basis van de structuur. Dit was om te voorkomen dat studenten die minder goed uit de verf kwamen in de opname maar wel goed in de stof zaten onevenredig benadeeld werden. Dit bleek uiteindelijk niet het geval. Alle studenten lieten ook de inhoud goed zien in de opname. Een potentieel struikelblok kan zijn dat de inhoud onbewust toch meetelt in de beoordeling van de presentatie, namelijk als de inhoud niet op orde is. Dit terwijl dat dus geen onderdeel is van de beoordeling bij een scheiding tussen beide elementen.
  In pilot 2 is de inhoud aan de hand van het eindproduct beoordeeld en werden presentatie en inhoud gelijktijdig beoordeeld. Hierdoor is de kans kleiner dat de kwaliteit van de inhoud wordt meegewogen bij de beoordeling van de presentatie. Wel is besloten om in volgende cursussen meer aandacht te besteden aan het oefenen met een opname van een podcast. Nu was er in beide pilots geen ruimte voor studenten om feedback te krijgen op hun opname. In die zin is er geen sprake van volledige constructive alignment. Daarvoor was gedurende de loop van beide cursussen geen tijd (en expertise) voorhanden. Gedacht wordt om dit vorm te geven door de docent feedback te laten geven of door een vorm van peer-feedback in te zetten.
  Het belangrijkste aandachtspunt vanuit het perspectief van de docent is dat het nakijken van een podcast veel tijd kost. Gemiddeld duurde dit ongeveer 35 tot 45 min per podcast. Dit heeft vooral te maken met het feit dat de gehele podcast moet worden beluisterd en dat de docent telkens moet pauzeren en soms een stukje moet terugluisteren om het beoordelingsformulier goed in te kunnen vullen. Het nakijken van een kort essay neemt over het algemeen minder tijd in beslag. Hetzelfde geldt, is onze ervaring op basis van andere cursussen, voor mondelinge presentaties met visuele ondersteuning. Het ligt wel in de lijn der verwachting dat het nakijken en beoordelen een volgende keer minder tijd zal kosten aangezien wij als docenten mogelijk een leercurve ervaren in het nakijkwerk. Niettemin lijkt toepassing van deze toetsvorm daarom minder geschikt voor cursussen met grote studentenaantallen om de werkdruk niet al te veel te laten oplopen.

• 6. Resultaten: hoe de studenten het hebben ervaren

  Voorafgaand aan en na afloop hebben de studenten in beide pilots een vragenlijst ingevuld. We lichten in de komende paragrafen voor elke pilot enkele onderdelen uit deze evaluaties uit.

  6.1 Studentervaringen uit pilot 1

  Uit de vooraf ingevulde vragenlijst van pilot 1 over de verwachtingen van studenten komt naar voren dat geen van de studenten ervaring had met het maken van podcasts (n = 11), maar dat de meeste studenten wel naar podcasts luisterden ­(n = 7). Studenten zijn ook positief over de feedback van de docent. Specifiek werd benoemd dat het fijn was dat de docent altijd beschikbaar was voor het beantwoorden van vragen. Studenten hebben over het algemeen hoge verwachtingen van de meerwaarde van het maken van een podcast voor hun eigen ontwikkeling (M = 8 op een schaal van 10) en verwachten dat het maken van een podcast relatief moeilijk zal zijn (M = 6,6 op een schaal van 10). De meeste studenten verwachten dat ‘turning research into an accessible recording’ (n = 8) het lastigst zal zijn bij het maken van een podcast, gevolgd door de ‘technical aspects of the recording’ (n = 3). De studenten kijken het meeste uit naar iets nieuws doen ­(n = 5) en naar het vergroten van hun vaardigheden (n = 5). Wat opvalt is dat geen van de elf studenten uitkeek naar kennisverdieping door het maken van een podcast. Studenten zijn erg enthousiast over het maken van de podcast. Ze vonden het leuk en interactief (n = 11). Een student zei:

  A podcast is a really good way to informally inform an audience. You really have to switch (since you are used to a lot of academic writing). But this is a good thing because in the end you should master the knowledge in such a way that you can explain it in a fun/easy/understandable way.

  In de postevaluatie van pilot 1 geven de studenten aan dat de grootste uitdagingen in het maken van de podcast niet de tijd of de technische aspecten waren (n = 11), maar vooral ‘turning research into accessible recording’ (n = 7); cooperation (n = 2); ‘amount of time required’ (n = 1) en ‘technical aspects of the recording’ (n = 1). Het laatste is interessant, omdat onze verwachting was dat de techniek een probleem zou vormen (verschil van n = 2). Studenten geven aan dat het maken van de podcast een meerwaarde voor hun eigen ontwikkeling was (M = 8,3 op een schaal van 10). De meeste studenten zouden het maken van podcasts om academische vaardigheden te trainen wel aanraden (M = 8,4 op een schaal van 10).

  6.2 Studentervaringen uit pilot 2

  Uit pilot 2 kwamen soortgelijke conclusies uit de pre- en postevaluatie en een aanvullend panelgesprek na afloop van de cursus. In de pre-evaluatie is de studenten gevraagd waarom zij een podcast verkiezen boven het essay als toetsvorm. In de pre-evaluatie (N = 26) geven 21 studenten aan dat zij graag iets nieuws willen proberen en 14 studenten noemen de ontwikkeling van nieuwe vaardigheden als motivatie voor de keuze voor de podcast als toetsvorm (meerdere antwoorden waren mogelijk). Studenten zagen niet op tegen de technische aspecten, maar wel tegen de vrijheid die ze werd gegeven om een podcast te maken (n = 15), omdat het vinden van een goed onderwerp lastig kan zijn en het maken van een podcast arbeidsintensief is (n = 17).
  Het maken van een podcast werd overweldigend positief beoordeeld. Het was leuk (M = 5,3 op een schaal van 7), leerzaam (M = 5,4 op een schaal van 7) en moeilijk (M = 4,2 op een schaal van 7). Het maken van een podcast bleek een welkome uitdaging. Opvallend is dat ook hier de technische knowhow over het opnemen, bewerken en snijden van een audiobestand geen probleem was. Studenten wisten zich deze vaardigheden binnen korte tijd eigen te maken.
  Van de veertien studenten uit pilot 2 die de evaluatie hebben ingevuld vinden twaalf de toetsvorm voor herhaling vatbaar.¹¹x De andere twee studenten kozen tijdens de cursus Strafprocesrecht voor het schrijven van een essay. Dit ondanks het feit dat het maken van de podcast de studenten meer tijd kost dan het schrijven van een essay. Studenten gaven aan gemiddeld ongeveer 38 uur te hebben besteed aan het eindproduct, terwijl studenten gemiddeld ongeveer 30 uur aan het essay werkten.
  Uit het panelgesprek met zes studenten bleek daarnaast dat de vrijheid van de opdracht – geen voorgeschreven onderwerp en geen voorgeschreven format – als heel prettig werd ervaren ondanks dat zij daar zoals als aangegeven in de pre-evaluatie, ook tegenop zagen. Zij geven aan dat het beoordelen van de opzet daadwerkelijk behulpzaam is en voor tijdige sturing zorgt voordat het eindproduct moet worden opgeleverd. De studenten geven ook aan dat de combinatie vrijheid en een tweetrapstoets goed werkt.

• 7. Concluderende gedachten

  Uit de hiervoor beschreven pilots blijkt dat podcasts als toets potentie hebben binnen het juridisch onderwijs en dat het als vorm zou kunnen worden toegevoegd aan het arsenaal van toetsmogelijkheden. Beide pilots laten zien dat studenten er enthousiast over zijn en dat ze zich – belangrijker nog – door het maken van een podcast niet alleen van de inhoud meester maken maar ze er vooral ook hun vaardigheden mee kunnen ontwikkelen. Dit sluit aan bij onze hypothese en bij de belangrijkste voordelen van het maken van podcast die we kennen uit de bredere literatuur.
  Niettemin is meer (experimenteel) onderzoek nodig om de gestelde hypothese nader te kunnen valideren. Dit om ook daadwerkelijk te kunnen onderbouwen dat het regelmatig maken van een podcast (of een andere presentatievorm zonder visuele ondersteuning) rechtenstudenten beter of op een andere en nuttige manier voorbereidt op de arbeidsmarkt dan andere, gangbaardere toetsvormen. Daarnaast behoeft de constructive alignment met betrekking tot vooral de functionele kennis van de podcast aandacht. Op basis van onze eerste positieve ervaringen is in ieder geval besloten om het volgende studiejaar opnieuw podcasts te gebruiken als toetsvorm in de cursussen van de pilots.

Literatuur

• Armstrong, G. R., Tucker, G. M. & Massad, V. J. (2009). Interviewing the experts: Student produced podcast. Journal of Information Technology Education: Innovations in Practice, 8, 79-90.

• Biggs, J. (1996). Constructive alignment in university teaching. Review of Higher Education, 1, 5-22.

• Biggs, J. & Tang, C. (2011). Teaching for quality learning at university. Maidenhead: McGraw-Hill: Open University Press.

• Dale, C. & Povey, G. (2009). An evaluation of learner-generated content and podcasting. Journal of Hospitality, Leisure, Sport and Tourism Education, 8(1), 171-123.

• Hargett, J. L. (2018). Podcasting in nursing education: Using commercially prepared podcasts to spark learning. Teaching and Learning in Nursing, 13, 55-57.

• Killean, R. & Summerville, R. (2020). Creative podcasting as a tool for legal knowledge and skills development. The Law Teacher, 54(1), 31-42.

• Lee, M. J. W., McLoughlin, C. & Chan, A. (2008). Talk the talk: Learner-generated podcasts as catalysts for knowledge creation. British Journal of Educational Technology, 3, 501-521.

• Mak, E. (2017). The T-shaped lawyer and beyond. Den Haag: Boom uitgevers.

• Powell, L. & Robson, F. (2014). Learner-generated podcasts: A useful approach to assessment? Innovations in Education and Teaching International, 3, 326-337.

• Rua Wall, I. (2019). Podcast as assessment: Entanglement and affect in the law school. The Law Teacher, 53(3), 390-320.

• van Toor, D. A. G. (2020). Het raadplegen van genealogische DNA-profielen in niet door de overheid beheerde databanken. Ars Aequi, 4, 359-368.

• Yeh, H. C., Chang, W. Y., Chen, H. Y. & Heng, L. (2021). Effects of podcast-making on college students. English speaking skills in higher education. Educational Technology Research and Development, 69(5), 28645-2867.

Noten

• * De auteurs danken dr. Gemma Corbalan en Karin van Look MSc, beiden werkzaam bij Onderwijsadvies en Training, Universiteit Utrecht, voor hun input tijdens de uitvoering van het USO-project ‘Student Podcasts’ en hun gedachten tijdens de totstandkoming van dit artikel. Ook danken zij mr. dr. Bald de Vries voor zijn enthousiasme en inhoudelijke feedback naar aanleiding van deze bijdrage.

• 1 Markteffect, Podcast Monitor, 2021.

• 2 Hiervoor kregen wij financiering van het Universitair Stimuleringsfonds Onderwijs (USO) in de Faculteit Rechtsgeleerdheid, Economie en Bestuurs- en Organisatiewetenschappen.

• 3 Voor een overzicht van de discussie, zie: Mak (2017).

• 4 Hierbij laten wij verder onbesproken dat het maken van een podcast ook andere technische vaardigheden vraagt van de maker.

• 5 Bijvoorbeeld de bekende true crime podcasts Serial en Dr. Death werken op deze manier.

• 6 Denk bijvoorbeeld aan de drama podcast Fall of the Shah of de true crime podcast Billionaire Boys Club.

• 7 De kennisclips kunnen via de hyperlinks worden bekeken door medewerkers van de Universiteit Utrecht. Na een verzoek aan de auteurs van deze bijdrage per mail kunnen deze clips ook met externen worden gedeeld.

• 8 Als voorbeeld kan de publicatie van Van Toor dienen. Aan de hand van de podcasts Bear Brook, Man in the Window en Unmasking a Killer beoordeelde hij of het in Nederland ook mogelijk is om een bepaalde soort DNA-onderzoek (genetische genealogie) uit te voeren met behulp van vergelijkingsprofielen in door commerciële bedrijven beheerde DNA-databanken (Van Toor, 2020, p. 4).

• 9 Het formulier kan bij de auteurs worden opgevraagd of is te downloaden via < https://www.uu.nl/onderwijs/onderwijsadvies-training/kennisdossiers/kennisdossier-hoger-onderwijs/podcasts-in-je-onderwijs-zo-pak-je-dat-aan>.

• 10 In beide cursussen schreven alle studenten het voorgaande jaar een essay, respectievelijk gewaardeerd met een gemiddelde score van 8,13 en 7,5.

• 11 De andere twee studenten kozen tijdens de cursus Strafprocesrecht voor het schrijven van een essay.