IJkpunt 1: Validiteit en betrouwbaarheid

De methode moet meten wat hij behoort te meten, id est de methode moet valide zijn. Een DNA-vergelijkingstest moet het DNA-profiel vergelijken en moet geen overzicht geven van bloedwaarde en suikerspiegel. Als telkens dezelfde uitkomst wordt verkregen omtrent bloedwaarde en suikerspiegel (ondanks dat het doel is om een DNA-profiel te vergelijken), dan is de test niet valide maar levert het wel consistente en dus betrouwbare resultaten op. Betrouwbaarheid betreft dus de consistentie, de herhaalbaarheid van de resultaten. Een weegschaal die afhankelijk van de dag één, drie of vijf kilo te veel aangeeft, levert geen betrouwbare resultaten op (hij heeft een situationele fout van plus één, drie of vijf kilo). Ook een onbetrouwbaar persoon kenmerkt zich vaak door onstabiel, inconsistent gedrag. Overigens zijn deze criteria uitstekend (en noodzakelijk) toepasbaar bij de beoordeling van in de wetenschap ontwikkelde methoden die ook in een strafprocesrechtelijke context kunnen worden gebruikt, zoals DNA-onderzoek, ballistisch onderzoek en (neuro)geheugendetectie. Bij opsporingsmethoden die geen wetenschappelijke techniek en methode gebruiken, zoals observeren, verhoren, doorzoeken en fouilleren, spelen deze criteria geen (of maximaal een zeer geringe) rol van betekenis.

Omdat betrouwbaarheid een voorwaarde voor validiteit is, volgt hieronder eerst een uiteenzetting over de eis van betrouwbaarheid voor de effectiviteit van opsporingsmethoden. Of een methode consistente resultaten oplevert, hangt af van de vraag of de resultaten door toevallige, incidentele factoren worden beïnvloed. Als de uitkomst van een leugendetector het ene moment af hangt van de waarheid van de antwoorden maar op het andere moment van de stressreactie van de ondervraagde, dan levert de leugendetector inconsistente en daardoor onbetrouwbare resultaten op. De betrouwbaarheid van resultaten van wetenschappelijke methoden kunnen op verschillende manieren worden berekend, namelijk door de test-hertestbetrouwbaarheid, interbeoordelaarsbetrouwbaarheid en interne consistentiebetrouwbaarheid te bekijken. Alle drie de vormen van betrouwbaarheid kunnen voor de in het strafprocesrecht gebruikte methoden van belang zijn. Het is namelijk afhankelijk van de methode welke betrouwbaarheidsmaat een geschikt middel is om de betrouwbaarheid te meten. Bij methoden die meerdere onderdelen bevat, is de interne consistentie een geschikte maat. Bij een methode die door meerdere personen wordt ingezet, is de interbeoordelaarsbetrouwbaarheid een geschikte maat. Bij een methode die meerdere malen kan of wordt afgenomen, is de test-hertestbetrouwbaarheid een geschikte maat.

Evenals betrouwbaarheid is validiteit een overkoepelende term van meerdere validiteitsmaten. Te onderscheiden zijn (ten minste) (1) de constructvaliditeit; (2) de indruksvaliditeit; (3) de criteriumvaliditeit; (4) de interne validiteit en; (5) de externe validiteit. Anders dan bij de betrouwbaarheid is het belang van deze verschillende vormen van validiteit niet afhankelijk van de gebruikte methode. Bij elke methode (meerdere onderzoekers/ meerdere vragen/meerdere afnamemomenten) is elke vorm van validiteit van belang. Overigens is het wel afhankelijk van het doel van de methode op welke validiteitsmaat de nadruk ligt.

Voor de in het strafprocesrecht ingezette methode is het vanzelfsprekend dat deze valide moeten zijn. Een DNA-test die de suikerspiegel meet of een hond die tijdens een geuridentificatieproef de meest aangename geur kiest, kan (in het ergste geval) leiden tot onjuiste beslissingen, zowel vals-negatief als vals-positief. Het is daarom evident dat de methode het construct of begrip dat wordt beoogd te meten, daadwerkelijk en in volle omvang meet. Ook de vertaalbaarheid van methoden die zijn ontwikkeld in een laboratoriumsetting naar de wereld daarbuiten – de zogenoemde ecologische validiteit als onderdeel van de externe validiteit – moet zijn gewaarborgd. Voorafgaand aan de inzet van een methode in het strafprocesrecht moet van validiteit gebleken zijn. Voor het strafprocesrecht, en in het bijzonder de rechterlijke beslissing, is de voorspellende validiteit het meest van belang. Welke conclusies kunnen worden genomen over de aanwezigheid van een persoon op de plaats delict als zijn DNA-profiel in sterke mate overeenkomt met het DNA-profiel dat is opgesteld na analyse van op de plaats delict gevonden lichaamsmateriaal? Hoe groot is de kans op correct-positief (persoon was op de plaats delict aanwezig) ten opzichte van de kans op vals-positief (persoon was niet op de plaats delict aanwezig) bij een overeenkomst op acht van de tien merktekens van de DNA-vergelijking?