Hoe we meten
Een benchmark die je zelf schrijft en zelf nakijkt, zegt weinig. Daarom houden we ons aan vier regels.
- Vragen uit de praktijk
- Toetsvragen worden opgesteld en beoordeeld door P&C-adviseurs en controllers, niet alleen door ons.
- Een openbare en een verborgen set
- Een deel van DuinBench publiceren we. Een ander deel blijft verborgen en komt uit stukken die niet in onze trainingsdata zitten. Zo voorkomen we dat we trainen op de toets.
- Eerst de methode, dan de cijfers
- We publiceren hoe we meten voordat we scores publiceren.
- Ook waar het misgaat
- We laten zien waar modellen fouten maken, ook het onze.
DuinBench-1 is in opbouw. Zodra de methode is getoetst door onafhankelijke vakmensen, publiceren we de eerste resultaten hier.