Wat is VaR Backtesting Calculator?
▾
VaR-backtesting is het statistische proces voor het valideren van een Value at Risk-model door voorspelde VaR-schattingen te vergelijken met vervolgens gerealiseerde portefeuillewinsten en -verliezen. Een overschrijding (of 'uitzondering') doet zich voor op elke dag waarop het werkelijke portefeuilleverlies de voorspelde VaR voor die dag overschrijdt. Voor een correct gespecificeerd 99% VaR-model verwachten we dat overschrijdingen zullen optreden op ongeveer 1% van de handelsdagen – ongeveer 2 à 3 dagen per jaar voor een kalender van 250 handelsdagen. Backtesting vraagt zich af: is het waargenomen aantal overschrijdingen statistisch consistent met wat het model voorspelt? Het Bazels Comité heeft de VaR-backtestingvereisten voor het eerst geformaliseerd in zijn Market Risk Amendment (1996) en heeft deze door daaropvolgende akkoorden verfijnd. Onder Bazel III moeten banken die interne VaR-modellen voor marktrisicokapitaal gebruiken dagelijks backtesting uitvoeren van hun 99% 1-daagse VaR-schattingen ten opzichte van de werkelijke winst-en-verliesrekening. Het regelgevende verkeerslichtkader classificeert het backtestresultaat op basis van het aantal overschrijdingen in de meest recente 250 handelsdagen: 0–4 overschrijdingen (groene zone) — modelpassen; 5–9 overschrijdingen (gele zone) — kapitaalmultiplier verhoogd; Meer dan 10 overschrijdingen (rode zone) — het model faalt, waardoor herziening nodig is en mogelijk wordt overgegaan op een gestandaardiseerde aanpak. De Proportion of Failures (POF)-test van Kupiec (1995) is de fundamentele statistische test: hij test of het waargenomen aantal overschrijdingen consistent is met het aangegeven VaR-betrouwbaarheidsniveau met behulp van een waarschijnlijkheidsratio-test. De nulhypothese is dat de werkelijke overschrijdingskans gelijk is aan (1−betrouwbaarheidsniveau). De voorwaardelijke dekkingstest van Christoffersen (1998) verbetert Kupiec door ook te testen of overschrijdingen onafhankelijk zijn in de tijd - een geldig VaR-model mag geen overschrijdingen bevatten die bij elkaar clusteren (wat erop zou wijzen dat het model zich langzaam aanpast aan veranderende volatiliteit). Backtesten alleen is niet voldoende om een VaR-model volledig te valideren. P&L-attributie (waarbij de winst-en-verliesrekening van elke dag wordt verklaard met behulp van de risicofactoren van het model) is vereist onder Basel FRTB. Hypothetische winst-en-verliesrekening (op basis van huidige portefeuilleposities, aangepast aan de marktveranderingen van gisteren) moet consistent zijn met de theoretische winst-en-verliesrekening (uit het risicomodel). Modellen die de backtesting doorstaan, maar niet slagen voor de toeschrijving van winst en verlies, kunnen nog steeds een aanzienlijk modelrisico met zich meebrengen. Modelvalidatie gaat verder dan backtesting en omvat ook gevoeligheidsanalyses, stresstests, benchmarking met alternatieve modellen en beoordeling van modelaannames. Analyse van overschrijdingen (zijn de verliezen op uitzonderingsdagen veel groter dan de VaR, wat duidt op dikke staarten?) vormt een aanvulling op de op tellingen gebaseerde aanpak.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
Formule
▾
Verwachte overschrijdingen = (1 − Vertrouwen) × N
Kupiec LR = −2 × [ln((1−p)^(N−x) × p^x) − ln((1−x/N)^(N−x) × (x/N)^x)]
Kritische waarde: χ²(1) bij 5% = 3,84 | χ²(2) bij 5% = 5,99 (Christoffersen)Variabele uitleg
▾
| Symbool | Naam | Eenheid | Beschrijving |
|---|---|---|---|
| N | Totaal aantal observatiedagen | days | Aantal handelsdagen in het backtestingvenster; Bazel vereist minimaal 250 handelsdagen (≈1 kalenderjaar). |
| x | Aantal overschrijdingen | count | Dagen waarop het werkelijke winst- en verliesverlies de VaR-schatting overschreed; verwacht = (1−betrouwbaarheid) × N. |
| p | Verwacht overschrijdingspercentage | % | Het vermelde overschrijdingspercentage van het VaR-model: 1% voor 99% VaR, 5% voor 95% VaR. |
| LR_POF | Kupiec LR-teststatistiek | chi-squared | Waarschijnlijkheidsratio voor het testen of het waargenomen overschrijdingspercentage overeenkomt met het verwachte percentage; vergeleken met χ²(1) kritische waarde. |
| CC_test | Christoffersen-statistiek | chi-squared | Toetst zowel de juiste proportie als de onafhankelijkheid van overschrijdingen; χ²(2) verdeling; detecteert clustering van uitzonderingen. |
Hoe VaR Backtesting Calculator
▾
- 1Verzamel dagelijkse VaR-schattingen (op het aangegeven betrouwbaarheidsniveau) en de werkelijke dagelijkse winst- en verliesrekening voor de backtestingperiode (minimaal 250 handelsdagen).
- 2Overschrijdingen tellen: dagen waarop het verlies > de VaR-schatting is (dat wil zeggen dat de werkelijke winst- en verliesrekening negatiever is dan −VaR).
- 3Bereken de verwachte overschrijdingen: E[x] = (1−betrouwbaarheid) × N. Voor 99% VaR over 250 dagen: E[x] = 2,5.
- 4Pas de Kupiec POF-test toe: bereken de LR-statistiek met behulp van de formule; vergelijk met χ²(1) = 3,84 bij een significantie van 5%. Als LR > 3,84, voldoet het model niet aan de test.
- 5Pas de voorwaardelijke dekkingstest van Christoffersen toe: bouw de 2×2 transitiematrix van opeenvolgende dagoverschrijdingen; onafhankelijkheid van overschrijdingen testen.
- 6Pas het verkeerslichtkader van Bazel toe: 0–4 uitzonderingen = groen (geen actie); 5–9 = geel (kapitaaltoeslag); 10+ = rood (modelfout).
- 7Analyseer de omvang van uitzonderingen: zijn de verliezen op uitzonderingsdagen slechts iets boven de VaR, of dramatisch groter? Grote overschrijdingen wijzen op een onderschatting van de fattail.
Uitgewerkte voorbeelden
▾
Model is geslaagd: 3 overschrijdingen komen overeen met de VaR-verwachting van 99%
Verwachte overschrijdingen = 1% × 250 = 2,5. Waargenomen = 3. LR_POF = −2 × [ln((0,99)^247 × (0,01)^3) − ln((0,988)^247 × (0,012)^3)] ≈ 0,076, wat ver onder de χ²(1) kritische waarde van 3,84 ligt. Het model kan niet worden afgewezen. 3 overschrijdingen in 250 dagen komt zeer overeen met een 99% VaR-model. Verkeerslicht van Bazel: Groene Zone (uitzonderingen 0–4) - geen kapitaalvermenigvuldigingsboete. Dit is de verwachte uitkomst voor een goed gespecificeerd, regelmatig bijgewerkt VaR-model.
Het model faalt ernstig: 12 overschrijdingen betekenen dat het werkelijke risico 5× de VaR-modelschatting bedraagt
12 overschrijdingen versus verwachte 2,5 – een overschrijding van 4,8x. LR = −2 × [ln(0,99^238 × 0,01^12) − ln(0,952^238 × 0,048^12)] ≈ 24,1, wat ruimschoots groter is dan χ²(1)=3,84. Het model wordt statistisch verworpen bij elk redelijk significantieniveau. Basel Red Zone (meer dan 10 uitzonderingen): de bank moet de tekortkomingen van het model uitleggen aan toezichthouders, de kapitaalvermenigvuldiger wordt verhoogd en van de bank kan worden verlangd dat zij overschakelt naar de gestandaardiseerde benadering voor kapitaal. Veelvoorkomende oorzaken: onderschatte volatiliteit, genegeerde fat tails, onvoldoende correlatieregistratie of model toegepast buiten het kalibratiebereik.
Het mislukken van de onafhankelijkheid betekent dat het model zich niet snel aanpast aan veranderingen in het volatiliteitsregime
5 overschrijdingen in 250 dagen bij 99% VaR bevinden zich in de gele zone van Bazel. De Kupiec POF-test kan marginaal slagen (borderline). Vier van de vijf uitzonderingen die zich op opeenvolgende dagen voordoen, zijn echter een ernstige schending van de onafhankelijkheidsaanname. De CC-test van Christoffersen berekent de transitiematrix: (dag nadat geen uitzondering een uitzondering is) versus (dag nadat een uitzondering een uitzondering is). Als p(uitzondering | vorige uitzondering) >> p(uitzondering | vorige niet-uitzondering), mislukt de onafhankelijkheid. Clustering geeft aan dat het VaR-model traag reageert op volatiliteitspieken – waarschijnlijk door gebruik te maken van een lange historische periode of voortschrijdende volatiliteit in plaats van een adaptieve schatter.
Eén catastrofale dag ($2,1 miljoen = 4,2×VaR) duidt op onderschatting van dikke staarten
Vier van de vijf uitzonderingen liggen slechts iets boven de VaR ($480.000 – $550.000) – deze zijn te verwachten en consistent met een goed gekalibreerd model. Maar op een dag was er sprake van een verlies van 2,1 miljoen dollar – 4,2 keer de VaR-schatting. Deze uitbijter is uiterst onwaarschijnlijk onder een normale verdeling (kans op verlies > 4,2σ ≈ 0,001%). Dit suggereert dat de rendementsverdeling dikke staarten heeft die het VaR-model niet vastlegt. De gemiddelde uitzondering = $832.000 is 1,66× VaR – naar verwachting ongeveer 1,14× voor een normale VaR van 99% – wat wederom wijst op dikke staarten. De analyse van de omvang van de uitzondering activeert een modelbeoordeling, zelfs als de telling (5) zich in de gele zone bevindt.
Praktische toepassingen
▾
Kapitaalrapportage van banken onder Basel III FRTB, dat een belangrijk toepassingsgebied vertegenwoordigt voor de Var Back Testing in professionele en analytische contexten waar nauwkeurige var back-testberekeningen rechtstreeks geïnformeerde besluitvorming, strategische planning en prestatie-optimalisatie ondersteunen
Interne modelvalidatie en modelrisicobeheer, die een belangrijk toepassingsgebied vertegenwoordigen voor de Var Back Testing in professionele en analytische contexten waar nauwkeurige var back-testberekeningen rechtstreeks geïnformeerde besluitvorming, strategische planning en prestatie-optimalisatie ondersteunen
Prestatiemonitoring van hedgefondsrisicomodellen, wat een belangrijk toepassingsgebied vertegenwoordigt voor de Var Back Testing in professionele en analytische contexten waar nauwkeurige var back-testberekeningen rechtstreeks geïnformeerde besluitvorming, strategische planning en prestatie-optimalisatie ondersteunen
Validatie van het risicomodel van verzekeringsmaatschappijen onder Solvency II, dat een belangrijk toepassingsgebied vertegenwoordigt voor de Var Back Testing in professionele en analytische contexten waar nauwkeurige var back-testberekeningen rechtstreeks geïnformeerde besluitvorming, strategische planning en prestatie-optimalisatie ondersteunen
Toeschrijving van handelsdeskprestaties – onderscheid tussen winst en verlies en blootstelling aan risicofactoren, wat een belangrijk toepassingsgebied vertegenwoordigt voor de Var Back Testing in professionele en analytische contexten waar nauwkeurige var back-testberekeningen direct geïnformeerde besluitvorming, strategische planning en prestatie-optimalisatie ondersteunen
Bijzondere gevallen
▾
Bij Var-back-testen vereist dit scenario extra voorzichtigheid bij het interpreteren van de var-back-testresultaten. Het is mogelijk dat de standaardformule niet volledig rekening houdt met alle factoren die in dit randgeval aanwezig zijn, en aanvullende analyse of raadpleging van deskundigen kan gerechtvaardigd zijn. Professionele beste praktijken omvatten het documenteren van aannames, het uitvoeren van gevoeligheidsanalyses en het vergelijken van resultaten met alternatieve methoden wanneer var-back-testberekeningen buiten het standaardgebied vallen.
Extreem grote of kleine invoerwaarden in de Var Back Testing kunnen var terugdringen
Extreem grote of kleine invoerwaarden in de Var Back Testing kunnen de berekeningen van de Var Back Testing buiten het normale werkingsbereik duwen. Hoewel ze wiskundig geldig zijn, weerspiegelen de resultaten van extreme inputs mogelijk niet de realistische var-back-testscenario's en moeten ze met voorzichtigheid worden geïnterpreteerd. In professionele var-back-testomgevingen duiden extreme waarden vaak op meetfouten, ongebruikelijke omstandigheden of randgevallen die aanvullende analyse verdienen. Gebruik gevoeligheidsanalyse om te begrijpen hoe de resultaten veranderen binnen plausibele invoerbereiken, in plaats van te vertrouwen op berekeningen met enkele extreme gevallen.
Bij Var-back-testen vereist dit scenario extra voorzichtigheid bij het interpreteren van de var-back-testresultaten. Het is mogelijk dat de standaardformule niet volledig rekening houdt met alle factoren die in dit randgeval aanwezig zijn, en aanvullende analyse of raadpleging van deskundigen kan gerechtvaardigd zijn. Professionele beste praktijken omvatten het documenteren van aannames, het uitvoeren van gevoeligheidsanalyses en het vergelijken van resultaten met alternatieve methoden wanneer var-back-testberekeningen buiten het standaardgebied vallen.
Verkeerslicht van Bazel: uitzonderingsdrempels voor 99% VaR over 250 dagen
▾
| Uitzonderingen (x) | Waarschijnlijkheid (als het model correct is) | Cumulatieve waarschijnlijkheid | Zone | Kapitaalvermenigvuldiger k |
|---|---|---|---|---|
| 0 | 8,1% | 8,1% | Groente | 3.00 |
| 1 | 20,5% | 28,6% | Groente | 3.00 |
| 2 | 25,7% | 54,4% | Groente | 3.00 |
| 3 | 21,5% | 75,9% | Groente | 3.00 |
| 4 | 13,5% | 89,4% | Groente | 3.00 |
| 5 | 6,8% | 96,2% | Geel | 3.40 |
| 6–9 | 3,5% | 99,7% | Geel | 3,50–3,85 |
| 10+ | 0,3% | ≥99,7% | Red | 4.00 |
Veelgestelde vragen
▾
Waarom is backtesting belangrijk voor VaR-modellen?
Backtesting is de empirische validatie dat een VaR-model de kalibratie oplevert die het claimt. Een bank die een VaR van 99% claimt, zou per definitie ongeveer 1% van de tijd verliezen moeten lijden die de VaR overschrijden. Zonder backtesting zou een model het risico systematisch kunnen onderschatten (waardoor een te lage VaR ontstaat, wat de kapitaalvereisten verlaagt) zonder verantwoordingsmechanisme. Backtesting creëert een feedbackloop op het gebied van de regelgeving: modellen die falen worden bestraft met kapitaalverhogingen, waardoor banken financiële prikkels krijgen om goed gekalibreerde modellen te handhaven. Backtesting helpt risicomanagers ook te identificeren wanneer modellen verouderd raken als gevolg van de veranderde marktdynamiek.
Wat is het verschil tussen schone en vuile P&L voor backtesting?
Clean P&L (hypothetische P&L) meet de winst of het verlies op de portefeuilleposities van gisteren, herprijsd op basis van de huidige marktprijzen – waarbij de blootstelling aan puur marktrisico wordt geïsoleerd zonder het effect van nieuwe transacties, vergoedingen of portefeuillewijzigingen. Dirty P&L (werkelijke P&L) omvat alle P&L uit alle bronnen: handelsinkomsten, nieuwe posities, vergoedingsinkomsten en operationele items. Basel FRTB vereist backtesting tegen hypothetische zuivere P&L, omdat het VaR-model het risico van de bestaande portefeuille schat, en niet van de evoluerende portefeuille. Als VaR wordt vergeleken met vuile winst-en-verliesrekeningen, kunnen goede handelsdagen fouten in risicomodellen verdoezelen, en omgekeerd.
Hoeveel backtest-jaren zijn er nodig voor betrouwbare modelvalidatie?
De minimale wettelijke vereiste is 250 handelsdagen (≈1 jaar). Statistisch gezien is dit echter vrij beperkt: bij een VaR van 99% komen er slechts 2,5 verwachte uitzonderingen per jaar voor. De standaardfout van het geschatte uitzonderingspercentage met 2,5 waarnemingen is zeer hoog; het is onmogelijk om onderscheid te maken tussen een model dat 0,5%, 1%, 1,5% of 2% werkelijke uitzonderingspercentages oplevert met slechts 250 waarnemingen. Voor robuuste validatie wordt de voorkeur gegeven aan gegevens van drie tot vijf jaar. Zelfs dan heeft de Kupiec-test een laag vermogen bij het onderscheiden van kleine systematische fouten. Daarom zijn naast backtesting meerdere statistische tests en aanvullende validatiemethoden (stresstests, P&L-attributie) vereist.
Wat is het verkeerslichtsysteem van Bazel voor VaR-backtesting?
Het verkeerslichtsysteem van Bazel (geïntroduceerd in 1996 en bijgewerkt in Bazel III) classificeert de prestaties van het VaR-model op basis van het aantal backtesting-uitzonderingen in de meest recente 250 handelsdagen: Groene Zone (0-4 uitzonderingen) - modelpassen, geen kapitaalboete; Gele Zone (5–9 uitzonderingen) – kapitaalvermenigvuldiger k stijgt van 3,0 naar 3,4–4,0, afhankelijk van het aantal, en het toezicht op de toezichthouder neemt toe; Rode Zone (meer dan 10 uitzonderingen) — model faalt, k=4,0 of hoger, en het kan zijn dat de bank moet overstappen op de gestandaardiseerde aanpak. De drempelwaarden zijn zo ingesteld dat ze een evenwicht vormen tussen Type I-fout (het afwijzen van goede modellen) en Type II-fout (het accepteren van slechte modellen) voor een steekproef van 250 dagen.
Wat is P&L-attributie en hoe verhoudt dit zich tot backtesting?
P&L-attributie (PLA) vereist dat banken de werkelijke winst-en-verliesrekening van elke dag verklaren door deze op te splitsen in bijdragen van de risicofactoren die in het VaR-model zijn vastgelegd. Onder de Basel FRTB moet het verschil tussen de theoretische winst-en-verliesrekening van het VaR-model (met behulp van modelrisicofactoren) en de werkelijke hypothetische winst-en-verliesrekening klein zijn en niet gecorreleerd zijn met de werkelijke winst-en-verliesrekening. Als er significante winst- en verliesrekeningen bestaan die niet door het model worden verklaard (modelresiduen zijn groot), duidt dit erop dat het VaR-model belangrijke risicofactoren mist en mogelijk het risico onderschat. PLA wordt uitgevoerd op handelsdeskniveau, terwijl backtesting ook wordt uitgevoerd op bureauniveau onder FRTB.
Kan backtesting modelmisspecificaties opsporen die verder gaan dan alleen de frequentie?
Standaard Kupiec-backtesting detecteert alleen onjuiste overschrijdingsfrequenties. Het kan het volgende niet detecteren: (1) onjuiste staartvorm – als het model de ernst van het verlies op uitzonderingsdagen onderschat; (2) onjuiste gevoeligheden van risicofactoren – als het model de frequentie correct voorspelt, maar om de verkeerde redenen; (3) verkeerde specificatie van de correlatie – als de diversificatievoordelen worden overschat. De Christoffersen-test voegt onafhankelijkheidstests toe. Op verliesfuncties gebaseerde tests (vergelijk de verwachte versus gerealiseerde P&L-verdeling) en op regressie gebaseerde tests bieden extra diagnostische kracht. Een compleet modelvalidatieprogramma maakt gebruik van meerdere tests, stresstests, gevoeligheidsanalyses en modelbeoordeling door experts om verschillende soorten misspecificaties te identificeren.
Wat moet een risicomanager doen als een VaR-model te veel uitzonderingen vertoont?
Overtollige uitzonderingen veroorzaken een gestructureerd modelbeoordelingsproces: (1) Onderzoek elke uitzondering: werd het verlies veroorzaakt door een specifieke gebeurtenis, gegevensfout of echte tekortkomingen in het model? (2) Controleer of de volatiliteitsschattingen actueel zijn; verouderde volatiliteitsaannames zijn een veelvoorkomende oorzaak van onderschatting van de VaR in snel veranderende markten. (3) Beoordeel correlatieaannames – controleer of crisiscorrelaties worden gebruikt wanneer dat passend is. (4) Test alternatieve verdelingsaannames — vervang normaal door t-verdeling of historische simulatie. (5) Onderzoek concentratierisico's die niet volledig door het model worden weerspiegeld. (6) Als het model niet snel kan worden hersteld, verhoog dan de kapitaalvereisten of verlaag de positielimieten totdat het model opnieuw is gekalibreerd.
Veelgemaakte fouten om te vermijden
▾
- !Backtesten tegen daadwerkelijke vuile winst-en-verliesrekening (inclusief nieuwe transacties en vergoedingen) in plaats van een hypothetische schone winst-en-verliesrekening van het vasthouden van de posities van de vorige dag.
- !Er wordt gebruik gemaakt van een te korte backtestingperiode (< 250 dagen), die onvoldoende statistische onderbouwing biedt om goede van slechte modellen te onderscheiden.
- !Het niet onderzoeken van uitzonderingsclusters: het behandelen van alle uitzonderingen als onafhankelijke gebeurtenissen wanneer clustering fouten bij het bijwerken van modellen aan het licht brengt.
- !Het negeren van de omvang van uitzonderingen: een model met twee uitzonderingen die beide 5× VaR zijn, is alarmerender dan vier uitzonderingen die elk iets boven de VaR liggen.
- !Geen backtesting op handelsdeskniveau (FRTB-vereiste) en alleen bedrijfsbrede backtesting uitvoeren, waardoor fouten op bureauniveau kunnen worden gemaskeerd.
Pro Tip
Houd een voortschrijdend backtestdiagram bij met de cumulatieve uitzonderingen van de afgelopen 250 dagen naast de groen/geel/rode drempels. Breng dit dagelijks in kaart, zodat de verslechtering van het model zichtbaar is als een trend voordat het model de gele zone binnengaat, waardoor proactieve herkalibratie mogelijk wordt.
Wist je dat?
Het Bazelse raamwerk voor het backtesten van verkeerslichten werd geïntroduceerd in het Market Risk Amendment uit 1996 nadat toezichthouders ontdekten dat de VaR-modellen van sommige banken, hoewel ze intern werden gevalideerd, systematisch lage VaR-schattingen produceerden, waardoor het kapitaalsysteem feitelijk werd bespeeld. De drempel van 250 dagen, 99% met groen/geel/rode zones werd specifiek gekozen om twee concurrerende risico's in evenwicht te brengen: het ten onrechte bestraffen van goede modellen (type I-fout) versus het niet detecteren van slechte modellen (type II-fout). Zelfs vandaag de dag wordt erkend dat het raamwerk statistisch gezien ondermaats is; het duurt vele maanden van aanhoudend falen van het model voordat het bewijsmateriaal zich voldoende heeft verzameld om de rode zone te activeren.
Regional Guides
▾
🇺🇸 US▾
🇬🇧 UK▾
🇪🇺 EU▾
Referenties
- ›Kupiec, P.H. (1995): Technieken voor het verifiëren van de nauwkeurigheid van risicomeetmodellen, Journal of Derivatives
- ›Christoffersen, P. (1998): Evaluatie van intervalvoorspellingen, International Economic Review
- ›Bazels Comité: toezichtkader voor het gebruik van backtesting (1996)
- ›McNeil, Frey & Embrechts: Kwantitatief risicobeheer - Hoofdstuk backtesting
Ontvang wekelijkse wiskundetips
Sluit u aan bij 12.000+ abonnees die elke week rekenmachinetips krijgen.