O que é VaR Backtesting Calculator?
▾
O backtesting de VaR é o processo estatístico de validação de um modelo de valor em risco, comparando as estimativas de VaR previstas com os lucros e perdas da carteira realizados posteriormente. Uma excedência (ou 'exceção') ocorre em qualquer dia quando a perda real da carteira excede o VaR previsto para esse dia. Para um modelo de VaR de 99% corretamente especificado, esperamos que ocorram excedências em aproximadamente 1% dos dias de negociação – cerca de 2 a 3 dias por ano para um calendário de 250 dias de negociação. O backtesting pergunta: o número observado de excedências é estatisticamente consistente com o que o modelo prevê? O Comité de Basileia formalizou pela primeira vez os requisitos de backtesting do VaR na sua Emenda ao Risco de Mercado (1996) e aperfeiçoou-os através de acordos subsequentes. Ao abrigo de Basileia III, os bancos que utilizam modelos internos de VaR para capital de risco de mercado devem realizar backtesting diário das suas estimativas de VaR de 99% a 1 dia em relação aos lucros e perdas reais. A estrutura regulatória do semáforo classifica o resultado do backtest com base no número de excedências nos 250 dias de negociação mais recentes: 0–4 excedências (zona verde) — aprovação do modelo; 5–9 excedências (zona amarela) — multiplicador de capital aumentado; Mais de 10 excedências (zona vermelha) — o modelo falha, exigindo revisão e potencialmente mudando para uma abordagem padronizada. O teste de Proporção de Falhas (POF) de Kupiec (1995) é o teste estatístico fundamental: ele testa se o número observado de excedências é consistente com o nível de confiança do VaR declarado usando um teste de razão de verossimilhança. A hipótese nula é que a verdadeira probabilidade de excedência é igual a (nível de confiança 1). O teste de cobertura condicional de Christoffersen (1998) melhora Kupiec ao testar também se as excedências são independentes ao longo do tempo — um modelo de VaR válido não deve ter excedências agrupadas (o que indicaria que o modelo é lento a adaptar-se às alterações na volatilidade). O backtesting por si só não é suficiente para validar totalmente um modelo VaR. A atribuição de lucros e perdas (explicando os lucros e perdas de cada dia usando os fatores de risco do modelo) é exigida pelo Basel FRTB. Os lucros e perdas hipotéticos (usando as posições atuais da carteira reavaliadas com as mudanças de mercado de ontem) devem ser consistentes com os lucros e perdas teóricos (do modelo de risco). Os modelos que passam no backtesting, mas falham na atribuição de lucros e perdas, ainda podem apresentar um risco de modelo significativo. A validação do modelo vai além do backtesting para incluir análise de sensibilidade, testes de estresse, benchmarking com modelos alternativos e revisão de premissas de modelagem. A análise da magnitude da excedência (as perdas nos dias de exceção são muito maiores que o VaR, sugerindo caudas gordas?) complementa a abordagem baseada em contagem.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
Fórmula
▾
Excedências Esperadas = (1 − Confiança) × N
Kupiec LR = −2 × [ln((1−p)^(N−x) × p^x) − ln((1−x/N)^(N−x) × (x/N)^x)]
Valor crítico: χ²(1) a 5% = 3,84 | χ²(2) a 5% = 5,99 (Christoffersen)Legenda de variáveis
▾
| Símbolo | Nome | Unidade | Descrição |
|---|---|---|---|
| N | Total de dias de observação | days | Quantidade de dias de negociação na janela de backtesting; Basileia exige um mínimo de 250 dias de negociação (≈1 ano civil). |
| x | Número de Excedências | count | Dias em que a perda real de lucros e perdas excedeu a estimativa de VaR; esperado = (1−confiança) × N. |
| p | Taxa de Excedência Esperada | % | A taxa de excedência do modelo VaR declarada: 1% para VaR de 99%, 5% para VaR de 95%. |
| LR_POF | Estatística de teste Kupiec LR | chi-squared | Razão de verossimilhança para testar se a taxa de excedência observada corresponde à taxa esperada; comparado ao valor crítico de χ²(1). |
| CC_test | Estatística Christoffersen | chi-squared | Testa a proporção correta e a independência das excedências; distribuição χ²(2); detecta agrupamento de exceções. |
Como VaR Backtesting Calculator
▾
- 1Colete estimativas diárias de VaR (no nível de confiança declarado) e lucros e perdas diários reais para a janela de backtesting (mínimo de 250 dias de negociação).
- 2Excedências de contagem: dias em que a perda > estimativa de VaR (ou seja, o P&L real é mais negativo que −VaR).
- 3Calcule as excedências esperadas: E[x] = (1−confiança) × N. Para VaR de 99% ao longo de 250 dias: E[x] = 2,5.
- 4Aplique o teste Kupiec POF: calcule a estatística LR usando a fórmula; compare com χ²(1) = 3,84 a 5% de significância. Se LR > 3,84, o modelo falha no teste.
- 5Aplicar o teste de cobertura condicional de Christoffersen: construir a matriz de transição 2×2 de excedências de dias consecutivos; testar a independência das excedências.
- 6Aplicar a estrutura de semáforos de Basileia: 0–4 exceções = verde (sem ação); 5–9 = amarelo (acréscimo de capital); 10+ = vermelho (falha do modelo).
- 7Analise a magnitude das exceções: as perdas nos dias de exceção estão apenas ligeiramente acima do VaR ou são dramaticamente maiores? Grandes excedências sugerem subestimação da cauda gorda.
Exemplos resolvidos
▾
Aprovações do modelo — 3 superações consistentes com a expectativa de VaR de 99%
Excedências esperadas = 1% × 250 = 2,5. Observado = 3. LR_POF = −2 × [ln((0,99)^247 × (0,01)^3) − ln((0,988)^247 × (0,012)^3)] ≈ 0,076, que está muito abaixo do valor crítico de χ²(1) de 3,84. O modelo não pode ser rejeitado. 3 excedências em 250 dias são muito consistentes com um modelo de VaR de 99%. Semáforo de Basileia: Zona Verde (0–4 exceções) — sem penalidade de multiplicador de capital. Este é o resultado esperado para um modelo VaR bem especificado e atualizado regularmente.
O modelo falha gravemente – 12 excedências significam que o risco real é 5× a estimativa do modelo VaR
12 excedências versus 2,5 esperados – uma ultrapassagem de 4,8×. LR = −2 × [ln(0,99^238 × 0,01^12) − ln(0,952^238 × 0,048^12)] ≈ 24,1, que excede amplamente χ²(1)=3,84. O modelo é rejeitado estatisticamente em qualquer nível de significância razoável. Zona Vermelha de Basileia (mais de 10 exceções): o banco deve explicar as falhas do modelo aos reguladores, o multiplicador de capital é aumentado e o banco pode ser obrigado a mudar para a abordagem padronizada de capital. Causas comuns: volatilidade subestimada, caudas gordas ignoradas, captura de correlação insuficiente ou modelo aplicado fora de sua faixa de calibração.
Falha na independência significa que o modelo não se adapta rapidamente às mudanças no regime de volatilidade
5 excedências em 250 dias a 99% do VaR estão na zona amarela de Basileia. O teste Kupiec POF pode passar marginalmente (limítrofe). No entanto, 4 das 5 excepções que ocorrem em dias consecutivos constituem uma forte violação do pressuposto de independência. O teste CC de Christoffersen calcula a matriz de transição: (dia após a não exceção ser exceção) vs. Se p(exceção | exceção anterior) >> p(exceção | não exceção anterior), a independência falha. O agrupamento indica que o modelo VaR é lento a responder a picos de volatilidade — provavelmente utilizando uma longa janela histórica ou volatilidade contínua em vez de um estimador adaptativo.
Um dia catastrófico (US$ 2,1 milhões = 4,2×VaR) sugere subestimação das caudas gordas
Quatro das cinco exceções estão apenas ligeiramente acima do VaR (US$ 480 mil a US$ 550 mil) — estas são esperadas e consistentes com um modelo bem calibrado. Mas um dia houve uma perda de US$ 2,1 milhões – 4,2x a estimativa de VaR. Este valor discrepante é extremamente improvável sob uma distribuição normal (probabilidade de perda > 4,2σ ≈ 0,001%). Isto sugere que a distribuição de retorno tem caudas grossas que o modelo VaR não está capturando. A exceção média = US$ 832 mil é 1,66× VaR – esperado que seja aproximadamente 1,14× para um VaR normal de 99% – novamente sugerindo caudas gordas. A análise da magnitude da exceção aciona uma revisão do modelo mesmo que a contagem (5) esteja na zona amarela.
Aplicações práticas
▾
Relatórios de capital regulatório bancário sob Basileia III FRTB, representando uma importante área de aplicação para o Var Back Testing em contextos profissionais e analíticos, onde cálculos precisos de var backtesting apoiam diretamente a tomada de decisões informadas, o planejamento estratégico e a otimização do desempenho
Validação de modelo interno e gerenciamento de risco de modelo, representando uma importante área de aplicação para o Var Back Testing em contextos profissionais e analíticos onde cálculos precisos de var back testing apoiam diretamente a tomada de decisão informada, o planejamento estratégico e a otimização do desempenho
Monitoramento do desempenho do modelo de risco de fundos de hedge, representando uma importante área de aplicação para o Var Back Testing em contextos profissionais e analíticos onde cálculos precisos de var backtesting apoiam diretamente a tomada de decisão informada, o planejamento estratégico e a otimização do desempenho
Validação do modelo de risco de seguradoras sob Solvência II, representando uma importante área de aplicação para o Var Back Testing em contextos profissionais e analíticos onde cálculos precisos de var backtesting apoiam diretamente a tomada de decisões informadas, o planejamento estratégico e a otimização do desempenho
Atribuição de desempenho da mesa de negociação — distinguindo P&L da exposição a fatores de risco, representando uma importante área de aplicação para o Var Back Testing em contextos profissionais e analíticos onde cálculos precisos de var backtesting apoiam diretamente a tomada de decisões informadas, o planejamento estratégico e a otimização do desempenho
Casos especiais
▾
No Var Back Testing, este cenário requer cuidado adicional ao interpretar os resultados do var back test. A fórmula padrão pode não levar em conta todos os fatores presentes neste caso extremo, e uma análise complementar ou consulta especializada pode ser necessária. As melhores práticas profissionais envolvem documentar suposições, executar análises de sensibilidade e cruzar resultados com métodos alternativos quando os cálculos de backtesting var caem em território não padrão.
Valores de entrada extremamente grandes ou pequenos no Var Back Testing podem empurrar var para trás
Valores de entrada extremamente grandes ou pequenos no Var Back Testing podem levar os cálculos do Var Back Testing para além das faixas operacionais típicas. Embora matematicamente válidos, os resultados de entradas extremas podem não refletir cenários realistas de backtesting e devem ser interpretados com cautela. Em configurações profissionais de backtesting var, valores extremos geralmente indicam erros de medição, condições incomuns ou casos extremos que merecem análise adicional. Use a análise de sensibilidade para entender como os resultados mudam em intervalos de entrada plausíveis, em vez de depender de cálculos de casos extremos únicos.
No Var Back Testing, este cenário requer cuidado adicional ao interpretar os resultados do var back test. A fórmula padrão pode não levar em conta todos os fatores presentes neste caso extremo, e uma análise complementar ou consulta especializada pode ser necessária. As melhores práticas profissionais envolvem documentar suposições, executar análises de sensibilidade e cruzar resultados com métodos alternativos quando os cálculos de backtesting var caem em território não padrão.
Semáforo de Basileia: Limites de exceção para VaR de 99% em 250 dias
▾
| Exceções (x) | Probabilidade (se o modelo estiver correto) | Probabilidade Cumulativa | Zona | Multiplicador de capital k |
|---|---|---|---|---|
| 0 | 8,1% | 8,1% | Verde | 3.00 |
| 1 | 20,5% | 28,6% | Verde | 3.00 |
| 2 | 25,7% | 54,4% | Verde | 3.00 |
| 3 | 21,5% | 75,9% | Verde | 3.00 |
| 4 | 13,5% | 89,4% | Verde | 3.00 |
| 5 | 6,8% | 96,2% | Amarelo | 3.40 |
| 6–9 | 3,5% | 99,7% | Amarelo | 3,50–3,85 |
| 10+ | 0,3% | ≥99,7% | Red | 4.00 |
Perguntas frequentes
▾
Por que o backtesting é importante para modelos de VaR?
Backtesting é a validação empírica de que um modelo VaR produz a calibração que afirma. Um banco que reivindique um VaR de 99% deverá, por definição, sofrer perdas que excedam o VaR aproximadamente 1% das vezes. Sem backtesting, um modelo poderia subestimar sistematicamente o risco (produzindo um VaR demasiado baixo, o que reduz os requisitos de capital) sem nenhum mecanismo de responsabilização. O backtesting cria um ciclo de feedback regulamentar: os modelos que falham são penalizados com acréscimos de capital, criando incentivos financeiros para os bancos manterem modelos bem calibrados. O backtesting também ajuda os gestores de risco a identificar quando os modelos estão se tornando obsoletos devido às mudanças na dinâmica do mercado.
Qual é a diferença entre lucros e perdas limpos e sujos para backtesting?
O P&L limpo (P&L hipotético) mede o ganho ou perda nas posições do portfólio de ontem, reavaliadas usando os preços de mercado de hoje - isolando a pura exposição ao risco de mercado sem o efeito de novas negociações, taxas ou alterações no portfólio. Dirty P&L (P&L real) inclui todos os P&L de todas as fontes: receitas comerciais, novas posições, receitas de taxas e itens operacionais. O Basileia FRTB exige backtesting contra lucros e perdas hipotéticos limpos, porque o modelo VaR estima o risco da carteira existente, e não da carteira em evolução. Se o VaR for comparado com lucros e perdas sujos, bons dias de negociação podem obscurecer as falhas do modelo de risco e vice-versa.
Quantos anos de backtesting são necessários para uma validação confiável do modelo?
O requisito regulamentar mínimo é de 250 dias de negociação (≈1 ano). No entanto, isto é estatisticamente bastante limitado: com um VaR de 99%, ocorrem apenas 2,5 excepções esperadas por ano. O erro padrão da taxa de exceção estimada com 2,5 observações é muito alto — é impossível distinguir entre um modelo que produz taxas de exceção verdadeiras de 0,5%, 1%, 1,5% ou 2% com apenas 250 observações. Para uma validação robusta, são preferidos dados de 3 a 5 anos. Mesmo assim, o teste de Kupiec tem baixo poder em distinguir pequenos erros sistemáticos. É por isso que vários testes estatísticos e métodos de validação complementares (testes de estresse, atribuição de lucros e perdas) são necessários juntamente com o backtesting.
O que é o sistema de semáforos da Basileia para backtesting de VaR?
O sistema de semáforos de Basileia (introduzido em 1996 e atualizado em Basileia III) classifica o desempenho do modelo VaR com base no número de exceções de backtesting nos 250 dias de negociação mais recentes: Zona Verde (0–4 exceções) — aprovação do modelo, sem penalidade de capital; Zona Amarela (5–9 exceções) — o multiplicador de capital k aumenta de 3,0 para 3,4–4,0 dependendo do número, e o escrutínio regulatório aumenta; Zona Vermelha (mais de 10 exceções) — o modelo falha, k=4,0 ou superior, e o banco pode ser obrigado a mudar para a abordagem padronizada. Os limites são definidos para equilibrar o erro Tipo I (rejeitar bons modelos) e o erro Tipo II (aceitar modelos ruins) para uma amostra de 250 dias.
O que é atribuição de P&L e como ela se relaciona com o backtesting?
A atribuição de lucros e perdas (PLA) exige que os bancos expliquem os lucros e perdas reais de cada dia, decompondo-os em contribuições dos fatores de risco capturados no modelo VaR. No âmbito do FRTB de Basileia, a diferença entre os lucros e perdas teóricos do modelo VaR (utilizando factores de risco do modelo) e os lucros e perdas hipotéticos reais deve ser pequena e não correlacionada com os lucros e perdas reais. Se existirem lucros e perdas significativos não explicados pelo modelo (os resíduos do modelo são grandes), isso sugere que o modelo VaR não contém fatores de risco importantes e pode estar subestimando o risco. O PLA é realizado no nível da mesa de negociação, enquanto o backtesting também é realizado no nível da mesa no FRTB.
O backtesting pode detectar especificações incorretas do modelo além da frequência?
O backtesting Kupiec padrão detecta apenas frequência de excedência incorreta. Ele não consegue detectar: (1) formato incorreto da cauda — se o modelo subestimar a gravidade da perda em dias de exceção; (2) sensibilidades incorretas dos fatores de risco — se o modelo prever corretamente a frequência, mas pelas razões erradas; (3) especificação incorreta da correlação — se os benefícios da diversificação forem exagerados. O teste de Christoffersen adiciona testes de independência. Testes baseados em função de perda (compare a distribuição de lucros e perdas esperada versus realizada) e testes baseados em regressão fornecem poder de diagnóstico adicional. Um programa completo de validação de modelo usa vários testes, testes de estresse, análise de sensibilidade e revisão especializada de modelo para identificar diferentes tipos de especificações incorretas.
O que um gestor de risco deve fazer quando um modelo VaR mostra muitas exceções?
O excesso de exceções aciona um processo estruturado de revisão do modelo: (1) Investigue cada exceção: a perda foi motivada por um evento específico, erro de dados ou falha genuína do modelo? (2) Verifique se as estimativas de volatilidade são atuais — os pressupostos de volatilidade obsoletos são uma causa comum de subestimação do VaR em mercados em rápida mudança. (3) Rever os pressupostos de correlação — verificar se as correlações de crise estão a ser utilizadas quando apropriado. (4) Testar suposições de distribuição alternativas – substituir normal por distribuição t ou simulação histórica. (5) Examinar os riscos de concentração não totalmente capturados pelo modelo. (6) Se o modelo não puder ser remediado rapidamente, aumentar os requisitos de capital ou reduzir os limites de posição até que o modelo seja recalibrado.
Erros comuns a evitar
▾
- !Backtesting contra lucros e perdas sujos reais (incluindo novas negociações e taxas) em vez de lucros e perdas hipotéticos limpos de manter as posições do dia anterior.
- !Usar uma janela de backtesting muito curta (<250 dias) que fornece poder estatístico insuficiente para distinguir modelos bons de modelos ruins.
- !Falha ao investigar clusters de exceção — tratar todas as exceções como eventos independentes quando o clustering revela falhas na atualização do modelo.
- !Ignorar a magnitude da exceção – um modelo com 2 exceções, ambas sendo 5× VaR, é mais alarmante do que 4 exceções, cada uma ligeiramente acima do VaR.
- !Não fazer backtesting no nível da mesa de negociação (requisito FRTB) e apenas fazer backtesting em toda a empresa, o que pode mascarar falhas no nível da mesa.
Dica Pro
Mantenha um gráfico de backtest contínuo mostrando exceções cumulativas nos últimos 250 dias junto com os limites verde/amarelo/vermelho. Faça um gráfico diário para que a deterioração do modelo seja visível como uma tendência antes que o modelo cruze para a zona amarela – permitindo uma recalibração proativa.
Você sabia?
O quadro de backtesting do semáforo de Basileia foi introduzido na Emenda ao Risco de Mercado de 1996, depois de os reguladores terem descoberto que os modelos de VaR de alguns bancos, embora fossem aprovados na validação interna, produziam estimativas de VaR sistematicamente baixas - enganando efectivamente o sistema de capital. O limite de 99% de 250 dias com zonas verdes/amarelas/vermelhas foi escolhido especificamente para equilibrar dois riscos concorrentes: penalizar incorretamente bons modelos (erro Tipo I) versus não detectar modelos ruins (erro Tipo II). Ainda hoje, o quadro é reconhecido como estatisticamente fraco – são necessários muitos meses de falhas persistentes do modelo antes que as provas se acumulem o suficiente para desencadear a zona vermelha.
Referências
- ›Kupiec, P.H. (1995): Técnicas para verificar a precisão dos modelos de medição de risco, Journal of Derivatives
- ›Christoffersen, P. (1998): Avaliando Previsões de Intervalo, Revisão Econômica Internacional
- ›Comitê de Basileia: Estrutura de Supervisão para o Uso de Backtesting (1996)
- ›McNeil, Frey & Embrechts: Gestão Quantitativa de Riscos – Capítulo Backtesting
Receba dicas semanais de matemática
Junte-se aos assinantes do 12.000 + que recebem dicas de calculadora todas as semanas.