Avaliação da Acurácia da Modelagem¶

Ao modelar qualquer Processo Estocástico que irá alimentar um modelo de otimização, como é o caso da Geração de Cenários feita pelo Modelo GEVAZP para os modelos NEWAVE, DECOMP e SUISHI, é fundamental avaliar a qualidade do modelo estatístico utilizado para representar do processo estocástico. Além disso, como em um secao-problema-otimizacao-estocastica é necessário discretizar as variáveis aleatórias contínuas, através da construção de uma Árvore de Cenários ou de geração de Séries sintéticas, é preciso, portanto, avaliar a qualidade dos resultados dos modelos de otimização ao se aplicar tal discretização.

Portanto, a avaliação do processo de representação das incertezas é feita em dois aspectos: na Qualidade dos cenários Gerados e Robustez e Estabilidade dos Resultados, que constituem, respectivamente os dados de entrada e resultados dos modelos de otimização. Assim, o primeiro aspecto visa avliar o modelo GEVAZP e, o segundo, os modelos NEWAVE e DECOMP.

Os tipos de análises descritos a seguir são realizadas de forma bastante rigorosa pelas instituições do setor elétrico (ONS, CCEE e EPE), o que atesta a qualidade dos resultados dos modelos. Muitos dos testes estatísticos para avaliação do modelo GEVAZP já são realizados pelo próprio modelo, que emite relatórios de saída para análise do usuário. Já as análises referentes aos modelos NEWAVE e DECOMP requerem um esforço bem maior de realização, pois envolvem uma quantidade muito grande execuções dos modelos, variando a semente e/ou a quantiade de Aberturas a serem utilizadas em cada período de tempo na discretização temporal dos modelos.

Qualidade dos cenários Gerados¶

Neste aspecto, avalia-se a qualidade e robustez dos cenários que representam o processo estocástico tratado pelos modelos, o que compreende uma avaliação estatística dos cenários gerados para a variável aleatória, para verificar se:

representam de forma adequada a Distribuição de probabilidades que foi concebida para modelar a variável aleatória. Assim, é preciso avaliar se as propriedades estatísticas destes cenários representam adequadamente a distribuição, cujos parâmetros são conhecidos, já que são frutos do processo de calibração dos modelos (vide as seções de Distribuição Lognormal 3 parâmetros e estimação dos parâmetros do Modelo Par(p));
apresentam uma robustez adequada em relação à variabilidade intrínseca do processo de geração de cenários quando se varia a semente utilizada para gerar os cenários.

Para ambos os tipos de análise, é fundamental lançar mão do Teorema do Limite Central, para avaliar a aderência entre os parâmetros avaliados nos cenários (média, variância, assimetria, etc,) e os valores assumidos no modelo teórico. Esta análise envolve construção de intervalos de confiância para os valores dos parâmetros e a aplicação de testes estatísticos para aferir a aderência entre as distribuições.

Os cenários também devem ser avaliados para verificar se:

representam, de forma adequada, a variável aleatória “real” cujos parâmetros são, em principio, desconhecidos, e da qual temos apenas uma amostra, dada pela Série Histórica.

Esta última análise é feita aplicando-se diversos testes estatísticos para avaliar se os cenários gerados representam adequadamente a série histórica.

Em resumo, nas duas primeiras análises mais acima, estamos preocupados em avaliar se o processo de Geração de Cenários foi feito de forma adequada, a partir do modelo escolhido para a variável aleatória e do tamanho da Árvore de Cenários utilizada. Já nessa terceira análise verificamos se os próprios modelos escolhidos para representar a incerteza hidrológica e da incerteza eólica estão adequados, tomando como evidência para essa comparação os cenários gerados..

Robustez e Estabilidade dos Resultados¶

Nesta análise, avalia-se a qualidade e robustez dos resultados obtidos pelos modelos NEWAVE e DECOMP (custo marginal de operação, o risco de déficit, etc.), a partir dos cenários construídos para as variáveis aleatórias. Ou seja, não é suficiente analisar os cenários gerados, sendo também preciso avaliar o efeito que eles tem nos resultados, verificando, por exemplo,

se variações na semente utilizadas na geração de cenários não causam variações muito grandes - ou não explicáveis - nos resultados;
se pequenas variações em alguns parâmetros do processo (por exemplo, quantidade de cenários gerados) também não causam perturbações excessivas nos resultados. Ressalta-se que, em relação a esse segundo aspecto, deve-se levar em consideração o custo-benefício, visto que uma maior quantidade de cenários leva, em geeral, a aumentos no tempo computacional.

Nesta análise, também é fundamental lançar mão do Teorema do Limite Central, aplicando-o junto com os estudos sobre o que se chama, em programação estocástica, de secao-sample-average-approximation.