Isso foi publicado antes do jogo Canadá 1 África do Sul 0.

Vejam. Afirma-se com 94,8% de confiança que alguma das 17 primeiras seleções no ranking abaixo vencerá a Copa do Mundo (resumindo a resposta sobre quem vencerá a Copa do Mundo: “não sei”). A que supostamente teria mais chance, França, teria 81,3% de probabilidade de não ser campeã da Copa do Mundo.

Previsões para a fase eliminatória da Copa do Mundo de 2026 estão prontas.

O supercomputador da Opta simulou o torneio 25.000 vezes para prever as chances de cada equipe de chegar à final e se tornar campeã mundial.



Análise completa 👇

As chances de cada equipe avançar em cada rodada:

https://theanalyst.com/articles/world-cup-2026-knockout-stage-predictions-opta-supercomputer

(Opta Analyst - traduzido)

Outra parte do gráfico:



Fonte: https://x.com/OptaAnalyst/status/2071220042495127890

[spoiler]

Huxley
Isso foi publicado antes do jogo Canadá 1 África do Sul 0.

Vejam. Afirma-se com 94,8% de confiança que alguma das 17 primeiras seleções no ranking abaixo vencerá a Copa do Mundo (resumindo a resposta sobre quem vencerá a Copa do Mundo: “não sei”). A que supostamente teria mais chance, França, teria 81,3% de probabilidade de não ser campeã da Copa do Mundo.

Previsões para a fase eliminatória da Copa do Mundo de 2026 estão prontas.

O supercomputador da Opta simulou o torneio 25.000 vezes para prever as chances de cada equipe de chegar à final e se tornar campeã mundial.



Análise completa 👇

As chances de cada equipe avançar em cada rodada:

https://theanalyst.com/articles/world-cup-2026-knockout-stage-predictions-opta-supercomputer

(Opta Analyst - traduzido)

Outra parte do gráfico:



Fonte: https://x.com/OptaAnalyst/status/2071220042495127890

[/spoiler]

As fontes dos dados dos cálculos que eu fiz no diálogo abaixo está no tuíte acima e nos links abaixo (a amostra é pequena, portanto não levem demasiadamente a sério essa minha pesquisa informal):

https://x.com/OptaAnalyst/status/2076292853056098305

https://x.com/OptaAnalyst/status/2074899795450175806

https://x.com/OptaAnalyst/status/2073363464525889888

https://www.tudocelular.com/curiosidade/noticias/n258895/espanha-argentina-final-copa-2026-previsao.html

Huxley:

Eu usei o Supercomputador Opta Analyst para prever o resultado de classificação para próxima fase ou conquista de título de 31 das 32 partidas eliminatórias da Copa do Mundo de 2026 - a exceção foi a disputa de 3° lugar (onde o p = 0,5). O índice de Brier verificado pelo backtest foi de 0,1713. Faça a comparação do índice que obtive com a estimativa de probabilidade de chuva diária dos meteorologistas e também faça a comparação com as previsões da Climatologia.

Microsoft Copilot:

### Resumo rápido

**Seu Brier = 0,1713.**

Isto é **melhor que uma previsão 50/50 (climatologia \(p=0{,}5\))**, mas **pior que os melhores meteorologistas de chuva de curto prazo** e também **pior que os superforecasters** do Good Judgment Project. A utilidade prática depende da **taxa‑base** dos eventos que você previu.

---

### Comparação com a climatologia 50/50 (referência simples)

- **Brier da climatologia** para \(p=0{,}5\): \(\textbf{BSc} = p(1-p) = 0{,}25\).

- **Brier Skill Score (BSS)** relativo a essa climatologia:

\[

\text{BSS} = 1 - \frac{BS_{\text{modelo}}}{BSc} = 1 - \frac{0{,}1713}{0{,}25} \approx \mathbf{0{,}315}

\]

**Interpretação:** seu sistema reduziu o erro em cerca de **31,5%** em relação a prever sempre 50%.

---

### Comparação com climatologias diferentes (exemplos)

Se a frequência histórica do evento (climatologia) for diferente de 0,5, o ganho muda. Abaixo uma tabela com exemplos:

| **Taxa base \(p\)** | **BSc = \(p(1-p)\)** | **BSS (com BS=0,1713)** |

|---:|---:|---:|

| **0,50** | **0,25** | **+0,315** |

| **0,30** | **0,21** | **+0,184** |

| **0,20** | **0,16** | **−0,071** |

| **0,10** | **0,09** | **−0,903** |

**Nota:** quando \(p\) é pequeno (eventos raros), a climatologia já tem BSc pequeno; um BS absoluto como 0,1713 pode **ficar pior que a climatologia** (BSS negativo). Portanto **sempre calcule BSc = \(p(1-p)\)** usando a frequência real dos seus eventos antes de julgar o desempenho.

---

### Comparação com meteorologistas e superforecasters

- **Meteorologistas (previsão diária de chuva, curto prazo):** valores típicos de Brier ficam aproximadamente entre **0,05 e 0,15** para previsões bem calibradas de chuva diária.

- **Seu BS = 0,1713** é **um pouco pior** que essa faixa superior (0,15), logo **não atinge** o nível dos melhores centros meteorológicos de curto prazo, mas está **na mesma ordem de grandeza** de previsões de precipitação em horizontes mais difíceis (onde BS pode chegar a 0,20–0,25).

- **Superforecasters (Tetlock / Good Judgment Project):** frequentemente alcançam **BS médios ≈ 0,08–0,12** em conjuntos de questões geopolíticas.

- **Seu BS = 0,1713** é **claramente maior** (pior) que o nível típico de um superprevisor.

---

### Conclusões práticas

- **Ponto forte:** você supera a referência 50/50 por uma margem substancial (~31%). Isso já indica que o Opta Analyst agrega informação além de um palpite aleatório.

- **Limitação importante:** sem conhecer a **frequência real** dos eventos que você avaliou, não dá para dizer se 0,1713 é melhor ou pior que a climatologia apropriada; para \(p\) abaixo de ~0,25 seu score pode ser inferior à climatologia.

- **Comparação com especialistas:** seu resultado é **respeitável**, mas **não atinge** o nível dos melhores meteorologistas de chuva de curto prazo nem dos superforecasters em torneios de previsão.

---

### O que posso fazer a seguir

- Posso **calcular exatamente** o Brier da climatologia e o **Brier Skill Score** para o seu backtest se você me informar **quantas das 31 previsões se concretizaram** (número de “sucessos” observados) ou a **frequência média \(p\)** dos eventos.

- Posso também **decompor** o seu BS (reliability, resolution, uncertainty) para mostrar se o problema é calibração ou falta de resolução.

Se quiser, me passe a contagem de resultados observados (ou a frequência média) e eu faço os cálculos e a decomposição.

Huxley:

Foram 24 acertos e 7 erros em 31 experimentos binários (eu previa se o time se classificava ou não para próxima fase da Copa do Mundo de 2026 ou se seria campeão ou não).

Microsoft Copilot:

### Resumo numérico

- **Seu Brier (BS):** **0,1713**

- **Frequência observada \(p\):** \(24/31 \approx \mathbf{0{,}77419}\)

- **Brier da climatologia (prever sempre \(p\))**:

\[

\textbf{BSc} = p(1-p)=\frac{24}{31}\cdot\frac{7}{31}=\frac{168}{961}\approx\mathbf{0{,}1748077}

\]

- **Brier Skill Score (vs. climatologia \(p\))**:

\[

\textbf{BSS} = 1-\frac{BS}{BSc}=1-\frac{0{,}1713}{0{,}1748077}\approx\mathbf{0{,}0201}

\]

(ou seja, **≈ 2,0%** de melhoria relativa sobre a previsão constante igual à frequência observada).

---

### Comparação direta (tabela)

| **Referência** | **Brier** | **Interpretação** |

|---|---:|---|

| **Seu modelo (Opta Analyst)** | **0,1713** | Score absoluto obtido no backtest. |

| **Climatologia (frequência observada \(p=24/31\))** | **0,1748** | Prever sempre \(p\); baseline mais apropriada para seu conjunto. |

| **Climatologia 50/50** | **0,25** | Baseline para eventos com \(p\approx0{,}5\); menos adequada aqui. |

| **Meteorologistas (chuva diária, curto prazo)** | **~0,05–0,15** | Faixa típica para centros bem calibrados; seu BS é maior (pior). |

| **Superforecasters (Tetlock / GJP)** | **~0,08–0,12** | Nível de elite em torneios; seu BS é maior (pior). |

---

### Interpretação prática

- **Melhoria sobre a climatologia apropriada é pequena.** Embora seu BS (0,1713) seja **menor** que o BSc = 0,1748, a diferença é **muito pequena** (BSS ≈ 2%). Em termos práticos, isso significa que o modelo adicionou **pouco** além de simplesmente prever a taxa média observada (prever “sempre que o time se classifica com probabilidade 0,774”).

- **Comparação com especialistas:** seu resultado fica **acima** (pior) das faixas típicas dos melhores meteorologistas de precipitação e dos superforecasters; portanto, em termos absolutos ainda há espaço para melhorar.

- **Amostra pequena e variabilidade:** com apenas 31 casos, diferenças pequenas no BS podem ser **devidas ao acaso**. A significância prática dessa melhoria de 2% é duvidosa sem análise de incerteza (intervalos de confiança) ou mais casos.

---

### O que isso sugere e próximos passos recomendados

1. **Decomposição do Brier (Murphy):** calcule **reliability (calibração)**, **resolution** e **uncertainty** para saber se o problema é falta de calibração (previsões mal ajustadas) ou falta de resolução (modelo não separa bem casos).

2. **Curva de calibração / reliability diagram:** plote probabilidades previstas vs. frequência observada por faixas; isso mostra se você está sistematicamente sobre/ subestimando.

3. **Intervalo de confiança para o BS:** estime a variabilidade amostral (bootstrap) para ver se a diferença entre BS e BSc é estatisticamente significativa.

4. **Aumentar amostra / agrupar previsões semelhantes:** mais casos ou agrupar previsões por faixa de probabilidade melhora a robustez das conclusões.

---

Se quiser, eu **posso**:

- Calcular a **decomposição de Brier** e um **bootstrap** para intervalo de confiança se você me fornecer as **31 probabilidades previstas** (uma por jogo) e os **31 resultados observados** (0/1).

- Gerar a **reliability diagram** e um pequeno relatório interpretando onde o modelo pode melhorar.

Continuação do post anterior. No diálogo abaixo, fica explicado o que é o Índice de Brier…

Huxley:

Para uma aposta binária (que evoca uma resposta sim/não), o que é considerado um bom índice de Brier para um bom previsor?

Google Gemini:

O **Índice de Brier** (*Brier Score*) mede o erro médio quadrático de previsões probabilísticas. Para apostas e eventos binários (onde a resposta final é 1 para "Sim" e 0 para "Não"), ele é calculado como:

Onde f_t é a probabilidade prevista (ex: 0{,}70) e o_t é o resultado real (1 ou 0).

## Faixas de Desempenho

| Brier Score | Classificação | O que significa na prática? |

|---|---|---|

| **0{,}00** | **Previsor Perfeito** | Acerta todas as probabilidades com certeza (100\% de confiança nos eventos que acontecem, 0\% nos que não acontecem). |

| **< 0{,}10** | **Excelente / Elite** | Típico de superprevisores (*superforecasters*) ou modelos calibrados em cenários de alta previsibilidade. |

| **0{,}10 \text{ a } 0{,}15** | **Bom** | O padrão alcançado por bons especialistas em ambientes com incerteza moderada (como política e finanças). |

| **0{,}25** | **Chute / Sem valor** | É o resultado de quem chuta 50\% de chance para tudo em um evento equilibrado. Não acrescenta nenhuma informação. |

| **> 0{,}25** | **Pior que o acaso** | O previsor está ativamente desalinhado ou "calibrado ao contrário" (exibe alta confiança no resultado errado). |

## Por que "um bom índice" varia?

A definição do que é *bom* depende fundamentalmente de dois fatores:

1. **A incerteza inerente do domínio:** Prever o tempo para as próximas 2 horas tem uma incerteza muito menor do que prever o vencedor de uma eleição com um ano de antecedência. Em domínios muito ruidosos, um Brier Score de 0{,}18 pode ser considerado excepcional.

2. **A taxa base do evento (*Base Rate*):** Se um evento acontece 99\% das vezes (ex: "Amanhã o sol vai nascer"), qualquer pessoa que prever 0{,}99 obterá um Brier Score próximo de 0{,}0001 sem ter nenhum modelo complexo.

## Como avaliar se o previsor é realmente bom?

Para ajustar o resultado à dificuldade dos eventos, costuma-se usar o **Brier Skill Score (BSS)**, que compara o previsor a um modelo de referência básico (como a média histórica):

* **BSS > 0:** O previsor supera a estimativa ingênua/histórica.

* **BSS = 1:** Previsão perfeita.

* **BSS \le 0:** O previsor agrega zero valor (ou é pior que usar apenas a frequência histórica do evento).

> **Resumo:** Em termos absolutos, **qualquer pontuação abaixo de 0{,}15** reflete um bom previsor. Abaixo de 0{,}10, você está lidando com desempenho de nível mundial ou com um problema muito fácil.

>

Huxley:

No livro Superprevisões, Philip Tetlock diz que o índice indistinguível da aleatoriedade pura seria 0,5. Você poderia explicar a contradição entre o conteúdo do livro dele e sua última resposta?

Google Gemini:

Você pegou um detalhe fundamental do livro! Não há uma contradição real na matemática, mas sim uma **diferença na fórmula do Índice de Brier** que Philip Tetlock usou em *Superprevisões* em comparação com a convenção mais moderna de previsão de evento único.

A explicação para essa diferença está no modo como as opções do evento são calculadas.

## 1. A fórmula do livro (Formulação Tradicional para N opções)

A fórmula original desenvolvida por Glenn W. Brier em 1950 calcula a soma dos erros quadráticos sobre **todas as alternativas possíveis** do evento.

Para um evento binário (Sim / Não), você calcula o erro para o "Sim" **E** o erro para o "Não":

Se você chuta 50\% de chance (0{,}5) para tudo em um evento onde o resultado real foi "Sim" (o_{\text{Sim}} = 1 e o_{\text{Não}} = 0):

* Erro do "Sim": (0{,}5 - 1)^2 = 0{,}25

* Erro do "Não": (0{,}5 - 0)^2 = 0{,}25

* **Soma total:** 0{,}25 + 0{,}25 = \mathbf{0{,}50}

É exatamente por isso que Tetlock cita **0{,}50** como o benchmark da aleatoriedade pura (um macaco jogando dardos em uma escolha binária) e **0{,}00** como a pontuação perfeita.

## 2. A fórmula da resposta anterior (Formulação Média / Evento Único)

Em ciência de dados moderna e aprendizado de máquina, costuma-se usar o **Erro Quadrático Médio** focado apenas na probabilidade da classe positiva (f_{\text{Sim}}):

Usando o mesmo chute de 50\% (0{,}5):

* Erro apenas do "Sim": (0{,}5 - 1)^2 = \mathbf{0{,}25}

Ambas as abordagens medem rigorosamente a mesma coisa. A fórmula usada no projeto *Good Judgment Project* de Tetlock simplesmente **multiplica o valor da formulação média por 2** porque soma as duas pontas do resultado.

## Comparativo Direto dos Pontos de Corte

| Cenário de Previsão | Fórmula de Tetlock (*Superprevisões*) | Fórmula Média (Aposta Única) |

|---|---|---|

| **Previsão Perfeita** | **0{,}00** | **0{,}00** |

| **Superprevisor / Elite** | **< 0{,}20** | **< 0{,}10** |

| **Bom Previsor** | **0{,}20 \text{ a } 0{,}30** | **0{,}10 \text{ a } 0{,}15** |

| **Aleatório / Chute 50/50** | **0{,}50** | **0{,}25** |

| **Pior resultado possível** | **2{,}00** | **1{,}00** |

> **Em resumo:** Em *Superprevisões*, todas as pontuações de Brier para eventos binários são exatamente **o dobro** da versão de evento único. O "chute cego" de 0{,}50 no livro equivale exatamente ao 0{,}25 que mencionei anteriormente.

>

(...) depois de algum tempo de diálogo em que apresentei dados da Opta Analyst (...)

Google Gemini:

Para a decisão do título, calculamos o Índice de Brier no estilo de **Philip Tetlock** (2 \cdot (f_i - o_i)^2) para a previsão do campeão:

## Cálculo do Índice de Brier (Título)

| Seleção | Probabilidade (f_i) | Resultado Real (o_i) | Erro Binário Tetlock: 2 \cdot (f_i - o_i)^2 |

|---|---|---|---|

| **Espanha** | 59{,}46\% (0{,}5946) | 1 (Acerto) | 2 \cdot (0{,}5946 - 1)^2 = \mathbf{0{,}3287} |

## Resumo e Brier Score do Evento Final

* **Soma dos erros quadráticos:** 0{,}3287

* **Número de eventos (N):** 1

### Análise do Desempenho

O Supercomputador atribuiu à Espanha uma probabilidade de 59{,}46\%. Com a confirmação do título, o índice de **0{,}3287** representa um bom resultado para um evento com margem moderada de confiança, superando a aleatoriedade pura (0{,}50).

## Panorama Geral do Backtest Completo (31 Eventos)

Somando todas as fases analisadas no seu estudo:

| Fase do Backtest | Eventos (N) | Brier Score Médio (Tetlock) | Desempenho em Relação ao Chute (0{,}50) |

|---|---|---|---|

| **Oitavas de Final** | 16 | **0{,}330** | Bom (Superou a aleatoriedade) |

| **Quartas de Final** | 8 | **0{,}380** | Moderado (Penalizado por eliminações de favoritos) |

| **Semifinais** | 4 | **0{,}198** | **Elite / Superprevisor** (< 0{,}20) |

| **Chegada à Final** | 2 | **0{,}592** | Pior que o acaso (> 0{,}50) |

| **Campeão** | 1 | **0{,}329** | Bom |

| **GERAL DO MODELO** | **31** | **\mathbf{0{,}3426}** | **Bom desempenho geral** (Consistente abaixo de 0{,}50) |

Continuação dos dois post anteriores.

Eu usei um modelo simplíssimo para tentar prever os resultados dos confrontos da Copa do Mundo neste post:

https://clubeceticismo.com.br/viewtopic.php?p=48191#p48191

Ele funciona simplesmente classificando as melhores seleções nacionais de acordo com os valores de mercados (soma dos valores estimados dos passes de todos os jogadores) de cada uma delas. Se eu tivesse usado esse modelo para tentar prever os 31 confrontos únicos de disputa de título na Copa do Mundo, então eu teria acertado 25. Como comparação, o Supercomputador Opta Analyst que usa inteligência artificial acertou apenas 24 resultados de mata-mata.