Por João Coucelo · Fundador da OficinaIAAmália vs ChatGPT: o modelo de IA português passa no Exame Nacional?
Não é opinião. Corremos o modelo do Estado no exame nacional, contra o ChatGPT e o Claude, e medimos os acertos, o tempo e o custo.
O Amália é o primeiro grande modelo de inteligência artificial feito pelo Estado português, com pesos abertos e foco no português europeu. Foi vendido como o modelo que "raciocina" melhor na nossa língua. Em vez de acreditar na promessa, fizemos o óbvio: pusemos o Amália a fazer o Exame Nacional de Português, corrigido pela grelha oficial do IAVE, contra o ChatGPT e o Claude. Aqui estão os números.
Como testámos
- Exame real: as 7 perguntas de escolha múltipla (Grupo II) da Prova 639, 1.ª Fase, 2024, do IAVE.
- Correção oficial: cada resposta comparada letra a letra com a chave de classificação do IAVE. Zero subjetividade, sem juiz.
- Amália: a versão de pesos abertos (Amália-9B), a correr localmente no nosso próprio servidor, quantizada para caber em hardware modesto.
- Adversários de fronteira: o ChatGPT (gpt-4o) da OpenAI e o Claude Sonnet 5 da Anthropic, os dois na nuvem.
Resultado: quem acerta mais
| Item | Chave IAVE | Amália-9B | ChatGPT (gpt-4o) | Claude Sonnet 5 |
|---|---|---|---|---|
| II.1 | A | A ✓ | A ✓ | A ✓ |
| II.2 | B | B ✓ | B ✓ | B ✓ |
| II.3 | C | D ✗ | C ✓ | C ✓ |
| II.4 | B | B ✓ | B ✓ | B ✓ |
| II.5 | D | A ✗ | D ✓ | D ✓ |
| II.6 | C | D ✗ | C ✓ | C ✓ |
| II.7 | D | D ✓ | A ✗ | D ✓ |
| Total | 4/7 (57%) | 6/7 (86%) | 7/7 (100%) |
O Claude acertou tudo (100%), o ChatGPT falhou uma (86%) e o Amália acertou 4 em 7 (57%). Os modelos de fronteira ganham com clareza. Mas repara em dois pormenores: o Amália deu respostas variadas (A, B, D, B, A, D, D), ou seja, pensou mesmo, não respondeu ao calhas. E na pergunta mais traiçoeira, a II.7, sobre a diferença entre o "que" pronome e o "que" conjunção, o Amália acertou e o ChatGPT falhou. Houve, portanto, uma pergunta em que o modelo português bateu o ChatGPT.
Tempo e custo: o verdadeiro trade-off
A pontuação não conta a história toda. Onde o Amália se distingue não é nos acertos, é no custo e em quem vê os teus dados.
| Amália-9B (local) | ChatGPT (gpt-4o) | Claude Sonnet 5 | |
|---|---|---|---|
| Acertos | 4/7 (57%) | 6/7 (86%) | 7/7 (100%) |
| Tempo por pergunta | ~10 s | ~2 s | ~2 s |
| Custo por pergunta | ~0 € | ~$0,002 | ~$0,004 |
| Custo de 1 milhão de perguntas | ~0 € | ~$1.900 | ~$4.300 |
| Onde correm os teus dados | Na tua máquina | Servidores nos EUA | Servidores nos EUA |
O Amália é mais lento por causa do hardware (corremos em CPU, sem placa gráfica), não do modelo em si. E é grátis por pergunta porque os pesos são abertos e corre na tua máquina. Os modelos de fronteira são melhores e rápidos, mas cobram em cada pedido, para sempre, e a informação sai para servidores estrangeiros.
O que isto quer dizer
Num teste de força bruta ao português, o ChatGPT e o Claude ganham claramente. O Amália, no hardware que qualquer um tem, ainda não bate um modelo grande, mesmo no terreno onde deveria ser mais forte, a língua portuguesa.
Mas "quem acerta mais" não é onde um modelo nacional e aberto ganha. O valor do Amália está na soberania (corre local, os dados não saem), no custo marginal zero e na independência face a empresas estrangeiras. Para o Estado, a saúde, o jurídico ou qualquer contexto com dados sensíveis, um modelo grátis, privado e nosso pode valer mais do que os pontos que faltam.
O Amália não precisa de bater o ChatGPT. Precisa de ser nosso, aberto e grátis de correr, para os casos onde isso vale mais do que os pontos.
Limitações (para sermos honestos)
- Amostra pequena: 7 perguntas de um só exame. É prova de conceito, não um veredicto estatístico.
- Hardware modesto e quantização: o Amália correu em CPU e a 4 bits. Em precisão total e com placa gráfica, provavelmente sobe dos 57%. Ou seja, este número é o piso, não o teto.
- Uma versão de cada modelo: ChatGPT no gpt-4o e Claude no Sonnet 5. Modelos e versões diferentes dariam números diferentes.
Na OficinaIA ajudamos empresas portuguesas a usar IA a sério, com critério e resultados. Se queres perceber o que faz sentido para o teu caso, marca um diagnóstico gratuito.