Voltar a guias

João CouceloPor João Coucelo · Fundador da OficinaIA

Qual o melhor modelo de IA open source para escrever português?

Pusemos cinco modelos open source do escalão 4B a 20B a escrever português de Portugal, e metemos o Amália, o modelo do Estado, na mesma prova.

Já olhámos para o Amália, o modelo do Estado, no Exame Nacional de Português, onde o medimos contra o ChatGPT e o Claude. Ficou uma pergunta diferente por responder: para uma empresa que só quer escrever bem em português europeu e prefere um modelo aberto, que possa correr num servidor seu sem depender de ninguém, qual é a melhor escolha? Não a mais inteligente do mundo, a que escreve a nossa língua sem soar a tradução do Brasil. Fomos ver. Pusemos cinco modelos de IA open source a escrever português de Portugal, todos no mesmo escalão de tamanho, de 4B a 20B, que é o que uma PME consegue mesmo pôr a andar sem gastar uma fortuna. E, já que o Amália também é um modelo de 9B, metemo-lo na corrida.

Como testámos

  • Cinco modelos abertos de 4B a 20B, corridos na nuvem (Together AI): o Qwen3.5-9B e o Qwen2.5-7B da Alibaba, o gpt-oss-20B da OpenAI, o Gemma 3n (~4B) da Google e o Llama 3-8B da Meta.
  • Mais o Amália-9B, o modelo do Estado, a correr localmente no nosso servidor (quantizado, em CPU), tal como no teste do Exame Nacional.
  • Cinco tarefas de escrita livre (um email profissional, uma explicação simples, uma descrição de marca, uma mensagem informal a um amigo e um texto institucional) e uma sexta tarefa de reescrita: pegar numa frase brasileira e passá-la a português de Portugal. As notas e a contagem de brasileirismos abaixo são sobre as cinco de escrita livre; a reescrita conta à parte.
  • Dois medidores. Um detetor automático conta as marcas de português do Brasil ("você", gerúndio, mas também vocabulário como "xícara" ou "odontológico" e saudações como "Prezado"). E um juiz de português europeu (o Claude) dá a cada texto, às cegas, uma nota de naturalidade de 0 a 10.
  • Porquê 4B a 20B? É a classe de peso que interessa a uma empresa: modelos que cabem num servidor acessível, que se podem correr on-premise por questões de privacidade, e cujo custo por milhão de palavras é uma fração dos gigantes de fronteira. Ficam de fora os modelos enormes de fronteira, que a maioria das PMEs não corre em casa.

Resultado: quem escreve melhor português

Naturalidade do português europeu (juiz cego) e marcas de português do Brasil, nas 5 tarefas de escrita livre. Modelos open source de 4B a 20B, com o Amália (9B) à mistura.
ModeloTamanhoNaturalidade /10BrasileirismosReescrita BR→PT
Qwen3.5-9B9B7,32Converteu bem
Amália-9B (Estado)9B7,20Converteu bem
Qwen2.5-7B7B7,02Deixou "me ligar"
gpt-oss-20B20B6,84Falhou (deixou "Você")
Gemma 3n~4B6,61Converteu bem
Llama 3-8B8B5,85Converteu bem
Gráfico de barras: naturalidade do português europeu, 0 a 10, para seis modelos de 4B a 20B. Qwen3.5-9B no topo com 7,3, Amália-9B com 7,2, Qwen2.5-7B com 7,0, gpt-oss-20B com 6,8, Gemma 3n com 6,6 e Llama 3-8B em último com 5,8.
Naturalidade do pt-PT por modelo, no escalão de 4B a 20B, avaliada por juiz cego. O Amália, o modelo do Estado, a azul.

À frente ficam o Qwen3.5-9B e o Amália-9B (7,3 e 7,2), praticamente empatados. O Qwen3.5 escreve o português mais fluente do escalão, mas o Amália vem logo atrás e com um trunfo que ninguém mais tem: é o único a zero brasileirismos. A meio caem o Qwen2.5-7B e o gpt-oss-20B, o Gemma 3n (o mais pequeno) fica em quinto, e o Llama 3-8B fecha a lista bem lá em baixo, com 5,8. A diferença do primeiro ao último é de um ponto e meio, mas, como se vê a seguir, ela não está só na naturalidade.

A surpresa: no escalão pequeno, o fosso da língua reabre

O medo antigo era que os modelos abertos só escrevessem português à brasileira. Nos grandes modelos de fronteira, esse receio já não se justifica. Mas é ao descer para o escalão pequeno que a história muda, e é o dado mais interessante da prova. Em 30 textos (seis modelos, cinco tarefas cada), o detetor encontrou 14 marcas de português do Brasil. E não são só "você" e gerúndios: são "xícara" em vez de chávena, "odontológico" e "bucal" em vez de dentário e oral, "Prezado" e "Atenciosamente" em vez de Caro e Cumprimentos. O fosso da língua, que os modelos de fronteira já tinham fechado, volta a abrir quando se desce de tamanho.

Gráfico de barras: marcas de português do Brasil por modelo, em 30 textos. Llama 3-8B com 5, gpt-oss-20B com 4, Qwen2.5-7B e Qwen3.5-9B com 2, Gemma 3n com 1, e o Amália-9B com zero.
Marcas de português do Brasil por modelo, no escalão de 4B a 20B: 14 em 30 textos. Só o Amália (português) ficou a zero; os generalistas mais fracos escorregam.

É exatamente aqui que um modelo pensado para a língua ganha valor. O Amália, feito de propósito para o português, ficou a zero, o único de todos. Os generalistas escorregaram por ordem de fraqueza: o Llama 3-8B foi o pior, com cinco (chegou a escrever "Prezados", "Atenciosamente" e "xícara", e até deixou fugir um "Aqui está o email:" antes da resposta), seguido do gpt-oss-20B, com quatro. A prova mais direta foi a reescrita: demos a todos a mesma frase brasileira, "Você pode pegar o ônibus e me ligar quando estiver chegando no aeroporto, que eu tô te esperando", e pedimos português de Portugal. O Amália, o Qwen3.5 e o Llama converteram-na na íntegra, mas o gpt-oss-20B falhou por completo, devolvendo "Você pode apanhar o autocarro e me ligar... que eu estou a te esperar", em bom brasileiro. Num modelo pequeno, a língua volta a ser um critério de escolha, e não um dado adquirido.

E o Amália, o modelo do Estado?

Desta vez o Amália entrou na corrida, e sai-se bem no que interessa à língua. É o mais limpo de todos, o único a zero brasileirismos, e ficou em segundo na naturalidade (7,2), a um cabelo do Qwen3.5. Escreve português correto e sem sotaque do Brasil, exatamente como seria de esperar de um modelo feito para a nossa língua. Onde perde não é no português, é na fluidez (escreve num registo mais rígido, de quem preenche um formulário) e sobretudo na velocidade: a correr quantizado em CPU, o hardware acessível, cada resposta curta demorou entre 11 e 33 segundos, contra o 1 a 2 segundos dos abertos na nuvem.

No seu próprio escalão, o Amália ganha a prova que importa: escreve o português mais limpo de todos. O preço é a rigidez e, sobretudo, a lentidão em hardware acessível. O argumento continua a ser a soberania: correr na tua máquina, com os dados a nunca sair de casa.

Mais parâmetros nem sempre é melhor português

O detalhe mais contraintuitivo do teste: dentro do mesmo escalão, o maior nem sempre ganha. O gpt-oss-20B, o mais gordo do grupo com 20 mil milhões de parâmetros, escreveu pior português do que o Qwen3.5-9B, com menos de metade do tamanho, e deixou mais brasileirismos do que o minúsculo Gemma 3n. Mais parâmetros costumam comprar mais capacidade em raciocínio ou código, e isso não quer dizer que escrevam melhor na tua língua. A lição vale para quem escolhe modelos: não olhes só para o número de parâmetros nem para a marca, testa para o teu caso concreto.

A armadilha dos modelos que "pensam"

Há um senão que só aparece quando se usa isto a sério. Vários destes modelos (o Qwen3.5 e o gpt-oss em particular) são modelos de raciocínio: antes de responder, "pensam" numa espécie de rascunho interno. O problema é que, se não lhes disseres o contrário, gastam a resposta toda a pensar e não sobra texto, ou despejam o rascunho para dentro dela. Com o Qwen3.5 tivemos mesmo de desligar o "pensamento" para ele responder. A cura é uma instrução clara ("escreve apenas o texto final") ou a opção certa na chamada. Sem esse cuidado, um modelo que até escreve bem entrega-te lixo em vez do texto.

Os textos, lado a lado

A tabela dá os números, mas a diferença sente-se melhor a ler. Aqui está a mesma tarefa, um convite informal a um amigo para jantar, em três dos modelos:

Mesma tarefa ("mensagem informal a convidar um amigo para jantar em casa no sábado"), três dos modelos.
ModeloO que escreveu
Qwen2.5-7B"Olá meu amigo! Queres vir jantar a minha casa no sábado? Vou preparar uns petiscos e podemos beber umas cervejas enquanto conversamos. Às 19h ok? Espero-te!"
Amália-9B"Olá! Sábado à noite livre, queres juntar-te a mim para um jantar em casa? Diz que sim!" (correto e sem brasileirismos, mas mais rígido, soa a convite escrito e não a mensagem a um amigo)
Llama 3-8B"Hey, quero convidar-te para um jantar em casa no sábado à noite! Lembre-te de trazer o que quiser beber" (o "Hey" e o "Lembre-te... quiser" tropeçam entre o inglês e o "você")

É aqui que se vê o escalão. Os "petiscos" e as "cervejas" do Qwen2.5 são coisa que um português diz mesmo. O Amália não erra uma palavra, mas escreve mais formal, como quem preenche um papel. E o Llama tropeça logo no "Hey" e no imperativo à brasileira. Escrever certo é uma coisa, escrever como um português fala é outra, e neste peso já nem todos escrevem certo.

O que escolher

Se corres na nuvem e queres o português mais natural do escalão, o Qwen3.5-9B é a aposta mais segura, com a vantagem de ser dos mais capazes em raciocínio e código. O que não compensa é assumir que qualquer modelo aberto serve para português: o Llama 3-8B e o gpt-oss-20B deixam escapar brasileirismos, e para escrever a nossa língua isso conta. E se o que te move é privacidade ou soberania, correr o modelo na tua própria máquina sem mandar dados para fora, o Amália é o nome a olhar: é o que escreve o português mais limpo de todos, ao preço de ser mais rígido e bastante mais lento em hardware acessível. A escolha real faz-se pelo preço por milhão de palavras, pela velocidade, por precisares ou não de raciocínio e código, e por correres na nuvem ou em casa.

A pergunta deixou de ser "qual escreve português sem sotaque do Brasil". No escalão pequeno, nem todos escrevem, e é por isso que a língua volta a pesar na escolha. Um modelo feito para o português deixa de ser um luxo.

Limitações (para sermos honestos)

  • Amostra pequena: cinco tarefas de escrita livre, um texto por tarefa e por modelo. É um retrato, não um veredicto estatístico.
  • Juiz é um modelo: a naturalidade foi avaliada pelo Claude, às cegas, mas continua a ser o critério de um modelo, não de um painel de linguistas. As diferenças pequenas (uma ou duas décimas) estão dentro da margem de ruído; o que é sólido é a contagem de brasileirismos, feita por um detetor.
  • Amália em desvantagem de hardware: correu quantizado e em CPU, sem placa gráfica, o que castiga sobretudo a velocidade e um pouco a qualidade. Em precisão total e com GPU escreveria talvez um pouco melhor e bastante mais depressa. Ainda assim, é a versão que corre em hardware acessível.
  • Tamanhos aproximados: "4B a 20B" agrupa modelos que não têm todos o mesmo número de parâmetros (o Gemma 3n ronda os 4B, o gpt-oss tem 20B). São a classe de peso que uma PME corre, não gémeos.

Na OficinaIA ajudamos empresas portuguesas a escolher e a pôr a IA a trabalhar a sério, com o modelo certo para cada tarefa e para cada orçamento, e não o da moda. Se queres perceber o que faz sentido para o teu caso, marca um diagnóstico gratuito.

Newsletter

Fica a par de IA em 5 minutos por semana

Todas as semanas, o que importa em inteligência artificial explicado simples, e como usar no teu dia a dia. Sem ruído, sem notícias aborrecidas. Escrito pelo João.