A Faculdade de Ciências da Universidade de Lisboa lançou o primeiro comparador de desempenho de modelos de inteligência artificial generativa dedicado ao português europeu. A ferramenta pretende colmatar a ausência de métricas específicas para esta variante linguística no ecossistema global de IA.
Designada "Leaderboard de LLM para português", a plataforma permite avaliar e comparar modelos de linguagem de forma transparente, disponibilizando um ranking acessível à comunidade científica, empresas e utilizadores em geral. Até agora, os principais benchmarks internacionais estavam centrados sobretudo no inglês e noutras línguas com maior volume de dados e desenvolvimento tecnológico.
O sistema funciona através da submissão de modelos por parte dos seus criadores ou de terceiros, sendo depois avaliados de forma independente com base em testes automáticos. Estes testes utilizam conjuntos de dados concebidos para medir diferentes dimensões do desempenho, incluindo qualidade linguística, adequação cultural ao contexto português e critérios de civilidade.
A ferramenta está orientada para modelos abertos, permitindo a avaliação de sistemas cujo código ou parâmetros são acessíveis, o que facilita a participação da comunidade e a comparabilidade dos resultados. Os dados são depois disponibilizados online, permitindo uma análise direta entre diferentes soluções.
A iniciativa foi desenvolvida no âmbito da PORTULAN CLARIN, infraestrutura nacional de investigação para a ciência e tecnologia da linguagem, coordenada pela Ciências ULisboa e integrada no roteiro estratégico da Fundação para a Ciência e a Tecnologia. A infraestrutura funciona também como nó nacional da rede europeia CLARIN ERIC.
Segundo António Branco, diretor da PORTULAN CLARIN, a criação deste comparador responde a uma lacuna relevante, permitindo avaliar de forma rigorosa o desempenho de modelos de IA no contexto do português europeu, algo que até agora não dispunha de instrumentos próprios.
Para além da componente científica, a plataforma poderá apoiar decisões empresariais, permitindo às organizações identificar modelos mais adequados às suas necessidades, num momento em que a adoção de IA generativa se intensifica em múltiplos setores.
O lançamento desta ferramenta ocorre num contexto de crescente preocupação com a representatividade linguística nos sistemas de IA, onde línguas com menor expressão digital tendem a apresentar níveis de desempenho inferiores. A disponibilização de benchmarks específicos poderá contribuir para melhorar a qualidade dos modelos e incentivar o desenvolvimento de soluções mais adaptadas ao contexto nacional.
A plataforma está disponível em acesso aberto, reforçando a posição de Portugal na investigação em tecnologias da linguagem e na integração do português europeu no desenvolvimento global da inteligência artificial.
