Pandas, Polars e DuckDB: o novo trio para análise de dados em Python

Durante muito tempo, quando alguém falava em análise de dados com Python, praticamente todo mundo pensava direto em pandas. E com razão. O pandas foi, e ainda é, uma das bibliotecas mais importantes para quem trabalha com Ciência de Dados.

Mas o cenário está mudando.

Hoje, quem trabalha com dados precisa lidar com arquivos maiores, mais velocidade, menos memória disponível e mais necessidade de entregar resultado rápido. E é aí que entram duas ferramentas que estão ganhando muito espaço: Polars e DuckDB.

Na minha visão, o futuro da análise de dados em Python não é abandonar o pandas. É aprender a usar o pandas junto com ferramentas mais modernas, dependendo do tamanho do problema.

O pandas ainda é importante?

Sim, com certeza.

O pandas continua sendo uma biblioteca essencial para qualquer pessoa que está aprendendo ou trabalhando com Data Science em Python. Ele é simples, tem muita documentação, muitos exemplos na internet e é praticamente padrão em cursos, empresas e projetos.

Com pandas, eu consigo fazer tarefas como:

• Ler arquivos CSV e Excel;
• Limpar dados;
• Tratar valores nulos;
• Criar novas colunas;
• Fazer agrupamentos;
• Calcular médias, somas e estatísticas;
• Preparar dados para modelos de Machine Learning.

Ou seja, para análise exploratória e manipulação de dados, o pandas continua sendo muito forte.

A novidade é que o pandas também vem evoluindo. Na versão 3.0, por exemplo, uma mudança importante foi o Copy-on-Write, que deixa o comportamento dos DataFrames mais previsível na hora de copiar, filtrar e alterar dados.

Para quem já sofreu com aquele famoso problema de alterar uma parte do DataFrame e não saber se mexeu no original ou em uma cópia, essa mudança é bem relevante.

Link externo recomendado: documentação oficial do pandas

Então por que falar de Polars?

Porque o Polars vem crescendo muito quando o assunto é performance.

Enquanto o pandas é muito bom para bases pequenas e médias, o Polars começa a se destacar quando os dados ficam maiores e o processamento precisa ser mais rápido.

O Polars foi criado com foco em velocidade, uso eficiente de memória e processamento moderno. Ele é escrito em Rust, uma linguagem conhecida por performance, mas pode ser usado normalmente dentro do Python.

Na prática, isso significa que eu posso usar uma sintaxe parecida com DataFrame, mas com uma execução muitas vezes mais rápida em certos tipos de operação.

Uma das partes mais interessantes do Polars é o modo Lazy, ou seja, execução preguiçosa.

Funciona mais ou menos assim: em vez de executar cada linha de código imediatamente, o Polars primeiro entende todo o plano da consulta. Depois, ele tenta otimizar esse plano antes de rodar.

Isso pode melhorar bastante a performance, principalmente quando estou trabalhando com filtros, seleções de colunas, agrupamentos e arquivos grandes.

Onde o DuckDB entra nessa história?

O DuckDB é outra ferramenta que está ficando cada vez mais interessante para quem trabalha com dados.

Eu gosto de pensar no DuckDB como um “SQLite para análise de dados”. Só que em vez de ser focado em sistemas transacionais tradicionais, ele é voltado para consultas analíticas.

Com DuckDB, eu consigo rodar SQL diretamente em arquivos como CSV e Parquet, sem precisar subir um banco de dados complexo, configurar servidor ou montar uma estrutura pesada.

Isso é muito útil para projetos de Data Science, porque muitas vezes eu só quero responder perguntas como:

• Qual produto vendeu mais?
• Qual campanha teve maior retorno?
• Qual cliente comprou mais vezes?
• Qual região teve melhor desempenho?
• Qual média de conversão por canal?

E tudo isso pode ser feito com SQL direto no arquivo.

Link externo recomendado: documentação oficial do DuckDB

Quando usar cada ferramenta?

Na minha opinião, não existe uma única resposta certa. O ideal é entender o papel de cada ferramenta.

Eu usaria pandas quando:

• Estou aprendendo análise de dados;
• O arquivo não é tão grande;
• Preciso fazer análise exploratória rápida;
• Quero usar bibliotecas clássicas do Python;
• Preciso preparar dados para gráficos ou Machine Learning.

Eu usaria Polars quando:

• O dataset está ficando pesado;
• O pandas começa a ficar lento;
• Preciso processar dados com mais velocidade;
• Quero trabalhar com arquivos grandes;
• Quero aproveitar melhor memória e processamento.

Eu usaria DuckDB quando:

• Quero usar SQL em arquivos locais;
• Tenho dados em CSV, Parquet ou JSON;
• Preciso fazer consultas analíticas;
• Quero cruzar tabelas sem configurar banco pesado;
• Quero explorar dados rapidamente com comandos SQL.

Exemplo simples de fluxo moderno

Um fluxo moderno de análise de dados poderia ser assim:

1. Uso o DuckDB para consultar arquivos grandes com SQL.
2. Uso o Polars para transformar dados com mais performance.
3. Uso o pandas para análise final, gráficos e integração com outras bibliotecas.
4. Depois levo os dados tratados para Machine Learning, dashboard ou relatório.

Esse tipo de combinação deixa o trabalho mais flexível.

Em vez de forçar tudo dentro do pandas, eu escolho a ferramenta certa para cada etapa.

O que isso significa para quem está aprendendo Data Science?

Para quem está começando, minha sugestão é clara: aprenda pandas primeiro.

O pandas ainda é a base. Ele ajuda a entender DataFrames, colunas, filtros, agrupamentos e estatísticas. Sem essa base, fica mais difícil aproveitar ferramentas como Polars e DuckDB.

Mas depois que a pessoa já entende pandas, vale muito a pena estudar Polars e DuckDB.

Não precisa virar especialista de um dia para o outro. O importante é saber que essas ferramentas existem e entender em quais situações elas podem ajudar.

No mercado, isso pode virar um diferencial. Muitos profissionais ainda ficam presos somente ao pandas. Quem começa a dominar também Polars, DuckDB, SQL e arquivos Parquet já mostra uma visão mais moderna de engenharia e análise de dados.

Conclusão

O pandas não morreu. Pelo contrário, ele continua sendo uma das ferramentas mais importantes da Ciência de Dados com Python.

Mas o mundo dos dados está crescendo, e os problemas também estão ficando maiores. Por isso, ferramentas como Polars e DuckDB estão ganhando espaço.

Na minha visão, o cientista de dados moderno precisa pensar menos em “qual biblioteca é melhor” e mais em “qual ferramenta resolve melhor esse problema”.

Para bases menores e análise rápida, pandas continua excelente.

Para performance com DataFrames grandes, Polars é uma ótima opção.

Para consultas SQL direto em arquivos, DuckDB é uma ferramenta poderosa.

O futuro da análise de dados em Python não é escolher apenas uma biblioteca. É saber combinar bem as ferramentas certas.