Removedor de linhas duplicadas

Remove linhas duplicadas de qualquer texto ignorando maiúsculas e espaços. Mantenha a primeira ou a última ocorrência e veja quais se repetiram.

Todo o processamento acontece no seu navegador. Seu texto nunca sai do seu dispositivo.

Cole um texto acima para começar.

Como funciona

Dividir seu texto em linhas e compará-las é um problema clássico de conjuntos, e esta ferramenta o resolve em uma única passada. Cada linha é lida em ordem, normalizada pelas regras que você escolher e consultada em um mapa hash que lembra se já apareceu e quantas vezes.

Normalização
Antes de comparar, uma linha é transformada opcionalmente: em minúsculas (ignorar maiúsculas) e/ou sem espaços no início e no fim (ignorar espaços). A chave de comparação é a forma normalizada, mas o texto da linha original é o que permanece no resultado.
Primeira ou última
'Manter a primeira' marca uma linha como duplicada assim que sua chave reaparece. 'Manter a última' fica sobrescrevendo a posição armazenada, de modo que apenas a última ocorrência permanece no final. Ambas as estratégias preservam a ordem relativa das linhas que restam.
Estatísticas
Cada linha removida é contada por chave única, o que gera a lista de duplicados com contagens de ocorrências (limitada a 50 entradas) e o percentual de economia: duplicados removidos divididos pelo número original de linhas.

Perguntas frequentes

Meu texto é enviado para algum lugar?

Não. Todo o processamento acontece no seu navegador usando JavaScript puro. O texto nunca sai do seu dispositivo, e nada é armazenado ou transmitido depois que você sai da página.

O que significa «Manter a primeira» em vez de «Manter a última»?

Quando uma linha aparece várias vezes, a ferramenta precisa decidir qual manter. 'Manter a primeira' preserva a primeira ocorrência e descarta as demais; 'manter a última' descarta tudo antes da ocorrência final e mantém essa. Ambas as opções preservam a ordem original das linhas que restam.

Como funcionam as opções 'ignorar maiúsculas' e 'ignorar espaços em branco'?

Com 'ignorar maiúsculas' ativado, 'Apple' e 'apple' contam como a mesma linha. Com 'ignorar espaços' ativado, os espaços no início e no fim são ignorados ao comparar linhas — 'hello ' e 'hello' coincidem. A opção marcada determina como os duplicados são detectados; as linhas mantidas são sempre o texto original.

Funciona apenas com duplicatas exatas?

Sim. A ferramenta compara linhas, não palavras nem substrings. Uma linha conta como duplicada apenas quando é idêntica a uma linha anterior (ou posterior, com 'manter a última') depois das regras de maiúsculas/espaços que você escolher. Sobreposições parciais ficam intactas.

Quanto texto posso processar?

O que seu navegador consiga lidar confortavelmente — documentos típicos com dezenas de milhares de linhas são instantâneos. A lista de linhas repetidas é limitada a 50 entradas para manter a página rápida, mas o resultado deduplicado completo sempre é completo.