Formatador de Texto

Continuar na ferramenta

Mais páginas desta ferramenta

remover linhas duplicadas

Remover linhas duplicadas de um texto

A página abre com "Remover linhas duplicadas" aplicado a uma lista de e-mails em que "Ana" e "ana" aparecem escritos de formas diferentes. A opção de diferenciar maiúsculas já está desligada, então as duas contam como a mesma linha.

Como uma linha é considerada duplicada

A ferramenta guarda as linhas já vistas e descarta as que voltam a aparecer, então a primeira ocorrência sobrevive e a ordem original é mantida. Isso difere de ordenar e depois remover vizinhas iguais, que embaralha a lista. Com "Diferenciar maiúsculas" ligado a comparação é exata; desligado, as linhas são comparadas em minúsculas, mas a linha que sai é a primeira como foi escrita, com a capitalização original.
O motivo mais comum de uma duplicata sobreviver é um espaço invisível. "x" e "x " (com um espaço no fim) são linhas diferentes para o motor, e o mesmo vale para uma tabulação (U+0009) ou para o retorno de carro (U+000D) que um arquivo do Windows deixa no fim de cada linha. O espaço comum é o U+0020: "x " e "x" só viram a mesma linha depois de apará-las. Por isso a sequência certa é aparar as linhas primeiro e só depois remover duplicadas. Linhas em branco repetidas também contam como duplicadas: sobra uma, e o passo "Remover linhas em branco" tira essa também.
Só linhas inteiras são comparadas. A ferramenta não encontra palavras repetidas dentro de uma linha nem linhas parecidas, como "[email protected]" e "joã[email protected]", que diferem por um acento. Para esse caso, adicione "Remover acentos" antes. Para uma lista que precise sair ordenada e sem repetição, a predefinição "Lista única e ordenada" encadeia aparar, tirar linhas em branco, remover duplicadas e ordenar de A a Z, e o resultado pode ser baixado em .txt.

Quatro limpezas

Primeira ocorrência fica

Entrada: a b a c b
Saída esperada: a b c

A ordem original se mantém: a, b, c.

Ignorando maiúsculas

Entrada: [email protected] [email protected] [email protected]
Saída esperada: [email protected] [email protected]

Sobra a primeira, com a capitalização com que foi digitada.

Espaço invisível no fim

Entrada: x x
Saída esperada: x

Com "Aparar linhas" antes, as duas viram "x" e a duplicata é detectada. Sem esse passo, as duas ficariam.

Lista única e ordenada

Entrada: b a b c a
Saída esperada: a b c

Aparar, remover em branco, remover duplicadas e ordenar A-Z, em uma única predefinição.

FAQ da ferramenta completa

Dá para aplicar várias transformações de uma vez?

Sim, é o funcionamento normal da ferramenta. Você monta uma sequência de operações e ela é aplicada na ordem sobre a entrada, com o resultado recalculado ao vivo. Cada passo pode ser reordenado, desligado temporariamente ou removido, e a sequência inteira pode ser salva com um nome para reutilizar depois.

O que é formatação de texto?

O que é slug e como ele é gerado?

Remover acento muda o texto?

Por que um texto pode ter espaços invisíveis problemáticos?

JSON indentado e JSON minificado servem para a mesma coisa?

Colocar tudo em maiúsculas ou minúsculas sempre é seguro?

Formatação resolve problema de conteúdo ruim?

Por que a ferramenta recusa algumas expressões regulares?

Por que a contagem de caracteres às vezes difere da de outros editores?

Perguntas frequentes

Qual das linhas repetidas é mantida?

A primeira que aparece no texto. As seguintes são descartadas e a ordem das que sobram é a original.

Por que linhas que parecem iguais não foram removidas?

Quase sempre há um espaço, uma tabulação ou um acento diferente que não se vê. Adicione "Aparar linhas" antes do passo de duplicadas, e "Remover acentos" se as letras diferirem só por acento.

Dá para contar quantas linhas foram removidas?

Sim. Os contadores de entrada e saída mostram o número de linhas dos dois lados, e a aba "Diferença" lista exatamente as linhas que sumiram.

Próximos passos

Como uma linha é considerada duplicada

A ferramenta guarda as linhas já vistas e descarta as que voltam a aparecer, então a primeira ocorrência sobrevive e a ordem original é mantida. Isso difere de ordenar e depois remover vizinhas iguais, que embaralha a lista. Com "Diferenciar maiúsculas" ligado a comparação é exata; desligado, as linhas são comparadas em minúsculas, mas a linha que sai é a primeira como foi escrita, com a capitalização original.

O motivo mais comum de uma duplicata sobreviver é um espaço invisível. "x" e "x " (com um espaço no fim) são linhas diferentes para o motor, e o mesmo vale para uma tabulação (U+0009) ou para o retorno de carro (U+000D) que um arquivo do Windows deixa no fim de cada linha. O espaço comum é o U+0020: "x " e "x" só viram a mesma linha depois de apará-las. Por isso a sequência certa é aparar as linhas primeiro e só depois remover duplicadas. Linhas em branco repetidas também contam como duplicadas: sobra uma, e o passo "Remover linhas em branco" tira essa também.

Só linhas inteiras são comparadas. A ferramenta não encontra palavras repetidas dentro de uma linha nem linhas parecidas, como "[email protected]" e "joã[email protected]", que diferem por um acento. Para esse caso, adicione "Remover acentos" antes. Para uma lista que precise sair ordenada e sem repetição, a predefinição "Lista única e ordenada" encadeia aparar, tirar linhas em branco, remover duplicadas e ordenar de A a Z, e o resultado pode ser baixado em .txt.

Quatro limpezas

Primeira ocorrência fica

Entrada: a b a c b
Saída esperada: a b c

A ordem original se mantém: a, b, c.

Ignorando maiúsculas

Entrada: [email protected] [email protected] [email protected]
Saída esperada: [email protected] [email protected]

Sobra a primeira, com a capitalização com que foi digitada.

Espaço invisível no fim

Entrada: x x
Saída esperada: x

Com "Aparar linhas" antes, as duas viram "x" e a duplicata é detectada. Sem esse passo, as duas ficariam.

Lista única e ordenada

Entrada: b a b c a
Saída esperada: a b c

Aparar, remover em branco, remover duplicadas e ordenar A-Z, em uma única predefinição.

FAQ da ferramenta completa

Dá para aplicar várias transformações de uma vez?

O que é formatação de texto?

O que é slug e como ele é gerado?

Remover acento muda o texto?

Por que um texto pode ter espaços invisíveis problemáticos?

JSON indentado e JSON minificado servem para a mesma coisa?

Colocar tudo em maiúsculas ou minúsculas sempre é seguro?

Formatação resolve problema de conteúdo ruim?

Por que a ferramenta recusa algumas expressões regulares?

Por que a contagem de caracteres às vezes difere da de outros editores?

Perguntas frequentes

Qual das linhas repetidas é mantida?

A primeira que aparece no texto. As seguintes são descartadas e a ordem das que sobram é a original.

Por que linhas que parecem iguais não foram removidas?

Quase sempre há um espaço, uma tabulação ou um acento diferente que não se vê. Adicione "Aparar linhas" antes do passo de duplicadas, e "Remover acentos" se as letras diferirem só por acento.

Dá para contar quantas linhas foram removidas?

Sim. Os contadores de entrada e saída mostram o número de linhas dos dois lados, e a aba "Diferença" lista exatamente as linhas que sumiram.