Penghapus baris duplikat

Hapus baris duplikat dari teks apa pun, abaikan huruf besar dan spasi. Simpan kemunculan pertama atau terakhir dan lihat baris yang berulang.

Seluruh proses terjadi di browser Anda. Teks Anda tidak pernah meninggalkan perangkat Anda.

Tempel teks di atas untuk memulai.

Cara kerjanya

Membagi teks Anda menjadi baris dan membandingkannya adalah masalah klasik himpunan, dan alat ini menyelesaikannya dalam satu langkah. Setiap baris dibaca secara berurutan, dinormalisasi sesuai aturan yang Anda pilih, dan dicocokkan dalam peta hash yang mengingat apakah sudah muncul dan berapa kali.

Normalisasi
Sebelum dibandingkan, baris secara opsional ditransformasi: menjadi huruf kecil (abaikan huruf besar/kecil) dan/atau tanpa spasi di awal dan akhir (abaikan spasi). Kunci perbandingan adalah bentuk ternormalisasi, tetapi teks baris asli-lah yang bertahan di hasil.
Pertama atau terakhir
'Simpan yang pertama' menandai baris sebagai duplikat begitu kuncinya muncul lagi. 'Simpan yang terakhir' terus menimpa posisi yang tersimpan, sehingga hanya kemunculan terakhir yang bertahan di akhir. Kedua strategi menjaga urutan relatif baris yang tersisa.
Statistik
Setiap baris yang dihapus dihitung per kunci unik, yang menghasilkan daftar duplikat dengan penghitungan kemunculan (dibatasi 50 entri) dan persentase penghematan: duplikat yang dihapus dibagi jumlah baris asli.

Pertanyaan yang sering diajukan

Apakah teks saya diunggah ke mana pun?

Tidak. Seluruh proses terjadi di browser Anda menggunakan JavaScript murni. Teks tidak pernah meninggalkan perangkat Anda, dan tidak ada yang disimpan atau dikirim setelah Anda meninggalkan halaman.

Apa arti 'Simpan yang pertama' dibandingkan 'Simpan yang terakhir'?

Ketika sebuah baris muncul beberapa kali, alat ini harus memutuskan salinan mana yang disimpan. 'Simpan yang pertama' mempertahankan kemunculan pertama dan membuang sisanya; 'simpan yang terakhir' membuang semua sebelum kemunculan terakhir dan menyimpan yang itu. Kedua pilihan menjaga urutan asli baris yang tersisa.

Bagaimana opsi 'abaikan huruf besar/kecil' dan 'abaikan spasi' bekerja?

Dengan 'abaikan huruf besar/kecil' aktif, 'Apple' dan 'apple' dihitung sebagai baris yang sama. Dengan 'abaikan spasi' aktif, spasi di awal dan akhir diabaikan saat membandingkan baris — 'hello ' dan 'hello' cocok. Opsi yang dicentang menentukan cara mendeteksi duplikat; baris yang disimpan selalu teks aslinya.

Apakah hanya bekerja pada duplikat persis?

Ya. Alat ini membandingkan baris, bukan kata atau substring. Baris dihitung sebagai duplikat hanya jika identik dengan baris sebelumnya (atau berikutnya, dengan 'simpan yang terakhir') setelah aturan huruf besar/spasi yang Anda pilih. Tumpang tindih parsial dibiarkan utuh.

Seberapa banyak teks yang bisa diproses?

Segbesar yang bisa ditangani browser Anda dengan nyaman — dokumen tipis puluhan ribu baris diproses seketika. Daftar baris terulang dibatasi 50 entri agar halaman tetap cepat, tetapi hasil deduplikasi lengkapnya selalu utuh.