Langkau ke kandungan
Coverton Blog
Dalam artikel ini
Jadual dan data

Cara membuang pendua CSV dan memilih rekod yang dikekalkan

Dua rekod yang berkongsi kod pesanan masih boleh berbeza dalam nilai-nilai yang lain. menentukan lajur yang sepadan dan yang berlaku untuk disimpan sebelum menilai baris yang dihapuskan oleh deduplikasi.

Buka alatCara menggunakan alat ini ↓
Alih keluar baris CSV pendua
Ilustrasi aliran kerja alat ini; ini bukan hasil pemprosesan fail yang dimuat naik.

Cara menggunakan alat ini

  1. Pilih fail dalam format CSV. Fail maksimum setiap kelompok: 1.
  2. Semak Lajur utama (kosong untuk baris penuh), Pendua baris untuk disimpan, Potong ruang hadapan dan belakang, Abaikan perbezaan huruf besar dan huruf kecil, kemudian mulakan pemprosesan.
  3. Muat turun keputusan CSV dan semak kandungan dan kualitinya.

Pilih tetapan yang sesuai

Masukkan nama lajur kunci yang dipisahkan oleh commas atau biarkan mereka kosong untuk membandingkan keseluruhan baris. Pilih simpanan pertama atau terakhir dan pilihan pemotongan atau kes-tidak sensitif mengikut peraturan yang dimaksudkan untuk menyesuaikan.

Input yang disokong
  • CSV
Output
  • CSV
Tetapan yang tersedia
  • Lajur utama (kosong untuk baris penuh)
  • Pendua baris untuk disimpan
  • Potong ruang hadapan dan belakang
  • Abaikan perbezaan huruf besar dan huruf kecil

Sebelum bermula

Tetapkan maksud lajur sebelum menukar data

Semak helaian, baris tajuk, pengekodan dan pemisah sumber. Pengecam yang bermula dengan sifar perlu dikekalkan sebagai pengecam, bukan dianggap nombor pengiraan. Tentukan susunan tarikh dan pemisah perpuluhan daripada sumber, bukan dengan meneka nilai yang kelihatan munasabah.

Jika membandingkan, menggabungkan atau membuang pendua, pilih kunci dan susunan input mengikut maksud rekod. Kunci sama mungkin mempunyai nilai lain yang berbeza. Mengabaikan ruang atau huruf besar boleh menyatukan rekod yang sepatutnya berasingan. Semak pilihan mengekalkan rekod pertama atau terakhir serta arah pemetaan. Untuk label, carta atau kod, semak nama, unit dan urutan; uji kod dengan pengimbas yang akan digunakan.

Bandingkan struktur hasil dan jejak kehilangan maklumat

Bandingkan jumlah baris, susunan lajur dan pengecam dengan sumber. Pengembangan data boleh menambah baris, manakala gabungan boleh menggugurkan rekod tanpa pasangan. Jika laporan disediakan, semak rekod dibuang, nilai tidak sah dan nilai yang belum diselesaikan. Untuk jumlah atau purata, pastikan nilai boleh dibaca sebagai nombor; pengiraan bilangan rekod mempunyai maksud yang berlainan.

Penukaran format tidak mengekalkan semua struktur: CSV tidak membawa semua peringkat JSON atau XML, dan teks biasa tidak mengekalkan susun atur helaian. Base64 boleh dinyahkod dan bukan penyulitan; peminimuman bukan pemampatan ZIP. Jika gagal, semak nama lajur, arah pemetaan, sintaks dan jenis nilai. Digit yang telah hilang atau pengekodan yang salah tidak boleh dipulihkan dengan tekaan. Uji import dalam program penerima sambil menyimpan sumber.

Contoh input dan output

ID pesanan berulang → CSV dengan rekod yang disimpan

Contoh menerangkan aliran kerja. Hasil bergantung pada fail sumber dan tetapan.

Semak hasil sebelum menyimpan

Untuk setiap kunci yang berulang, semak tarikh dan nilai yang disimpan. semak ruang putih atau varian kes yang menjadi setara dalam perbandingan yang lebih luas, dan semak perintah baris yang disimpan sebelum menggunakan skrip.

Jika hasilnya berbeza daripada apa yang anda jangkakan

Nama tajuk yang tidak diketahui atau kutipan yang tidak sah boleh menghalang pemprosesan. opsyen pemotongan yang digunakan untuk perbandingan tidak bermakna bahawa ruang putih dalam setiap sel yang disimpan juga telah dibersihkan.

Had yang perlu diingat

  • Semak pengekodan aksara, pemisah dan nama lajur. Sebilangan besar boleh kehilangan ketepatan dalam JavaScript; CSV tidak mengekalkan semua jenis dan struktur bersarang.
  • Mengabaikan ruang atau sensitiviti huruf besar boleh meringkaskan nilai yang berbeza.

Pilih tugas seterusnya

Tukar CSV kepada JSON

CSV baris pertama menyediakan kunci untuk objek JSON setiap baris data. nilai sel disimpan sebagai string, jadi semak jenis mereka sebelum memindahkan hasil kepada sistem yang mengharapkan nombor atau nilai boolean.

Pilih kod sumber dan gunakan pengesanan delimiter automatik atau pilih delimiter sebenar. menyelesaikan tajuk kosong atau duplikat dan pastikan setiap baris mempunyai bilangan lajur yang sama dengan tajuk.

Buka alat

Tukar JSON kepada CSV

Menentukan sama ada objek yang ditanam akan menjadi lajur yang berasingan atau kekal JSON string di dalam sel, kerana lajur yang dihasilkan dibaca berbeza dalam setiap kes.

Membolehkan flattening untuk menukar sifat objek bergelombang ke dalam headers yang disambungkan dengan titik. array tidak diperluaskan ke dalam beberapa baris, jadi pertimbangkan sel-sel itu secara berasingan jika anda berhasrat untuk menganalisis setiap item array.

Buka alat
CovertonAlih keluar baris CSV pendua
Buka alat

Panduan ini menerangkan alat yang tersedia untuk digunakan dalam pelayar. Simpan salinan asal dan semak hasil sebelum berkongsi.

Terjemahan ini disediakan dengan bantuan perisian. Anda juga boleh membaca versi bahasa Inggeris. Baca dalam bahasa Inggeris