ข้ามไปที่เนื้อหา
Coverton บล็อก
ในบทความนี้
ตารางและข้อมูล

วิธีลบข้อมูลซ้ำใน CSV และเลือกข้อมูลที่จะเก็บไว้

สองบันทึกที่แบ่งปันรหัสคําสั่งยังคงสามารถแตกต่างกันในค่าอื่น ๆ ของพวกเขา ลักษณะคอลัมน์ที่ตรงกันและสิ่งที่เกิดขึ้นที่จะเก็บไว้ก่อนที่จะประเมินเส้นที่ถอดออกโดย deduplication

เปิดเครื่องมือวิธีใช้เครื่องมือนี้ ↓
ลบแถว CSV ที่ซ้ำกัน
ภาพประกอบขั้นตอนการทำงานของเครื่องมือนี้ ไม่ใช่ผลลัพธ์จากไฟล์ที่อัปโหลด

วิธีใช้เครื่องมือนี้

  1. เลือกไฟล์ในรูปแบบ CSV จำนวนไฟล์สูงสุดต่อแบตช์: 1
  2. ตรวจสอบ คอลัมน์หลัก (ว่างเมื่อเต็มแถว), ทำซ้ำแถวที่จะเก็บไว้, ตัดช่องว่างนำหน้าและต่อท้าย, ละเว้นความแตกต่างระหว่างตัวพิมพ์ใหญ่และตัวพิมพ์เล็ก จากนั้นเริ่มการประมวลผล
  3. ดาวน์โหลดผลลัพธ์ CSV และตรวจสอบเนื้อหาและคุณภาพ

เลือกการตั้งค่าที่เหมาะสม

ป้อนชื่อคีย์คอลัมน์ที่แยกจาก commas หรือปล่อยให้พวกเขาว่างเปล่าเพื่อเปรียบเทียบเส้นทั้งหมด เลือกการเก็บรักษาครั้งแรกหรือครั้งสุดท้ายและตัวเลือกการตัดหรือกรณีที่ไม่ไวตามกฎการจับคู่ที่กําหนด

อินพุตที่รองรับ
  • CSV
เอาต์พุต
  • CSV
การตั้งค่าที่ใช้ได้
  • คอลัมน์หลัก (ว่างเมื่อเต็มแถว)
  • ทำซ้ำแถวที่จะเก็บไว้
  • ตัดช่องว่างนำหน้าและต่อท้าย
  • ละเว้นความแตกต่างระหว่างตัวพิมพ์ใหญ่และตัวพิมพ์เล็ก

ก่อนเริ่มใช้งาน

กำหนดความหมายของคอลัมน์ก่อนเปลี่ยนข้อมูล

ตรวจชีต แถวหัวตาราง การเข้ารหัสข้อความ และตัวคั่นของต้นฉบับ รหัสที่มีศูนย์นำหน้าควรเก็บเป็นรหัส ไม่ใช่ตัวเลขสำหรับคำนวณ กำหนดลำดับวันเดือนปีและเครื่องหมายทศนิยมจากต้นฉบับ ไม่เดาจากค่าที่ดูเหมือนถูกต้อง ชื่อคอลัมน์ที่คล้ายกันไม่ได้ยืนยันว่าความหมายหรือหน่วยตรงกัน

ถ้าเปรียบเทียบ เชื่อมตาราง หรือลบข้อมูลซ้ำ ให้เลือกคีย์และลำดับข้อมูลตามความหมายของระเบียน คีย์เดียวกันอาจมีค่าอื่นต่างกัน การไม่สนใจช่องว่างหรือตัวพิมพ์ใหญ่เล็กอาจรวมระเบียนที่ควรแยก ตรวจว่าต้องเก็บรายการแรกหรือสุดท้าย และตรวจทิศทางการจับคู่คอลัมน์

ถ้ามีการจับคู่ฟิลด์ ให้เทียบปลายทางกับฟิลด์ต้นฉบับ สำหรับป้าย กราฟ หรือรหัส ให้ตรวจชื่อ หน่วย และลำดับ แล้วลองรหัสกับเครื่องอ่านที่จะใช้ การสร้างกราฟไม่ได้แปลงหน่วยและการสร้างบาร์โค้ดไม่ได้จัดสรรรหัสสินค้า จดวิธีจัดการวันที่และค่าว่างไว้ให้ผู้รับเข้าใจผลลัพธ์

เทียบโครงสร้างและหาข้อมูลที่สูญหาย

เทียบจำนวนแถว ลำดับคอลัมน์ และรหัสกับต้นฉบับ การขยายข้อมูลอาจเพิ่มแถว ส่วนการเชื่อมอาจตัดระเบียนที่ไม่มีคู่ ถ้ามีรายงาน ให้ตรวจรายการที่ถูกลบ ค่าที่ไม่ถูกต้อง และค่าที่ยังแก้ไม่ได้ ผลรวมและค่าเฉลี่ยต้องใช้ค่าที่อ่านเป็นตัวเลขได้ การนับระเบียนมีความหมายต่างออกไป

การเปลี่ยนรูปแบบไม่เก็บทุกโครงสร้าง CSV ไม่รองรับทุกชั้นของ JSON หรือ XML และข้อความธรรมดาไม่เก็บการจัดหน้าของชีต Base64 ถอดกลับได้และไม่ใช่การเข้ารหัสเพื่อความลับ การย่อข้อความไม่ใช่การบีบอัด ZIP ทดลองระเบียนที่มีศูนย์นำหน้า อักขระพิเศษ และค่าว่างตลอดทางจนถึงโปรแกรมผู้รับ

หากทำงานไม่สำเร็จ ให้ตรวจชื่อคอลัมน์ ทิศทางการจับคู่ ไวยากรณ์ และชนิดค่า ตัวเลขที่หายไปแล้วหรือข้อความที่ใช้การเข้ารหัสผิดไม่สามารถคืนด้วยการเดา ตรวจค่าหลังบันทึกครั้งสุดท้าย ไม่ใช่เฉพาะภาพตัวอย่าง ถ้าค่าเปลี่ยน ให้หาขั้นตอนที่ตีความชนิดข้อมูล และเก็บต้นฉบับไว้ทดลองนำเข้าใหม่

ตัวอย่างอินพุตและเอาต์พุต

หมายเลขการสั่งซื้อที่ซ้ํา → CSV พร้อมบันทึกที่เก็บไว้

ตัวอย่างอธิบายขั้นตอนการทำงาน ผลลัพธ์ขึ้นอยู่กับไฟล์ต้นฉบับและการตั้งค่า

ตรวจสอบผลลัพธ์ก่อนที่จะบันทึก

สําหรับแต่ละคีย์ที่ซ้ํากันตรวจสอบวันที่และค่าที่เก็บไว้ ตรวจสอบพื้นที่สีขาวหรือตัวเลือกกรณีที่เกิดขึ้นเท่ากันภายใต้การจับคู่ที่กว้างขึ้นและตรวจสอบคําสั่งลําดับที่บันทึกไว้ก่อนที่จะใช้แผ่นแถบ

หากผลลัพธ์แตกต่างไปจากที่คุณคาดหวัง

ชื่อหัวที่ไม่รู้จักหรือคําอธิบายที่ผิดพลาดสามารถป้องกันการประมวลผล ตัวเลือกการสั่นที่ใช้สําหรับการเปรียบเทียบไม่หมายความว่าพื้นที่สีขาวในเซลล์ที่บันทึกไว้ก็ถูกทําความสะอาด

ข้อจำกัดที่ต้องจำไว้

  • ตรวจสอบการเข้ารหัสอักขระ ตัวคั่น และชื่อคอลัมน์ ตัวเลขจำนวนมากอาจสูญเสียความแม่นยำใน JavaScript CSV จะไม่รักษาประเภทและโครงสร้างที่ซ้อนกันไว้ทุกประเภท
  • การละเว้นช่องว่างหรือความละเอียดอ่อนของตัวพิมพ์สามารถสรุปค่าต่างๆ ได้

เลือกงานถัดไป

แปลง CSV เป็น JSON

สาย CSV แรกจัดหาคีย์สําหรับวัตถุ JSON ของแต่ละสายข้อมูล หมายเลขเซลล์ถูกเก็บไว้เป็นเส้นดังนั้นตรวจสอบประเภทของพวกเขาก่อนที่จะส่งผลไปยังระบบที่คาดหวังหมายเลขหรือหมายเลข Boolean

เลือกการเข้ารหัสแหล่งและใช้การตรวจจับ delimiter อัตโนมัติหรือเลือก delimiter จริง ปรับหัวที่ว่างเปล่าหรือคู่และให้แน่ใจว่าแต่ละแถวมีจํานวนคอลัมน์เดียวกันกับหัว

เปิดเครื่องมือ

แปลง JSON เป็น CSV

การแปลงแผ่นสเปรย์นี้จําเป็นต้องมีชุดที่รายการเป็นวัตถุ การตัดสินใจว่าวัตถุที่สเปรย์ควรกลายเป็นคอลัมน์ที่แยกต่างหากหรือยังคง JSON วงในเซลล์เพราะแผ่นสเปรย์ที่เกิดขึ้นจะอ่านได้แตกต่างกันในแต่ละกรณี

อนุญาตให้ flattening เพื่อแปลงคุณสมบัติของวัตถุที่หล่อไปสู่หัวที่เชื่อมโยงกับจุด เหล็กไม่ได้ขยายไปเป็นเส้นหลายดังนั้นตรวจสอบเซลล์เหล่านี้แยกต่างหากคุณวางแผนที่จะวิเคราะห์แต่ละรายการ เหล็ก

เปิดเครื่องมือ
Covertonลบแถว CSV ที่ซ้ำกัน
เปิดเครื่องมือ

คู่มือนี้อธิบายเครื่องมือที่ใช้งานผ่านเบราว์เซอร์ได้ เก็บสำเนาไฟล์ต้นฉบับและตรวจสอบผลลัพธ์ก่อนแชร์

การแปลนี้จัดทำขึ้นด้วยความช่วยเหลือของซอฟต์แวร์ คุณยังสามารถอ่านเวอร์ชันภาษาอังกฤษได้ อ่านเป็นภาษาอังกฤษ