csv
CSV重複削除・重複抽出
CSV・TSVの重複行を削除したり、重複している行だけを抽出したりできます。行全体の完全一致と、指定したキー列による判定の両方に対応します。
入力内容は原則としてこのブラウザ内で処理します。ファイル内容や貼り付けたデータをTool Koboのサーバーへ送信しません。
Duplicates
CSVの重複を削除・抽出
UTF-8対応 / サーバー送信なし
Result
処理結果
Use cases
主な用途
- すべての列が同じ重複行を削除したい
- 顧客IDや注文番号など、指定したキー列で重複を判定したい
- 複数列の組み合わせをキーにして重複を確認したい
- 重複しているデータだけを抽出して確認したい
How to use
使い方
- CSV・TSVファイルを選ぶか、テキストを貼り付けます。
- 入力の区切り文字と、1行目を見出しとして扱うかを確認して「データを読み込む」を押します。
- 「行全体の完全一致」か「指定したキー列で判定」かを選びます。
- キー列で判定する場合は、重複判定に使う列を1つ以上選択します。
- 重複を削除するか、重複している行だけ抽出するかを選び、処理を実行します。
- 結果をコピーするか、ファイルとしてダウンロードします。
Tips
「完全一致」と「キー列指定」の違い
行全体の完全一致では、1行のすべての列が同じ場合だけ重複と判断します。まったく同じ行だけを重複として扱いたい場合に使います。
キー列指定では、選んだ列だけを見て同じデータか判断します。たとえば customer_id をキー列にすると、氏名や住所が異なっていても customer_id が同じ行は重複として扱われます。
customer_id,name,prefecture
C001,山田,東京
C001,山田太郎,神奈川この2行は「完全一致」では重複ではありませんが、customer_id をキー列にすると重複です。複数のキー列を選んだ場合は、その組み合わせがすべて同じ行だけが重複になります。
重複削除と重複抽出の違い
「重複を削除」は、同じと判定されたグループから1行を残して整理する処理です。「重複している行だけ抽出」は、重複グループに含まれる行をまとめて確認するための処理です。
Specification
対応内容
カンマ、タブ、セミコロン、パイプ区切りのCSV・TSVに対応します。CSVとして解析してから重複判定を行うため、ダブルクォート内の区切り文字やセル内改行もそのまま扱います。
重複削除では、同じと判断されたグループから最初の行または最後の行を残せます。「重複している行だけ抽出」では、同じ判定値が2件以上あるグループに含まれる行をすべて出力します。
1行目を見出しとして扱う場合、見出し行は重複判定の対象外となり、結果の先頭にそのまま残ります。ファイル読み込みはUTF-8を対象とし、UTF-8 BOM付き入力は出力でもBOMを保持します。文字コード自体を変換したい場合は、文字コード変換を利用できます。
FAQ
よくある質問
キー列は何を選べばいいですか？
「この値が同じなら同じデータとみなせる」という列を選びます。判定基準が決まっていない場合は、まず「行全体の完全一致」を使うと、すべての列が同じ行だけを対象にできます。
キー列を複数選ぶとどうなりますか？
選んだ列の組み合わせがすべて同じ場合に重複と判断します。たとえば「顧客ID + 注文日」を選ぶと、両方が同じ行だけが重複になります。
「重複している行だけ抽出」とは何ですか？
重複グループを確認するためのモードです。重複した2件目以降だけではなく、そのグループに含まれる行をすべて出力します。
入力したCSVはサーバーへ送られますか？
いいえ。解析、重複判定、削除・抽出、コピー、ダウンロードはブラウザ内で行います。