問題文
ある物流企業は、旧来の受注システムと新しい受注システムの2つから注文データを取り込んで1つの学習データセットにしている。移行の期間に両方へ登録された注文があり、同じ注文が2行として入っていた。取り込み日時の列があるため、行の内容は完全には一致しない。最も適した対処はどれか。
選択肢
- 重複が疑われる移行の期間の行を無作為に半分削除し、残った行を学習データセットとして使う
- 重複を残したまま学習し、件数の多さで精度を上げる
- すべての列が完全に一致する行だけを重複と判定して削除し、残った行はそのまま使う。取り込み日時の列は比較の対象から外す
- 注文番号のように業務上一意と決まっている項目で重複を判定し、どちらの行を残すかの規則を定めて1行に統合する