De-duplicate

Definition / 释义

（尤指在计算机、数据处理语境中）去重：识别并移除重复的记录、文件或信息，只保留一份（或按规则合并）。也常写作 deduplicate / de-duplicate；名词形式常见 deduplication（去重）。

Pronunciation / 发音

/ˌdiːˈdjuːplɪkeɪt/（也常见 /ˌdiːˈduːplɪkeɪt/）

Examples / 例句

Please de-duplicate the email list before sending the newsletter.
发送邮件简报前，请先把邮箱名单去重。

To improve performance, the system de-duplicates logs across servers and then indexes the remaining events for search and auditing.
为提升性能，系统会对多台服务器的日志进行去重，然后把剩余事件建立索引，用于检索与审计。

Etymology / 词源

由前缀 **de-**（表示“去除、取消”）+ duplicate（“重复的；复制”）构成，字面意思是“去掉重复”。该词在数据管理、存储与信息检索领域中尤其常用，用来描述“把重复项合并/删除”的处理步骤。

Related Words / 相关词

• Deduplicate
• Duplicate
• Remove
• Filter
• Normalize
• Merge
• Consolidate
• Unique
• Redundant
• Index

Literary Works / 文学作品

• Designing Data-Intensive Applications（Martin Kleppmann）——讨论存储系统与数据处理中的“去重/重复数据”问题（常见形式为 deduplication）。
• Site Reliability Engineering（Betsy Beyer 等）——在日志、监控与数据管道的实践中涉及去重思路与处理。
• Hadoop: The Definitive Guide（Tom White）——在大规模数据处理与ETL语境下常出现去重/重复记录处理（多用 deduplicate/deduplication）。