擅长:python、mysql、java
<p>您没有说明您使用的是哪种类型的数据库,但一般的做法是</p>
<p>1)对每个json文件进行哈希。SHA256可广泛使用。如果您关心性能,请参阅本文<a href="https://softwareengineering.stackexchange.com/questions/49550/which-hashing-algorithm-is-best-for-uniqueness-and-speed">https://softwareengineering.stackexchange.com/questions/49550/which-hashing-algorithm-is-best-for-uniqueness-and-speed</a></p>
<p>2)使哈希字段成为数据库上的唯一键,然后在执行其他操作之前尝试插入它。如果不能,则记录已存在,事务将中止</p>