请教商品查重程序的思路

Question

本人从事零售行业，工作中经常需要为客户配货。在配货过程中客户提出要求，希望每一次配的货都是新品，和之前的货尽不重复。于是尝试写一个程序，用python+sqlite的组合。在程序编码的过程中发现，数据库中商品的条码使用唯一性约束或者主键约束时没达到预想中的效果，数据库通常会比对TEXT类型中每一个字符，只要头一个或两个字符相同，就判定为重复。然而，商品条码往往在字符串第五、六位才开始有差异的。之后又尝试过直接使用数据库查询之后再根据返回值判断是否重复，但逻辑链中变量比较多，出现了比较多意想不到的程序错误。
请问这么一个查重程序比较稳妥的编写思路是怎样的呢？或者是更换其他的数据库？

Answer 1

下午好🌅🌅🌅
本答案参考通义千问

针对你提出的问题，即在零售行业中使用Python + SQLite编写商品查重程序时遇到的条码比对问题，我们可以从以下几个方面进行系统分析和解决方案设计。

---

一、问题分析

1. 条码格式的特殊性

• 商品条码通常为字符串类型（如："123456789012"），但其前几位字符可能相同，只有后几位才有区别。
• 当使用SQLite中的TEXT类型字段并设置唯一性约束或主键时，数据库会逐字符比较整个字符串，导致即使前几个字符相同，也会被判定为重复。

2. 现有方案的不足

• 使用唯一性约束或主键约束无法满足实际需求，因为它们是基于完整字符串匹配的。
• 使用查询后再判断是否重复逻辑复杂，容易出错，尤其是在多线程或多用户环境下。

---

二、稳妥的查重程序编写思路

为了确保程序稳定、高效地实现“避免重复配货”的目标，建议采用以下思路：

1. 数据库设计优化

• 不将条码设为主键或唯一索引，而是单独维护一个商品表和配货记录表。
• 在配货记录表中增加一个字段，用于存储已配货的商品ID或条码，并通过查询判断是否存在该条码。

示例表结构：

CREATE TABLE products (
    id INTEGER PRIMARY KEY,
    barcode TEXT NOT NULL UNIQUE
);

CREATE TABLE order_records (
    id INTEGER PRIMARY KEY,
    product_id INTEGER,
    FOREIGN KEY (product_id) REFERENCES products(id)
);

注意： products.barcode 设置为 UNIQUE 是合理的，因为它代表的是商品本身的唯一标识，而不是配货记录。

---

2. 查重逻辑实现

✅ 推荐方式：先查再插入

• 在每次配货前，先检查数据库中是否有该条码对应的商品。
• 如果存在，则跳过；如果不存在，则插入新商品并记录配货信息。

Python代码示例：

import sqlite3

def add_product_and_order(conn, barcode):
    cursor = conn.cursor()
    
    # 检查商品是否已存在
    cursor.execute("SELECT id FROM products WHERE barcode = ?", (barcode,))
    result = cursor.fetchone()
    
    if result:
        print(f"商品 {barcode} 已存在，不重复配货。")
        return False
    
    # 插入新商品
    cursor.execute("INSERT INTO products (barcode) VALUES (?)", (barcode,))
    product_id = cursor.lastrowid
    
    # 记录配货信息
    cursor.execute("INSERT INTO order_records (product_id) VALUES (?)", (product_id,))
    conn.commit()
    print(f"成功添加商品 {barcode} 到配货记录。")
    return True

关键点： 通过查询确认商品是否存在，而不是依赖唯一性约束，可以更灵活地控制逻辑。

---

3. 增加缓存机制（可选）

• 对于高频访问的条码，可以使用内存缓存（如字典）来快速判断是否重复，减少数据库查询次数。

barcode_cache = {}

def is_duplicate(barcode):
    return barcode in barcode_cache

def add_to_cache(barcode):
    barcode_cache[barcode] = True

---

三、性能与稳定性优化建议

| 优化点 | 说明 | |--------|------| | 事务处理 | 使用 BEGIN TRANSACTION 和 COMMIT 确保数据一致性 | | 并发控制 | 若多用户同时操作，建议使用锁机制或连接池 | | 日志记录 | 添加详细的日志输出，便于排查错误 | | 异常处理 | 捕获数据库异常，防止程序崩溃 |

---

四、是否需要更换数据库？

❌ 不推荐更换数据库（如MySQL/PostgreSQL）

• SQLite 已足够应对你的业务场景，尤其在轻量级应用中表现良好。
• 更换数据库会带来额外的学习成本和部署复杂度。

✅ 仅在以下情况考虑更换：

• 需要支持高并发写入（如每秒数千次操作）
• 需要复杂的查询或全文搜索功能

---

五、总结：稳妥的查重程序编写思路

1. 合理设计数据库结构，避免使用不当的唯一性约束。
2. 在程序中先查询再插入，确保逻辑清晰可控。
3. 增加缓存机制提升性能。
4. 加强异常处理和日志记录，提高程序健壮性。
5. 优先使用SQLite，除非有明确的高性能需求。

---

六、修改后的完整代码示例

import sqlite3

# 初始化数据库
def init_db():
    conn = sqlite3.connect('retail.db')
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS products (
            id INTEGER PRIMARY KEY,
            barcode TEXT NOT NULL UNIQUE
        )
    ''')
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS order_records (
            id INTEGER PRIMARY KEY,
            product_id INTEGER,
            FOREIGN KEY (product_id) REFERENCES products(id)
        )
    ''')
    conn.commit()
    return conn

# 添加商品并记录配货
def add_product_and_order(conn, barcode):
    cursor = conn.cursor()
    
    # 查询商品是否已存在
    cursor.execute("SELECT id FROM products WHERE barcode = ?", (barcode,))
    result = cursor.fetchone()
    
    if result:
        print(f"商品 {barcode} 已存在，不重复配货。")
        return False
    
    # 插入新商品
    cursor.execute("INSERT INTO products (barcode) VALUES (?)", (barcode,))
    product_id = cursor.lastrowid
    
    # 记录配货信息
    cursor.execute("INSERT INTO order_records (product_id) VALUES (?)", (product_id,))
    conn.commit()
    print(f"成功添加商品 {barcode} 到配货记录。")
    return True

# 主函数测试
if __name__ == "__main__":
    conn = init_db()
    add_product_and_order(conn, "123456789012")  # 第一次添加
    add_product_and_order(conn, "123456789012")  # 第二次尝试添加（应提示已存在）
    conn.close()

---

如果你有更多关于商品管理、配货流程或数据库优化的问题，欢迎继续提问！