shell多线程并发

Question

以下shell脚本

threadNum=10

concurrent_common(){
fileName=$1


#生成临时管道文件
mkfifo sdbfifo

exec 7<> sdbfifo
rm -rf sdbfifo

for i in $(seq 1 ${threadNum})
do
    echo >&7
done


while read line
do
  read -u7
  {
    ##TODO something
    ## 业务逻辑
    sleep 3
    
    echo >&7
  }&
done < ${fileName} 

#loop end
wait  #等待上面所有后台进程结束
exec 7>&- ## 重新写入管道进程符号

echo "task over"
}

会有多线程并发导致多线程读取文件中相同行对同一行重复处理的问题吗？

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

【您想要解决的问题】： 您想要解决的问题是确保在使用shell脚本进行多线程并发处理时，不会发生多个线程读取文件中相同行数据并对其重复处理的问题。

【问题出现原因】： 问题可能出现的原因有几个：

1. 脚本中使用了管道（sdbfifo）来同步线程，但没有明确地使用锁机制或者确保每个线程处理文件中的每一行是唯一的。
2. 脚本中while read line循环和echo >&7的使用可能无法保证线程间的同步，导致多个线程可能读取到同一行数据。
3. 脚本中的sleep 3在每个线程中执行，这可能导致线程调度和同步问题。

【问题解决方案】： 为了解决这个问题，可以采取以下措施：

1. 使用文件锁或者数据库锁来确保同一时间只有一个线程可以处理文件中的一行。
2. 在读取文件时，可以采用一些机制来标记已经处理过的行，以避免重复处理。
3. 确保线程间的同步，比如使用信号量或者互斥锁。

【提供代码】： 以下是修改后的代码示例，使用了sort -u命令来确保文件中的每一行只被读取一次，并且使用了一个简单的锁机制来避免重复处理：

threadNum=10

concurrent_common(){
    fileName=$1

    # 使用sort -u来确保文件中的每一行只被读取一次
    sortedFileName=$(mktemp)
    sort -u "$fileName" > "$sortedFileName"

    # 创建锁文件
    lockFile=$(mktemp)

    # 处理文件的每一行
    while IFS= read -r line; do
        # 创建锁，确保同一时间只有一个线程可以处理这一行
        flock -n 200 || continue # 200是锁文件的描述符
        if [ $? -eq 0 ]; then
            # TODO something
            # 业务逻辑
            sleep 3
            # 释放锁
            flock -u 200
        fi
    done < "$sortedFileName"

    # 清理临时文件
    rm -f "$sortedFileName" "$lockFile"

    echo "task over"
}

# 运行函数
concurrent_common "your_file.txt"

【代码运行方式】：

1. 将上述脚本保存为.sh文件。
2. 赋予该脚本执行权限：chmod +x your_script.sh。
3. 运行脚本：./your_script.sh。

【代码预期运行结果】：

• 脚本将处理指定文件的每一行，确保不会有重复处理的情况。
• 所有线程将同步运行，直到文件中的所有行都被处理完毕。

【推荐相关链接】：

• Bash 脚本编程
• 使用 flock 命令管理文件锁
• Linux 管道和FIFO