关于#Python#的问题，如何解决？

Question

问题遇到的现象和发生背景

想利用Python计算两个array之间的距离
points1是表1的array，points2是表2的array

points1 = dfA.values
points2 = dfe1.values

我的解答思路和尝试过的方法

使用过分块计算和np.sqrt计算，但是不支持float类型的计算，出错了

我想要达到的结果

下面两个表每一列代表坐标x,y,z，想计算表1和表2两两点的距离并筛选出表1每个点与表2中距离最近的40个点
注：每个表基本上都有几十万行，所以计算速度是个问题，而且每一列的数据类型都是float，最好能够使用分块计算
表1

表2

Answer 1

参考GPT和自己的思路：你可以使用scipy.spatial.distance.cdist函数来计算两个array之间的距离，并使用argsort函数和切片来找到表1每个点与表2中距离最近的40个点。以下是一个示例代码，它使用分块计算来加快速度：

import numpy as np
from scipy.spatial.distance import cdist

# 假设points1和points2是两个array，每一行代表一个点的坐标
points1 = np.random.rand(100000, 3)
points2 = np.random.rand(200000, 3)

# 将points2划分成多个块，每个块包含1000个点
block_size = 1000
blocks2 = [points2[i:i+block_size] for i in range(0, len(points2), block_size)]

# 计算每个点在points1中与所有块中的点的距离，并找到每个点距离最近的40个点的索引
k = 40
distances = []
for block2 in blocks2:
    dist = cdist(points1, block2)
    indices = np.argpartition(dist, k-1)[:, :k]
    distances.append((dist, indices))
distances = np.concatenate(distances, axis=1)
nearest_indices = np.argsort(distances, axis=1)[:, :k]

# 最近的40个点在points2中的坐标
nearest_points2 = np.concatenate([blocks2[i][nearest_indices[:, i]] for i in range(len(blocks2))])

# 计算表1每个点与最近的40个点的距离
distances = np.linalg.norm(points1[:, np.newaxis] - nearest_points2, axis=2)

这个代码首先将points2划分成多个块，并分别计算每个点在points1中与所有块中的点的距离，然后找到每个点距离最近的40个点的索引。最后，它计算最近的40个点在points2中的坐标，并计算表1每个点与最近的40个点的距离。