itransformer

Question

求解：对于patchtst、itransformer这样的模型。如果是多变量X(1, 2, 3)预测单变量(y)。为什么他们的输入包含了y这个特征。输入类似(batch,seq_len, var)。对于这两个模型他的var=4，但是我的本来只有三个var X(1, 2, 3)，他把y也放入了，所以预测结果时存在一个取最后一列[：，：，-1：]。这就是预测的y_，但是他不是把y的历史也当作特征训练了吗？如果不加y进入，那么最后预测的结果就是三个变量的下一个预测值，那么取哪一个预测值与y进行损失的运算？

Answer 1

引自免费微信小程序：皆我百晓生

在处理时间序列数据时，尤其是使用像PatchTST（PATCH-based Temporal Shift Transformer）和iTransformer（Interactive Transformer）这样的复杂模型时，确实可能会遇到关于输入格式和输出解释的问题。这类模型通常设计用于捕捉序列中的长期依赖关系，并且它们可以同时处理多个输入特征（即多变量）以预测一个目标变量（即单变量）。当输入是多变量（例如X(1, 2, 3)），并且目标是预测第四个变量Y时，模型的输入确实可能包含Y的历史值。

原因在于，在某些情况下，将目标变量作为额外的输入特征有助于提高模型的预测性能，特别是当模型试图学习序列中的交互行为或者时间上的相关性时。尽管这看起来像是模型在预测自己的历史，但实际上是利用了过去的时间步信息来更好地预测未来值。这是因为这些模型通常具有某种形式的记忆机制（比如注意力机制或者循环结构），它们可以区分输入特征之间的差异，并不会因为Y的历史值而陷入自我预测的循环。

输入格式通常是(batch_size, sequence_length, num_features)，这里的num_features包括所有输入特征和目标变量。在这种情况下，num_features = 4是因为它包含了X(1, 2, 3)和Y。预测结果是一个形状为(batch_size, sequence_length, num_features)的张量，其中最后一个维度对应每个特征的预测值，包括Y的预测值。为了得到Y的预测，你需要从预测结果中提取出最后一列，即predictions[:, :, -1]。

如果你不希望模型看到Y的历史值作为输入，可以只提供X(1, 2, 3)作为输入特征，这样模型就只能基于X的序列信息来预测Y。然而，这样做可能会影响模型的预测能力，因为它无法利用Y自身的过去值来辅助预测。在这种情况下，预测结果将是三个变量的下一个预测值，你需要选择其中一个作为Y的预测，这取决于你的具体应用需求。例如，如果你对预测X(1)感兴趣，可以选择predictions[:, -1, 0]；如果你对预测Y感兴趣，但由于没有给模型提供Y的历史，这可能会导致较差的预测效果。

下面是一个简单的PyTorch示例，展示了如何构建一个多输入、单输出的模型，这里我们只使用X(1, 2, 3)作为输入，然后选择其中一个预测值作为Y的预测：

import torch
from torch import nn

# 假设我们有一个输入批次，每个样本有5个时间步，3个输入特征
input_data = torch.randn(16, 5, 3)

class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.encoder = nn.LSTM(3, hidden_size=64, batch_first=True)
        self.decoder = nn.Linear(64, 3)  # 输出层大小为3，因为我们只关心X(1, 2, 3)的预测

    def forward(self, x):
        encoded_output, _ = self.encoder(x)
        decoded_output = self.decoder(encoded_output[:, -1, :])  # 取最后一个时间步的隐藏状态做预测
        return decoded_output

model = SimpleModel()
output = model(input_data)
# 如果你想得到每个特征的预测，可以这样：
x1_pred = output[:, :, 0]
x2_pred = output[:, :, 1]
x3_pred = output[:, :, 2]

# 或者，如果你想把输出简化为一个向量，可以只保留第一个特征作为Y的预测
y_pred = x1_pred if your_application_needs_x1 else x2_pred if your_application_needs_x2 else x3_pred

在这个例子中，我们仅使用LSTM作为简单模型，但你可以根据实际需求替换为更复杂的模型，如PATCHTST或iTransformer。重要的是理解模型是如何处理输入和输出的，并根据应用需求进行相应的调整。