R语言|用ScaleData分析数据集时出现的内存不足问题

Question

在用seurat跑单细胞分析的时候，感觉因为数据集太大一直出现奇奇怪怪的报错

做标准化分析的时候出现的报错

我的代码

Hs <- ScaleData(Hs,features = all.genes)

我报过的错们

Centering and scaling data matrix
  |=============================================                            |  62%Error in (function (mat, scale = TRUE, center = TRUE, scale_max = 10,  : 
  std::bad_alloc

Centering and scaling data matrix
  |=========================================================================| 100%
Error: cannot allocate vector of size 10.5 Gb

本来不是很懂，但是刚刚好不容易跑出上面100%的错，感觉就是因为内存问题没错了，但是上网搜索了一下，大家说的修改内存用的memory.limit（)已经停用了。而且在cmd上增加参数我试了一下也不可以，效果如图

请大家帮忙看一下如何解决这个问题！万分感谢！

Answer 1

当使用R语言和Seurat进行单细胞分析时，数据集大小可能会导致内存问题。这可能会在运行函数 ScaleData 时导致错误。其中一种解决方法是将数据集分成更小的部分，然后在每个部分上独立运行 ScaleData 函数。这将降低单次内存需求。

另一个选择是使用内存管理库来优化内存使用。'bigmemory' 和 'ff' 是两个可用于此目的的库。这些库允许您使用类似于数组的对象在磁盘上进行大规模数据集的存储和处理。

另外,Seurat v3 中已经引入了轻量化的工作流，能够缩小分析的规模。还有更多的内存优化技巧在Seurat v3 中可以解决。为了示例如何使用内存管理库来优化内存使用，让我们来看一个使用 bigmemory 库进行数据读取和处理的示例。

假设我们有一个大型数据集 'large_dataset.txt'，我们可以使用以下代码将它读入big.matrix对象：

library(bigmemory)
large_matrix <- read.big.matrix("large_dataset.txt", type = "double", 
header = TRUE, sep = "\t")

然后可以在big.matrix上使用R的矩阵语法进行操作

mean_of_columns <- colMeans(large_matrix)

对于对每一行进行操作,可以使用 apply() 函数

transformed_matrix <- apply(large_matrix, 1, function(x) x / sum(x))

使用这种方法可以有效地减少内存使用，因为它只需要在内存中保留小部分数据。

但是使用 bigmemory 会带来一些额外的操作开销,因此在内存充足时可能不会有太大的收益.