热点新闻
R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Cholmod error 'problem too large'
2023-08-08 20:13  浏览:2117  搜索引擎搜索“手机闹展网”
温馨提示:信息一旦丢失不一定找得到,请务必收藏信息以备急用!本站所有信息均是注册会员发布如遇到侵权请联系文章中的联系方式或客服删除!
联系我时,请说明是在手机闹展网看到的信息,谢谢。
展会发布 展会网站大全 报名观展合作 软文发布

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。

问题&报错

在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误:

Error in asMethod(object) : Cholmod error 'problem too large' at file ../Core/cholmod_dense.c

原因&解决

这是因为as.matrix这个函数本身不支持大体量的稀疏矩阵转换为稠密矩阵(也就是我们常规的矩阵),但如果采取用高级语言(例如R或python)循环填进去的方法的话,极其耗费资源,所以可以选择直接修改该函数的底层C++语言,来解决这个问题:

library(Rcpp) Rcpp::sourceCpp(code=' #include <Rcpp.h> using namespace Rcpp; // [[Rcpp::export]] IntegerMatrix asMatrix(NumericVector rp, NumericVector cp, NumericVector z, int nrows, int ncols){ int k = z.size() ; IntegerMatrix mat(nrows, ncols); for (int i = 0; i < k; i++){ mat(rp[i],cp[i]) = z[i]; } return mat; } ' ) as_matrix <- function(mat){ row_pos <- mat@i col_pos <- findInterval(seq(mat@x)-1,mat@p[-1]) tmp <- asMatrix(rp = row_pos, cp = col_pos, z = mat@x, nrows = mat@Dim[1], ncols = mat@Dim[2]) row.names(tmp) <- mat@Dimnames[[1]] colnames(tmp) <- mat@Dimnames[[2]] return(tmp) } as_matirx() #接下来调用即可

PS,如果数据是浮点型需要把上述的IntegerMatrix替代为NumericMatrix,不然会强制转化为整型的矩阵。

构建稀疏矩阵

此外,如果需要将稠密矩阵转化成为稀疏矩阵,方法很多,介绍一种使用

library("Matrix") dg <- as(matrix_object,"dgCMatrix")

具体关于构建和解释稀疏矩阵,可以参照:https://blog.csdn.net/jeffery0207/article/details/122507934

题外

最后,其实如果不想这么麻烦,又不想去sample随机取样缩减数据量,大家也不用那么死板,那就先把大矩阵拆分成几个小的,转完之后再合并就行了,效果是一样的,不是非得一次性转完才算好,曲线救国的方式很多,bug自然就消失了。

发布人:c3bc****    IP:117.173.23.***     举报/删稿
展会推荐
让朕来说2句
评论
收藏
点赞
转发