数据降维问题:用KPCA实现降维 20C

样本数是11,特征数有500个,想用kpca实现降维,使特征数变为300
是否可以实现?

0

1个回答

是的,可以实现,而且有很多办法可以实现。

0
sonwball_gxp
sonwball_gxp 请问题主实现了没?
12 天之前 回复
xiaojuzitou
H-tianzhen 请问对这种高维小样本问题,KPCA如何实现降维呢?
5 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
数据降维(PCA、KPCA、PPCA)及C++实现
1、何为数据降维 1.1维数灾难:往往满足采样条件所需的样本数目巨大、样本稀疏、距离计算困难。 1.2降维:利用数学变换将原始高维属性空间转变为低维“子空间”,即在高维采样数据中提取能够表达原始数据的特征。 1.3 降维优点:数据集更易懂、使用和显示;降低算法计算开销;去除噪声。 2、一些降维算法 Principal Component Analysis (PCA) Linear Di...
MATLAB数据降维工具箱drtoolbox介绍
最近在做数据降维的处理工作接触到drtoolbox工具箱,感谢:http://blog.csdn.net/xiaowei_cqu 提供的博文,我又做了些总结。 1.MATLAB drtoolbox 介绍 The Matlab Toolbox for Dimensionality Reduction contains Matlab implementations of 38 techniqu
【Python-ML】非线性映射降维-KPCA方法-新样本映射
# -*- coding: utf-8 -*- ''' Created on 2018年1月18日 @author: Jason.F @summary: 特征抽取-KPCA方法,核主成分分析方法,RBF核实现,增加新样本映射功能 KPCA基于内存,每次映射新样本,需要计算训练数据集中每一个样本和新样本之间的相似度(点积) ''' import pandas as pd impo
机器学习-降维算法(KPCA算法)
一,介绍 现实中往往很多数据是线性不可分的,因此我们需要引入核函数把数据映射到高纬度而达到线性可分。基于核函数的主成分分析(KPCA)和主成分分析(KPCA)的步骤是一样的,只不过需要用核函数替代了原来的数据。 原理从其他地方拷贝而来: 二,代码实现 from sklearn.datasets import make_moons from sklearn.decomposition ...
稀疏kpca,对数据降维
kpca的改进算法,用于非线性数据的降维处理,消除数据间的关联性,降低冗余度
Matlab数据降维工具箱
http://homepage.tudelft.nl/19j49/Matlab_Toolbox_for_Dimensionality_Reduction.html http://homepage.tudelft.nl/19j49/Matlab_Toolbox_for_Dimensionality_Reduction.html Home  Curriculu
降维算法之KPCA原理推导
提示:由于本人是在word里整理的文档,本想直接粘贴到博客,无奈博客里面的数学公式显示乱码,为了节省时间只好从整理好的文档里截图啦!有错误的地方,望读者指正!...
sklearn 降维方法概述
降维方法 现实中的许多数据都是稀疏的(sparse),高维数据处理的时间和空间复杂度都十分大,因此需要对数据进行降维 对数据进行降维,会在一定程度上降低数据的精度,同时也会增加机器学习模型处理流程的复杂度。 主要的降维方法 映射(Projection) 现实中的许多数据的特征都是相关的,或者特征为常数,可以利用映射的方法将高维数据映射到低维 流行学习(Manifold
python 数据降维PCA,KernelPCA模型
运行环境:win10 64位 py 3.6 pycharm 2018.1.1 import numpy as np import matplotlib.pyplot as plt from sklearn import datasets,decomposition,manifold def load_data(): iris = datasets.load_iris() r...
PCA(主成分分析)方法数据降维、重构和人脸识别
本文使用matlab采用PCA完成对数据的降维、重构和人脸识别。 参考文章:http://blog.csdn.net/watkinsong/article/details/38536463 我眼中的PCA: 数据的维数过高,处理起来耗时又费力,于是就在想我能不能只处理部分维数,并且得到的结果与全部维数的结果一致。当当当,PCA就出炉了。简单来说,就是一个图片有2000个特征维度,而实际上只有
干货——为什么降维和降维实例
参考资料 https://www.scipy-lectures.org/packages/scikit-learn/auto_examples/plot_tsne.html http://colah.github.io/posts/2014-10-Visualizing-MNIST/ 为什么要对数据进行降维 实际应用中的数据一般是高维的,比如手写的数字,如果我们缩放到28×2...
KernelPCA进行非线性数据的映射和分类
KernelPCA进行非线性数据的映射和分类1、线性与非线性问题 2、分类半月形数据2.1、准备半月形数据2.2、使用 PCA 解决半月数据分类并可视化显示 2.3、使用 Kernel-PCA 解决半月数据分类并可视化显示 3、分类同心圆数据3.1、准备同心圆数据3.2、PCA 对同心圆数据进行分类 3.3、KernelPCA 对同心圆数据进行分类 喜欢就点赞评论+关注吧感谢阅读,希望能帮
数据降维方法及Python实现
一、数据降维了解 1.1、数据降维原理:机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。 y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的)。f可能是显式的或隐式的、线性的或非线性的; 1.2、不进行数据降维的...
机器学习降维与数据可视化
从SNE到t-SNE再到LargeVishttp://bindog.github.io/blog/2016/06/04/from-sne-to-tsne-to-largevis/
数据压缩之降维(三)——KPDA
学习《python machine learning》chapter5——Compressing data via dimensionality reductionPCA链接 https://blog.csdn.net/Amy_mm/article/details/79812241主要内容如下:(1)主要成分分析 Principal Component Analysis (PCA) ——非监督学习...
机器学习之降维
本周关于降维的学习主要分为五类:PCA、LDA、LLE、tSNE、ISOMAP 来进行学习 首先自己的任务是:tSNE的学习 (一)降维的基本知识点总结 1、降维方法分为线性和非线性降维,非线性降维又分为基于核函数和基于特征值的方法。 (1)线性降维:PCA、ICA、LDA、LFA、LPP (2)非线性降维方法:①基于核函数的方法:KPCA、KICA、KDA ②基于特征值的
【机器学习】Tensorflow:tSNE数据非线性降维
深度学习巨头之一的Hinton大神在数据降维领域有一篇经典论文Visualizing Data using t-SNE。该方法是流形(非线性)数据降维的经典,从发表至今鲜有新的降维方法能全面超越。该方法缺点是计算复杂度大,一般推荐先线性降维然后再用tSNE降维。python sklearn有相应的实现。我现在用Tensorflow实现这个算法。
机器学习笔记之(6)——数据降维(PCA与SVD)
数据降维(数据压缩)是属于非监督学习的一种,但是其实它也属于一种数据处理的手段。也就是说,通过数据降维,对输入的数据进行降维处理,由此剔除数据中的噪声并通过机器学习算法的性能,用于数据预处理。主要有:主成分分析(PCA)和奇异值分解(SVD)。PCA——通过按照数据方差最大方向调整数据的逼近来达到降维的目的。SVD——是矩阵分解技术中的一种,通过对原始数据的逼近来达到降维的目的。(之前介绍过的监督...
机器学习_用SVD奇异值分解给数据降维
若将矩阵看做一个变换,那么任何这样的变换可以看做是两个旋转和一个缩放变换的复合,这点和特征值分解基本一样。它也可以通过对Sigma的调整实现降维,通过U和VT在高维和低维间转换。
PCA降维(MATLAB实践)
PCA原理PCA的原理就是将原来的样本数据投影到一个新的空间中,相当于我们在矩阵分析里面学习的将一组矩阵映射到另外的坐标系下。通过一个转换坐标,也可以理解成把一组坐标转换到另外一组坐标系下,但是在新的坐标系下,表示原来的原本不需要那么多的变量,只需要原来样本的最大的一个线性无关组的特征值对应的空间的坐标即可。 比如,原来的样本是30*1000000的维数,就是说我们有30个样本,每个样本有1000
机器学习数据降维方法总结(附python代码)
介绍 在机器学习实战时,如果面对一个数据集具有上千个特征,那么对于模型训练将是一个巨大的挑战。面对如此多的数据变量,如果我们认真的去分析每一个变量将耗费我们几周甚至几个月的时间,那么你估计也要被开除了。因此我们需要一个更好的方法能够帮助我们在高维数据中筛选出对我们有用的变量,减小计算复杂度提高模型训练效率和准确率,这就是我们要说的降维。 降维分析 在网络时代,每天都要产生巨大数量的数据,事实...
如何实现降维处理(R语言)
转载自:http://f.dataguru.cn/thread-303589-1-1.html 现实世界中数据一般都是复杂和高维的,比如描述一个人,有姓名、年龄、性别、受教育程度、收入、地址、电话等等几十种属性,如此多的属性对于数据分析是一个严重的挑战,除了极大增加建模的成本和模型的复杂度,往往也会导致过拟合问题,因此在实际处理过程中,一些降维的方法是必不可少,其中用的比较多的有主成分分析(PC
神经网络用于数据降维
来自论文:Reducing the Dimensionality of Data with Neural Networks 这篇文章是深度学习领域的大牛hinton写的。这篇文章涉及的一个主要知识点就是受限玻尔兹曼机,所以你要先懂什么是玻尔兹曼机,如果你百度,基本是相同的解释,我基本都没有理解。这里推荐一篇文章 《受限玻尔兹曼机》张春霞,写的很详细,比较容易理解,截取一段:
PCA降维--代码实现
1.PCA降维 from numpy import * def loadDataSet(fileName, delim='\t'): fr = open(fileName) stringArr = [line.strip().split(delim) for line in fr.readlines()] datArr = [map(float,line) for li
关于数据降维函数sklearn-PCA的使用
1. PCA介绍PCA是主成分分析,用来降维,用少量的变量去解释大部分变量,使得变量维度减少,从而减少计算量。2. 调用方法 以及 参数的简单介绍 # 先看看PCA构造函数中的默认参数 ''' def __init__(self, n_components=None, copy=True, whiten=False, svd_solver='auto', tol=0
用PCA主成分分析给数据降维
 有时我们的数据中包括很多属性,有些是没意义的,有些是重复的,有些组合后意义更明显。此时,我们需要简化属性节约算力,去噪,去冗余,求取更典型的属性,同时又希望不损失数据本身的意义。 主成分分析(Principal Component Analysis,PCA),是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。数据分析中常使用PCA给数据降...
深度学习中的降维操作——PCA(主成分分析)
前言: 深度学习是个很有意思的话题: 1.对线性不可分的数据,其方法是通过增加隐层神经元的数量,将低维不可分的数据映射到高维,使得数据可分(如单隐层感知机训练异或门) 2.对特征维数过高的数据(如mnist手写识别中的维度为28*28),将对数据进行降维操作,通常的降维操作有PCA(主成分分析)与dA(降噪自动编码器)。 下面是对PCA的工作流程的简述,之后对工作流程进行数学上的解
数据降维之LDA&PCA
数据降维之LDA&PCA我们都知道机器学习算法的性能受到样本数据的特征维数的影响,特征维数越多,需要的训练数据也越大,机器学习算法所消耗的时间也越多,甚至成指数爆炸增长。同时过多的特征维数之间也可能存在相互关联的特征和一些噪声。因此,在训练机器学习算法之前,通常我们会对样本数据进行预处理,数据降维就是通常需要完成的一步。线性判别分析(LDA)线性判别分析属于有监督学习算法,也就是对于每一个给定的n维
MATLAB自带工具箱实现PCA降维代码
进行PCA降维,环境是MATLAB,网上找了很多都是介绍PCA原理的,两篇介绍的不错的PCA 原理文章,只是想实现pCA的大可不必看.原理文章1 原理文章2下面开始介绍用MATLAB自带工具包函数pca(对应老版本函数princomp,在maltab里help princomp会提示你用pca代替他)进行降维的方法. 直接上代码分析:[pc,score,latent,tsquare] = pca(...
【Python-ML】非线性映射降维-KPCA方法
# -*- coding: utf-8 -*- ''' Created on 2018年1月18日 @author: Jason.F @summary: 特征抽取-KPCA方法,核主成分分析方法,RBF核实现 ''' import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy.spatial.d
机器学习:降维算法-核主成分分析KPCA算法原理推导
微信交流: 说真的,刚开始接触机器学习,一看到带“核”字的算法就头疼(-…-),没高人指引,总觉得理解起来费劲,也不确定理解的对不对。可能是因为这个“核”有点抽象,没有具体形式(形式不确定),操作很风骚。当然到现在也不敢说自己有多理解,只能扯扯目前所理解到的核主成分分析KPCA。 PCA是简单的线性降维的方法,KPCA则是其非线性的扩展,可以挖掘到数据集中的非线性信息。 KPCA的主要过...
PCA降维简介
PCA全称为principal componentanalysis,即主成成分分析,用于降维。对数据进行降维有很多原因。比如:        1:使得数据更易显示,更易懂        2:降低很多算法的计算开销        3:去除噪声 一:基本数学概念 1:方差 均值太简单了,不说了。方差是各个数据分别与其和的平均数之差的平方的和的平均数,用字母D表示。计算公式如下:
机器学习——特征工程之核化线性降维KPCA
一、前言 1、 线性降维的假设:从高维空间到低维空间的函数映射是线性的 2、 然而,现实任务中大多数可能需要非线性映射才能找到恰当的低维嵌入 3、 低维嵌入:低维(“本真”)空间样本点采样后以某种分布嵌入(映射)到高维空间中 二、KPCA原理 1、 非线性降维常用方法之一:基于核技巧对线性降维方法进行“核化” 2、 PCA求解目标:
数据预处理之数据降维 PCA法
数据降维之PCA与SVD法
KPCA的matlab实现
在网上看到了的实现,其中的好些注释不能令自己满意,故此,copy过来,自己修改注释!其中有些地方也不准确!故此自己修改的结果! function [train_kpca,test_kpca] = kpcaFordata(train,test,threshold,rbf_var) %% Data kpca processing if nargin rbf_var=10000;%? end
机器学习中高维数据降维技术的总结与研究
本文有比较多的转载其他研究人员的博客https://blog.csdn.net/u014772862/article/details/52335970作为一名机器学习的科研人员,之前在推荐系统的开发和工作中,学习了PCA(主成分分析)与SVD(奇异值分解)方面的技术,但是还没有写过总结性的文章,此次,本人总结一些关于降维技术的调研,希望大家多多指教。降维方法一般分为线性降维方法和非线性降维方法,如...
数据降维和特征选择
数据降维和特征选择 博主言:本文作为理论和概念整理,不做公式推导和详解计算过程,如需了解相关概念的计算公式和过程,在文后的参考链接中有详细的公式,计算过程和实例。
降维方法概述
微分方程与差分方程 当我们需要对象的某些特性随时间演变的过程,分析其本质规律并预测他的未来性态、研究他的控制手段时,通常要建立对象的动态模型。 所以需要预测并控制的模型基本得用微分方程建模,其中又以传染病模型应用最广 另外可尝试系统动力学建模,还有网上看到的自动驾驶预测控制 文章 将微分方程离散化便得到差分方程,但也有一些实际问题直接用差分方程的模型更为方便 与常微分方程课程中的动态模型不同的...
python 实现数据降维推荐系统(附Python源码)
主成分分析原理:请点击PCA查看#!usr/bin/env python #_*_ coding:utf-8 _*_ import pandas as pd import numpy as np import matplotlib.pyplot as plt #如果一个旅游网站里面有100000个注册用户,以及100个注册酒店,网站有用户通过本网站点击酒店页面的 #记录数据信息A=Aij 100
降维工具箱
包含PCA, LLE, MDS, Isomap,KPCA,KLDA, MCML等 20几种降维方法的matlab代码,里面有说明
文章热词 设计制作学习 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 用java实现班级通讯录 值班表用java实现