sparkMLlib PCA降维后的数据与原来的数据不一样了,怎么使用sparkMLlib PCA降维后得到数据?

原始数据矩阵如下
// 原始数据
val arr = Array(
Vectors.dense(4.0,1.0, 4.0, 5.0),
Vectors.dense(2.0,3.0, 4.0, 5.0),
Vectors.dense(4.0,0.0, 6.0, 7.0))
降维后的数据如下:
[-5.061524965038313,2.6731387750445608]
[-7.489827262491891,4.4347709591799624]
[-2.9078143281202276,4.506586481532503]

spark PCA处理后的数据代表什么意思,和原来的数据不一样,怎么利用这个数据,比如我想对它做线性回归?

1个回答

PCA(Principal Components Analysis),翻译成主成分分析,它将多维度数据压缩,保留最主要的信息维度,去掉那些不重要的,这就是PCA降维。注意:降维后的特征数据与原特征数据没有业务含义上的联系了,它是由一个高维空间投影到一个低维空间,里面的数据被投影转换到另一个维度上了,因此具体数值已经没有了原先的业务含义。举个例子,上述24维度包括本日收入、耗币数量、广场客流等,压缩成12个维度后就没有对应的12个业务概念了,这么做只是为了存留最主要的信息从而便于后续更有效的处理和分析数据。
PCA具体执行过程如下:
标准化原始维度数据(实质只需要减均值即可,不必标准化方差);
计算出多维特征的协方差矩阵,从而得到矩阵的特征值和特征向量;
将特征值从大到小排序,选取前k个主成分,找到其对应的k个特征向量;
将原始维度数据投影到选取的k个特征向量上,原始数据特征的维度就变成了k维;
可以用这k维数据代表原始大维度的数据,进行后续数据处理分析。

引用:https://zhuanlan.zhihu.com/p/37495710

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
求教matlab关于pca降维的问题
我想用30*3000的一组数据经pca降维之后使用lssvm来建模,然后用11*3000的一组数据来检验这个模型。 我想问的是,经过pca降维,30*3000的矩阵变成了30*29的矩阵,但是检验的数据经过pca降维之后成为了11*10的矩阵,这样还能检验吗?
PCA降维后,求出多元线性函数,如何还原原始维度。
数据经过PCA将维后,例如,原本是10维,降维后为5维。 然后求出多元线性函数的系数为[1,2,3,4,5], 那么如何将个五个系数还原为10个系数。 因为降维后是5,根据降维后的数据计算线性函数, 系数必然是5. 但是原始维度是10,那么怎样将5个系数还原为10个系数。
数据预处理:类别型变量的编码问题
在数据挖掘的数据预处理对类别型变量编码过程中,其中一个类别型变量含具有有很多不同的取值(200个),若对这个的类型做OneHot编码,会给数据增加200个特征,大大增加了数据的维数。 请问对于这样的类型变量该怎么处理呢? 1.需要做卡方封箱吗?用python该怎么分箱处理? 2.或者编码后做PCA降维处理?PCA具体怎么降维呢? 3.还有其他更好的方法吗? 谢谢
PCA降维后,求出多元线性函数,如何还原原始维度,求出原始维度的多元线性函数。
例如:原本数据为10维的,将为后为5维度。然后根据这个5维的结果求得多元线性函数方程。如何将这个5维结果返回成10个维度的结果。也就是5维的线性方程是 1.2*X1 + 1.6*X2 + 2.4*X3 + 2.7*X4 + 3.6*X5 = 0;如何还原成?*X1 + ?*X2 + ?*X3 + ?*X4 + ?*X5 + ?*X6 + ?*X7 + ?*X8 + ?*X9 + ?*X10 = 0的形式,其中?代表将5维返回10维后的系数。重点是这个系数怎么求出?
主成分分析降维会影响到机器学习的精度么?
![图片说明](https://img-ask.csdn.net/upload/201907/18/1563440089_697335.png) 我使用五种方法同时对原始数据和主成分分析PCA处理之后的数据进行分析,并且进行回判和预测,发现SVM和神经网络前后变化不大,但是XGBoost、AdaBoost以及Bayes的成功率反而有所降低,请问是不是因为这几个方法不适合主成分分析降维?
关于PCA和KPCA的特征向量的维数问题~
想问一下PCA算出来的特征向量是和样本属性的维数一样,因为主成分是原来样本属性的线性组合,那么KPCA求出来的特征向量(利用核函数),为什么维数等于样本数呢?
用sklearn在图片分类中数据降维遇到的一些问题
我在用isomap、pca和MDS对原始矩阵处理后,发现分类成功率反而大大小于没有降维前,为什么会这样子。。 好像不是参数的问题,怎么调效果都不好。。是我的姿势不对吗 ``` # pca pca = PCA(n_components=30).fit(x) x2 = pca.transform(x) x_train, x_test, y_train, y_test = train_test_split(x2, y, train_size=0.9) model = RandomForestClassifier(n_estimators=20) model.fit(x_train, y_train) predict = model.predict(x_test) accuracy_pca = metrics.accuracy_score(y_test, predict) # MDS mds = manifold.MDS(n_components=30, eps=1e-10) X_r = mds.fit(x).embedding_ x_train, x_test, y_train, y_test = train_test_split(X_r, y, train_size=0.9) model.fit(x_train, y_train) predict = model.predict(x_test) accuracy_MDS = metrics.accuracy_score(y_test, predict) # isomap isomap = manifold.Isomap(15, n_components=30).fit_transform(x) x_train, x_test, y_train, y_test = train_test_split(isomap, y, train_size=0.9) model.fit(x_train, y_train) predict = model.predict(x_test) accuracy_isomap = metrics.accuracy_score(y_test, predict) print accuracy_isomap ``` 图片是100×100像素 x是数据矩阵(165×10000) y是标签,从1到15
刚买的pca9685写的代码一直驱动不了舵机,小白求解
新手小白求问 刚买了pca9685模块,看数据手册没有中文的只好找了些别人stm32的代码改过来用在51上面,但是一直都驱动不了舵机,不是知道代码出了什么问题,求解 以下就是我用的所有源码。 ``` #ifndef __IIC_H #define __IIC_H sbit IIC_SDA = P3^6; sbit IIC_SCL = P3^7; #define u8 unsigned char #define u16 char //IIC所有操作函数 void delay_us(u8 i); void IIC_Start(void); //发送IIC开始信号 void IIC_Stop(void); //发送IIC停止信号 void IIC_Send_Byte(u8 txd); //IIC发送一个字节 u8 IIC_Read_Byte(unsigned char ack);//IIC读取一个字节 u8 IIC_Wait_Ack(void); //IIC等待ACK信号 void IIC_Ack(void); //IIC发送ACK信号 void IIC_NAck(void); //IIC不发送ACK信号 //void IIC_Write_One_Byte(u8 daddr,u8 addr,u8 dat); //u8 IIC_Read_One_Byte(u8 daddr,u8 addr); #endif ``` ``` #include <stc12c5a60s2.h> #include <IIC.h> #include <intrins.h> void delay_us(u8 i) { u8 j; for(j=i;j>0;j--) {_nop_();} } //产生IIC起始信号 void IIC_Start(void) { // SDA_OUT(); //sda线输出 IIC_SDA=1; IIC_SCL=1; delay_us(4); IIC_SDA=0;//START:when CLK is high,DATA change form high to low delay_us(4); IIC_SCL=0;//钳住I2C总线,准备发送或接收数据 } //产生IIC停止信号 void IIC_Stop(void) { // SDA_OUT();//sda线输出 IIC_SCL=0; IIC_SDA=0;//STOP:when CLK is high DATA change form low to high delay_us(4); IIC_SCL=1; IIC_SDA=1;//发送I2C总线结束信号 delay_us(4); } //等待应答信号到来 //返回值:1,接收应答失败 // 0,接收应答成功 u8 IIC_Wait_Ack(void) { u8 ucErrTime=0; // SDA_IN(); //SDA设置为输入 IIC_SDA=1;delay_us(1); IIC_SCL=1;delay_us(1); while(IIC_SDA) { ucErrTime++; if(ucErrTime>250) { IIC_Stop(); return 1; } } IIC_SCL=0;//时钟输出0 return 0; } //产生ACK应答 void IIC_Ack(void) { IIC_SCL=0; // SDA_OUT(); IIC_SDA=0; delay_us(2); IIC_SCL=1; delay_us(2); IIC_SCL=0; } //不产生ACK应答 void IIC_NAck(void) { IIC_SCL=0; // SDA_OUT(); IIC_SDA=1; delay_us(2); IIC_SCL=1; delay_us(2); IIC_SCL=0; } //IIC发送一个字节 //返回从机有无应答 //1,有应答 //0,无应答 void IIC_Send_Byte(u8 txd) { u8 t; // SDA_OUT(); IIC_SCL=0;//拉低时钟开始数据传输 for(t=0;t<8;t++) { IIC_SDA=(txd&0x80)>>7; txd<<=1; delay_us(2); //对TEA5767这三个延时都是必须的 IIC_SCL=1; delay_us(2); IIC_SCL=0; delay_us(2); } } //读1个字节,ack=1时,发送ACK,ack=0,发送nACK u8 IIC_Read_Byte(unsigned char ack) { unsigned char i,receive=0; // SDA_IN();//SDA设置为输入 for(i=0;i<8;i++ ) { IIC_SCL=0; delay_us(2); IIC_SCL=1; receive<<=1; if(IIC_SDA)receive++; delay_us(1); } if (!ack) IIC_NAck();//发送nACK else IIC_Ack(); //发送ACK return receive; } ``` ``` #include <stc12c5a60s2.h> #include <IIC.h> #include <intrins.h> #include <pca8574.h> #define uchar unsigned char #define uint unsigned int sbit scl=P3^6; //时钟输入线 sbit sda=P3^7; //数据输入/输出端 void PCA9685_write(unsigned char reg,unsigned char dat); u8 PCA9685_read(unsigned char reg); void setPWMFreq(u8 freq); void setPWM(u8 num, u16 on, u16 off); void down(); void up(); void delay_ms(u8 xms) { u8 i,j; for(i=xms;i>0;i--) for (j=200;j>0;j--); } void PCA9685_write(unsigned char reg,unsigned char dat) { IIC_Start(); IIC_Send_Byte(PCA9685_adrr); IIC_Wait_Ack(); IIC_Send_Byte(reg); IIC_Wait_Ack(); IIC_Send_Byte(dat); IIC_Wait_Ack(); IIC_Stop(); } u8 PCA9685_read(unsigned char reg) { u8 res; IIC_Start(); IIC_Send_Byte(PCA9685_adrr); IIC_Wait_Ack(); IIC_Send_Byte(reg); IIC_Wait_Ack(); IIC_Start(); IIC_Send_Byte(PCA9685_adrr|0X01); IIC_Wait_Ack(); res=IIC_Read_Byte(0); IIC_Stop(); return res; } void setPWMFreq(u8 freq) { u8 prescale,oldmode,newmode; double prescaleval; prescaleval = 25000000.0/(4096*freq*0.915); prescale = (u8)(prescaleval+0.5)-1; oldmode = PCA9685_read(PCA9685_MODE1); newmode = (oldmode&0x7F) | 0x10; // sleep PCA9685_write(PCA9685_MODE1, newmode); // go to sleep PCA9685_write(PCA9685_PRESCALE, prescale); // set the prescaler PCA9685_write(PCA9685_MODE1, oldmode); delay_ms(5); PCA9685_write(PCA9685_MODE1, oldmode | 0xa1); } void setPWM(u8 num, u16 on, u16 off) { PCA9685_write(LED0_ON_L+4*num,on); PCA9685_write(LED0_ON_H+4*num,on>>8); PCA9685_write(LED0_OFF_L+4*num,off); PCA9685_write(LED0_OFF_H+4*num,off>>8); } u16 calculate_PWM(u8 angle) { return (int)(204.8*(0.5+angle*1.0/90)); } void down() { u16 pwm = calculate_PWM(0); setPWM(0x0,0,pwm); delay_ms(1); setPWM(0x1,0,pwm); delay_ms(1); setPWM(0x2,0,pwm); delay_ms(1); setPWM(0x3,0,pwm); delay_ms(1); setPWM(0x4,0,pwm); delay_ms(1); setPWM(0x5,0,pwm); delay_ms(1); setPWM(0x6,0,pwm); delay_ms(1); setPWM(0x7,0,pwm); } void up() { u16 pwm = calculate_PWM(90); setPWM(0x0,0,pwm); delay_ms(1); setPWM(0x1,0,pwm); delay_ms(1); setPWM(0x2,0,pwm); delay_ms(1); setPWM(0x3,0,pwm); delay_ms(1); setPWM(0x4,0,pwm); delay_ms(1); setPWM(0x5,0,pwm); delay_ms(1); setPWM(0x6,0,pwm); delay_ms(1); setPWM(0x7,0,pwm); } void main() { PCA9685_write(PCA9685_MODE1,0x0);//PCA9685复位 setPWMFreq(50); while(1) { down(); up(); } } ``` ``` #ifndef __PCF8574_H #define __PCF8574_H #include <stc12c5a60s2.h> #define PCA9685_adrr 0x40 #define PCA9685_SUBADR1 0x2 #define PCA9685_SUBADR2 0x3 #define PCA9685_SUBADR3 0x4 #define PCA9685_MODE1 0x0 #define PCA9685_PRESCALE 0xFE #define LED0_ON_L 0x6 #define LED0_ON_H 0x7 #define LED0_OFF_L 0x8 #define LED0_OFF_H 0x9 #define ALLLED_ON_L 0xFA #define ALLLED_ON_H 0xFB #define ALLLED_OFF_L 0xFC #define ALLLED_OFF_H 0xFD #define u8 unsigned char #define u16 char ```
高光谱图像降维matlab代码
求使用PCA和低秩张量分解的方法对高光谱图像降维的matlab代码,谢谢大家
OpenCV PCA人脸识别时欧氏距离的问题
我用PCA+SVM方式对ORL人脸库进行人脸识别,使用Opencv的PCA库进行降维及特征提取,提取后的特征用于SVM训练,如果每人用两个图进行学习,最终测试样本的识别率能到85%+。 但是我如果用测试样本的特征向量和训练样本的特征向量进行欧式距离(NORM_L2)的计算,计算结果十分没有规律,不管是不是同一个人的特征,距离从一千多到四千多的都有。这种情况十分不合理呀,opencv还有个基于PCA样本距离的特征脸识别库不就是用L2距离进行比较来进行识别的吗?鉴于此我又实验了一下使用opencv的特征脸识别库EigenFaceRecognizer进行人脸识别,同样的样本划分,但是不自己写特征提取代码,直接输入原始图片,因为特提取的工作是特征脸库自己做的,识别率也能到80%+。 总结起来问题就是,我用PCA提取的特征进行SVM人脸识别,效果还可以,但是直接用测试样本的特征值和训练样本的特征值进行距离比较,却并不能得出同一人的样本距离会比较近,不同人的会比较远的结果,和特征脸识别的工作原理不符。不知是哪里有问题,求解!
为什么说pca是一种在最小均方差意义下的最佳数据表现形式 ?
为什么说pca是一种在最小均方差意义下的最佳数据表现形式 ?
求大神帮忙,在MATLAB上用pca算法读入一组数据,分析处理结果
求一个代码,数据是一个word表格,大约读入5000个数据,谢谢啊
求C#实现PCA算法的例子
求C#实现PCA算法的例子,PCA为主成分分析, 看了一天的百度,然而线性代数的知识完全不记得了。 求各位大神指点迷津,万分感谢!
opencv pca投影 得到的特征脸问题
用opencv进行人脸识别,在训练阶段利用opencv自带的函数cvCalcEigenObjects获取pca的子空间,代码如下: cvCalcEigenObjects( nTrainFaces, //参加训练的图片 (void*)faceImgArr, //得到的特征脸 (void*)eigenVectArr, CV_EIGOBJ_NO_CALLBACK, 0, 0, &calcLimit, //得到的平均脸 pAvgTrainImg, eigenValMat->data.fl ); 执行该函数后,用cvShowImage()进行特征脸eigenVectArr的显示,特征脸显示结果都是一片漆黑,看网页上正常显示的特征脸应该是这样的吧[图片说明](https://img-ask.csdn.net/upload/201501/30/1422597863_788733.png) 而且我得出的平均脸pAvgTraining显示为一张白色图片,也是什么都没有的。 我用的人脸库是jaffe,想问下各位大神是什么原因导致无法得出特征脸和平均脸? 在此谢过。
关于PCA主成分分析32个指标,10年的数据,能做吗??
为什么我用R语言显示错误,指标数不能多于数据啊???????????????????????????
大家帮忙看看我这段matlab,用pca处理图像,但是输出的图片为什么会是重复的三张?
function y=mypca() %%%%%%%%%%%%%%%%%%%%%%%%%PCA算法对人脸图像处理提取主成分程序 path = ['.\']; % 提取当前目录 %读取图像 numimage=4; %4张人脸 imagepath=[path 'ORL\ORL001' '.bmp']; %第一张人脸文件的路径及文件名:D:\PCA\ORL\ORL001.bmp immatrix=imread(imagepath); % 读入第一张人脸文件,构成矩阵immatrix [m,n]=size(immatrix); % 计算矩阵immatrix的行数m、列数n DATA = uint8 (rand(m*n, numimage)); %随机生成m*n行、numimage列的矩阵,并取uint8 for i=1:numimage s1=floor(i/100); % 取整,求第3位 tem=rem(i,100); % i除以100的余数,取后两位 s2=floor(tem/10); % 取第2位 s3=rem(tem,10); % 取第1位 imagepath=[path 'ORL\ORL' int2str(s1) int2str(s2) int2str(s3) '.bmp']; % 构成图像文件的路径即文件名 immatrix=imread(imagepath); % 读入每一张人脸文件,构成矩阵immatrix imVector=reshape(immatrix,m*n,1); % 将矩阵immatrix转化为一个列向量,长度为m*n DATA(:,i)=imVector; % 将列向量imVector依次加入到DATA矩阵的列中.DATA先随机生成过的 end clear i;clear j; save DATA DATA; % 保存DATA mn=mean(double(DATA'))'; % 计算DATA的行向量的均值 save mn mn; % 保存DATA的行向量的均值 %image substracted by mean of all train images DATAzeromean=double(DATA)-repmat(mn,1,numimage); save DATAzeromean DATAzeromean; clear DATA; L=DATAzeromean'*DATAzeromean; [V,D]=eig(L); enginvalue=diag(D); [enginvalue,ix]=sort(enginvalue);%按升序排列矩阵元素 ix=flipud(ix);%从上到下翻转矩阵,即按降序 V=V(:,ix); %对V的特征向量位置调整 facespace=DATAzeromean*V; %脸空间 for t=1:numimage facespace(:,t)=facespace(:,t)/norm(facespace(:,t));%Normalisation to unit length end subdim=4; facespace=facespace(:,1:subdim);%选择子特征向量的协方差矩阵 projdata=facespace'*DATAzeromean; save projdata projdata; save facespace facespace; datareconstruct=facespace*projdata; fprintf('正在保存 Wakesplace中的图片数据\n'); save datareconstruct datareconstruct; for i=1:numimage-1 imdata=datareconstruct(:,i); imdata=reshape(imdata,m,n); imwrite(imdata,['.\生成的特征脸\' int2str(i) '.bmp'],'bmp');%得到重构图像1.bmp---4.bmp end %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
变量分析和数据预处理
### 问题1 有时需要对特征进行一些分析,比如特征之间的相关性,特征与目标变量之间的相关性,有时需要对数据进行一些预处理,比如对分类变量创建虚拟变量,对连续变量进行log变换或者标准化,归一化。 请问,这两个步骤之间的顺序是怎样的?是先创建虚拟变量,进行log变换后,再计算相关系数,进行卡方检验,方差分析或者互信息计算;还是先分析相关系数,卡方检验这些工作再创建虚拟变量,进行log变换? ### 问题2 假设一个分类问题数据集,有30个特征,为提高分类的准确率,或者出于汇报的要求(哪些特征,或者有可解释性意义的特征组合对结果影响较大)需要对特征进行分析和组合,不是PCA之类的降维,比如对两个连续变量进行计算组合,对几个分类变量生成透视表,生成新的变量。 如果只考虑特征的两两组合,有435种可能,这样分析工作量很大,请问,这样分析有必要吗?这还只是特征的两两组合,如果考虑更多变量的组合,可能性就更多了。 ### 问题3 如果问题2需要这些工作,那么,是先通过logistic回归或者随机森林,这些带有特征筛选性质的模型进行训练后,再进行特征组合,还是先进行特征组合再训练模型。 ### 问题4 P2中,对分类变量都创建了虚拟变量。个人理解,创建虚拟变量是为了避免模型认为分类变量之间有线性关系,除logistic回归外,其他模型好像不需要创建虚拟变量。请问哪些模型需要创建虚拟变量,是否创建虚拟变量对这些模型的结果是否有影响?
子网1中的PCa和子网2中的PCb 怎么建立网络连接,相互通信?
子网1中的PCa和子网2中的PCb 怎么建立网络连接,相互通信?而且真心不明白编程socket通信上是怎么解决这个问题的。
如何用pea在matlab上分析数据,例如;iris
哪里能找到关于用matlab进行数据分析的案例, 尤其是pca,lsa这些?尤其是如何对data进行预处理?
相见恨晚的超实用网站
相见恨晚的超实用网站 持续更新中。。。
字节跳动视频编解码面经
三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时想着能进去就不错了,管他哪个岗呢,就同意了面试...
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
python学习方法总结(内附python全套学习资料)
不要再问我python好不好学了 我之前做过半年少儿编程老师,一个小学四年级的小孩子都能在我的教学下独立完成python游戏,植物大战僵尸简单版,如果要肯花时间,接下来的网络开发也不是问题,人工智能也可以学个调包也没啥问题。。。。。所以python真的是想学就一定能学会的!!!! --------------------华丽的分割线-------------------------------- ...
python 简易微信实现(注册登录+数据库存储+聊天+GUI+文件传输)
socket+tkinter详解+简易微信实现 历经多天的努力,查阅了许多大佬的博客后终于实现了一个简易的微信O(∩_∩)O~~ 简易数据库的实现 使用pands+CSV实现数据库框架搭建 import socket import threading from pandas import * import pymysql import csv # 创建DataFrame对象 # 存储用户数据的表(...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
Python实例大全(基于Python3.7.4)
博客说明: 这是自己写的有关python语言的一篇综合博客。 只作为知识广度和编程技巧学习,不过于追究学习深度,点到即止、会用即可。 主要是基础语句,如三大控制语句(顺序、分支、循环),随机数的生成,数据类型的区分和使用; 也会涉及常用的算法和数据结构,以及面试题相关经验; 主体部分是针对python的数据挖掘和数据分析,主要先攻爬虫方向:正则表达式匹配,常用数据清洗办法,scrapy及其他爬虫框架,数据存储方式及其实现; 最后还会粗略涉及人工智能领域,玩转大数据与云计算、进行相关的预测和分析。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
刷了几千道算法题,这些我私藏的刷题网站都在这里了!
遥想当年,机缘巧合入了 ACM 的坑,周边巨擘林立,从此过上了"天天被虐似死狗"的生活… 然而我是谁,我可是死狗中的战斗鸡,智力不够那刷题来凑,开始了夜以继日哼哧哼哧刷题的日子,从此"读题与提交齐飞, AC 与 WA 一色 ",我惊喜的发现被题虐既刺激又有快感,那一刻我泪流满面。这么好的事儿作为一个正直的人绝不能自己独享,经过激烈的颅内斗争,我决定把我私藏的十几个 T 的,阿不,十几个刷题网...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
JavaScript 为什么能活到现在?
作者 | 司徒正美 责编 |郭芮 出品 | CSDN(ID:CSDNnews) JavaScript能发展到现在的程度已经经历不少的坎坷,早产带来的某些缺陷是永久性的,因此浏览器才有禁用JavaScript的选项。甚至在jQuery时代有人问出这样的问题,jQuery与JavaScript哪个快?在Babel.js出来之前,发明一门全新的语言代码代替JavaScript...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
吐血推荐珍藏的Visual Studio Code插件
作为一名Java工程师,由于工作需要,最近一个月一直在写NodeJS,这种经历可以说是一部辛酸史了。好在有神器Visual Studio Code陪伴,让我的这段经历没有更加困难。眼看这段经历要告一段落了,今天就来给大家分享一下我常用的一些VSC的插件。 VSC的插件安装方法很简单,只需要点击左侧最下方的插件栏选项,然后就可以搜索你想要的插件了。 下面我们进入正题 Material Theme ...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
相关热词 c#委托 逆变与协变 c#新建一个项目 c#获取dll文件路径 c#子窗体调用主窗体事件 c# 拷贝目录 c# 调用cef 网页填表c#源代码 c#部署端口监听项目、 c#接口中的属性使用方法 c# 昨天
立即提问