如何解决训练词向量word2vec时出现的内存问题? 10C

用13GB的语料进行词向量的训练的话,用16GB的电脑,怎样防止内存溢出

最近在学习自己训练词向量,整理了13GB的小说语料,
昨晚设置好从分词做到词向量训练,结果今天早上看了一下内存溢出。
仅仅只完成了130M的分词,连词向量的训练都没开始就宕机了。
下图为执行代码 分词工具使用的是北大的pkuseg

请问应该如何修改代码?
这是我第一次做实战性质的项目 完全没有经验
还请各位前辈帮忙修改代码

#文本预处理
sentences = []
rules = u"[\u4e00-\u9fa5]+"
pattern = re.compile(rules)
f_writer = open("data/分词后的1s1lCN13G.txt", "w", encoding="utf-8")

with open("data/1s1lCN13G.txt", "r" , encoding="utf-8") as f_reader:
    for line in f_reader:
        if line == "" or line is None:
            continue
        line = " ".join(seg.cut(line))
        seg_list = pattern.findall(line)
        word_list = []
        for word in seg_list:
            if word not in stop_words:
                word_list.append(word)
        if len(word_list) > 0:
            sentences.append(word_list)
            line = " ".join(word_list)
            f_writer.write(line + "\n")
            f_writer.flush()
f_writer.close()
#模型训练
model = word2vec.Word2Vec(sentences,sg=1,hs=1,window=10,min_count=20,iter=10,size=256,workers=16)
model.save("data/13G")

2个回答

你要sentences有用吗,没用的话 sentences.append(word_list) 这行就不要了,
你有13GB的语料库,sentence会很大的

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
利用word2vec进行词向量训练内存溢出问题
_请问大家一下:_ 利用word2vec进行词向量进行训练时,所用语料进行分词后,还需要去除标点符号吗?我利用搜狗新闻语料(分词后2.09G)进行词向量训练时,出现Exception in thread "main" java.lang.OutOfMemoryError: Java heap,我设置了jvm heap的大小,还是出现这个错误,该怎么解决呢?谢谢解答!**
关于用gensim训练word2vec
求助各位大神,小弟最近在用python的gensim训练word2vec词向量, 发现速度比之前在tensorflow上训练快多了,而且只用到一句Word2Vec( )方法, 小弟对于这么轻松简单深感惶恐,请问各位大神用gensim训练词向量就这么简单吗 还有小弟觉得这个gensim训练出来的词向量效果一般,发现model有一个train( )方法, 求助各位大神这个方法具体应该怎么调用啊!!!
python: word2vec 能否使用wiki语料库训练模型,然后在对自己的txt统一打上向量
我想实现给自己的一些文本进行聚类(大批商品名字),网上资料大多数是用直接使用目标文本进行训练。 我想请问一下,怎么用word2vec先对wiki大的语料库进行训练,然后再用我自己的txt去让这个训练好的模型帮忙打向量。
word2vec以及paragraph vector的原理细节?
大家好,我是刚开始学习NLP这方面的知识,在学CBOW、SKIP-GRAM以及paragraph vector过程中遇到几个不理解的地方,烦请高手指点~~ 1、CBOW中随机初始化的word vec有没有归一化?也就是向量的每个维度的值的范围是?若有归一化(每个值都是-1到1),那么输入层到输出层的求和操作之后,是否还需要进行归一化? 2、大家知道,Mikolov提出的paragraph vec方法就是在CBOW的输入层增加了一个paragraph vec,那请问整个算法过程是:①先用原先CBOW的方法根据整个语料库训练出词典中每个词的向量以及网络中的参数;然后固定所有词向量以及网络参数,选定某个paragraph,在输入层加入随机初始化的paragraph vec,在选定的paragraph中随机选取一个context,将context中的词的vec连同初始化得到的para vec一起输入网络,然后梯度下降来更新para vec直到收敛,这样得到了相应para的vec,继续对下一个para处理。 还是②训练时对于每个para随机初始化一个vec,训练word vec的同时也对para vec进行更新。等整个语料库训练完后,就得到了词典中所有词的vec以及每个para的vec? 3、skip-gram和CBOW的区别。CBOW是用context预测下一个词,比如“this is a paper”,用this is a 预测下一个词会是什么。skip-gram是用一个词来预测它的context,是否可以理解为:把“this is a”当成一个词来预测context(也就是下一个词paper)?skip-gram相比于CBOW有什么优或劣处?实际应用中哪个更常用呢? 在此谢谢您的指导~
word2vec训练语料实现识别所有该品牌下的手机机型
想通过word2vec模型训练语料,实现的效果是:根据手机品牌匹配到所有的手机机型。请教该如何实现,还有就是有没有现有的电商语料或者手机品牌语料。谢谢
word2vec模型训练结果不理想
我们的word2vec模型训练后,“变动”和“变更”的匹配度只有0.5。有什么办法能提高训练效果么?
doc2vec如何在已有的模型基础上进行增量训练,以获得新文本的向量表示
我使用gensim进行doc2vec的训练。 描述问题: 初次训练使用训练集:doc1、doc2。获得模型model1。 增量训练加载model1,使用训练集doc3、doc4。 虽然增量训练改变了model1中的doc1和doc2对应的向量,但是doc3和doc4并没有产生新的向量。 我想请问如何增量训练才能获得doc3和doc4这些新增的文档的向量表示呢? 感激不尽。 ``` def train_doc2vec(self, dir_path): corpus = list(self.__build_corpus(dir_path)) if self.doc2vec_model: self.doc2vec_model.build_vocab(corpus, update=True) self.doc2vec_model.train(corpus, total_examples=self.doc2vec_model.corpus_count, epochs=self.doc2vec_model.epochs) self.doc2vec_model.save(self.doc2vec_model_path) else: model = Doc2Vec(vector_size=50, min_count=2, epochs=40) model.build_vocab(corpus) model.train(corpus, total_examples=model.corpus_count, epochs=model.epochs) model.save(self.doc2vec_model_path) ```
java版的word2vec如何使用。源代码已经有了。细节如下
[word2vec源代码](https://github.com/Flower-ate-this-girl/Word2VEC_java.git "") 我已经在linux下获得了源代码,http://mattmahoney.net/dc/text8.zip 下载了一个文件text8 接下来该如何跑程序?
error LNK1104: cannot open word2vec_inner.pyd'
windons实现Yang Liu的Topical Word Embeddings时,运行错误 TWE\test.py: import gensim sentence_word = gensim.models.word2vec.LineSentence("tmp/word.file") TWE\gensim\models\word2vec.py: try: raise ImportError # ignore for now from gensim_addons.models.word2vec_inner import train_sentence_sg, train_sentence_cbow, FAST_VERSION, train_sentence_topic except ImportError: try: # try to compile and use the faster cython version import pyximport print 'import pyximport' models_dir = os.path.dirname(__file__) or os.getcwd() print 'models_dir' pyximport.install(setup_args={"include_dirs": [models_dir, get_include()]}) print 'pyximport' # is the follow code's problem from word2vec_inner import train_sentence_sg, train_sentence_cbow, FAST_VERSION, train_sentence_topic print 'from word2vec' except: print 'except2' # failed... fall back to plain numpy (20-80x slower training than the above) FAST_VERSION = -1 def train_sentence_sg(model, sentence, alpha, work=None): ... def train_sentence_cbow(model, sentence, alpha, work=None, neu1=None): ... class Word2Vec(utils.SaveLoad): def __init__(self, sentences=None, size=100, alpha=0.025, window=5, min_count=5,sample=0, seed=1, workers=1, min_alpha=0.0001, sg=1, hs=1, negative=0, cbow_mean=0): ... def train(self, sentences, total_words=None, word_count=0, chunksize=100): if FAST_VERSION < 0: import warnings warnings.warn("Cython compilation failed, training will be slow. Do you have Cython installed? `pip install cython`") logger.info("training model with %i workers on %i vocabulary and %i features, " "using 'skipgram'=%s 'hierarchical softmax'=%s 'subsample'=%s and 'negative sampling'=%s" % (self.workers, len(self.vocab), self.layer1_size, self.sg, self.hs, self.sample, self.negative)) ... def worker_train(): if self.sg: job_words = sum(train_sentence_topic(self, sentence, alpha, work) for sentence in job) else: job_words = sum(train_sentence_cbow(self, sentence, alpha, work, neu1) for sentence in job) ... 运行train.py,出现以下错误: E:\Python27\python.exe D:/pycharm/TWE/TWE1/train.py wordmap.txt model-final.tassign 100 import pyximport models_dir pyximport word2vec_inner.c e:\python27\lib\site-packages\numpy\core\include\numpy\npy_1_7_deprecated_api.h(12) : Warning Msg: Using deprecated NumPy API, disable it by #defining NPY_NO_DEPRECATED_API NPY_1_7_API_VERSION C:\Users\hp\.pyxbld\temp.win32-2.7\Release\pyrex\gensim\models\word2vec_inner.c(15079) : warning C4244: 'initializing' : conversion from 'double' to 'float', possible loss of data C:\Users\hp\.pyxbld\temp.win32-2.7\Release\pyrex\gensim\models\word2vec_inner.c(15085) : warning C4244: 'initializing' : conversion from 'double' to 'float', possible loss of data LINK : fatal error LNK1104: cannot open file 'C:\Users\hp\.pyxbld\lib.win32-2.7\gensim\models\word2vec_inner.pyd' except2 Training the word vector... D:\pycharm\TWE\TWE1\gensim\models\word2vec.py:410: UserWarning: Cython compilation failed, training will be slow. Do you have Cython installed? `pip install cython` warnings.warn("Cython compilation failed, training will be slow. Do you have Cython installed? `pip install cython`") PROGRESS: at 100.00% words, alpha 0.02500, 2556 words/s Training the topic vector... D:\pycharm\TWE\TWE1\gensim\models\word2vec.py:882: UserWarning: Cython compilation failed, training will be slow. Do you have Cython installed? `pip install cython` warnings.warn("Cython compilation failed, training will be slow. Do you have Cython installed? `pip install cython`") Exception in thread Thread-23: Traceback (most recent call last): File "E:\Python27\lib\threading.py", line 801, in __bootstrap_inner self.run() File "E:\Python27\lib\threading.py", line 754, in run self.__target(*self.__args, **self.__kwargs) File "D:\pycharm\TWE\TWE1\gensim\models\word2vec.py", line 909, in worker_train job_words = sum(train_sentence_topic(self, sentence, alpha, work) for sentence in job) File "D:\pycharm\TWE\TWE1\gensim\models\word2vec.py", line 909, in <genexpr> job_words = sum(train_sentence_topic(self, sentence, alpha, work) for sentence in job) NameError: global name 'train_sentence_topic' is not defined Saving the topic vectors... Saving the word vectors... Process finished with exit code 0 我已经安装了Microsoft Visual C++ Compiler for Python 2.7和cython,而且我也用一个小的程序测试了cython是正确编译和安装了的,但是还是出现问题。按照这个博客上的测试了cython,然后按照一个博客运行的TWE程序。看了好久,总结了应该是在word2vec.py最开始导入不了train_sentence_sg, train_sentence_cbow, FAST_VERSION, train_sentence_to。但是为什么导入不了,总觉得不应该,我成功编译了pyx文件的,cython也是正确安装了的。到底是什么问题,有大神遇到过这个问题的吗?求大神帮忙,谢谢!急急急,在线等
mlp 如何加载 doc2vec( .d2c)模型数据进行训练
mlp模型如下: ``` def MySimpleMLP(feature=700, vec_size=50): auc_roc = LSTM.as_keras_metric(tf.compat.v1.metrics.auc) model = Sequential() model.add(Flatten()) model.add(Dense(32, activation='relu', input_shape=(52,))) model.add(Dropout(0.2)) model.add(Dense(32, activation='relu')) model.add(Dropout(0.2)) model.add(Dense(1, activation='softmax')) # compile model model.compile(loss="binary_crossentropy", optimizer="adam", metrics=[auc_roc]) return model ``` 训练函数如下: ``` model.fit(trainData, trainLabel, validation_split=0.2, epochs=10, batch_size=64, verbose=2) ``` do2vec模型是基于 imdb_50.d2v。 跪求各位大佬。
运用书上的朴素贝叶斯分类代码,但代码出错,怎么解决,大佬求解。。。
``` import numpy as np class Naive_bayes(object): def __init__(self,p0_vector,p1_vector,p_absolute,vocab_set): """ 输入:朴素贝叶斯实例self,p0_vector表示类别c0的单词词频P(X|c0) p1_vector 表示类别c1的单词词频P(X|c1),p_absolute 表示类别c1的概率 P(c1),单词字典vocab_set 输出:无 描述:朴素贝叶斯构造函数 """ self.p0_vector = p0_vector self.p1_vector = p1_vector self.p_absolute = p_absolute self.vocab_set = vocab_set super(Naive_bayes,self).__init__() def create_vocab_list(self,dataset): """ 输入:朴素贝叶斯实例self,训练数据集 dataset 输出: 无 描述:根据测试样本构建你单词字典 """ vocab_set = set([]) for doucument in dataset: vocab_set = vocab_set|set(doucument) self.vocab_set = list(vocab_set) def wordset2vector(self,inputset): """ 输入:朴素贝叶斯实例self,单条文本inputset 输出:文本向量 return_vec 描述:将每条文本转换为数字向量,建立于字典同等大小的文本向量,若语句中的词典在字典表中出现则标记为1,否则为0 """ return_vec = [0]*len(self.vocab_set) for word in inputset: if word in self.vocab_set: return_vec[self.vocab_set.index(word)] += 1 return return_vec def computer_conditon_probablility(self,words_vec,labels): """ 输入:朴素贝叶斯实例self,训练文本向量集合words——vec,文本标签labels 输出:无 描述:根据文本向量集合计算类别c(i)的单词词频P(X|ci)和概率P(ci) """ num_train_docs = len(words_vec) num_words = len(words_vec[0]) p0_num = np.ones(num_words) p1_num = np.ones(num_words) for i in range(num_train_docs): if labels[i] == 1: p1_num += words_vec[i] else: p0_num += words_vec[i] self.p0_vector = np.log(p0_num/sum(p0_num)) self.p1_vector = np.log(p1_num / sum(p1_num)) self.p_absolute = sum(labels)/float(num_train_docs) def fit(self,dataset,labels): """ 输入:朴素贝叶斯实例self,训练文本向量集合dataset,文本标签labels 输出:无 描述:根据训练样本集训练朴素贝叶斯分类器 """ self.create_vocab_list(dataset) # 构建样本单词字典 words_vec = [] for inputset in dataset: words_vec.append(self.wordset2vec(inputset)) # 构建文本向量 self.compute_condition_probability(words_vec,labels) # 计算条件概率P(X|ci)和类别c1的概率P(c1) def predict(self,word_vec): """ 输入:朴素贝叶斯实例self,测试文本向量word__vec 输出:word_vec所属类别 描述:利用朴素贝叶斯分类器预测文本类别 """ p0 = sum(word_vec*self.p0V) + np.log(1.0-self.p_absolute) p1 = sum(word_vec*self.p1V) + np.log(self.p_absolute) return 1 if p1 > p0 else 0 def load_dataset(filename,delimiter=" "): """ 输入:数据文件路径,分隔符 输出:数据集 描述:读取数据文件生成np.nArry类型的数据集 """ dataset = [] labels = [] with open(filename,'r') as fp: # 数据文件内容格式“Daily English Learning” while True: lines = fp.readline().strip() # lines="Daily English Learning" if not lines: break feature = lines.split(delimiter) # feature= ['daily','english','learning','1'] key = int(feature[-1]) values = [v.lower() for v in feature[0:-1]] labels.append(key) dataset.append(values) return dataset,labels if __name__ == "__main__": filename = "bayes.data" dataset,labels = load_dataset(filename) naive_bayes = Naive_bayes() naive_bayes.fit(dataset,labels) testset = ['Learning','English'] test_vec = naive_bayes.wordset2vec(testset) estimate =naive_bayes.predict(test_vec) print('[{0},{1} estimate is:{2}'.format(testset[0],testset[1],estimate)) ``` ![图片说明](https://img-ask.csdn.net/upload/202001/18/1579333779_71473.png)
如何处理RNN的可变输入?
求解答,我用word2vec词训练成词向量后,句子变成了一组向量,然后我想把这些向量作为RNN的输入(基于theano的lasagne实现),但是现在遇到的问题是每个句子的词数不一样,也就是输入句子长度可变,这个时候该怎么处理呢?
为什么TensorFlow GPU的代码会比Google开源的C代码运行效率低
看TensorFlow word2vec的源码训练同样的数据情况下,google开源的Word2vec C语言版本 要比其他TensorFlow用GPU加速的快
用node2vec获得的特征向量如何全部为正,不为负。
用node2vec获得的特征向量有一部分值为负的。我想让他全部为正,不知可以不?有哪位大神能给个办法,特征向量如下: -0.251051 -0.098758 -0.334480 -0.802064 0.310410 0.369198 -0.114443 -0.252595 0.175786 -0.662360 0.241837 0.129143 -0.623884 0.200280 -0.043467 -0.078748 0.252802 0.539361 -0.115779 0.009689 -0.093336 -0.440753 0.016640 0.589645
python item2vec的实现问题
``` from gensim.models import Word2Vec import logging import sys reload(sys) sys.setdefaultencoding('utf8') from sklearn.model_selection import train_test_split c = [] def load_sequence(from_path): with open(from_path) as fp: [c.append(line.strip().split(",")) for line in fp] def main(): logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) load_sequence('E:\\wordpython\\1105\\to666.txt') # 加载语料 c_train,c_text = train_test_split(c,test_size=0.2) model = Word2Vec(c_train, size=20, window=3, min_count=1, workers=1, iter=3, sample=1e-4, negative=20) # 训练skip-gram模型; 默认window=5 test_size = float(len(c_text)) hit = 0.0 for current_pattern in c_text: if len(current_pattern) < 2: test_size -= 1.0 continue # Reduce the current pattern in the test set by removing the last item last_item = current_pattern.pop() # Keep those items in the reduced current pattern, which are also in the models vocabulary items = [it for it in current_pattern if it in model.wv.vocab] if len(items) <= 2: test_size -= 1.0 continue # Predict the most similar items to items prediction = model.most_similar(positive=items,topn=20) # Check if the item that we have removed from the test, last_item, is among # the predicted ones. for predicted_item, score in prediction: if predicted_item == last_item: hit += 1.0 print 'Accuracy like measure: {}'.format(hit / test_size) if __name__ == "__main__": main() ``` No handlers could be found for logger "gensim.models.doc2vec"是什么回事?也没用doc2vec啊
用java做Word2VEC时碰到了有关fastjson-1.1.41.jar包的问题
import com.alibaba.fastjson.JSONObject; //这是fastjson-1.1.41.jar public class a { public static void main(String[] args) { JSONObject parse = JSONObject.parseObject("<doc>"); System.out.println(parse); } } 我做这个的时候报错了,请问一下为什么?求大神帮忙,感激不尽! Exception in thread "main" com.alibaba.fastjson.JSONException: syntax error, pos 1 at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1248) at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1158) at com.alibaba.fastjson.JSON.parse(JSON.java:102) at com.alibaba.fastjson.JSON.parse(JSON.java:93) at com.alibaba.fastjson.JSON.parseObject(JSON.java:164) at test.a.main(a.java:8)
请问gensim.models.word2vec是依靠CPU进行运算吗。
目前正在学习NSL的相关只是,想跑实例。于是看到如下帖子: https://blog.csdn.net/sinat_34022298/article/details/75943272 ![图片说明](https://img-ask.csdn.net/upload/201907/24/1563941786_543566.png) 里面提及“1080ti”训练结果下。可我运行一段时间后。仍然是在吃cpu,请问是只靠cpu吗?
python3.4.2在window环境下安装word2vec失败
![图片说明](https://img-ask.csdn.net/upload/201804/20/1524194558_959306.png)
Word2Vec中new LineSentenceIterator()默认File类型,multipartfile咋整?
问题我在这里也贴了一下https://segmentfault.com/q/1010000019690708 就不粘贴了,直接截图,麻烦大家看下,帮帮忙,这个要怎么解决啊?![问题截图](https://img-ask.csdn.net/upload/201907/07/1562508264_20938.png)
130 个相见恨晚的超实用网站,一次性分享出来
相见恨晚的超实用网站 持续更新中。。。
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
对计算机专业来说学历真的重要吗?
我本科学校是渣渣二本,研究生学校是985,现在毕业五年,校招笔试、面试,社招面试参加了两年了,就我个人的经历来说下这个问题。 这篇文章很长,但绝对是精华,相信我,读完以后,你会知道学历不好的解决方案,记得帮我点赞哦。 先说结论,无论赞不赞同,它本质就是这样:对于技术类工作而言,学历五年以内非常重要,但有办法弥补。五年以后,不重要。 目录: 张雪峰讲述的事实 我看到的事实 为什么会这样 ...
字节跳动视频编解码面经
三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时想着能进去就不错了,管他哪个岗呢,就同意了面试...
win10系统安装教程(U盘PE+UEFI安装)
一、准备工作 u盘,电脑一台,win10原版镜像(msdn官网) 二、下载wepe工具箱 极力推荐微pe(微pe官方下载) 下载64位的win10 pe,使用工具箱制作启动U盘打开软件, 选择安装到U盘(按照操作无需更改) 三、重启进入pe系统 1、关机后,将U盘插入电脑 2、按下电源后,按住F12进入启动项选择(技嘉主板是F12) 选择需要启...
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
Python——画一棵漂亮的樱花树(不同种樱花+玫瑰+圣诞树喔)
最近翻到一篇知乎,上面有不少用Python(大多是turtle库)绘制的树图,感觉很漂亮,我整理了一下,挑了一些我觉得不错的代码分享给大家(这些我都测试过,确实可以生成) one 樱花树 动态生成樱花 效果图(这个是动态的): 实现代码 import turtle as T import random import time # 画樱花的躯干(60,t) def Tree(branch, ...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小人工智障。 思路可以运用在不同地方,主要介绍的是思路。
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Ol4网格生成以及优化
概述 先描述一下大致场景:以0.05为单元格大小生成网格,并在地图上绘制,绘制的时候需要区分海陆。本文以此需求为契机,简单描述一下该需求的实现以及如何来优化。 效果 实现 优化前 var source = new ol.source.Vector({ features: [] }); var vector = new ol.layer.Vector({ source...
11月19日科技资讯|华为明日发布鸿蒙整体战略;京东宣告全面向技术转型;Kotlin 1.3.60 发布
「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。扫描上方二维码进入 CSDN App 可以收听御姐萌妹 Style 的人工版音频哟。 一分钟速览新闻点! 6G 专家组成员:速率是 5G 的 10 至 100 倍,预计 2030 年商用 雷军:很多人多次劝我放弃WPS,能坚持下来并不是纯粹的商业决定 ...
C语言魔塔游戏
很早就很想写这个,今天终于写完了。 游戏截图: 编译环境: VS2017 游戏需要一些图片,如果有想要的或者对游戏有什么看法的可以加我的QQ 2985486630 讨论,如果暂时没有回应,可以在博客下方留言,到时候我会看到。 下面我来介绍一下游戏的主要功能和实现方式 首先是玩家的定义,使用结构体,这个名字是可以自己改变的 struct gamerole { char n...
iOS Bug 太多,苹果终于坐不住了!
开源的 Android 和闭源的 iOS,作为用户的你,更偏向哪一个呢? 整理 | 屠敏 出品 | CSDN(ID:CSDNnews) 毋庸置疑,当前移动设备操作系统市场中,Android 和 iOS 作为两大阵营,在相互竞争的同时不断演进。不过一直以来,开源的 Android 吸引了无数的手机厂商涌入其中,为其生态带来了百花齐放的盛景,但和神秘且闭源的 iOS 系统相比,不少网友...
Python语言高频重点汇总
Python语言高频重点汇总 GitHub面试宝典仓库 回到首页 目录: Python语言高频重点汇总 目录: 1. 函数-传参 2. 元类 3. @staticmethod和@classmethod两个装饰器 4. 类属性和实例属性 5. Python的自省 6. 列表、集合、字典推导式 7. Python中单下划线和双下划线 8. 格式化字符串中的%和format 9. 迭代器和生成器 10...
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观...
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip installselenium -ihttps://pypi.tuna.tsinghua.edu.cn/simple/ ...
程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
程序员该看的几部电影
1、骇客帝国(1999) 概念:在线/离线,递归,循环,矩阵等 剧情简介: 不久的将来,网络黑客尼奥对这个看似正常的现实世界产生了怀疑。 他结识了黑客崔妮蒂,并见到了黑客组织的首领墨菲斯。 墨菲斯告诉他,现实世界其实是由一个名叫“母体”的计算机人工智能系统控制,人们就像他们饲养的动物,没有自由和思想,而尼奥就是能够拯救人类的救世主。 可是,救赎之路从来都不会一帆风顺,到底哪里才是真实的世界?如何...
蓝桥杯知识点汇总:基础知识和常用算法
文章目录基础语法部分:算法竞赛常用API:算法部分数据结构部分 此系列包含蓝桥杯绝大部分所考察的知识点,以及真题题解~ 基础语法部分: 备战蓝桥杯java(一):一般输入输出 和 快速输入输(BufferedReader&amp;BufferedWrite) 备战蓝桥杯java(二):java编程规范和常用数据类型 备战蓝桥杯java(三):常用功能符以及循环结构和分支结构 备战蓝桥杯java(四...
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东...
@程序员,如何花式构建线程?
作者 |曾建责编 | 郭芮出品 | CSDN(ID:CSDNnews)在项目和业务的开发中,我们难免要经常使用线程来进行业务处理,使用线程可以保证我们的业务在相互处理之间可以保证原子性...
破14亿,Python分析我国存在哪些人口危机!
一、背景 二、爬取数据 三、数据分析 1、总人口 2、男女人口比例 3、人口城镇化 4、人口增长率 5、人口老化(抚养比) 6、各省人口 7、世界人口 四、遇到的问题 遇到的问题 1、数据分页,需要获取从1949-2018年数据,观察到有近20年参数:LAST20,由此推测获取近70年的参数可设置为:LAST70 2、2019年数据没有放上去,可以手动添加上去 3、将数据进行 行列转换 4、列名...
实现简单的轮播图(单张图片、多张图片)
前言 刚学js没多久,这篇博客就当做记录了,以后还会完善的,希望大佬们多多指点。ps:下面出现的都是直接闪动,没有滑动效果的轮播图。 单张图片的替换 · ...
强烈推荐10本程序员在家读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
Linux自学篇——linux命令英文全称及解释
man: Manual 意思是手册,可以用这个命令查询其他命令的用法。 pwd:Print working directory 意思是密码。 su:Swith user 切换用户,切换到root用户 cd:Change directory 切换目录 ls:List files 列出目录下的文件 ps:Process Status 进程状态 mkdir:Make directory ...
Python实战:抓肺炎疫情实时数据,画2019-nCoV疫情地图
今天,群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者,国家重点实验室成员,于不惑之年学习python,实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据,也没有画过类似的数据分布图。于是就拿了两个小时,专门研究了一下,遂成此文。
疫情数据接口api
返回json示例 { "errcode":0,//0标识接口正常 "data":{ "date":"2020-01-30 07:47:23",//实时更新时间 "diagnosed":7736,//确诊人数 "suspect":12167,//疑是病例人数 "death":170,//死亡人数 "cur...
相关热词 c# 为空 判断 委托 c#记事本颜色 c# 系统默认声音 js中调用c#方法参数 c#引入dll文件报错 c#根据名称实例化 c#从邮件服务器获取邮件 c# 保存文件夹 c#代码打包引用 c# 压缩效率
立即提问