python写入数据到mysql数据缺失

今天想把把python3爬虫的数据存入mysql，然后通过import MySQLdb来进行数据库的操作 ``` def insert_travel(p): db = MySQLdb.connect('localhost', 'root', '799050408', 'travel') cursor = db.cursor() print(p) sql = "INSERT INTO tra_info(title, img, content) VALUES(%s,%s,%s)",(p[0],p[1],p[2]) #sql.encode('unicode') try: cursor.execute(sql) db.commit() print('success') except: db.rollback() db.close() ``` 但是数据插入不成功，通过pycharm进到excute里面看，好像在 `query = query.encode(db.unicode_literal.charset, 'surrogateescape')` `res = self._query(query)` 这 两句话里面出了问题，想请教下大神们如何解决

打算用python 写一个传感器监控的小应用。 目前使用了两个独立的数据读写进程和MySQL 连接实现数据的同步读写，具体如下： 1. 有一个单独的写数据进程以一定的频率从传感器请求数据并写入本地的MySQL数据库； 2. 另外一个单独的读数据进程使用单独的数据库连接以一定频率读取MySQL的最近数据，并实现可视化 请问这是正确的实现方式吗？我注意到读数据这边的MySQL连接必须要先空commit 一次，才能获取到写进程那边新写入的数据。数据库小白，请大神指导。谢谢！

1 问题描述： （1）使用mysql查询基础数据，这里只有三四个基础的查询条件，联了一个表，同时有limit分页了； （2）之后经过一系列逻辑处理，在这些处理中又包含了很多sql查询，而且是在第（1）条查询出来的结果基础上查询，以前是先分页的，第（1）一次只查询了十条，第二步最多循环十次，但是现在的新逻辑是，查询出来后，经过（2）的处理，不满足筛选条件的数据remove掉，然后再返回最后剩下的数据 （3）由于每一页都会remove()掉部分数据，我曾经尝试定义全局变量，记录删除数据，但是只能得到我当前查询这一页删除了多少，无法获取总共删除了多少，而且每一页的数量都不一定是10条，一般来说是10条以下（因为会删除部分不符合筛选条件的数据），但是要求是要获取满足筛选条件的总数据量，而且需要正常分页 （4）于是我不用limit分页，直接取全量数据，然后再记录删除的数据量，使用切片手动分页，就能获取总数据了，每页也都是10条，但是循环次数过多，数据量稍微大一点儿，就需要49秒左右 2 部分相关代码： （1）基础查询： ``` SELECT op.order_id, opc.order_code, op.created_at AS create_time, opc.departure_date, opc.end_date, opc.company, opc.channel_id, opc.retail, opc.final_cost, opc.has_pay, opc.commission_price, opc.commission_type, opc.commission_value \ FROM order_product_customize AS opc \ LEFT JOIN order_product AS op ON opc.order_product_id = op.order_product_id \ WHERE { 0 } ORDER BY opc.created_at DESC { 1 } ``` (2) 手动分页： ``` nextPage = limit_start+page_size result['data_list'] = result['data_list'][limit_start:nextPage] result['total_num'] = result['total_num'] - self.delNum ``` 3 报错信息： 没有报错，只是执行时间极其长 一台比较好的机器，执行时间为27.72秒，本地执行时间接近40秒，无法上传图片 4 已经尝试过的办法 （1）记录删除次数再减去（因为每次都只查一页，只能获取当前页删除的条数） （2）取符合筛选条件的全量数据（数据量太大，又有循环，导致速度极其慢） （3）每次查20条左右数据，然后获取没删除的前10条，记录最后一条的id（动态分页，无法获取每一页第一条数据,无法保证20条经过筛选后还能剩下10条）

 Pycharm中代码没有出现问题，但mysql中的表没有插入添加的数据？

``` # -*- conding:utf8 -*- import tushare as ts import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='test') cursor = conn.cursor() #创建游标 today_data = ts.get_today_all() #把获取到的数据给today_data ``` 代码如上，可以成功连接数据库，创建游标，获取到数据。问题是：today_data获取到的数据有多个字段(code、name、changepercent、trade、open high、low、settlement)，那如何在获取到数据的时候，生成一张新表？新表的字段和获取到的字段一致。

# 如何将数据保存到mysql，或者有什么更好的方式将access数据库数据读取到mysql中，求大神帮忙

用xlrd和xlutils写入数据到excel时，怎么能保留excel原来的条件格式、公式等。

# 目的： **把MySQL某个表里面的数据取出来，传到Prometheus实现一个监控预警的作用，最后在Grafana生成监控图表**。 **1：首先这个表的数据结构是这样的（下面有图）**： 第一列（自增id）； 第二列（目录列表）； 第三列（已经使用的内存配额）； 第四列（总共的内存配额）； 第五列（插入这条数据的时间）。 **2：现在的想法是用python** （最好是python3）解析MySQL中表的数据，解析出来的数据传入Prometheus，然后实现一个对内存使用率超过多少后的预警，同时会有一个Grafana图表界面展示现在的内存使用状态。 **3：大概出来的样子：（例如使用超过80%有预警**）  **4：数据是这个样子：（数据是有按时间每小时在库里面刷新一次每个目录当前的用量）**  **5：目前想做的其实就是把MySQL表中的数据推到Prometheus 中做监控，展示也可以先不管，只要一个可以推送MySQL数据到Prometheus 的demo就行** GitHub上有个参考的，但是我不知道怎么弄，也可以告诉我这个怎么做：https://github.com/albertodonato/query-exporter 参考二：https://github.com/mr-karan/store-exporter

最近有个项目需要Python 的openpyxl 插件将Excel数据 导入MySQL数据库中，可是以前都没有接触过Python，所以是个小白。。 下面是Excel和代码  Python code： # -*- coding: utf-8 -*- from openpyxl.reader.excel import load_workbook as lw import pymysql db = pymysql.connect("localhost","root","1234","test") #地址，用户名，密码，数据库名 # 使用 cursor() 方法创建一个游标对象 cursor cursor = db.cursor() insert_sql = 'insert into employee (LAST_NAME, FIRST_NAME, AGE, SEX, INCOME) values (%s, %s, %s, %s, %s)' wb = lw(filename = 'c:\\test.xlsx') ws = wb.get_sheet_by_name(wb.get_sheet_names()[0]) # <worksheet "data"> rows = ws.max_row # 最大行数 columns = ws.max_column # 最大列数 data = [] for rx in range(1, rows+1): for cx in range(1, columns+1): data.append(str(ws.cell(row=rx, column=cx).value)) cursor.execute(insert_sql, (data[0], data[1], data[2], data[3], data[4])) data = [] db.commit() # 提交 # 关闭两个连接 cursor.close() db.close()  有一个问题就是，当excel表格里有中文的时候，代码运行就会报错：  网上试了很多解码的方法，都没能解决这个问题，而且，从mysql读数据的时候，print出来的中文显示是??(问号)，也用了解码的代码了，但是没有解决。。求大神指点我这个小白。。感激不尽~~网上的各种方法都看过了，希望可以针对这个问题作出针对性的回答。 PS：Python 版本：3.5.2

``` for uri in urllist: headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36)"} response = requests.get(uri,headers=headers).text json_str = json.loads(response) aa=json_str['data'][0]['result'][0]['additional'] bb=json_str['data'][0]['result'][0]['ename'] cc=json_str['data'][0]['result'][0]['kg_pic_url'] cursor = db.cursor() sql = """insert into ady(score,name,PIC) VALUES ('+aa+','+bb+','+cc+')""" cursor.execute(sql) db.commit() ``` 写入到mysql里面 每一列都是 +aa+ +bb+ +cc+ 但是爬到的aa等字符串是可以打印出来的

请教，在Python中有一个字符串 String str，要把这个存入MySQL，MySQL表中应该用什么类型来储存，需要类型转换吗？

GAME_ID = s["resultSets"][0]["rowSet"][i][0] TEAM_ID = s["resultSets"][0]["rowSet"][i][1] PLAYER_NAME = s["resultSets"][0]["rowSet"][i][5] db = MySQLdb.connect("localhost","root","199536abc","test") cursor = db.cursor() sql = """INSERT INTO PLAYER(GAME_ID,TEAM_ID,NAME) VALUES (GAME_ID,TEAM_ID,PLAYER_NAME)""" try: # 执行sql语句 cursor.execute(sql) # 提交到数据库执行 db.commit() except: # Rollback in case there is any error db.rollback() 现在的问题是sql语句里values后面括号里的三个不是之前定义的GAME_ID,TEAM_ID,PLAYER_NAME, 只能写固定值“21212”，1212，“nick”这样的 求解

python数据分析之后处理的数据入什么数据库比较好 mysql？Oracle？python数据分析之后处理的数据入什么数据库比较好 mysql？Oracle？python数据分析之后处理的数据入什么数据库比较好 mysql？Oracle？python数据分析之后处理的数据入什么数据库比较好 mysql？Oracle？

不是已经修改为UTF8了吗，为什么还是插入不了字符串？ 

``` def store(username,concern):#数据库存储 cur.execute("insert into yinyangshi (username,concern) values (\"%s\",\"%s\")",(username,concern)) cur.connection.commit #print(username,":",concern) ``` 用print验证时能输出正确结果但是查看数据库并没有存到里面数据 ``` import pymysql conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='1236987455',db='mysql',charset="utf8") cur=conn.cursor() cur.execute("USE scraping") cur.execute("insert into yinyangshi (username,concern) values (\"%s\",\"%s\")",("你猜","Null")) cur.connection.commit() cur.close() conn.close() ``` 下面的就能正确的添加进去数据

使用python处理数据的时候生成的大批量的List数据集怎样保存比较方便呢？就是退出python后下次再进入python时不用再从外部文件重新读取数据集……因为我的数据量实在是太大，每次打开就再读一遍实在是太耗时间……所以我想用msqldb模块管理数据，不知道在数据存取、查询方面方不方便呢？有没有好的相关教程推荐的？谢谢啦

 用批量插入插入到的是一列， 不知道怎么把他插入到5列，是要用5个list吗

数据库有一张表，除时间以外，每个字段都有可能重复（因为是按照系统时间，自动获取的网页数据现在我想做一张csv表，表的列名是时间字段（跟据数据库时间自增的），每行开头是名称（数据库存在的，只不过是去重后取出的）那么现在问题来了，如何按照时间名称从数据库获取数据填入相应的位置。

可以使用python的xlrd在Excel中写入数据，但需要Save后，再打开才能显示出写入的内容。 如何在写入的同时，Excel处于打开状态，并实时更新写入内容？

在linux下利用c语言实现的进程树的打印，主要通过/proc下的目录中的进程文件，获取status中的进程信息内容，然后利用递归实现进程树的打印

课程亮点： 课程培训详细的笔记以及实例代码，让学员开始掌握设计模式知识点 课程内容： 工厂模式、桥接模式、组合模式、装饰器模式、外观模式、享元模式、原型模型、代理模式、单例模式、适配器模式 策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式 课程特色： 笔记设计模式，用笔记串连所有知识点，让学员从一点一滴积累，学习过程无压力 笔记标题采用关键字标识法，帮助学员更加容易记住知识点 笔记以超链接形式让知识点关联起来，形式知识体系 采用先概念后实例再应用方式，知识点深入浅出 提供授课内容笔记作为课后复习以及工作备查工具 部分图表（电脑PC端查看）：

92讲视频课+16大项目实战+源码+￥800元课程礼包+讲师社群1V1答疑+社群闭门分享会=99元 &nbsp; 为什么学习数据分析？ &nbsp; &nbsp; &nbsp; 人工智能、大数据时代有什么技能是可以运用在各种行业的？数据分析就是。 &nbsp; &nbsp; &nbsp; 从海量数据中获得别人看不见的信息，创业者可以通过数据分析来优化产品，营销人员可以通过数据分析改进营销策略，产品经理可以通过数据分析洞察用户习惯，金融从业者可以通过数据分析规避投资风险，程序员可以通过数据分析进一步挖掘出数据价值，它和编程一样，本质上也是一个工具，通过数据来对现实事物进行分析和识别的能力。不管你从事什么行业，掌握了数据分析能力，往往在其岗位上更有竞争力。 &nbsp;&nbsp; 本课程共包含五大模块： 一、先导篇： 通过分析数据分析师的一天，让学员了解全面了解成为一个数据分析师的所有必修功法，对数据分析师不在迷惑。 &nbsp; 二、基础篇： 围绕Python基础语法介绍、数据预处理、数据可视化以及数据分析与挖掘......这些核心技能模块展开，帮助你快速而全面的掌握和了解成为一个数据分析师的所有必修功法。 &nbsp; 三、数据采集篇： 通过网络爬虫实战解决数据分析的必经之路：数据从何来的问题，讲解常见的爬虫套路并利用三大实战帮助学员扎实数据采集能力，避免没有数据可分析的尴尬。 &nbsp; 四、分析工具篇： 讲解数据分析避不开的科学计算库Numpy、数据分析工具Pandas及常见可视化工具Matplotlib。 &nbsp; 五、算法篇： 算法是数据分析的精华，课程精选10大算法，包括分类、聚类、预测3大类型，每个算法都从原理和案例两个角度学习，让你不仅能用起来，了解原理，还能知道为什么这么做。

实现作业调度（先来先服务）、进程调度功能（时间片轮转） 实现内存管理功能（连续分配）。 实现文件系统功能（选作） 这些功能要有机地连接起来

安装第三方请求库 requests 被网站禁止了访问 原因是我们是Python过来的 重新给一段 可能还是存在用不了，使用网页的 编写代码 上面注意看匹配内容 User-Agent：请求对象 AppleWebKit：请求内核 Chrome浏览器 //请求网页 import requests import re //正则表达式 就是去不规则的网页里面提取有规律的信息 headers = { 'User-Agent':'存放浏览器里面的' } response = requests.get

工欲善其事，必先利其器。Vim+Git+Makefile是Linux环境下嵌入式开发常用的工具。本专题主要面向初次接触Linux的新手，熟练掌握工作中常用的工具，在以后的学习和工作中提高效率。

文章目录经典飞机大战一.游戏设定二.我方飞机三.敌方飞机四.发射子弹五.发放补给包六.主模块 经典飞机大战 源代码以及素材资料(图片，音频)可从下面的github中下载： 飞机大战源代码以及素材资料github项目地址链接 ————————————————————————————————————————————————————————— 不知道大家有没有打过飞机,喜不喜欢打飞机。当我第一次接触这个东西的时候,我的内心是被震撼到的。第一次接触打飞机的时候作者本人是身心愉悦的,因为周边的朋友都在打飞机, 每

本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。

本次活动将秉承“只讲技术，拒绝空谈”的理念，邀请十余位身处一线的Python技术专家，重点围绕Web开发、自动化运维、数据分析、人工智能等技术模块，分享真实生产环境中使用Python应对IT挑战的真知灼见。此外，针对不同层次的开发者，大会还安排了深度培训实操环节，为开发者们带来更多深度实战的机会。

。Apache JMeter 5.1.1 (Requires Java 8+)，需要jdk8以上的版本。

内涵HCNP-IENP中文理论书-内文，

董付国老师系列教材《Python程序设计（第2版）》（ISBN：9787302436515）、《Python可以这样学》（ISBN：9787302456469）配套视频，在教材基础上又增加了大量内容，通过实例讲解numpy、scipy、pandas、statistics、matplotlib等标准库和扩展库用法。

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的主类有何不同？Java应用程序与小程序之间有那些差别？Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

太惨了，面试又被吊打

2019 AI开发者大会(AI ProCon 2019)是由中国IT社区CSDN主办的AI技术与产业年度盛会。多年经验淬炼，如今蓄势待发：2019年9月6-7日，大会将有近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者齐聚北京，进行技术解读和产业论证。我们不空谈口号，只谈技术，诚挚邀请AI业内人士一起共铸人工智能新篇章！

图书管理系统 Java + MySQL 完整实训代码，MVC三层架构组织，包含所有用到的图片资源以及数据库文件，大三上学期实训，注释很详细，按照阿里巴巴Java编程规范编写

&nbsp; &nbsp; &nbsp; &nbsp; 本课程为Python数据挖掘方向的入门课程，课程主要以真实数据为基础，详细介绍数据挖掘入门的流程和使用Python实现pandas与numpy在数据挖掘方向的运用，并深入学习如何运用scikit-learn调用常用的数据挖掘算法解决数据挖掘问题，为进一步深入学习数据挖掘打下扎实的基础。

C/C++学习的全套教程，从基本语法，基本原理，到界面开发、网络开发、Linux开发、安全算法，应用尽用。由毕业于清华大学的业内人士执课，为C/C++编程爱好者的教程。

本套课程的设计完全是为初学者量身打造，课程内容由浅入深，课程讲解通俗易懂，代码实现简洁清晰。通过本课程的学习，学员能够入门微信公众平台开发，能够胜任企业级的订阅号、服务号、企业号的应用开发工作。 通过本课程的学习，学员能够对微信公众平台有一个清晰的、系统性的认识。例如，公众号是什么，它有什么特点，它能做什么，怎么开发公众号。 其次，通过本课程的学习，学员能够掌握微信公众平台开发的方法、技术和应用实现。例如，开发者文档怎么看，开发环境怎么搭建，基本的消息交互如何实现，常用的方法技巧有哪些，真实应用怎么开发。

从事大数据与人工智能开发与实践约十年，钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明，计算机技术的发展，算力突破，海量数据，机器人技术等，开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务，是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一，掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求，我们开发了人工智能案例实战系列课程。打造：以项目案例实践为驱动的课程学习方式，覆盖了智能零售，智慧交通等常见领域，通过基础学习、项目案例实践、社群答疑，三维立体的方式，打造最好的学习效果。

张宇：博士，全国著名考研数学辅导专家，教育部“国家精品课程建设骨干教师”，全国畅销书《张宇高等数学18讲》《张宇线性代数9讲》《张宇概率论与数理统计9讲》《张宇考研数学题源探析经典1000题》《张宇考

<p> 限时福利限时福利，<span>15000+程序员的选择！</span> </p> <p> 购课后添加学习助手（微信号：csdn590），按提示消息领取编程大礼包！并获取讲师答疑服务！ </p> <p> <br> </p> <p> 套餐中一共包含5门程序员必学的数学课程（共47讲） </p> <p> 课程1：《零基础入门微积分》 </p> <p> 课程2：《数理统计与概率论》 </p> <p> 课程3：《代码学习线性代数》 </p> <p> 课程4：《数据处理的最优化》 </p> <p> 课程5：《马尔可夫随机过程》 </p> <p> <br> </p> <p> 哪些人适合学习这门课程？ </p> <p> 1）大学生，平时只学习了数学理论，并未接触如何应用数学解决编程问题； </p> <p> 2）对算法、数据结构掌握程度薄弱的人，数学可以让你更好的理解算法、数据结构原理及应用； </p> <p> 3）看不懂大牛代码设计思想的人，因为所有的程序设计底层逻辑都是数学； </p> <p> 4）想学习新技术，如：人工智能、机器学习、深度学习等，这门课程是你的必修课程； </p> <p> 5）想修炼更好的编程内功，在遇到问题时可以灵活的应用数学思维解决问题。 </p> <p> <br> </p> <p> 在这门「专为程序员设计的数学课」系列课中，我们保证你能收获到这些:<br> <br> <span> </span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">①价值300元编程课程大礼包</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">②应用数学优化代码的实操方法</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">③数学理论在编程实战中的应用</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">④程序员必学的5大数学知识</span> </p> <p class="ql-long-24357476"> <span class="ql-author-24357476">⑤人工智能领域必修数学课</span> </p> <p> <br> 备注：此课程只讲程序员所需要的数学，即使你数学基础薄弱，也能听懂，只需要初中的数学知识就足矣。<br> <br> 如何听课？ </p> <p> 1、登录CSDN学院 APP 在我的课程中进行学习； </p> <p> 2、登录CSDN学院官网。 </p> <p> <br> </p> <p> 购课后如何领取免费赠送的编程大礼包和加入答疑群？ </p> <p> 购课后，添加助教微信：<span> csdn590</span>，按提示领取编程大礼包，或观看付费视频的第一节内容扫码进群答疑交流！ </p> <p> <img src="https://img-bss.csdn.net/201912251155398753.jpg" alt=""> </p>

DDR5 spec

前言： 说在前面， 面试题是根据一些朋友去面试提供的，再就是从网上整理了一些。 先更新50道，下一波吧后面的也更出来。 求赞求关注！！ 废话也不多说，现在就来看看有哪些面试题 1、面向对象的特点有哪些? 抽象、继承、封装、多态。 2、接口和抽象类有什么联系和区别? 3、重载和重写有什么区别? 4、java有哪些基本数据类型? 5、数组有没有length()方法?String有没有length()方法? 数组没有length()方法，它有length属性。 String有length()方法。 集合求长度用

本课程适合CCNA或HCNA网络小白同志，高手请绕道，可以直接学习进价课程。通过本预科课程的学习，为学习网络工程师、思科CCNA、华为HCNA这些认证打下坚实的基础！ 重要！思科认证2020年2月24日起，已启用新版认证和考试，包括题库都会更新，由于疫情原因，请关注官网和本地考点信息。题库网络上很容易下载到。

一 专题从基础的C语言核心到c++ 和stl完成基础强化； 二 再到数据结构，设计模式完成专业计算机技能强化； 三 通过跨平台网络编程，linux编程，qt界面编程，mfc编程，windows编程，c++与lua联合编程来完成应用强化 四 最后通过基于ffmpeg的音视频播放器，直播推流，屏幕录像，

前不久上传了一个控制台版本的学生管理系统，这个是Python界面版学生管理系统，这个是使用pycharm开发的一个有界面的学生管理系统，基本的增删改查，里面又演示视频和完整代码，有需要的伙伴可以自行下

2019数学建模A题高压油管的压力控制省一完整论文即详细C++和Matlab代码，希望对同学们有所帮助

这是一个门针对零基础学员学习微信小程序开发的视频教学课程。课程采用腾讯官方文档作为教程的唯一技术资料来源。杜绝网络上质量良莠不齐的资料给学员学习带来的障碍。 视频课程按照开发工具的下载、安装、使用、程序结构、视图层、逻辑层、微信小程序等几个部分组织课程，详细讲解整个小程序的开发过程