python写入数据到mysql数据缺失

python写入数据到mysql数据缺失

使用以下代码循环写入数据到mysql
数据总是丢失非常多,到底是怎么回事?


import pymysql


# 打开数据库连接
db = pymysql.connect("localhost", "root", "password", "kecheng")
cursor = db.cursor()

# 使用 execute() 方法执行 SQL,如果表存在则删除
cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")


def jian(tablename):
    # 使用预处理语句创建表
    sql1 = """CREATE TABLE %s (
            id TINYINT NOT NULL AUTO_INCREMENT KEY,
            monday CHAR(20) NOT NULL,
            tuesday CHAR(20) NOT NULL,
            wednesday CHAR(20) NOT NULL,
            thursday CHAR(20) NOT NULL,
            friday CHAR(20) NOT NULL,
            saturday CHAR(20) NOT NULL,
            sunday CHAR(20) NOT NULL )""" % tablename

    cursor.execute(sql1)


def charu(tablename, li):
    # SQL 插入语句
    sql2 = """INSERT INTO %s(id, monday,
             tuesday, wednesday, thursday, friday, saturday, sunday)
              VALUES (null, '%s', '%s', '%s', '%s', '%s', '%s', '%s')""" % (tablename, li[0], li[1], li[2], li[3], li[4], li[5], li[6])

    try:
        cursor.execute(sql2)
        db.commit()
    except:
        db.rollback()

chk218
CHK. 找到原因了,是因为字段长度不够
一年多之前 回复

3个回答

找到原因了,是因为字段长度不够,导致插入失败

我觉得是你没有关闭游标的原因

chk218
CHK. 找到原因了,是因为字段长度不够
一年多之前 回复
chk218
CHK. 试了,关闭游标也不行
一年多之前 回复

代码错误,可以尝试重新编辑一下

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用Python3将数据导入mysql,但无法插入数据

今天想把把python3爬虫的数据存入mysql,然后通过import MySQLdb来进行数据库的操作 ``` def insert_travel(p): db = MySQLdb.connect('localhost', 'root', '799050408', 'travel') cursor = db.cursor() print(p) sql = "INSERT INTO tra_info(title, img, content) VALUES(%s,%s,%s)",(p[0],p[1],p[2]) #sql.encode('unicode') try: cursor.execute(sql) db.commit() print('success') except: db.rollback() db.close() ``` 但是数据插入不成功,通过pycharm进到excute里面看,好像在 `query = query.encode(db.unicode_literal.charset, 'surrogateescape')` `res = self._query(query)` 这 两句话里面出了问题,想请教下大神们如何解决

MySQL使用多个连接实现同步读写的方式

打算用python 写一个传感器监控的小应用。 目前使用了两个独立的数据读写进程和MySQL 连接实现数据的同步读写,具体如下: 1. 有一个单独的写数据进程以一定的频率从传感器请求数据并写入本地的MySQL数据库; 2. 另外一个单独的读数据进程使用单独的数据库连接以一定频率读取MySQL的最近数据,并实现可视化 请问这是正确的实现方式吗?我注意到读数据这边的MySQL连接必须要先空commit 一次,才能获取到写进程那边新写入的数据。数据库小白,请大神指导。谢谢!

大数据量Mysql查询后经过循环使用python分片

1 问题描述: (1)使用mysql查询基础数据,这里只有三四个基础的查询条件,联了一个表,同时有limit分页了; (2)之后经过一系列逻辑处理,在这些处理中又包含了很多sql查询,而且是在第(1)条查询出来的结果基础上查询,以前是先分页的,第(1)一次只查询了十条,第二步最多循环十次,但是现在的新逻辑是,查询出来后,经过(2)的处理,不满足筛选条件的数据remove掉,然后再返回最后剩下的数据 (3)由于每一页都会remove()掉部分数据,我曾经尝试定义全局变量,记录删除数据,但是只能得到我当前查询这一页删除了多少,无法获取总共删除了多少,而且每一页的数量都不一定是10条,一般来说是10条以下(因为会删除部分不符合筛选条件的数据),但是要求是要获取满足筛选条件的总数据量,而且需要正常分页 (4)于是我不用limit分页,直接取全量数据,然后再记录删除的数据量,使用切片手动分页,就能获取总数据了,每页也都是10条,但是循环次数过多,数据量稍微大一点儿,就需要49秒左右 2 部分相关代码: (1)基础查询: ``` SELECT op.order_id, opc.order_code, op.created_at AS create_time, opc.departure_date, opc.end_date, opc.company, opc.channel_id, opc.retail, opc.final_cost, opc.has_pay, opc.commission_price, opc.commission_type, opc.commission_value \ FROM order_product_customize AS opc \ LEFT JOIN order_product AS op ON opc.order_product_id = op.order_product_id \ WHERE { 0 } ORDER BY opc.created_at DESC { 1 } ``` (2) 手动分页: ``` nextPage = limit_start+page_size result['data_list'] = result['data_list'][limit_start:nextPage] result['total_num'] = result['total_num'] - self.delNum ``` 3 报错信息: 没有报错,只是执行时间极其长 一台比较好的机器,执行时间为27.72秒,本地执行时间接近40秒,无法上传图片 4 已经尝试过的办法 (1)记录删除次数再减去(因为每次都只查一页,只能获取当前页删除的条数) (2)取符合筛选条件的全量数据(数据量太大,又有循环,导致速度极其慢) (3)每次查20条左右数据,然后获取没删除的前10条,记录最后一条的id(动态分页,无法获取每一页第一条数据,无法保证20条经过筛选后还能剩下10条)

获取到的数据生成新的mysql表或插入到已有表-Python

``` # -*- conding:utf8 -*- import tushare as ts import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='test') cursor = conn.cursor() #创建游标 today_data = ts.get_today_all() #把获取到的数据给today_data ``` 代码如上,可以成功连接数据库,创建游标,获取到数据。问题是:today_data获取到的数据有多个字段(code、name、changepercent、trade、open high、low、settlement),那如何在获取到数据的时候,生成一张新表?新表的字段和获取到的字段一致。

python写入mysql数据比实际应该写入的数据少是咋回事

cursor = db.cursor() cursor.execute("DROP TABLE IF EXISTS bilibili") sql = """CREATE TABLE bilibili ( id int, contents varchar(100)) """ cursor.execute(sql) oid = 69585286 url = "https://comment.bilibili.com/" + str(oid) + ".xml" res = requests.get(url) res.encoding = "UTF-8" xml = res.text result = re.findall(r'<d p=".*?">(.*?)</d>',xml) print("共爬取弹幕数为:"+str(result.__len__())) file_path = r'C:\Users\95666\Desktop\Demo\弹幕1.txt' with open(file_path,mode='w+',encoding='utf8') as f: i = 1 for content in result: content += '\n' sql = "INSERT INTO bilibili VALUES ('%d','%s')" %(i,content) try: cursor.execute(sql) db.commit() except: db.rollback() i += 1 f.write(content) f.write(str(i)) cursor.close() db.close() end_time = time.time() print("保存成功,耗时%fs"%(end_time-start_time)) 实际爬取数目为1500用txt保存的也是1500条 可写入mysql只有1000条 丢失的刚好是最后500条请问这是为什么啊

Python连接mysql,插入数据不成功怎么办?

![图片说明](https://img-ask.csdn.net/upload/202006/09/1591710572_123836.png) Pycharm中代码没有出现问题,但mysql中的表没有插入添加的数据?

python中如何将控制台数据保存到mysql中

# ![控制台打印的数据](https://img-ask.csdn.net/upload/201706/26/1498445317_109772.png)![图片说明](https://img-ask.csdn.net/upload/201706/26/1498445452_355132.png)如何将数据保存到mysql,或者有什么更好的方式将access数据库数据读取到mysql中,求大神帮忙

从python将图像插入MySql类型BLOB并从MySql显示到PHP

<div class="post-text" itemprop="text"> <p>I am trying to store an image from an url to my database as base64, but when I try to show it in a webpage based on php, it doesn't work..</p> <p>Here's the python code:</p> <pre><code>import urllib3, io, requests from PIL import Image import base64 URL = 'www....com/pic.jpg' img_conn = urllib3.connection_from_url('www....com/') img_file = img_conn.urlopen('GET', URL) image.seek(0) resized_image = Image.open(image) resized_image.thumbnail((75,75), Image.ANTIALIAS resized_image = base64.b64encode(resized_image.tostring()) </code></pre> <p>The <code>resized_image</code> is added to the database to a column called <code>pic</code> type LONGBLOB.</p> <p>my PHP code looks like something like this:</p> <pre><code>$sql = "SELECT pic FROM product LIMIT 1"; $stmt = $pdo-&gt;prepare($sql); $stmt-&gt;execute(); $row = $stmt-&gt;fetch(); $decoded_image = base64_decode($row['pic']); $formImage = imagecreatefromstring($decoded_image); </code></pre> <p>I get the message:</p> <p><code>PHP Warning: imagecreatefromstring(): Data is not in a recognized format in /home/...</code></p> <p>What am I doing wrong? Is there another way to save an image from an url inside my database?</p> </div>

python把变量如何写入mysql

GAME_ID = s["resultSets"][0]["rowSet"][i][0] TEAM_ID = s["resultSets"][0]["rowSet"][i][1] PLAYER_NAME = s["resultSets"][0]["rowSet"][i][5] db = MySQLdb.connect("localhost","root","199536abc","test") cursor = db.cursor() sql = """INSERT INTO PLAYER(GAME_ID,TEAM_ID,NAME) VALUES (GAME_ID,TEAM_ID,PLAYER_NAME)""" try: # 执行sql语句 cursor.execute(sql) # 提交到数据库执行 db.commit() except: # Rollback in case there is any error db.rollback() 现在的问题是sql语句里values后面括号里的三个不是之前定义的GAME_ID,TEAM_ID,PLAYER_NAME, 只能写固定值“21212”,1212,“nick”这样的 求解

python写入数据到excel怎么保留excel原来格式

用xlrd和xlutils写入数据到excel时,怎么能保留excel原来的条件格式、公式等。

Python的string存入MySQL

请教,在Python中有一个字符串 String str,要把这个存入MySQL,MySQL表中应该用什么类型来储存,需要类型转换吗?

Python 读取MYSQL数据并插入到CSV文件相应位置

数据库有一张表,除时间以外,每个字段都有可能重复(因为是按照系统时间,自动获取的网页数据现在我想做一张csv表,表的列名是时间字段(跟据数据库时间自增的),每行开头是名称(数据库存在的,只不过是去重后取出的)那么现在问题来了,如何按照时间名称从数据库获取数据填入相应的位置。

python连接MySQL,插入数据出现错误

不是已经修改为UTF8了吗,为什么还是插入不了字符串? ![图片说明](https://img-ask.cs dn.net/upload/201912/18/1576637447_903875.png)![图片说明](https://img-ask.csdn.net/upload/201912/18/1576637455_608709.png)![图片说明](https://img-ask.csdn.net/upload/201912/18/1576641680_946925.png)![图片说明](https://img-ask.csdn.net/upload/201912/18/1576641691_550967.png)

python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?

python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?

用python操作mysql时无法在mysql里面添加数据

``` def store(username,concern):#数据库存储 cur.execute("insert into yinyangshi (username,concern) values (\"%s\",\"%s\")",(username,concern)) cur.connection.commit #print(username,":",concern) ``` 用print验证时能输出正确结果但是查看数据库并没有存到里面数据 ``` import pymysql conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='1236987455',db='mysql',charset="utf8") cur=conn.cursor() cur.execute("USE scraping") cur.execute("insert into yinyangshi (username,concern) values (\"%s\",\"%s\")",("你猜","Null")) cur.connection.commit() cur.close() conn.close() ``` 下面的就能正确的添加进去数据

把MySQL里面的数据取出来,传到Prometheus做一个监控展示,这个该怎么做?

# 目的: **把MySQL某个表里面的数据取出来,传到Prometheus实现一个监控预警的作用,最后在Grafana生成监控图表**。 **1:首先这个表的数据结构是这样的(下面有图)**: 第一列(自增id); 第二列(目录列表); 第三列(已经使用的内存配额); 第四列(总共的内存配额); 第五列(插入这条数据的时间)。 **2:现在的想法是用python** (最好是python3)解析MySQL中表的数据,解析出来的数据传入Prometheus,然后实现一个对内存使用率超过多少后的预警,同时会有一个Grafana图表界面展示现在的内存使用状态。 **3:大概出来的样子:(例如使用超过80%有预警**) ![图片说明](https://img-ask.csdn.net/upload/202001/15/1579087711_42791.jpg) **4:数据是这个样子:(数据是有按时间每小时在库里面刷新一次每个目录当前的用量)** ![图片说明](https://img-ask.csdn.net/upload/202001/15/1579058350_12802.jpg) **5:目前想做的其实就是把MySQL表中的数据推到Prometheus 中做监控,展示也可以先不管,只要一个可以推送MySQL数据到Prometheus 的demo就行** GitHub上有个参考的,但是我不知道怎么弄,也可以告诉我这个怎么做:https://github.com/albertodonato/query-exporter 参考二:https://github.com/mr-karan/store-exporter

python 批量插入mysql 如何把list分隔开来

![图片说明](https://img-ask.csdn.net/upload/201904/10/1554899781_826538.png) 用批量插入插入到的是一列, 不知道怎么把他插入到5列,是要用5个list吗

python利用mysql管理大数据集方便吗?

使用python处理数据的时候生成的大批量的List数据集怎样保存比较方便呢?就是退出python后下次再进入python时不用再从外部文件重新读取数据集……因为我的数据量实在是太大,每次打开就再读一遍实在是太耗时间……所以我想用msqldb模块管理数据,不知道在数据存取、查询方面方不方便呢?有没有好的相关教程推荐的?谢谢啦

python在Excel写入数据并实时显示

可以使用python的xlrd在Excel中写入数据,但需要Save后,再打开才能显示出写入的内容。 如何在写入的同时,Excel处于打开状态,并实时更新写入内容?

YOLOv3目标检测实战:训练自己的数据集

YOLOv3目标检测实战:训练自己的数据集

150讲轻松搞定Python网络爬虫

150讲轻松搞定Python网络爬虫

实用主义学Python(小白也容易上手的Python实用案例)

实用主义学Python(小白也容易上手的Python实用案例)

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

立方体线框模型透视投影 (计算机图形学实验)

计算机图形学实验 立方体线框模型透视投影 的可执行文件,亲测可运行,若需报告可以联系我,期待和各位交流

2019 AI开发者大会

2019 AI开发者大会

组成原理课程设计(实现机器数的真值还原等功能)

实现机器数的真值还原(定点小数)、定点小数的单符号位补码加减运算、定点小数的补码乘法运算和浮点数的加减运算。

C/C++跨平台研发从基础到高阶实战系列套餐

一 专题从基础的C语言核心到c++ 和stl完成基础强化; 二 再到数据结构,设计模式完成专业计算机技能强化; 三 通过跨平台网络编程,linux编程,qt界面编程,mfc编程,windows编程,c++与lua联合编程来完成应用强化 四 最后通过基于ffmpeg的音视频播放器,直播推流,屏幕录像,

MFC一站式终极全套课程包

该套餐共包含从C小白到C++到MFC的全部课程,整套学下来绝对成为一名C++大牛!!!

软件测试2小时入门

软件测试2小时入门

三个项目玩转深度学习(附1G源码)

三个项目玩转深度学习(附1G源码)

计算机图形学-球的光照模型课程设计

计算机图形学-球的光照模型,有代码完美运行,有课程设计书

Linux常用命令大全(非常全!!!)

Linux常用命令大全(非常全!!!) 最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考: 系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在使用的内核版本 d...

因为看了这些书,我大二就拿了华为Offer

四年了,四年,你知道大学这四年我怎么过的么?

深度学习原理+项目实战+算法详解+主流框架(套餐)

深度学习系列课程从深度学习基础知识点开始讲解一步步进入神经网络的世界再到卷积和递归神经网络,详解各大经典网络架构。实战部分选择当下最火爆深度学习框架PyTorch与Tensorflow/Keras,全程实战演示框架核心使用与建模方法。项目实战部分选择计算机视觉与自然语言处理领域经典项目,从零开始详解算法原理,debug模式逐行代码解读。适合准备就业和转行的同学们加入学习! 建议按照下列课程顺序来进行学习 (1)掌握深度学习必备经典网络架构 (2)深度框架实战方法 (3)计算机视觉与自然语言处理项目实战。(按照课程排列顺序即可)

fakeLocation13.5.1.zip

fakeLocation13.5.1 虚拟定位 ios13.5.1的最新驱动下载,iPhone/iPad免越狱虚拟定位工具Location-cleaned驱动已更新

UnityLicence

UnityLicence

Python可以这样学(第一季:Python内功修炼)

Python可以这样学(第一季:Python内功修炼)

Python+OpenCV计算机视觉

Python+OpenCV计算机视觉

土豆浏览器

土豆浏览器可以用来看各种搞笑、电影、电视剧视频

【数据结构与算法综合实验】欢乐连连看(C++ & MFC)案例

这是武汉理工大学计算机学院数据结构与算法综合实验课程的第三次项目:欢乐连连看(C++ & MFC)迭代开发代码。运行环境:VS2017。已经实现功能:开始游戏、消子、判断胜负、提示、重排、计时、帮助。

php+mysql学生成绩管理系统

学生成绩管理系统,分三个模块:学生,教师和管理员。 管理员模块:负责学生、老师信息的增删改;发布课程信息的增删改,以便让学生选课;审核老师提交的学生成绩并且打印成绩存档;按照课号查询每个课号的学生成绩

多功能数字钟.zip

利用数字电子计数知识设计并制作的数字电子钟(含multisim仿真),该数字钟具有显示星期、24小时制时间、闹铃、整点报时、时间校准功能

推荐24个国外黄色网站欣赏

在中国清朝,明黄色的衣服只有皇子才有资格穿,慢慢的黄色在中国就成了高贵的颜色。在人们的色彩印象中,黄色也表现为暂停。所以当你的网页设计采用黄色的时候,会让人们在你的网页前停留。 黄色,就像橙色和红色,黄色也是一个暖色。它有大自然、阳光、春天的涵义,而且通常被认为是一个快乐和有希望的色彩。黄色是所有色相中最能发光的颜色,给人轻快,透明,辉煌,充满希望的色彩印象。 黄色是一个高可见的色...

u-boot-2015.07.tar.bz2

uboot-2015-07最新代码,喜欢的朋友请拿去

一学即懂的计算机视觉(第一季)

一学即懂的计算机视觉(第一季)

学生成绩管理系统(PHP + MYSQL)

做的是数据库课程设计,使用的php + MySQL,本来是黄金搭配也就没啥说的,推荐使用wamp服务器,里面有详细的使用说明,带有界面的啊!呵呵 不行的话,可以给我留言!

Windows版YOLOv4目标检测实战:训练自己的数据集

Windows版YOLOv4目标检测实战:训练自己的数据集

C++语言基础视频教程

C++语言基础视频教程

玩转Python-Python3基础入门

玩转Python-Python3基础入门

相关热词 c#跨线程停止timer c#批量写入sql数据库 c# 自动安装浏览器 c#语言基础考试题 c# 偏移量打印是什么 c# 绘制曲线图 c#框体中的退出函数 c# 按钮透明背景 c# idl 混编出错 c#在位置0处没有任何行
立即提问