• Python
  • Python进阶(三十一)-往MySQL数据库里添加数据,update和insert哪个效率高

    game 2年前 41858次点击 来自 Python

    Python进阶(三十一)-往MySQL数据库里添加数据,update和insert哪个效率高
      在编写“Water Spider”过程中,遇到了批量更新数据的情况。自己刚开始时想使用mysql提供的cursor.executemany(operation, seq_of_params)方法执行批量更新操作,但是在写sql语句时遇到了问题,不知道如何写了。   后来换种思路,考虑在执行数据插入之前先做数据表删除操作,然后再执行写入操作。因为自己臆想的是“数据插入的效率应该优于更细的效率。”因此,决定对于该问题进行实际考察。   下面总结一下网络上针对该问题大家给出的观点   1. “不考虑主键变动,索引变动,触发器联动的情况下,update比Insert效率高。”   2. 这个很难说,相关因素太多了:存储引擎类型、是否加索引(索引结构如B+树索引或者哈希索引、索引更新、聚集索引还是非聚集索引)、约束(如唯一性约束、外键约束等)…   还有提下三种插入语句(也有可能影响插入速度,从而难以判断插入快还是更新快):   MySQL中常用的三种插入数据的语句:

    insert into表示插入数据,数据库会检查主键,如果出现重复会报错;
    replace into表示插入替换数据,需求表中有Primary Key,或者唯一索引,如果表中已经存在数据,则用新数据替换,如果没有数据效果则和insert into一样;
    insert ignore表示,如果表中如果已经存在相同的记录,则忽略当前新数据。   SQL中插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: 连接:(3) 发送查询给服务器:(2) 分析查询:(2) 插入记录:(1x记录大小) 插入索引:(1x索引) 关闭:(1)   如果我们每插入一条都执行一个SQL语句,那么我们需要执行除了连接和关闭之外的所有步骤N次,这样是非常耗时的,优化的方式有一下几种:   在每个insert语句中写入多行,批量插入   将所有查询语句写入事务中   利用Load Data导入数据   每种方式执行的性能如下。

    Innodb引擎
      InnoDB 给 MySQL 提供了具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)的事务安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行锁(locking on row level)以及外键约束(FOREIGN KEY constraints)。 InnoDB 的设计目标是处理大容量数据库系统,它的 CPU 利用率是其它基于磁盘的关系数据库引擎所不能比的。在技术上,InnoDB 是一套放在 MySQL 后台的完整数据库系统,InnoDB 在主内存中建立其专用的缓冲池用于高速缓冲数据和索引。   对于这种大数据量的更新情况,可以采用多线程的方式,每个线程更新100条数据,这样就能提高更新的速度了。   当然这里的100只是一个猜想值,哪个值合适,需要你测试才能得出。我想的话,应该能比单线要快些,至于能不能优化到2s,这个就不清楚了。   同时需要注意你的连接池大小、线程池大小(核心线程数)。这些资源也会影响到你的更新速度(即这些资源不能出现竞争) 最后,我对你需要更新这么大的数据量操作有一些疑问:   这个操作是online的吗?   这个操作的返回是实时的吗?   对于大数据量的更新一般会做成一个异步的操作,而不需要是实时的。

    目前暂无回复
    关于 广告投放
    ©2016 - 2018 V4.1.6 Powered by 北京雏森科技有限公司