多线程插入(单表)
问:为何对同一个表的插入多线程会比单线程快?同一时间对一个表的写操作不应该是独占的吗?
答:在数据里做插入操作的时候,整体工夫的调配是这样的:
- 链接耗时(30%)
- 发送 query 到服务器(20%)
- 解析 query(20%)
- 插入操作(10% * 词条数目)
- 插入 index(10% * Index 的数目)
- 敞开链接(10%)
从这里能够看进去,真正耗时的不是操作,而是链接,解析的过程。
MySQL 插入数据在写阶段是独占的,然而插入一条数据依然须要解析、计算、最初才进行写解决,比方要给每一条记录调配自增 id,校验主键惟一键属性,或者其余一些逻辑解决,都是须要计算的,所以说多线程可能提高效率。
多线程插入(多表)
分辨别表后应用多线程插入。
预处理 SQL
- 一般 SQL,即应用 Statement 接口执行 SQL
- 预处理 SQL,即应用 PreparedStatement 接口执行 SQL
应用 PreparedStatement 接口容许数据库预编译 SQL 语句,当前只需传入参数,防止了数据库每次都编译 SQL 语句,因而性能更好。
String sql = "insert into testdb.tuser (name, remark, createtime, updatetime) values (?, ?, ?, ?)";
for (int i = 0; i < m; i++) {
// 从池中获取连贯
Connection conn = myBroker.getConnection();
PreparedStatement pstmt = conn.prepareStatement(sql);
for (int k = 0; k < n; k++) {pstmt.setString(1, RandomToolkit.generateString(12));
pstmt.setString(2, RandomToolkit.generateString(24));
pstmt.setDate(3, new Date(System.currentTimeMillis()));
pstmt.setDate(4, new Date(System.currentTimeMillis()));
// 退出批处理
pstmt.addBatch();}
pstmt.executeBatch(); // 执行批处理
pstmt.close();
myBroker.freeConnection(conn); // 连贯归池
}
多值插入 SQL
- 一般插入 SQL:INSERT INTO TBL_TEST (id) VALUES(1)
- 多值插入 SQL:INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)
应用多值插入 SQL,SQL 语句的总长度缩小,即缩小了网络 IO,同时也升高了连贯次数,数据库一次 SQL 解析,可能插入多条数据。
事务(N 条提交一次)
在一个事务中提交大量 INSERT 语句能够进步性能。
1、将表的存储引擎批改为 myisam 2、将 sql 拼接成字符串,每 1000 条左右提交事务。
/// <summary>
/// 执行多条 SQL 语句,实现数据库事务。/// </summary>mysql 数据库
/// <param name="SQLStringList"> 多条 SQL 语句 </param>
public void ExecuteSqlTran(List<string> SQLStringList)
{using (MySqlConnection conn = new MySqlConnection(connectionString))
{if (DBVariable.flag)
{conn.Open();
MySqlCommand cmd = new MySqlCommand();
cmd.Connection = conn;
MySqlTransaction tx = conn.BeginTransaction();
cmd.Transaction = tx;
try
{for (int n = 0; n < SQLStringList.Count; n++)
{string strsql = SQLStringList[n].ToString();
if (strsql.Trim().Length > 1)
{
cmd.CommandText = strsql;
cmd.ExecuteNonQuery();}
// 起初加上的
if (n > 0 && (n % 1000 == 0 || n == SQLStringList.Count - 1))
{tx.Commit();
tx = conn.BeginTransaction();}
}
//tx.Commit();// 原来一次性提交}
catch (System.Data.SqlClient.SqlException E)
{tx.Rollback();
throw new Exception(E.Message);
}
}
}
}
10w 条数据大略用时 10s!
作者 | 良月柒
起源 | http://juejin.im/post/5d255ab…