关于java:美团二面你向-Mysql-数据库插入-100w-条数据用了多久

7次阅读

共计 2032 个字符，预计需要花费 6 分钟才能阅读完成。

多线程插入 (单表)
多线程插入 (多表)
预处理 SQL
多值插入 SQL
事务 (N 条提交一次)

问：为何对同一个表的插入多线程会比单线程快？同一时间对一个表的写操作不应该是独占的吗？

答：在数据里做插入操作的时候，整体工夫的调配是这样的：

链接耗时（30%）
发送 query 到服务器（20%）
解析 query（20%）
插入操作（10% * 词条数目）
插入 index（10% * Index 的数目）
敞开链接（10%）

从这里能够看进去，真正耗时的不是操作，而是链接，解析的过程。

MySQL 插入数据在写阶段是独占的，然而插入一条数据依然须要解析、计算、最初才进行写解决，比方要给每一条记录调配自增 id，校验主键惟一键属性，或者其余一些逻辑解决，都是须要计算的，所以说多线程可能提高效率。

分辨别表后应用多线程插入。

一般 SQL，即应用 Statement 接口执行 SQL
预处理 SQL，即应用 PreparedStatement 接口执行 SQL

应用 PreparedStatement 接口容许数据库预编译 SQL 语句，当前只需传入参数，防止了数据库每次都编译 SQL 语句，因而性能更好。

String sql = "insert into testdb.tuser (name, remark, createtime, updatetime) values (?, ?, ?, ?)"; 
for (int i = 0; i < m; i++) { 
    // 从池中获取连贯 
    Connection conn = myBroker.getConnection(); 
    PreparedStatement pstmt = conn.prepareStatement(sql); 
    for (int k = 0; k < n; k++) {pstmt.setString(1, RandomToolkit.generateString(12)); 
            pstmt.setString(2, RandomToolkit.generateString(24)); 
            pstmt.setDate(3, new Date(System.currentTimeMillis())); 
            pstmt.setDate(4, new Date(System.currentTimeMillis())); 
            // 退出批处理 
            pstmt.addBatch();} 
    pstmt.executeBatch();    // 执行批处理 
    pstmt.close(); 
    myBroker.freeConnection(conn); // 连贯归池 
}

一般插入 SQL：INSERT INTO TBL_TEST (id) VALUES(1)
多值插入 SQL：INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

应用多值插入 SQL，SQL 语句的总长度缩小，即缩小了网络 IO，同时也升高了连贯次数，数据库一次 SQL 解析，可能插入多条数据。

在一个事务中提交大量 INSERT 语句能够进步性能。

1、将表的存储引擎批改为 myisam

2、将 sql 拼接成字符串，每 1000 条左右提交事务。

执行多条 SQL 语句，实现数据库事务。
mysql 数据库
多条 SQL 语句

public void ExecuteSqlTran(List<string> SQLStringList)
{using (MySqlConnection conn = new MySqlConnection(connectionString))
    {if (DBVariable.flag)
        {conn.Open();
            MySqlCommand cmd = new MySqlCommand();
            cmd.Connection = conn;
            MySqlTransaction tx = conn.BeginTransaction();
            cmd.Transaction = tx;
            try
            {for (int n = 0; n < SQLStringList.Count; n++)
                {string strsql = SQLStringList[n].ToString();
                    if (strsql.Trim().Length > 1)
                    {
                        cmd.CommandText = strsql;
                        cmd.ExecuteNonQuery();}
                    // 起初加上的  
                    if (n > 0 && (n % 1000 == 0 || n == SQLStringList.Count - 1))
                    {tx.Commit();
                        tx = conn.BeginTransaction();}
                }
                //tx.Commit();// 原来一次性提交}
            catch (System.Data.SqlClient.SqlException   E)
            {tx.Rollback();
                throw new Exception(E.Message);
            }
        }
    }
}

10w 条数据大略用时 10s！

欢送大家关注我的公众号【 惊涛骇浪如码 】，海量 Java 相干文章，学习材料都会在外面更新，整顿的材料也会放在外面。

感觉写的还不错的就点个赞，加个关注呗！点关注，不迷路，继续更新！！！

正文完