面试官:MySQL in 语句为什么要限制参数数量?
我们在写 SQL 时,面试经常会考虑到 in 语句的语句参数数量限制,比如,限制Oracle 的参数 in 语句参数数量超过 1000 个时会报下面错误复制ORA-01795: maximum number of expressions in a list is 10001.
MySQL 虽然没有明确的限制不能超过 1000,但是数量也会受系统参数的影响。今天来聊一聊 MySQL in 语句为什么要限制参数数量。面试

1.限制原因
1.1 参数限制
MySQL server 端会限制返回的语句数据大小,比如下面两个参数:
max_allowed_packet:单个数据包能够传输的限制最大字节数,如果 in 语句返回的参数结果超过这个值,服务端就会返回异常 Packet for query is 数量too large;net_buffer_length:网络缓冲区的大小。如果 in 语句返回的面试结果超过网络缓冲区大小,可能导致传输问题。服务器租用语句1.2 性能考虑
MySQL server 处理 in 语句也会考虑内存大小的限制影响:
in 语句要查询的数据量非常大,在 SQL 中完全没有限制,参数比如下面的数量 SQL。因为 MySQL Server 要在内存中完成处理,遇到大表的全表扫描时,会占用大量内存。如果是高并发场景,很容易因为耗费内存太大导致响应慢; 复制select * from table1 where id in(select id from table2)1. 如果查询涉及到排序,并且排序的数据量很大,导致 sort buffer 不够用,就需要利用磁盘临时文件辅助排序,性能下降。即使 in 语句没有影响到 Server 端内存,in 语句中参数数量太多的话,高防服务器也会增加比较次数,增加单个语句的执行时间,降低性能。
2.优化建议
2.1 拆分 SQL
如果 in 语句中的值太多,可以考虑在应用代码中进行拆分,比如每个 SQL 限制传入 1000 个值,下面是一个伪代码:
复制List<Long> allIds = table2Dao.selectAllIds(); List<Long> splitIds; int start = 0; while(true){ splitIds = start + 1000 > allIds.size() ? allIds.subList(start, allIds.size()) : allIds.subList(start, start + 1000); List<ResultObject> batchResults = table1Dao.query(splitIds); if(start + 1000 > allIds.size()){ break; } start += 1000; }1.2.3.4.5.6.7.8.9.10.11.2.2 使用临时表
可以使用临时表进行优化,把 table2 中的 id 插入到临时表,然后使用 table1 和临时表进行关联查询。
复制--创建临时表 CREATE TEMPORARY TABLE temp_table2_ids ( id BIGINT PRIMARY KEY ); --把 table2 的 id 插入临时表 insert into temp_table2_ids select id from table2; --使用 EXISTS 语句代替 in SELECT * FROM table1 t1 WHERE EXISTS (SELECT * FROM temp_table2_ids t2 WHERE t1.id = t2.id);1.2.3.4.5.6.7.8.3.总结
在 MySQL 中使用 in 语句时,要注意 MySQL Server 端的限制,同时要考虑对内存和性能的影响。可以使用业务代码中拆分 SQL 和使用临时表的方法进行优化。服务器托管
本文地址:http://www.bzve.cn/news/82e3499883.html
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。