MySQL索引下推原理

在MySQL5.6中，引入了一个重要的优化特性—索引下推（Index Condition Pushdown，简称ICP）。ICP能够在某些查询场景下显著提高查询性能，减少不必要的数据行访问。

一、产生背景

在MySQL5.6之前，当查询使用到复合索引时，MySQL会先根据索引的最左前缀原则，在索引上查找到满足条件的记录的主键或行指针，然后再根据这些主键或行指针到数据表中查询完整的行记录。之后，MySQL再根据WHERE子句中的其他条件对这些行进行过滤。这种方式可能导致大量的数据行被检索出来，但实际上只有很少的行满足WHERE子句中的所有条件。

为了解决这个问题，MySQL 5.6引入了索引下推优化。

二、原理介绍

（Index Condition Pushdown, ICP）是MySQL优化查询的一种方式，其核心思想是将原本在服务层（上层）进行的部分过滤操作下推到存储引擎层（下层）执行，从而减少不必要的数据行检索，提高查询效率。

核心思想
索引下推优化的「核心思想」是将WHERE子句中的部分条件直接下推到索引扫描的过程中。这样，在扫描索引时，就可以提前过滤掉不满足条件的索引项，从而减少后续需要访问的数据行数。

具体说，当MySQL使用ICP时，它会将WHERE子句分为两部分：一部分是只涉及索引列的条件（称为索引条件），另一部分是涉及非索引列的条件（称为表条件）。MySQL会先将索引条件下推到索引扫描的过程中，然后再根据表条件对结果进行过滤。

没有使用ICP的查询过程
「解析查询：」 MySQL服务器接收到SQL查询后，首先会解析查询，确定需要访问哪些表和索引。

「索引查找：」 服务器根据解析结果，利用存储引擎提供的接口，在索引中查找满足条件的索引项。这个过程中，存储引擎只会根据索引的键值进行查找，不会考虑WHERE子句中的其他条件。

「数据行检索：」 服务器获取到满足索引条件的索引项后，会进一步根据这些索引项中的指针（或主键值）到数据表中检索出完整的行数据。

「过滤行数据：」 服务器在检索出数据行后，会在服务层根据WHERE子句中的其他条件对这些行进行过滤，只保留满足所有条件的行。

「返回结果：」 最后，服务器将过滤后的结果返回给客户端。

使用ICP的查询过程
「解析查询：」 同样，MySQL服务器会首先解析查询，确定需要访问的表和索引。

「索引查找与部分过滤：」 与没有使用ICP不同的是，在使用ICP时，服务器会将WHERE子句中的部分条件（索引条件）下推到存储引擎层。存储引擎在查找索引项的过程中，会同时根据这些下推的条件进行过滤，只返回满足索引条件和部分WHERE条件的索引项。

「数据行检索与最终过滤：」 服务器根据过滤后的索引项检索出数据行，此时的数据行已经大大减少了。然后，服务器会在服务层根据WHERE子句中的剩余条件对这些行进行最终的过滤。

「返回结果：」 服务器将最终过滤后的结果返回给客户端。

通过ICP优化，可以在存储引擎层就过滤掉大量不满足条件的数据行，从而减少了数据行检索的数量和服务层过滤的工作量，提高了查询性能。尤其是在涉及到大量数据行和复杂WHERE条件的情况下，ICP优化的效果更为显著。

三、如何在执行计划中查看ICP的使用

通过EXPLAIN命令来查看查询的执行计划，判断是否使用了ICP优化。当执行计划中的Extra列显示Using index condition时，表示查询使用了ICP优化。

例如]：

EXPLAIN SELECT * FROM orders WHERE customer_id = 100 
AND product_id > 50 AND order_date > '2022-01-01';

如果Extra列显示了Using index condition，那么说明MySQL优化器选择了ICP来优化这个查询，将product_id > 50这个条件下推到了索引扫描阶段。

要注意的是，customer_id = 100作为索引的最左前缀，是用于索引查找的基本条件，而order_date > '2022-01-01’这个条件可能仍然在服务层进行过滤，因为它涉及到非索引列。

另外，如果Extra列还显示了Using where，这表示在服务层还有额外的过滤条件。在使用ICP的情况下，Using where通常表示非索引列的条件过滤。如果只有Using where而没有Using index condition，那么可能没有使用ICP，或者查询只涉及到了非索引列的条件过滤。

四、使用限制

ICP优化主要有以下限制：

复合索引查询
当查询使用到复合索引，并且WHERE子句中有涉及到非索引列的条件时，ICP能够将涉及到索引列的条件下推到索引扫描的过程中，提前过滤不满足条件的索引项。

访问方法限制
range：当使用范围查询时，ICP可以有效地在索引扫描过程中过滤不满足条件的记录。ref、eq_ref、ref_or_null：这些访问方法通常涉及到通过索引查找单个或多个匹配的行。在这些情况下，ICP可以帮助减少不必要的行查找。

存储引擎限制
InnoDB：InnoDB从5.6开始支持ICP，现在我们基本都使用的5.6以上的版本了，默认就是开启ICP的，想关闭的话可以通过命令

SET optimizer_switch = 'index_condition_pushdown=off';

MyISAM：虽然MyISAM不支持事务处理，但它在某些场景下可能因为其高速的读取性能而被使用,MyISAM同样支持ICP.

索引类型限制
ICP优化只适用于二级索引（辅助索引）。在InnoDB中，主键索引（聚集索引）的叶子节点直接包含行数据，而二级索引的叶子节点包含的是对应主键的值。因此，当使用二级索引进行查询时，MySQL首先查找到主键值，然后再根据主键值去查找实际的行数据。在这个过程中，ICP可以在查找主键值之前就过滤掉不满足条件的索引项，从而提高查询效率。

优化器决策
即使查询满足上述条件，MySQL的优化器也不一定会选择使用ICP。优化器会根据查询成本估算来决定是否使用ICP。如果优化器认为全表扫描或者其他访问方法更快，它可能不会选择ICP。

五、案例分析

一个orders表，包含order_id（主键），且有一个复合索引(customer_id, product_id)。

查询语句如下：

SELECT * FROM orders WHERE customer_id = 100 AND product_id > 50 AND order_date > '2022-01-01';

在这个查询中，customer_id = 100和product_id > 50是索引条件，而order_date > '2022-01-01’是表条件。

「不使用ICP」：MySQL会先在索引上查找到满足customer_id = 100的索引项，然后根据这些索引项到数据表中查询完整的行记录。之后，再根据product_id > 50和order_date > '2022-01-01’对行进行过滤。

「使用ICP」：MySQL会先在索引上查找到满足customer_id = 100的索引项，并在索引扫描的过程中，根据product_id > 50提前过滤不满足条件的索引项。然后，再根据剩下的索引项到数据表中查询完整的行记录，并根据order_date > '2022-01-01’对行进行过滤。

通过ICP优化，MySQL能够在索引扫描的过程中提前过滤掉不满足条件的索引项，从而减少后续需要访问的数据行数，提高查询性能。