本文探讨了机器学习模型的时间复杂度，包括k近邻、逻辑回归、支持向量机、决策树和随机森林等算法。训练时间复杂度与数据的维度、数量和模型类型有关，如k近邻的空间复杂度为O(nd)，支持向量机训练时间复杂度为O(n²)。在选择算法时，应考虑数据规模和应用需求，以平衡计算效率与模型性能。
时间复杂度可以看作是机器学习算法针对输入大小执行速度的快慢的度量。时间复杂度总是相对于某些输入大小(例如n)给出的。
空间复杂度可以看作是执行机器学习算法所需的额外内存量。像时间复杂度一样，它也针对某些输入大小(n)给出。
机器学习算法/机器学习模型的复杂性通常使用大O表示法表示，大O表示法定义了算法的上限，它仅从上方限制函数。
大O表示法：算法的时间复杂度通常用大O符号表述，定义为T[n] = O(f(n))。称函数T(n)以f(n)为界或者称T(n)受限于f(n)。 如果一个问题的规模是n，解这一问题的某一算法所需要的时间为T(n)。T(n)称为这一算法的“时间复杂度”。当输入量n逐渐加大时，时间复杂度的极限情形称为算法的“渐近时间复杂度”。
下图显示了算法复杂性的不同情况：
为了写出计算复杂度，我们假设：
n =训练示例数，d =数据维数，k =邻居数
k最近邻算法的复杂度
训练时间复杂度 = O(knd)
遍历每个训练观测值，并计算机器学习训练集观测值和新观测值之间的距离 d。
时间相对于实例数(n)和维数(d)是线性的。
空间复杂度 = O(nd)
K最近邻居存储数据。测试需要较长的时间，因为您必须将每个测试实例与整个训练数据进行比较
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
