Download the full version of the textbook now at textbookfull.

com

Fundamentals of optimization theory with

applications to machine learning Gallier J.

https://textbookfull.com/product/fundamentals-of-
optimization-theory-with-applications-to-machine-
learning-gallier-j-2/

Explore and download more textbook at https://textbookfull.com

 Recommended digital products (PDF, EPUB, MOBI) that
you can download immediately if you are interested.

Fundamentals of optimization theory with applications to

machine learning Gallier J.

https://textbookfull.com/product/fundamentals-of-optimization-theory-
with-applications-to-machine-learning-gallier-j-2/

textbookfull.com

Fundamentals of linear algebra and optimization Gallier J.

https://textbookfull.com/product/fundamentals-of-linear-algebra-and-
optimization-gallier-j/

textbookfull.com

Fundamentals of Linear Algebra and Optimization Jean

Gallier And Jocelyn Quaintance

https://textbookfull.com/product/fundamentals-of-linear-algebra-and-
optimization-jean-gallier-and-jocelyn-quaintance/

textbookfull.com

Information and Communication Technologies in

Organizations and Society Past Present and Future Issues
1st Edition Francesca Ricciardi
https://textbookfull.com/product/information-and-communication-
technologies-in-organizations-and-society-past-present-and-future-
issues-1st-edition-francesca-ricciardi/
textbookfull.com
Putin s Top Secret plan leaked on UK Mass Media Outlets
1st Edition Fake-O-Tics

https://textbookfull.com/product/putin-s-top-secret-plan-leaked-on-uk-
mass-media-outlets-1st-edition-fake-o-tics/

textbookfull.com

Qur’an of the Oppressed: Liberation Theology and Gender

Justice in Islam 1st Edition Shadaab Rahemtulla

https://textbookfull.com/product/quran-of-the-oppressed-liberation-
theology-and-gender-justice-in-islam-1st-edition-shadaab-rahemtulla/

textbookfull.com

Trends in Insect Molecular Biology and Biotechnology

Dhiraj Kumar

https://textbookfull.com/product/trends-in-insect-molecular-biology-
and-biotechnology-dhiraj-kumar/

textbookfull.com

Popular Media in Kenyan History: Fiction and Newspapers as

Political Actors 1st Edition George Ogola (Auth.)

https://textbookfull.com/product/popular-media-in-kenyan-history-
fiction-and-newspapers-as-political-actors-1st-edition-george-ogola-
auth/
textbookfull.com

Avatar The Last Airbender The Search Part 1 Yang Gene Luen
Koneitzko Bryan

https://textbookfull.com/product/avatar-the-last-airbender-the-search-
part-1-yang-gene-luen-koneitzko-bryan-3/

textbookfull.com
Processes in Human Evolution: The Journey from Early
Hominins to Neanderthals and Modern Humans Francisco J.
Ayala
https://textbookfull.com/product/processes-in-human-evolution-the-
journey-from-early-hominins-to-neanderthals-and-modern-humans-
francisco-j-ayala/
textbookfull.com
Fundamentals of Optimization Theory
With Applications to Machine Learning

Jean Gallier and Jocelyn Quaintance

Department of Computer and Information Science
University of Pennsylvania
Philadelphia, PA 19104, USA
e-mail: [email protected]

c Jean Gallier

August 13, 2019

2
Preface

In recent years, computer vision, robotics, machine learning, and data science have been
some of the key areas that have contributed to major advances in technology. Anyone who
looks at papers or books in the above areas will be baffled by a strange jargon involving exotic
terms such as kernel PCA, ridge regression, lasso regression, support vector machines (SVM),
Lagrange multipliers, KKT conditions, etc. Do support vector machines chase cattle to catch
them with some kind of super lasso? No! But one will quickly discover that behind the jargon
which always comes with a new field (perhaps to keep the outsiders out of the club), lies a
lot of “classical” linear algebra and techniques from optimization theory. And there comes
the main challenge: in order to understand and use tools from machine learning, computer
vision, and so on, one needs to have a firm background in linear algebra and optimization
theory. To be honest, some probability theory and statistics should also be included, but we
already have enough to contend with.
Many books on machine learning struggle with the above problem. How can one under-
stand what are the dual variables of a ridge regression problem if one doesn’t know about the
Lagrangian duality framework? Similarly, how is it possible to discuss the dual formulation
of SVM without a firm understanding of the Lagrangian framework?
The easy way out is to sweep these difficulties under the rug. If one is just a consumer
of the techniques we mentioned above, the cookbook recipe approach is probably adequate.
But this approach doesn’t work for someone who really wants to do serious research and
make significant contributions. To do so, we believe that one must have a solid background
in linear algebra and optimization theory.
This is a problem because it means investing a great deal of time and energy studying
these fields, but we believe that perseverance will be amply rewarded.
This second volume covers some elements of optimization theory and applications, espe-
cially to machine learning. This volume is divided in five parts:
(1) Preliminaries of Optimization Theory.

(2) Linear Optimization.

(3) Nonlinear Optimization.

(4) Applications to Machine Learning.

3
4

(5) An appendix on Hilbert Bases and the Riesz–Fischer Theorem.

Part I is devoted to some preliminaries of optimization theory. The goal of most optimiza-
tion problems is to minimize (or maximize) some objective function J subject to equality
or inequality constraints. Therefore it is important to understand when a function J has
a minimum or a maximum (an optimum). In most optimization problems, we need to find
necessary conditions for a function J : Ω → R to have a local extremum with respect to a
subset U of Ω (where Ω is open). This can be done in two cases:
(1) The set U is defined by a set of equations,

U = {x ∈ Ω | ϕi (x) = 0, 1 ≤ i ≤ m},

where the functions ϕi : Ω → R are continuous (and usually differentiable).

(2) The set U is defined by a set of inequalities,

U = {x ∈ Ω | ϕi (x) ≤ 0, 1 ≤ i ≤ m},

where the functions ϕi : Ω → R are continuous (and usually differentiable).

The case of equality constraints is much easier to deal with and is treated in Chapter 4.
In the case of equality constraints, a necessary condition for a local extremum with respect
to U can be given in terms of Lagrange multipliers.
Part II deals with the special case where the objective function is a linear form and the
constraints are affine inequality and equality constraints. This subject is known as linear
programming, and the next four chapters give an introduction to the subject.
Part III is devoted to nonlinear optimization, which is the case where the objective
function J is not linear and the constaints are inequality constraints. Since it is practically
impossible to say anything interesting if the constraints are not convex, we quickly consider
the convex case.
Chapter 13 is devoted to some general results of optimization theory. A main theme is
to find sufficient conditions that ensure that an objective function has a minimum which
is achieved. We define gradient descent methods (including Newton’s method), and discuss
their convergence.
Chapter 14 contains the most important results of nonlinear optimization theory. The-
orem 14.6 gives necessary conditions for a function J to have a minimum on a subset U
defined by convex inequality constraints in terms of the Karush–Kuhn–Tucker conditions.
Furthermore, if J is also convex and if the KKT conditions hold, then J has a global mini-
mum.
We illustrate the KKT conditions on an interesting example from machine learning the
so-called hard margin support vector machine; see Sections 14.5 and 14.6. The problem is to
 5

separate two disjoint sets of points, {ui }pi=1 and {vj }qj=1 , using a hyperplane satisfying some
optimality property (to maximize the margin).
Section 14.7 contains the most important results of the chapter. The notion of Lagrangian
duality is presented and we discuss weak duality and strong duality.
In Chapter 15, we consider some deeper aspects of the the theory of convex functions
that are not necessarily differentiable at every point of their domain. Some substitute for the
gradient is needed. Fortunately, for convex functions, there is such a notion, namely subgra-
dients. A major motivation for developing this more sophisticated theory of differentiation
of convex functions is to extend the Lagrangian framework to convex functions that are not
necessarily differentiable.
Chapter 16 is devoted to the presentation of one of the best methods known at the
present for solving optimization problems involving equality constraints, called ADMM (al-
ternating direction method of multipliers). In fact, this method can also handle more general
constraints, namely, membership in a convex set. It can also be used to solve lasso mini-
mization.
In Section 16.4, we prove the convergence of ADMM under exactly the same assumptions
as in Boyd et al. [17]. It turns out that Assumption (2) in Boyd et al. [17] implies that the
matrices A> A and B > B are invertible (as we show after the proof of Theorem 16.1). This
allows us to prove a convergence result stronger than the convergence result proven in Boyd
et al. [17].
The next three chapters constitute Part IV, which covers some applications of optimiza-
tion theory (in particular Lagrangian duality) to machine learning.
In Chapter 17, we discuss linear regression, ridge regression and lasso regression.
Chapter 18 is an introduction to positive definite kernels and the use of kernel functions
in machine learning. called a kernel function.
We illustrate the kernel methods on two examples: (1) kernel PCA (see Section 18.3),
and (2) ν-SV Regression, which is a variant of linear regression in which certain points are
allowed to be “misclassified” (see Section 18.4).
In Chapter 19 we return to the problem of separating two disjoint sets of points, {ui }pi=1
and {vj }qj=1 , but this time we do not assume that these two sets are separable. To cope with
nonseparability, we allow points to invade the safety zone around the separating hyperplane,
and even points on the wrong side of the hyperplane. Such a mehod is called soft margin
support vector machine. We discuss variations of this method, including ν-SV classification.
In each case, we present a careful derivation of the dual.
Except for a few exceptions we provide complete proofs. We did so to make this book
self-contained, but also because we believe that no deep knowledge of this material can be
acquired without working out some proofs. However, our advice is to skip some of the proofs
upon first reading, especially if they are long and intricate.
6

The chapters or sections marked with the symbol ~ contain material that is typically
more specialized or more advanced, and they can be omitted upon first (or second) reading.
Acknowledgement: We would like to thank Christine Allen-Blanchette, Kostas Daniilidis,
Carlos Esteves, Spyridon Leonardos, Stephen Phillips, João Sedoc, and Marcelo Siqueira,
for reporting typos and for helpful comments.
Contents

1 Introduction 13

I Preliminaries for Optimization Theory 21

2 Topology 23
2.1 Metric Spaces and Normed Vector Spaces . . . . . . . . . . . . . . . . . . . 23
2.2 Topological Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 Subspace and Product Topologies . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Continuous Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.5 Limits and Continuity; Uniform Continuity . . . . . . . . . . . . . . . . . . 44
2.6 Continuous Linear and Multilinear Maps . . . . . . . . . . . . . . . . . . . . 49
2.7 Complete Metric Spaces and Banach Spaces . . . . . . . . . . . . . . . . . . 55
2.8 Completion of a Metric Space . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.9 Completion of a Normed Vector Space . . . . . . . . . . . . . . . . . . . . . 63
2.10 The Contraction Mapping Theorem . . . . . . . . . . . . . . . . . . . . . . 64
2.11 Futher Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.12 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.13 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3 Differential Calculus 69
3.1 Directional Derivatives, Total Derivatives . . . . . . . . . . . . . . . . . . . 69
3.2 Jacobian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.3 The Implicit and The Inverse Function Theorems . . . . . . . . . . . . . . . 90
3.4 Second-Order and Higher-Order Derivatives . . . . . . . . . . . . . . . . . . 95
3.5 Taylor’s Formula, Faà di Bruno’s Formula . . . . . . . . . . . . . . . . . . . 100
3.6 Futher Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

4 Extrema of Real-Valued Functions 107

4.1 Local Extrema and Lagrange Multipliers . . . . . . . . . . . . . . . . . . . . 107
4.2 Using Second Derivatives to Find Extrema . . . . . . . . . . . . . . . . . . . 117
4.3 Using Convexity to Find Extrema . . . . . . . . . . . . . . . . . . . . . . . 120

7
8 CONTENTS

4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

4.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

5 Newton’s Method and Its Generalizations 133

5.1 Newton’s Method for Real Functions of a Real Argument . . . . . . . . . . 133
5.2 Generalizations of Newton’s Method . . . . . . . . . . . . . . . . . . . . . . 134
5.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

6 Quadratic Optimization Problems 145

6.1 Quadratic Optimization: The Positive Definite Case . . . . . . . . . . . . . 145
6.2 Quadratic Optimization: The General Case . . . . . . . . . . . . . . . . . . 154
6.3 Maximizing a Quadratic Function on the Unit Sphere . . . . . . . . . . . . 159
6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

7 Schur Complements and Applications 167

7.1 Schur Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.2 SPD Matrices and Schur Complements . . . . . . . . . . . . . . . . . . . . . 170
7.3 SP Semidefinite Matrices and Schur Complements . . . . . . . . . . . . . . 171
7.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
7.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

II Linear Optimization 175

8 Convex Sets, Cones, H-Polyhedra 177
8.1 What is Linear Programming? . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.2 Affine Subsets, Convex Sets, Hyperplanes, Half-Spaces . . . . . . . . . . . . 179
8.3 Cones, Polyhedral Cones, and H-Polyhedra . . . . . . . . . . . . . . . . . . 182
8.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
8.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

9 Linear Programs 189

9.1 Linear Programs, Feasible Solutions, Optimal Solutions . . . . . . . . . . . 189
9.2 Basic Feasible Solutions and Vertices . . . . . . . . . . . . . . . . . . . . . . 195
9.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

10 The Simplex Algorithm 205

10.1 The Idea Behind the Simplex Algorithm . . . . . . . . . . . . . . . . . . . . 205
10.2 The Simplex Algorithm in General . . . . . . . . . . . . . . . . . . . . . . . 214
10.3 How to Perform a Pivoting Step Efficiently . . . . . . . . . . . . . . . . . . 221
CONTENTS 9

10.4 The Simplex Algorithm Using Tableaux . . . . . . . . . . . . . . . . . . . . 225

10.5 Computational Efficiency of the Simplex Method . . . . . . . . . . . . . . . 233
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

11 Linear Programming and Duality 237

11.1 Variants of the Farkas Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . 237
11.2 The Duality Theorem in Linear Programming . . . . . . . . . . . . . . . . . 242
11.3 Complementary Slackness Conditions . . . . . . . . . . . . . . . . . . . . . 251
11.4 Duality for Linear Programs in Standard Form . . . . . . . . . . . . . . . . 252
11.5 The Dual Simplex Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 255
11.6 The Primal-Dual Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
11.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

III NonLinear Optimization 273

12 Basics of Hilbert Spaces 275
12.1 The Projection Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
12.2 Duality and the Riesz Representation Theorem . . . . . . . . . . . . . . . . 288
12.3 Farkas–Minkowski Lemma in Hilbert Spaces . . . . . . . . . . . . . . . . . . 293

13 General Results of Optimization Theory 295

13.1 Optimization Problems; Basic Terminology . . . . . . . . . . . . . . . . . . 295
13.2 Existence of Solutions of an Optimization Problem . . . . . . . . . . . . . . 298
13.3 Minima of Quadratic Functionals . . . . . . . . . . . . . . . . . . . . . . . . 303
13.4 Elliptic Functionals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
13.5 Iterative Methods for Unconstrained Problems . . . . . . . . . . . . . . . . 312
13.6 Gradient Descent Methods for Unconstrained Problems . . . . . . . . . . . 316
13.7 Convergence of Gradient Descent with Variable Stepsize . . . . . . . . . . . 321
13.8 Steepest Descent for an Arbitrary Norm . . . . . . . . . . . . . . . . . . . . 326
13.9 Newton’s Method For Finding a Minimum . . . . . . . . . . . . . . . . . . . 328
13.10 Conjugate Gradient Methods; Unconstrained Problems . . . . . . . . . . . . 332
13.11 Gradient Projection for Constrained Optimization . . . . . . . . . . . . . . 344
13.12 Penalty Methods for Constrained Optimization . . . . . . . . . . . . . . . . 346
13.13 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348

14 Introduction to Nonlinear Optimization 351

14.1 The Cone of Feasible Directions . . . . . . . . . . . . . . . . . . . . . . . . . 351
14.2 Active Constraints and Qualified Constraints . . . . . . . . . . . . . . . . . 358
14.3 The Karush–Kuhn–Tucker Conditions . . . . . . . . . . . . . . . . . . . . . 364
14.4 Equality Constrained Minimization . . . . . . . . . . . . . . . . . . . . . . . 376
10 CONTENTS

14.5 Hard Margin Support Vector Machine; Version I . . . . . . . . . . . . . . . 381

14.6 Hard Margin Support Vector Machine; Version II . . . . . . . . . . . . . . . 385
14.7 Lagrangian Duality and Saddle Points . . . . . . . . . . . . . . . . . . . . . 394
14.8 Weak and Strong Duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
14.9 Handling Equality Constraints Explicitly . . . . . . . . . . . . . . . . . . . . 411
14.10 Dual of the Hard Margin Support Vector Machine . . . . . . . . . . . . . . 414
14.11 Conjugate Function and Legendre Dual Function . . . . . . . . . . . . . . . 419
14.12 Some Techniques to Obtain a More Useful Dual Program . . . . . . . . . . 429
14.13 Uzawa’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
14.14 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439

15 Subgradients and Subdifferentials 441

15.1 Extended Real-Valued Convex Functions . . . . . . . . . . . . . . . . . . . . 443
15.2 Subgradients and Subdifferentials . . . . . . . . . . . . . . . . . . . . . . . . 452
15.3 Basic Properties of Subgradients and Subdifferentials . . . . . . . . . . . . . 464
15.4 Additional Properties of Subdifferentials . . . . . . . . . . . . . . . . . . . . 471
15.5 The Minimum of a Proper Convex Function . . . . . . . . . . . . . . . . . . 475
15.6 Generalization of the Lagrangian Framework . . . . . . . . . . . . . . . . . 481
15.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485

16 Dual Ascent Methods; ADMM 487

16.1 Dual Ascent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
16.2 Augmented Lagrangians and the Method of Multipliers . . . . . . . . . . . . 493
16.3 ADMM: Alternating Direction Method of Multipliers . . . . . . . . . . . . . 498
16.4 Convergence of ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
16.5 Stopping Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510
16.6 Some Applications of ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . 512
16.7 Applications of ADMM to `1 -Norm Problems . . . . . . . . . . . . . . . . . 515
16.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519

IV Applications to Machine Learning 521

17 Ridge Regression and Lasso Regression 523
17.1 Ridge Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
17.2 Lasso Regression (`1 -Regularized Regression) . . . . . . . . . . . . . . . . . 533
17.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539

18 Positive Definite Kernels 541

18.1 Basic Properties of Positive Definite Kernels . . . . . . . . . . . . . . . . . . 541
18.2 Hilbert Space Representation of a Positive Kernel . . . . . . . . . . . . . . . 552
18.3 Kernel PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
18.4 ν-SV Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
Visit https://textbookfull.com
now to explore a rich
collection of eBooks, textbook
and enjoy exciting offers!
CONTENTS 11

19 Soft Margin Support Vector Machines 569

19.1 Soft Margin Support Vector Machines; (SVMs1 ) . . . . . . . . . . . . . . . . 572
19.2 Soft Margin Support Vector Machines; (SVMs2 ) . . . . . . . . . . . . . . . . 582
19.3 Soft Margin Support Vector Machines; (SVMs20 ) . . . . . . . . . . . . . . . 589
19.4 Soft Margin SVM; (SVMs3 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . 604
19.5 Soft Margin Support Vector Machines; (SVMs4 ) . . . . . . . . . . . . . . . . 607
19.6 Soft Margin SVM; (SVMs5 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
19.7 Summary and Comparison of the SVM Methods . . . . . . . . . . . . . . . 618

V Appendix 631
A Total Orthogonal Families in Hilbert Spaces 633
A.1 Total Orthogonal Families, Fourier Coefficients . . . . . . . . . . . . . . . . 633
A.2 The Hilbert Space `2 (K) and the Riesz-Fischer Theorem . . . . . . . . . . . 641

Bibliography 650
12 CONTENTS
Chapter 1

Introduction

This second volume covers some elements of optimization theory and applications, especially
to machine learning. This volume is divided in five parts:
(1) Preliminaries of Optimization Theory.
(2) Linear Optimization.
(3) Nonlinear Optimization.
(4) Applications to Machine Learning.
(5) An appendix on Hilbert Bases and the Riesz–Fischer Theorem.

Part I is devoted to some preliminaries of optimization theory. The goal of most optimiza-
tion problems is to minimize (or maximize) some objective function J subject to equality
or inequality constraints. Therefore it is important to understand when a function J has a
minimum or a maximum (an optimum). If the function J is sufficiently differentiable, then
a necessary condition for a function to have an optimum typically involves the derivative of
the function J, and if J is real-valued, its gradient ∇J.
Thus it is desirable to review some basic notions of topology and calculus, in particular,
to have a firm grasp of the notion of derivative of a function between normed vector spaces.
Partial derivatives ∂f /∂A of functions whose range and domain are spaces of matrices tend
to be used casually, even though in most cases a correct definition is never provided. It is
possible, and simple, to define rigorously derivatives, gradients, and directional derivatives
of functions defined on matrices and to avoid these nonsensical partial derivatives.
Chapter 2 contains a review of basic topological notions used in analysis. We pay par-
ticular attention to complete metric spaces and complete normed vector spaces. In fact, we
provide a detailed construction of the completion of a metric space (and of a normed vector
space) using equivalence classes of Cauchy sequences. Chapter 3 is devoted to some notions
of differential calculus, in particular, directional derivatives, total derivatives, gradients, Hes-
sians, and the inverse function theorem.

13
14 CHAPTER 1. INTRODUCTION

Chapter 4 deals with extrema of real-valued functions. In most optimization problems,

we need to find necessary conditions for a function J : Ω → R to have a local extremum with
respect to a subset U of Ω (where Ω is open). This can be done in two cases:

(1) The set U is defined by a set of equations,

U = {x ∈ Ω | ϕi (x) = 0, 1 ≤ i ≤ m},

where the functions ϕi : Ω → R are continuous (and usually differentiable).

(2) The set U is defined by a set of inequalities,

U = {x ∈ Ω | ϕi (x) ≤ 0, 1 ≤ i ≤ m},

where the functions ϕi : Ω → R are continuous (and usually differentiable).

In (1), the equations ϕi (x) = 0 are called equality constraints, and in (2), the inequalities
ϕi (x) ≤ 0 are called inequality constraints. The case of equality constraints is much easier
to deal with and is treated in Chapter 4.
If the functions ϕi are convex and Ω is convex, then U is convex. This is a very important
case that we will discuss later. In particular, if the functions ϕi are affine, then the equality
constraints can be written as Ax = b, and the inequality constraints as Ax ≤ b, for some
m × n matrix A and some vector b ∈ Rm . We will also discuss the case of affine constraints
later.
In the case of equality constraints, a necessary condition for a local extremum with respect
to U can be given in terms of Lagrange multipliers. In the case of inequality constraints, there
is also a necessary condition for a local extremum with respect to U in terms of generalized
Lagrange multipliers and the Karush–Kuhn–Tucker conditions. This will be discussed in
Chapter 14.
In Chapter 5 we discuss Newton’s method and some of its generalizations (the Newton–
Kantorovich theorem). These are methods to find the zeros of a function.
Chapter 6 covers the special case of determining when a quadratic function has a mini-
mum, subject to affine equality constraints. A complete answer is provided in terms of the
notion of symmetric positive semidefinite matrices.
The Schur complement is introduced in Chapter 7. We give a complete proof of a cri-
terion for a matrix to be positive definite (or positive semidefinite) stated in Boyd and
Vandenberghe [18] (Appendix B).
Part II deals with the special case where the objective function is a linear form and the
constraints are affine inequality and equality constraints. This subject is known as linear
programming, and the next four chapters give an introduction to the subject. Although
linear programming has been supplanted by convex programming and its variants, it is still
 15

a great workhorse. It is also a great warm up for the general treatment of Lagrangian duality.
We pay particular attention to versions of Farkas’ lemma, which is at the heart of duality in
linear programming.
Part III is devoted to nonlinear optimization, which is the case where the objective
function J is not linear and the constaints are inequality constraints. Since it is practically
impossible to say anything interesting if the constraints are not convex, we quickly consider
the convex case.
In optimization theory one often deals with function spaces of infinite dimension. Typ-
ically, these spaces either are Hilbert spaces or can be completed as Hilbert spaces. Thus
it is important to have some minimum knowledge about Hilbert spaces, and we feel that
this minimum knowledge includes the projection lemma, the fact that a closed subset has
an orthogonal complement, the Riesz representation theorem, and a version of the Farkas–
Minkowski lemma. Chapter 12 covers these topics. A more detailed introduction to Hilbert
spaces is given in Appendix A.
Chapter 13 is devoted to some general results of optimization theory. A main theme is
to find sufficient conditions that ensure that an objective function has a minimum which
is achieved. We define the notion of a coercive function. The most general result is The-
orem 13.2, which applies to a coercive convex function on a convex subset of a separable
Hilbert space. In the special case of a coercive quadratic functional, we obtain the Lions–
Stampacchia theorem (Theorem 13.6), and the Lax–Milgram theorem (Theorem 13.7). We
define elliptic functionals, which generalize quadratic functions defined by symmetric posi-
tive definite matrices. We define gradient descent methods, and discuss their convergence.
A gradient descent method looks for a descent direction and a stepsize parameter, which is
obtained either using an exact line search or a backtracking line search. A popular technique
to find the search direction is steepest descent. In addition to steepest descent for the Eu-
clidean norm, we discuss steepest descent for an arbitrary norm. We also consider a special
case of steepest descent, Newton’s method. This method converges faster than the other
gradient descent methods, but it is quite expensive since it requires computing and storing
Hessians. We also present the method of conjugate gradients and prove its correctness. We
briefly discuss the method of gradient projection and the penalty method in the case of
constrained optima.
Chapter 14 contains the most important results of nonlinear optimization theory. We
begin by defining the cone of feasible directions and then state a necessary condition for a
function to have local minimum on a set U that is not necessarily convex in terms of the
cone of feasible directions. The cone of feasible directions is not always convex, but it is if
the constraints are inequality constraints. An inequality constraint ϕ(u) ≤ 0 is said to be
active is ϕ(u) = 0. One can also define the notion of qualified constraint. Theorem 14.5
gives necessary conditions for a function J to have a minimum on a subset U defined by
qualified inequality constraints in terms of the Karush–Kuhn–Tucker conditions (for short
KKT conditions), which involve nonnegative Lagrange multipliers. The proof relies on a
version of the Farkas–Minkowski lemma. Some of the KTT conditions assert that λi ϕi (u) =
16 CHAPTER 1. INTRODUCTION

0, where λi ≥ 0 is the Lagrange multiplier associated with the constraint ϕi ≤ 0. To some

extent, this implies that active constaints are more important than inactive constraints,
since if ϕi (u) < 0 is an inactive constraint, then λi = 0. In general, the KKT conditions
are useless unlesss the constraints are convex. In this case, there is a manageable notion of
qualified constraint given by Slater’s conditions. Theorem 14.6 gives necessary conditions
for a function J to have a minimum on a subset U defined by convex inequality constraints
in terms of the Karush–Kuhn–Tucker conditions. Furthermore, if J is also convex and if the
KKT conditions hold, then J has a global minimum.
In Section 14.4, we apply Theorem 14.6 to the special case where the constraints are
equality constraints, which can be expressed as Ax = b. In the special case where the convex
objective function J is a convex quadratic functional of the form
1
J(x) = x> P x + q > x + r,
2
where P is a n × n symmetric positive semidefinite matrix, the necessary and sufficient
conditions for having a minimum are expressed by a linear system involving a matrix called
the KKT matrix. We discuss conditions that guarantee that the KKT matrix is invertible,
and how to solve the KKT system. We also briefly discuss variants of Newton’s method
dealing with equality constraints.
We illustrate the KKT conditions on an interesting example, the so-called hard margin
support vector machine; see Sections 14.5 and 14.6. The problem is a classification problem,
or more accurately a separation problem. Suppose we have two nonempty disjoint finite sets
of p blue points {ui }pi=1 and q red points {vj }qj=1 in Rn . Our goal is to find a hyperplane H
of equation w> x − b = 0 (where w ∈ Rn is a nonzero vector and b ∈ R), such that all the
blue points ui are in one of the two open half-spaces determined by H, and all the red points
vj are in the other open half-space determined by H.
If the two sets are indeed separable, then in general there are infinitely many hyperplanes
separating them. Vapnik had the idea to find a hyperplane that maximizes the smallest
distance between the points and the hyperplane. Such a hyperplane is indeed unique and
is called a maximal hard margin hyperplane, or hard margin support vector machine. The
support vectors are those for which the constraints are active.
Section 14.7 contains the most important results of the chapter. The notion of Lagrangian
duality is presented. Given a primal optimization problem (P ) consisting in minimizing an
objective function J(v) with respect to some inequality constraints ϕi (v) ≤ 0, i = 1, . . . , m,
we define the dual function G(µ) as the result of minimizing the Lagrangian
m
X
L(v, µ) = J(v) + µi ϕi (v)
i=1

with respect to v, with µ ∈ Rm + . The dual program (D) is then to maximize G(µ) with
respect to µ ∈ Rm
+ . It turns out that G is a concave function, and the dual program is an
 17

unconstrained maximization. This is actually a misleading statement because G is generally

a partial function, so maximizing G(µ) is equivalent to a constrained maximization problem
in which the constraints specify the domain of G, but in many cases, we obtain a dual
program simpler than the primal program. If d∗ is the optimal value of the dual program
and if p∗ is the optimal value of the primal program, we always have

d∗ ≤ p∗ ,

which is known as weak duality. Under certain conditions, d∗ = p∗ , that is, the duality gap
is zero, in which case we say that strong duality holds. Also, under certain conditions, a
solution of the dual yields a solution of the primal, and if the primal has an optimal solution,
then the dual has an optimal solution, but beware that the converse is generally false (see
Theorem 14.16). We also show how to deal with equality constraints, and discuss the use of
conjugate functions to find the dual function. Our coverage of Lagrangian duality is quite
thorough, but we do not discuss more general orderings such as the semidefinite ordering.
For these topics which belong to convex optimization, the reader is referred to Boyd and
Vandenberghe [18].
In Chapter 15, we consider some deeper aspects of the the theory of convex functions
that are not necessarily differentiable at every point of their domain. Some substitute for
the gradient is needed. Fortunately, for convex functions, there is such a notion, namely
subgradients. Geometrically, given a (proper) convex function f , the subgradients at x are
vectors normal to supporting hyperplanes to the epigraph of the function at (x, f (x)). The
subdifferential ∂f (x) to f at x is the set of all subgradients at x. A crucial property is that f is
differentiable at x iff ∂f (x) = {∇fx }, where ∇fx is the gradient of f at x. Another important
property is that a (proper) convex function f attains its minimum at x iff 0 ∈ ∂f (x). A
major motivation for developing this more sophisticated theory of “differentiation” of convex
functions is to extend the Lagrangian framework to convex functions that are not necessarily
differentiable.
Experience shows that the applicability of convex optimization is significantly increased
by considering extended real-valued functions, namely functions f : S → R ∪ {−∞, +∞},
where S is some subset of Rn (usually convex). This is reminiscent of what happens in
measure theory, where it is natural to consider functions that take the value +∞.
In Section 15.1, we introduce extended real-valued functions, which are functions that
may also take the values ±∞. In particular, we define proper convex functions, and the
closure of a convex function. Subgradients and subdifferentials are defined in Section 15.2.
We discuss some properties of subgradients in Section 15.3 and Section 15.4. In particular,
we relate subgradients to one-sided directional derivatives. In Section 15.5, we discuss the
problem of finding the minimum of a proper convex function and give some criteria in terms
of subdifferentials. In Section 15.6, we sketch the generalization of the results presented in
Chapter 14 about the Lagrangian framework to programs allowing an objective function and
inequality constraints which are convex but not necessarily differentiable.
18 CHAPTER 1. INTRODUCTION

This chapter relies heavily on Rockafellar [59]. We tried to distill the body of results
needed to generalize the Lagrangian framework to convex but not necessarily differentiable
functions. Some of the results in this chapter are also discussed in Bertsekas [9, 12, 10].
Chapter 16 is devoted to the presentation of one of the best methods known at the
present for solving optimization problems involving equality constraints, called ADMM (al-
ternating direction method of multipliers). In fact, this method can also handle more general
constraints, namely, membership in a convex set. It can also be used to solve lasso mini-
mization.
In this chapter, we consider the problem of minimizing a convex function J (not neces-
sarily differentiable) under the equality constraints Ax = b. In Section 16.1, we discuss the
dual ascent method. It is essentially gradient descent applied to the dual function G, but
since G is maximized, gradient descent becomes gradient ascent.
In order to make the minimization step of the dual ascent method more robust, one can
use the trick of adding the penalty term (ρ/2) kAu − bk22 to the Lagrangian. We obtain the
augmented Lagrangian

Lρ (u, λ) = J(u) + λ> (Au − b) + (ρ/2) kAu − bk22 ,

with λ ∈ Rm , and where ρ > 0 is called the penalty parameter . We obtain the minimization
Problem (Pρ ),

minimize J(u) + (ρ/2) kAu − bk22

subject to Au = b,

which is equivalent to the original problem.

The benefit of adding the penalty term (ρ/2) kAu − bk22 is that by Proposition 15.36,
Problem (Pρ ) has a unique optimal solution under mild conditions on A. Dual ascent applied
to the dual of (Pρ ) is called the method of multipliers and is discussed in Section 16.2.
The new twist in ADMM is to split the function J into two independent parts, as J(x, z) =
f (x) + g(z), and to consider the Minimization Problem (Padmm ),

minimize f (x) + g(z)

subject to Ax + Bz = c,

for some p × n matrix A, some p × m matrix B, and with x ∈ Rn , z ∈ Rm , and c ∈ Rp . We

also assume that f and g are convex.
As in the method of multipliers, we form the augmented Lagrangian

Lρ (x, z, λ) = f (x) + g(z) + λ> (Ax + Bz − c) + (ρ/2) kAx + Bz − ck22 ,

with λ ∈ Rp and for some ρ > 0. The major difference with the method of multipliers is that
instead of performing a minimization step jointly over x and z, ADMM first performs an
 19

x-minimization step and then a z-minimization step. Thus x and z are updated in an alter-
nating or sequential fashion, which accounts for the term alternating direction. Because the
Lagrangian is augmented, some mild conditions on A and B imply that these minimization
steps are guaranteed to terminate. ADMM is presented in Section 16.3.
In Section 16.4, we prove the convergence of ADMM under exactly the same assumptions
as in Boyd et al. [17]. It turns out that Assumption (2) in Boyd et al. [17] implies that the
matrices A> A and B > B are invertible (as we show after the proof of Theorem 16.1). This
allows us to prove a convergence result stronger than the convergence result proven in Boyd
et al. [17]. In particular, we prove that all of the sequences (xk ), (z k ), and (λk ) converge to
optimal solutions (e x, ze), and λ.
e

In Section 16.5, we discuss stopping criteria. In Section 16.6, we present some applications
of ADMM, in particular, minimization of a proper closed convex function f over a closed
convex set C in Rn and quadratic programming. The second example provides one of the
best methods for solving quadratic problems, in particular, the SVM problems discussed in
Chapter 19. Section 16.7 gives applications of ADMM to `1 -norm problems, in particular,
lasso regularization which plays an important role in machine learning.
The next three chapters constitute Part IV, which covers some applications of optimiza-
tion theory (in particular Lagrangian duality) to machine learning.
In Chapter 17, we discuss linear regression. This problem can be cast as a learning
problem. We observe a sequence of pairs ((x1 , y1 ), . . . , (xm , ym )) called a set of training
data, where xi ∈ Rn and yi ∈ R, viewed as input-output pairs of some unknown function f
that we are trying to infer. The simplest kind of function is a linear function f (x) = x> w,
where w ∈ Rn is a vector of coefficients usually called a weight vector . Since the problem
is overdetermined and since our observations may be subject to errors, we can’t solve for w
exactly as the solution of the system Xw = y, so instead we solve the least-squares problem
of minimizing kXw − yk22 . In general, there are still infinitely many solutions so we add a
regularizing term. If we add the term K kwk22 to the objective function J(w) = kXw − yk22 ,
then we have ridge regression. This problem is discussed in Section 17.1.
We derive the dual program. The dual has a unique solution which yields a solution of the
primal. However, the solution of the dual is given in terms of the matrix XX > (whereas the
solution of the primal is given in terms of X > X), and since our data points xi are represented
by the rows of the matrix X, we see that this solution only involves inner products of the
xi . This observation is the core of the idea of kernel functions, which we introduce. We also
explain how to solve the problem of learning an affine function f (x) = x> w + b.
In general, the vectors w produced by ridge regression have few zero entries. In practice, it
is highly desirable to obtain sparse solutions, that is, vectors w with many components equal
to zero. This can be achieved by replacing the regularizing term K kwk22 by the regularizing
term K kwk1 ; that is, to use the `1 -norm instead of the `2 -norm; see Section 17.2. This
method has the exotic name of lasso regression. This time, there is no closed-form solution,
20 CHAPTER 1. INTRODUCTION

but this is a convex optimization problem and there are efficient iterative methods to solve
it, although we do not discuss such methods here.
Chapter 18 is an introduction to positive definite kernels and the use of kernel functions
in machine learning.
Let X be a nonempty set. If the set X represents a set of highly nonlinear data, it
may be advantageous to map X into a space F of much higher dimension called the feature
space, using a function ϕ : X → F called a feature map. This idea is that ϕ “unwinds” the
description of the objects in F in an attempt to make it linear. The space F is usually a
vector space equipped with an inner product h−, −i. If F is infinite dimensional, then we
assume that it is a Hilbert space.
Many algorithms that analyze or classify data make use of the inner products hϕ(x), ϕ(y)i,
where x, y ∈ X. These algorithms make use of the function κ : X × X → C given by

κ(x, y) = hϕ(x), ϕ(y)i, x, y ∈ X,

called a kernel function.

The kernel trick is to pretend that we have a feature embedding ϕ : X → F (actuallly
unknown), but to only use inner products hϕ(x), ϕ(y)i that can be evaluated using the
original data through the known kernel function κ. It turns out that the functions of the
form κ as above can be defined in terms of a condition which is reminiscent of positive
semidefinite matrices (see Definition 18.2). Furthermore, every function satisfying Definition
18.2 arises from a suitable feature map into a Hilbert space; see Theorem 18.8.
We illustrate the kernel methods on two examples: (1) kernel PCA (see Section 18.3),
and (2) ν-SV Regression, which is a variant of linear regression in which certain points are
allowed to be “misclassified” (see Section 18.4).
In Chapter 19 we return to the problem of separating two disjoint sets of points, {ui }pi=1
and {vj }qj=1 , but this time we do not assume that these two sets are separable. To cope with
nonseparability, we allow points to invade the safety zone around the separating hyperplane,
and even points on the wrong side of the hyperplane. Such a mehod is called soft margin
support vector machine. We discuss variations of this method, including ν-SV classification.
In each case, we present a careful derivation of the dual.
Visit https://textbookfull.com
now to explore a rich
collection of eBooks, textbook
and enjoy exciting offers!
 Part I

Preliminaries for Optimization Theory

21
Chapter 2

Topology

2.1 Metric Spaces and Normed Vector Spaces

This chapter contains a review of basic topological concepts. First metric spaces are defined.
Next normed vector spaces are defined. Closed and open sets are defined, and their basic
properties are stated. The general concept of a topological space is defined. The closure and
the interior of a subset are defined. The subspace topology and the product topology are
defined. Continuous maps and homeomorphisms are defined. Limits of sequences are de-
fined. Continuous linear maps and multilinear maps are defined and studied briefly. Cauchy
sequences and complete metric spaces are defined. We prove that every metric space can
be embedded in a complete metric space called its completion. A complete normed vector
space is called a Banach space. We prove that every normed vector space can be embedded
in a complete normed vector space. We conclude with the contraction mapping theorem in
a complete metric space.
Most spaces considered in this book have a topological structure given by a metric or a
norm, and we first review these notions. We begin with metric spaces. Recall that R+ =
{x ∈ R | x ≥ 0}.
Definition 2.1. A metric space is a set E together with a function d : E × E → R+ , called a
metric, or distance, assigning a nonnegative real number d(x, y) to any two points x, y ∈ E,
and satisfying the following conditions for all x, y, z ∈ E:
(D1) d(x, y) = d(y, x). (symmetry)
(D2) d(x, y) ≥ 0, and d(x, y) = 0 iff x = y. (positivity)
(D3) d(x, z) ≤ d(x, y) + d(y, z). (triangle inequality)

Geometrically, Condition (D3) expresses the fact that in a triangle with vertices x, y, z,
the length of any side is bounded by the sum of the lengths of the other two sides. From
(D3), we immediately get
|d(x, y) − d(y, z)| ≤ d(x, z).

23
24 CHAPTER 2. TOPOLOGY

Let us give some examples of metric spaces. Recall that the absolute value |x| of a real
number x ∈ R is defined such
√ that |x| = x if x ≥ 0, |x| = −x if x < 0, and for a complex
number x = a + ib, by |x| = a2 + b2 .
Example 2.1.
1. Let E = R, and d(x, y) = |x − y|, the absolute value of x − y. This is the so-called
natural metric on R.

2. Let E = Rn (or E = Cn ). We have the Euclidean metric

21
d2 (x, y) = |x1 − y1 |2 + · · · + |xn − yn |2 ,

the distance between the points (x1 , . . . , xn ) and (y1 , . . . , yn ).

3. For every set E, we can define the discrete metric, defined such that d(x, y) = 1 iff
x 6= y, and d(x, x) = 0.

4. For any a, b ∈ R such that a < b, we define the following sets:

[a, b] = {x ∈ R | a ≤ x ≤ b}, (closed interval)

(a, b) = {x ∈ R | a < x < b}, (open interval)

[a, b) = {x ∈ R | a ≤ x < b}, (interval closed on the left, open on the right)

(a, b] = {x ∈ R | a < x ≤ b}, (interval open on the left, closed on the right)

Let E = [a, b], and d(x, y) = |x − y|. Then ([a, b], d) is a metric space.

We will need to define the notion of proximity in order to define convergence of limits
and continuity of functions. For this we introduce some standard “small neighborhoods.”
Definition 2.2. Given a metric space E with metric d, for every a ∈ E, for every ρ ∈ R,
with ρ > 0, the set
B(a, ρ) = {x ∈ E | d(a, x) ≤ ρ}
is called the closed ball of center a and radius ρ, the set

B0 (a, ρ) = {x ∈ E | d(a, x) < ρ}

is called the open ball of center a and radius ρ, and the set

S(a, ρ) = {x ∈ E | d(a, x) = ρ}

is called the sphere of center a and radius ρ. It should be noted that ρ is finite (i.e., not
+∞). A subset X of a metric space E is bounded if there is a closed ball B(a, ρ) such that
X ⊆ B(a, ρ).
 2.1. METRIC SPACES AND NORMED VECTOR SPACES 25

Clearly, B(a, ρ) = B0 (a, ρ) ∪ S(a, ρ).

Example 2.2.

1. In E = R with the distance |x − y|, an open ball of center a and radius ρ is the open
interval (a − ρ, a + ρ).

2. In E = R2 with the Euclidean metric, an open ball of center a and radius ρ is the set
of points inside the disk of center a and radius ρ, excluding the boundary points on
the circle.

3. In E = R3 with the Euclidean metric, an open ball of center a and radius ρ is the set
of points inside the sphere of center a and radius ρ, excluding the boundary points on
the sphere.

One should be aware that intuition can be misleading in forming a geometric image of a
closed (or open) ball. For example, if d is the discrete metric, a closed ball of center a and
radius ρ < 1 consists only of its center a, and a closed ball of center a and radius ρ ≥ 1
consists of the entire space!
 If E = [a, b], and d(x, y) = |x − y|, as in Example 2.1, an open ball B0 (a, ρ), with
ρ < b − a, is in fact the interval [a, a + ρ), which is closed on the left.

We now consider a very important special case of metric spaces, normed vector spaces.
Normed vector spaces have already been defined in Chapter ?? (Vol. I) (Definition ?? (Vol.
I)), but for the reader’s convenience we repeat the definition.

Definition 2.3. Let E be a vector space over a field K, where K is either the field R of
reals, or the field C of complex numbers. A norm on E is a function k k : E → R+ , assigning
a nonnegative real number kuk to any vector u ∈ E, and satisfying the following conditions
for all x, y, z ∈ E:

(N1) kxk ≥ 0, and kxk = 0 iff x = 0. (positivity)

(N2) kλxk = |λ| kxk. (homogeneity (or scaling))

(N3) kx + yk ≤ kxk + kyk. (triangle inequality)

A vector space E together with a norm k k is called a normed vector space.

We showed in Chapter ?? (Vol. I), that

k−xk = kxk ,

and from (N3), we get

|kxk − kyk| ≤ kx − yk.
Random documents with unrelated
content Scribd suggests to you:
 —Sin embargo, señora, un ladrón de semejante estofa no puede
ser patrocinado por nadie. Horribles cosas se ven en las guerras
civiles; pero nosotros los franceses entraremos en Cádiz.
—Esa es mi esperanza.
—¿No tiene usted valimiento con los ministros liberales?
—Ninguno. Mi nombre solo les sonará a proclama realista.
—Entonces....
—Cuento con la protección de los jefes del ejército francés.
—Y con los servicios de un leal amigo... El objeto principal es
detener al ladrón.
—¡Detenerle y amarrarle y arrastrarle! —exclamé con furor—. Pero
deseo hacer mi justicia a espaldas de la curia, porque aborrezco los
pleitos, aun cuando los gane.
—¡Oh!, eso es muy español. Se trata, pues, de cazar a un hombre
¿por ventura eso es fácil todavía?
—Fácil no.
—Y para una dama...
—Pero yo no estoy sola. Tengo servidores leales que solo esperan
una orden mía para...
—Para matar...
—No tanto —dije riendo—. Esto le parecerá a usted leyenda
novela, romance o lo que quiera; pero no, mis propósitos no son tan
trágicos.
—Lo supongo... pero siempre serán interesantes... ¿Ha dejado
usted criados en Sevilla?
—Uno tengo a mis órdenes. Le mandé por delante, y en Cádiz está
ya.
—¿Vigilando...?
—Acechando.
—Bien: le seguirá de noche embozado hasta las cejas, espiará sus
acciones, se informará de su método de vida. ¿Y ese criado es fiel?
—Como un perro... Examinemos bien mi situación, señor conde
¿Se puede entrar en Cádiz?
—Es muy difícil, señora, sobre todo para los que son sospechosos
al gobierno liberal.
—¿Y por mar?
—Ya sabe usted que en la bahía tenemos nuestra escuadra.
—¿Cuándo tomarán ustedes la plaza?
 —Pronto. Esperamos a que venga Su Alteza para forzar el sitio.
—¿Y podrán escaparse los milicianos y el gobierno?
—Es difícil saberlo. Ignorarnos si habrá capitulación; no sabemos e
grado de resistencia que presentarán los insurgentes.
—¡Oh! —exclamé sin saber lo que decía, obcecada por mis
pasiones—. Ustedes los realistas no sirven para esto. Si Napoleón
estuviera aquí, amigo mío, mañana, mañana mismo, sí señor, mañana
sería tomada por asalto esa ciudad rebelde y pasados a cuchillo los
insensatos que la defienden.
—Me parece demasiado pronto —dijo Montguyon sonriendo—. En
fin, comprendo la impaciencia de usted.
—Sí, quien ha sido robada, vilmente estafada, no puede aproba
estas dilaciones que dan fuerza al enemigo. Señor conde, es preciso
entrar en Cádiz.
—Si de mí dependiera, señora, esta tarde mandaba dar el asalto —
repuso con entusiasmo—. Sorprendería a la guarnición, encarcelaría a
los diputados y a las Cortes, y pondría en libertad al rey.
—Ya eso no me importa tanto —dije en tono de conquistador—. Yo
entraría al asalto sorprendiendo la guarnición. Dejaría, a los diputados
que hicieran lo que les acomodase, mandaría al rey a paseo...
—¡Señora!...
—Buscaría a mi hombre, revolvería todos los rincones, todos los
escondrijos de Cádiz hasta encontrarle... y después que le hallara...
—Después...
—Después, señor conde... ¡Oh!, mi sangre se abrasa...
—En los divinos ojos de usted, Jenara —me dijo—, brilla el fuego
de la venganza. Parece usted una Medea.
—No me impulsan los celos —dije serenándome.
—Una Judith.
—Ni la idea política.
—Una...
—Parezca lo que parezca, señor conde, es preciso entrar en Cádiz.
—Entraremos.
—¿No sirve usted ahora en el Estado Mayor del general Bourmont?
—En él estoy a las órdenes de la que es imán de mi vida —repuso
poniendo los ojos en blanco.
—¿Será Bourmont nombrado comandante general de Cádiz, luego
que la plaza se rinda?
 —Así se dice.
—¿Hará usted prender a mi mayordomo?...
—Le haré fusilar...
—¿Me lo entregará atado de pies y manos?
—Siempre que no huya antes, sí, señora.
—¡Huir! Pues qué, ¿tendrá ese hombre la vileza de huir, de no
esperar?...
—El criminal, amiga mía de mi corazón, pone su seguridad ante
todo.
—¿No dice usted que hay una especie de escuadra?
—Una escuadra en toda regla.
—¿Pues de qué sirven esos barcos, señor mío —dije de muy ma
talante—, si permiten que se escape... ese?
—Quizás no se escape.
—¿De qué sirve la escuadra? —añadí con la más viva inquietud—
¿Quién es el almirante que la manda? Yo quiero ver a ese almirante
quiero hablar con él...
—Nada más fácil; pero dudo...
—Me ocurre que si hay capitulación, será más fácil atraparle...
—¿Al almirante?
—No; a... a ese.
—Sin duda. En tal caso se quedaría tranquilo en Cádiz, al menos
por unos días.
—Bien, muy bien. Si hay capitulación, arreglo, perdón de vidas y
libertad para todos... Señor conde, aconsejaremos al príncipe que
capitule... ¡Pero qué tonterías digo!
—Está patente en su espíritu de usted la obsesión de ese asunto.
—¡Oh!, sí. No puedo pensar en otra cosa. El caso es grave. Si no
consigo apoderarme de ese hombre... no sé... creo que me costará la
vida.
—Yo también le aborrezco... ¡Hombre maldito!... Pero le cogeremos
señora. Me pongo al servicio de este gran propósito con la sumisión de
un esclavo. ¿Acepta usted mi cooperación?
Al decir esto, me besaba la mano.
—La acepto, sí, hombre generoso y leal, la acepto con gratitud y
profundo cariño.
Al decir esto, yo ponía en mi semblante una sensibilidad capaz de
conmover a las piedras, y en mis pestañas temblaba una lágrima.
 —Y entonces —añadió Montguyon con voz turbada—, cuando
nuestro triunfo sea seguro, ¿podré esperar que el hueco que se me
destina en ese corazón no sea tan pequeño?
—¿Pequeño?
—Si es evidente, por confesión de él mismo, que ya tengo una
parte en sus sublimes afectos, ¿no puedo esperar...?
—¿Una parte? ¡Oh! no. Todo, todo.
El inflamado galán abrió sus brazos para estrecharme en ellos; pero
evadí prontamente aquella prueba de su insensato ardor, y
poniéndome primero seria y después amable, con una especie de
enojo gracioso y virtud tolerante, le dije que ni Zamora ni yo podíamos
ser ganadas en una hora. Al decir esto, violentos cañonazos me
hicieron estremecer y corrí al balcón.
—Son los primeros tiros de las baterías que se han armado para
atacar el Trocadero —me dijo el conde.
—¿Y esas bombas van a Cádiz?—pregunté poniendo inmenso
interés en aquel asunto.
—Van al Trocadero.
—¿Y qué es eso?
—Un fuerte que está en medio de las marismas.
—¿Y allí están...?
—Los liberales.
—¿Muchos?
— Mil y quinientos hombres.
—¿Paisanos?
—Hay muchos paisanos y milicianos.
—¡Oh!, morirá mucha gente.
—Eso es lo que deseamos. Parece que siente usted gran pena po
ello.
—La verdad —repuse, ocultando los sentimientos que bruscamente
me asaltaban—, no me gusta que muera gente.
—A excepción de su enemigo.
—Ese..., pero ¿estará en el Trocadero?
—¡Quién sabe!... Está usted aterrada.
—¡Oh!, yo quiero ir al Trocadero.
—Señora...
—Quiero ir al Trocadero.
 —Eso mismo deseamos nosotros —me dijo riendo—, y para
conseguirlo enviaremos por delante algunos centenares de bombas.
—¿Dónde está el Trocadero? —pregunté corriendo otra vez a la
ventana.
—Allí —dijo Montguyon asomándose y alargando el brazo.
Hízome explicaciones y descripciones muy prolijas de la bahía y de
los fuertes; pero bien comprendí que antes que mostrar sus
conocimientos deseaba estar cerca de mí, aproximando bastante su
cabeza a la mía, y embriagándose con el calor de mi rostro y con e
roce de mis cabellos.
 XXXIII

¡Qué aparato desplegaron contra aquellas fortalezas que se alzan

entre charcos salubres y que llevan por nombre el Trocadero! Desde
que llegó Su Alteza a mediados de agosto, no hacían más que
disparar bombas y balas contra los fuertes, esperando abrir brecha en
sus gloriosos muros. ¡Figúrese el buen lector mi aburrimiento
Considere con cuánta tristeza y tedio vería yo pasar día tras día sin
más distracción que oír los disparos y ver por las noches las
majestuosas curvas de los proyectiles. Me consumía en mi casa de
Puerto sin tener noticias del interior de Cádiz, ni esperanza de pode
penetrar en la plaza. Ni parecía aquello guerra formal y heroica como
creía yo que debían de ser las guerras, y como las que vi en mi niñez y
en tiempo del Imperio. Casi todo el ejército sitiador estaba con los
brazos cruzados: los oficiales paseaban fumando; los soldados hacían
menos pesado el tiempo con bailoteo y cantos.
No debo pasar en silencio que el duque del Infantado, que llegó de
Madrid en aquellos días, me llevó a visitar a Su Alteza, nuestro
salvador y el ángel tutelar de la moribunda España por aquellos días
Luis Antonio era un rubio desabrido, cuyo semblante respiraba
honradez y buena fe; pero la aureola del genio no circundaba su
frente. Fuera de aquel sitio, lejos de aquella deslumbradora posición y
con otro nombre, el hijo del conde de Artois habría sido un joven de
buen ver; mas no en tal manera que por su aspecto descollase entre la
muchedumbre. Para hallar en él lo que realmente le distinguía era
preciso que un trato frecuente hiciese resaltar las perfecciones
morales de su alma privilegiada, su lealtad sin tacha y aquel levantado
espíritu caballeresco sin quijotismo que le hacía estimable en la corte
de Francia. Era valiente, humanitario, cortés, puntual y riguroso en e
cumplimiento del deber. Si estas cualidades no eran suficientes a
formar un gran guerrero, ¿qué importaba? La pericia militar diéronsela
sus prácticos generales y nuestros desaciertos, que fueron el principa
estro marcial de la segunda invasión.
Recibiome Angulema con la más fina delicadeza y urbanidad; pero
de todas sus cortesanías la que más me agradó fue la de disponer e
asalto del Trocadero. «¡Al fin, al fin —exclamaba yo—, será nuestro e
horrible fuerte que nos abrirá las puertas de Cádiz!»
El 19 abrieron brecha; pero hasta la noche del 30 no se dio e
asalto, habiéndose guardado secreto sobre esto en los días anteriores
aunque yo lo supe por el conde de Montguyon, que no me ocultaba
nada referente a las operaciones. ¡Noche terrible la del 30 al 31 de
agosto! Noche que me pareció día por lo clara y hermosa, así como
por el estrépito guerrero que en ella resonara y las acciones heroicas
dignas de ser alumbradas por el sol... Apretado fue el lance del asalto
según oí contar, y Su Alteza y el príncipe de Carignan se portaron
bravamente, combatiendo como soldados en los sitios más peligrosos
No fue el hecho del Trocadero una de aquellas páginas de epopeya
que ilustraron el Imperio: fue más bien lo que los dramaturgos
franceses llaman succès d’estime, un éxito que no tiene envidiosos
Pero a la Restauración le convenía cacarearlo mucho, ciñendo a la
inofensiva frente del duque los laureles napoleónicos; y se tocó la
trompa sobre este tema hasta reventar, resultando del entusiasmo
oficial que no hubo en Francia calle ni plaza que no llevase el nombre
del Trocadero, y hasta el famoso arco de la Estrella, en cuyas piedras
se habían grabado los nombres de Austerlitz y Wagram, fue durante
algún tiempo Arco del Trocadero.
Yo me había trasladado a Puerto Real para estar más cerca. En la
mañana del 31, cuando vi pasar a los prisioneros hechos en los
fuertes, me sentí morir de zozobra. Entre aquellas caras atezadas a
cada instante creía ver la suya. Largo rato tardaron en pasar, porque
eran más de mil entre paisanos y militares. Creo que los miré uno po
uno; y al fin, cuando ya quedaban pocos, redoblé mi atención. ¡Oh
misericordioso Dios, qué estupendas cosas permites! En la última fila
casi solo, más abatido, más quemado del sol, más demacrado, con los
vestidos más rotos que los demás, pasó él, él mismo... no podía
dudarlo, porque le estaba viendo, viendo, sí, con mis propios ojos
arrasados de lágrimas. Llevaba la mano izquierda en cabestrillo, hecho
con un andrajo, y su paso era inseguro y como dolorido, sin duda po
tener lleno de contusiones el cuerpo. Al verle extendí los brazos y grité
con toda la fuerza de mi voz. Mi enamorada exclamación hizo volver la
cabeza a todos los que iban delante y a los curiosos que le rodeaban
Él, alzando los amortiguados ojos, me miró con expresión tan triste
que sentí partido mi corazón y estuve a punto de desmayarme. Creo
que pronunció algunas palabras; pero no oí sino un adiós tan lúgubre
como campanada funeral, y movió la mano en ademán de cariñoso
saludo, y pasó, desapareciendo con los demás en una vuelta de
camino.
Mi primera intención fue correr tras él: pero en la casa me
detuvieron. Cuando serenamente me hice cargo de la situación, formé
diversos planes; pero todos los desechaba al punto por descabellados
Pensándolo bien, comprendí que no era tan difícil conseguir su
libertad. Me congratulaba de que al cabo de tantas fatigas el destino
me le presentara prisionero, para poder decir con más calor que
nunca: «Ahora sí que no se me puede escapar.»
 XXXIV

Envié recados al conde de Montguyon; pero no se le podía

encontrar por ninguna parte. Unos decían que estaba en el Trocadero
otros que en el Puerto, otros que había ido a las fragatas con una
comisión. Por último, averigüé con certeza su paradero, y le escrib
una carta muy cariñosa. Mas pasó un día, pasaron dos, y yo me moría
de impaciencia, sin poder ver al prisionero, ni aun saber dónde le
habían llevado. El conde, robando al fin un rato a sus quehaceres, vino
a verme el día 4. Yo estaba otra vez medio loca; no tenía humor para
hacer papeles, y espontáneamente dejaba que se desbordasen los
sentimientos de mi corazón.
—¡Oh, cuánto me alegro de ver a usted! —le dije—. Si usted no
viene pronto, señor conde, me hubiera muerto de pena.
Con estas palabras, que creyó dictadas por un vivo interés hacia él
se puso el noble francés un poco chispo, que así denomino yo a
embobamiento de los hombres enamorados. Se deshizo en
galanterías, a las cuales daba cierto tono de intimidad cargante, y
después me dijo:
—Pronto, muy pronto, libertaremos a Su Majestad el rey de España
y entraremos en Cádiz. El sol de ese día, señora, ¡cuán alegremente
brillará sobre toda España, y especialmente sobre nuestros corazones
—Mi estimado amigo —indiqué riendo—, no diga usted tonterías.
Montguyon se quedó cortado.
—Basta de tonterías —añadí— y óigame usted lo que voy a decirle
Ya he encontrado al hombre que buscaba...
—¿Dónde... cómo... ese malvado?
—No es malvado.
—¿Cómo no? Me dijo usted que le había robado sus alhajas.
 —¡No es ese... por Dios! ¿Cuándo entenderá usted las cosas a
derecho?
—Siempre que no se me expliquen al revés.
—He encontrado a ese hombre... Pero entendamos. ¿No dije a
usted que había venido delante de mí un fiel criado de mi casa, el cua
entró en Cádiz?...
—¡Ah! sí... entró para observar los pasos del ladrón.
—Pues ese fiel criado tiene el defecto de ser algo patriota..
¡debilidades humanas! y como es algo patriota, se puso a pelear en e
Trocadero por una causa que no le importaba.
—Ya comprendo: y ha caído prisionero. ¿Le ha visto usted?
—Le vi cuando los prisioneros pasaron por aquí, pero no le he visto
más; y ahora, señor conde, quiero que usted me le ponga en libertad.
—Señora, si Cádiz se rinde pronto, como creo, y todo se arregla
espero conseguir lo que usted me pide.
—¡Qué gracia! Para eso no necesito yo de la amistad de un jefe de
brigada —dije con enfado—. Ha de ser antes, mañana mismo.
—¡Oh! Señora, usted somete mi amor a pruebas demasiado
fuertes.
—¿Quiere usted que dejemos a un lado el amor —le dije
poniéndome muy seria— y que hablemos como amigos?
Montguyon palideció.
—¿Esa persona —me dijo— interesa a usted tanto que no puede
esperar a que concluya la guerra, dando yo mi palabra de que e
prisionero será bien atendido?
—No basta que sea atendido —afirmé con resolución—. No basta
eso: quiero su libertad; quiero atenderle yo misma, cuidarle, curar sus
heridas, tenerle a mi lado, llevarle a sitio seguro...
Me expresé, al decir esto, con vehemencia suma, porque me era ya
muy difícil contener mi corazón, que iba al galope en busca de las
anheladas soluciones. El conde me oía con cierto terror.
—¿Tanto interesa a usted —repitió—, tanto interesa a usted... un
criado?
—No es criado.
—¿Tal vez un anciano servidor de la casa?
—No es anciano.
—¿Un joven?... Supongo que no será el ladrón.
—¿Qué ladrón?
 —El ladrón de quien usted me habló...
—¡Ah! No me acordaba... Ya no me ocupo de eso.
—¿Abandona usted la empresa de detener y castigar a ese
miserable?
—La abandono.
—¡Qué inconstancia!
—Yo soy así.
—Pero ese, ese otro... ¿interesa a usted tanto...?
—Muchísimo.
—¿Es pariente de usted?
—No. Es compañero de la infancia.
—¿Es militar?
—Paisano, señor conde —dije con el tono de severa autoridad que
sé emplear cuando me conviene—. Si se empeña usted en se
catecismo, buscaré otra persona más galante y más generosa que
sepa prestar un servicio, economizando las preguntas.
—Creo tener algún derecho a ello —repuso con gravedad.
—No tiene usted ninguno —afirmé con desenfado—, porque este
derecho yo sola podría darlo, y yo lo niego.
—Entonces, señora —objetó, encubriendo su ira bajo formas
urbanas—, he padecido una equivocación.
—Si cree usted que le amo, sí. La equivocación no puede ser más
completa.
Montguyon se levantó. Sus ojos, en los cuales se leía el furo
mezclado con la dignidad, me dirigieron una mirada que debía ser la
última. Yo corrí a él, y tomándole la mano le rogué que se sentase a m
lado.
—Es usted un caballero —le dije—. Ningún otro ha merecido más
que usted mi estimación, lo juro. Dios sabe que al decir esto hablo con
el corazón.
— Dios lo sabrá —repuso Montguyon muy afligido—; mas para mí
y de aquí en adelante, las palabras de usted están escritas en el agua.
—Considere las que le diga hoy como si estuvieran grabadas en
bronce. La que confiesa hechos que no le favorecen, ¿no tiene
derecho a ser creída?
—A veces sí. Confiéseme usted que su conducta conmigo no ha
sido leal.
 —Lo confieso —repliqué bajando los ojos, y realmente
avergonzada.
—Confiese usted que yo no merecía servir de juguete a una muje
voluntariosa.
—También es cierto.
—Declare usted que ama a otro.
—¡Oh!, sí, lo declaro con todo mi corazón, y si cien bocas tuviera
con todas lo diría.
El leal caballero se quedó atónito y espantado. Estaba, como ellos
dicen, foudroyé. Durante breve rato no me dijo nada; pero yo
comprendí su martirio y le tenía lástima. ¡Oh, qué mala he sido
siempre!
—Ese hombre... —murmuró Montguyon—, ese hombre...
—Ahora, reconociéndome culpable, reconociéndome inferior a
usted —dije—, le autorizo para que me abrume a preguntas, si gusta
y aun para que me eche en cara mi ligereza.
—Ese hombre... —prosiguió el francés—. Perdone usted; pero nada
es más curioso que la desgracia. El amor desairado quiere tener miles
de ojos para sondear las causas de su desdicha. Ese hombre... ¿quién
es?
—Un hombre.
—¿De familia ilustre?
—No, señor: de origen muy humilde.
—¿Le ama usted hace tiempo?
—Hace mucho tiempo.
—Él... ¿la ama a usted?
—No estoy muy segura de ello.
—¡Oh! ¡Qué iniquidad! Es un miserable.
—Un ingrato, y es bastante.
—¿Y a pesar de su ingratitud le ama usted?
—Tengo esa debilidad, que no puedo dominar.
—Aborrézcale usted.
—Si fuera fácil... Difícil cosa es esa.
—¡Es verdad, difícil cosa! —exclamó Montguyon con tristeza—. ¿Y
ese hombre...?
—¿Pero hay más preguntas todavía?
—No, ya no más. Me basta lo que sé, y me retiro.
 —Se conduce usted como un cualquiera —le dije afectuosa
deteniéndole—. Me abandona, precisamente cuando mi sinceridad
merece alguna recompensa. ¿Será posible que cuando yo empiezo a
tener franqueza, deje usted de tener generosidad?
—¡Oh! señora, toca usted una fibra de mi corazón que siempre
responde, aun cuando la hieran con un puñal.
—Sí, sí, amigo mío. Es usted generoso y noble en gran manera
Para que la diferencia entre los dos sea siempre grande, para que
usted sea siempre un caballero y yo una miserable, págueme usted
como pagan en todas ocasiones las almas elevadas. Pues yo me he
portado mal, pórtese usted bien conmigo. Haga cada cual su papel
Cumpla usted el precepto que manda volver bien por mal. Así crecerá
más a mis ojos; así me abatiré yo más a los suyos; así su generosidad
será mayor y mi culpa también, y usted tendrá en su vida una página
más gloriosa que la victoria que acaba de alcanzar frente al enemigo.
—Comprendo lo que usted me dice —murmuró el francés
descansando por breve rato su frente en la palma de la mano—. Yo
seré siempre digno de mi nombre.
—¡Caballero leal antes, ahora y siempre!
—Bien, señora —dijo levantándose y alargándome la mano, que
estreché cordialmente—. Lo que usted desea de mí es bastante claro.
—Sí.
—Y yo —añadió con manifiesta emoción— empeño mi palabra de
honor...
—¡Oh! Lo esperaba, lo esperaba.
—Bajo mi palabra de honor, haré cuanto esté en mi mano para
devolver a usted la felicidad, entregándole a su amante.
—Gracias, gracias —exclamé derramando lágrimas de admiración y
agradecimiento.
Saludándome ceremoniosamente, el conde se retiró. De buena
gana le habría dado un abrazo.
 XXXV

¡Cuántos días pasaron! Yo contaba las horas, los minutos, como s

de la duración de ellos dependiese mi vida. Entre españoles y
franceses era opinión corriente que la guerra acabaría pronto, que
Cádiz expiraba, que las Cortes se morían por momentos. Sin embargo
aún resistía el gobierno liberal y sus secuaces, como la bestia herida
que no quiere soltar su presa mientras tenga un hálito de existencia
Esta constancia no carecía de mérito, y lo tendría mayor si se
empleara en causa menos perdida. ¡Inútil sacrificio! No tenían
hombres, porque los alistamientos no producían efecto. No tenían
dinero, porque el empréstito que levantaron en Londres produjo... una
libra esterlina. Yo creo que si mi espíritu hubiera estado en disposición
de admirar algo, habría admirado la perseverancia de aquel gobierno
que no pudo encontrar en toda Europa quien le prestase más de cinco
duros.
Mi deseo era que se rindiese todo el mundo, que el rey y la nación
arreglasen pronto sus diferencias, aunque las arreglaran devorándose
mutuamente. Yo quería tener el campo libre para el desenlace de m
campaña amorosa, que veía ya seguro y feliz.
Casi todo septiembre lo pasaron Angulema y las Cortes en dimes y
diretes. Mil recados atravesaban la bahía en un bote; callaban los
cañones para que hablaran los parlamentarios. Tales comedias me
ponían furiosa, porque no se decidía la suerte de los infelices
prisioneros del Trocadero, que habían sido repartidos entre los
Dominicos del Puerto y la Cartuja de Jerez.
Montguyon me visitó el 12 para informarme de que había visto a
prisionero, cuyo nombre y señas le había dado yo oportunamente.
—Está sumamente abatido y melancólico —me dijo—. Se ha
negado a recibir los auxilios pecuniarios que le ofrecí de parte de
usted; pero se ha mostrado muy agradecido. Al oír que Jenara tenía
gran empeño en conseguir su libertad, pareció muy turbado
pronunciando palabras sueltas cuyo sentido no pude comprender.
—¿Y no desea verme?
—Parece que lo desea ardientemente.
—¡Oh! ¡Estas dilaciones son horribles! ¿Y qué más dijo?
—Cosas tristes y peregrinas. Afirma que desea la libertad para
conseguir por ella el destierro.
—¡El destierro!
—Dice que aborrece a su país, y que la idea de emigración le
consuela.
—Le conozco, sí... Esa idea es suya.
Otras cosas me dijo el conde; pero se referían al trato que se daba
a los prisioneros y a las excepciones ventajosas que él estableciera en
beneficio de mi amado. ¡Cuánto le agradecí sus delicadezas! Mientras
viva tendré buenos recuerdos de hombre tan caballeroso y
humanitario.
Interrumpidos los tratos por la terquedad de las Cortes, tomó de
nuevo la palabra el cañón, y el día 20 fue ganado por los franceses
con otro brioso asalto, el castillo de Sancti-Petri. Después de este
hecho de armas Angulema habló fuerte a los tenaces liberales
pegados como lapas a la roca constitucional, y les amenazó con pasa
a cuchillo a toda la guarnición de Cádiz si Fernando VII no era puerto
inmediatamente en libertad. El 26 se sublevó contra la Constitución e
batallón de San Marcial, que guarnecía la batería de Urrutia en la
costa; y la armada francesa, secundando el fuego de las baterías de
Trocadero, arrojaba bombas sobre Cádiz. No era posible mayo
resistencia. Era una tenacidad que empezaba a confundirse con e
heroísmo, y la Constitución moría como había nacido, entre espantosa
lluvia de balas, saludada en su triste ocaso, como en su dramático
oriente, por las salvas del ejército francés.
Por fin llegaba el anhelado día.
—Habrá perdón general —decía yo para mí—. Todos los
prisioneros serán puestos en libertad. Huiremos. ¡Cuán grato es e
destierro! Comeremos los dos el dulce pan de la emigración, lejos de
indiscretas miradas, libres y felices fuera de esta loca patria
perturbada, donde ni aun los corazones pueden latir en paz.
Montguyon me trajo el 29 malas noticias.
 —El duque ha resuelto poner en libertad a todos los prisioneros de
guerra. Pero...
—¿Pero qué?
—Ha dispuesto que sean entregados a las autoridades españolas
los individuos que en Cádiz desempeñaban comisiones políticas.
—¿Él está comprendido?
—Sí, señora. Desgraciadamente, se tienen de él las peores
noticias. Había recorrido los pueblos alistando gente por orden de
Calatrava; había venido desde Cataluña con órdenes de Mina para
realizar asesinatos de franceses. Había organizado las partidas de
gente soez que en el tránsito de Sevilla a Cádiz insultaron a Su
Majestad.
—¡Oh, eso es falso, falso, mil veces falso! —grité sin pode
contener mi indignación.
Y en efecto, tales suposiciones eran infames calumnias.
—Ha llegado al Puerto de Santa María —añadió Montguyon— e
señor don Víctor Sáez, Secretario de Estado. ¿Por qué no le ve usted?
—No quiero nada con hombres de ese jaez —repuse con enojo—
Usted me ha dado su palabra de honor; usted ha empeñado su
nombre de caballero, y con usted solo debo contar. ¡Oh, señor conde!
si mi prisionero es entregado a la brutalidad de las autoridades
españolas, sedientas hoy de sangre y de venganza, sospecharé que
usted me hace traición.
Palideció el caballero francés. Dirigiéndome una mirada desdeñosa
me dijo al despedirse:
—Todavía, señora, no sabe usted quién soy yo.
A pesar de mis propósitos, determiné visitar a Sáez, porque bueno
es tener amigos aunque sea en el infierno. Vencí mis recientes
antipatías, y tomando un coche me encaminé al Puerto de Santa
María. Era el 1.º de octubre, día solemne en los fastos españoles.
Hallé al buen canónigo más soplado y presuntuoso que nunca
como todo aquel que se ve en altura a donde nunca debió llegar; pero
contra lo que yo esperaba, recibiome afablemente, y no me dijo una
sola palabra acerca de mi conversión al absolutismo. Parecía no da
valor a estas pequeñeces, y ocuparse tan solo, como Jiménez de
Cisneros, en los negocios públicos de ambos mundos.
—Hoy es día placentero, señora, día feliz entre todos los días
felices de la tierra —me dijo—. Su Majestad don Fernando, ese ilustre
mártir de los excesos revolucionarios, es ya libre.
—¿Ya?
—Hoy nos le entregan. Al fin han comprendido esos locos que su
resistencia les podría costar muy cara, pero muy cara. El duque tiene
malas moscas.
—Felicitémonos, señor don Víctor —dije con afectado entusiasmo
—, de esta solución lisonjera. España y el mundo están de
enhorabuena. Mas para que se completara la dicha, convendría que
tantas y tan graves heridas no se ensañasen con la venganza y la
crueldad del partido vencedor, y que un generoso olvido de los errores
pasados inaugurase la venturosa era que empieza hoy.
—Así será, señora —repuso sonriendo de un modo que me pareció
algo hipócrita—. Su Majestad ha dado ayer en Cádiz un manifiesto en
que ofrece perdonar a todo el mundo y no acordarse para nada de los
que le han ofendido. ¡Cuánta magnanimidad! ¡Cuánta nobleza!
—¡Oh, sí, conducta digna de un descendiente de cien reyes, digna
de quien da el perdón y del pueblo que la recibe! Si Fernando cumple
lo que promete, será grande entre todos los reyes de España.
—Lo cumplirá, señora, lo cumplirá.
Aunque no tenía gran confianza en las afirmaciones de Sáez, d
crédito a estos propósitos por creerlos inspiración del duque de
Angulema.
Invitome luego a presenciar el desembarco de Su Majestad, a lo
que accedí muy gustosa. Nos trasladamos al muelle, y habiendo sido
colocada por un oficial francés en sitio muy conveniente para ver todo
presencié aquel acto, que debía ser uno de los más notables recodos
uno de los más bruscos ángulos de la historia de España en e
tortuoso siglo presente.
¡Espectáculo conmovedor! La regia falúa, cuyo timón gobernaba e
almirante Valdés, glorioso marino de Trafalgar, se acercaba al muelle
En ella venía toda la familia real, la monarquía histórica secuestrada
por el liberalismo. La conciliación ideada por cabezas insensatas era
imposible, y aquellos regios rehenes que la nación había tomado, eran
devueltos al absolutismo, contra el cual no podían prevalecer aún los
infiernos de la demagogia. En una lancha volvían del purgatorio
constitucional las ánimas angustiadas del rey y los príncipes.
Mientras el victorioso despotismo recobraba sus personas
sagradas, allá lejos, sobre la gloriosa peña inundada de luz y ceñida
por coronas de blancas olas, los pobres pensadores desesperados, los
utopistas sin ilusiones, los desengañados patricios lloraban sus
errores, y buscando hospitalidad en naves extranjeras, se disponían a
huir para siempre de la patria a quien no habían podido convencer.
Así acaban los esfuerzos superiores a la energía humana, las
luchas imposibles con monstruos potentes de terribles lazos, y que
hunden en el suelo sus patas para estar más seguros, como hunde
sus raíces el árbol. Tal era la contienda con el absolutismo. Querían
vencerle cortándole las ramas, y él retoñaba con más fuerza. Querían
ahogarle, y regándole daban jugo a sus raíces. ¡A vosotros, oh
venideros días del siglo, tocaba atacarlo en lo hondo, arrancándolo de
cuajo!... Pero advierto que estoy hablando la jerga liberal. ¡Qué horror
Verdad es que escribo veinte años después de aquellos sucesos; que
ya soy vieja, y que a los viejos, como a los sabios, se les permite
mudar de parecer.
Fernando puso el pie en tierra. Dicen que al verse en suelo firme
dirigió a Valdés una mirada terrible, una mirada que era un programa
político: el programa de la venganza. Yo no lo vi, pero debió de se
cierto, porque me lo dijo quien estaba muy cerca. Lo que sí puedo
asegurar es que Angulema, hincando en tierra la rodilla, besó la mano
al rey; que luego se abrazaron todos; que don Víctor Sáez lloraba
como un simple, y que los vivas y las exclamaciones de entusiasmo
me volvieron loca. Los franceses gritaban, los españoles gritaban
también, celebrando la feliz resurrección de la monarquía tradicional y
la miserable muerte del impío constitucionalismo. El glorioso imperio
de las caenas había empezado. Ya se podía decir con toda el alma
«¡Viva el rey absoluto! ¡Muera la nación!»
 XXXVI

Faltaba la solución mía. Mi corazón estaba como el reo cuya

sentencia no se ha escrito aún. El 1.º de octubre por la tarde y el día 2
hice diligencias sin fruto, no siéndome posible ver a Sáez ni a
Montguyon, a quien envié frecuentes y apremiantes recados. Ninguna
noticia pude adquirir tampoco de los prisioneros. Creo que me hubiera
repetido el ataque cerebral que padecí en Sevilla, si en el momento de
mi mayor desesperación no apareciese mi generoso galán francés a
devolverme la vida. Estaba pálido y parecía muy agitado.
—Vengo de Cádiz —me dijo—. Dispénseme usted si no he podido
servirla más pronto.
—¿Y qué hay? —pregunté con la vida toda en suspenso.
—Deme usted su mano —dijo Montguyon ceremoniosamente.
Se la di y la besó con amor.
—Ahora, señora, todo ha acabado entre nosotros. Mi deber está
cumplido, y mi deber es perdonar, pagando las ofensas con beneficios.
Yo me sentía muy conmovida y no pude decirle nada.
—Ni un momento he dudado de su hidalguía —indiqué con acento
de pura verdad—. A veces tropezamos en la vida con el bien y
pasamos sin verlo. Señor conde, mi gratitud será eterna.
—No quiero gratitud —díjome con honda tristeza—. Es un
sentimiento que no me gusta recibido, sino dado. Deseo tan solo un
recuerdo bueno y constante.
—¡Y una amistad entrañable, una estimación profunda! —exclamé
derramando lágrimas.
—Todo está hecho.
—¿Conforme a mi deseo...? ¡Bendito sea el momento en que nos
conocimos!
—Señora, su prisionero de usted está sano y salvo a bordo de la
corbeta Tisbe, que parte esta tarde para Gibraltar.
 —¿Y cómo?
—Por sus antecedentes debía ser condenado a muerte. Otros
menos criminales subirán al cadalso, si no se escapan a tiempo. Yo le
saqué anoche furtivamente de los Dominicos y le embarqué esta
mañana. Ya no corre peligro alguno. Está bajo la salvaguardia de
noble pabellón inglés.
—¡Oh, gracias, gracias!
—Además del servicio que a usted presto, creo cumplir un deber de
conciencia arrancando una víctima a los feroces ministros del rey de
España.
—¿Pues qué —pregunté con asombro—, Su Majestad no ha
ofrecido en su manifiesto de Cádiz perdonar a todo el mundo?
—¡Palabras de rey prisionero! Las palabras del déspota libre son las
que rigen ahora. Su Majestad ha promulgado otro decreto que es la
negra bandera de las proscripciones, un programa de sangre y
exterminio. Innumerables personas han sido condenadas a muerte.
—Esto es una infamia... Pero, en fin, ¿está él en salvo?...
—En salvo.
—¿Y sabe que me lo debe a mí..., sabe que yo...? ¡Oh, seño
conde!, no extrañe usted mi egoísmo. Estoy loca de alegría, y puedo
repetir con toda mi alma: «Ahora sí que no se me puede escapar.»
—Sabe que a usted lo debe todo, y espera abrazarla pronto.
—¿Cómo?
—Muy fácilmente. Comprendiendo que usted desea ir en su
compañía, he pedido otro pasaporte para doña Jenara de Baraona.
—¿De modo que yo...?
—Puede embarcarse usted esta tarde antes de las cuatro a bordo
de la Tisbe.
—¿Es verdad lo que oigo?
—Aquí está la orden firmada por el almirante inglés. Me la ha dado
con las que ponen en salvo a los exregentes Císcar y Valdés
impíamente condenados a muerte por el rey.
—¡Oh..., soy feliz, y todo lo debo a usted!... ¡Qué admirable
conducta!
Sin poder contenerme, caí de rodillas, y con mis lágrimas bañé las
generosas manos de aquel hombre.
—Así castigo yo —me dijo, levantándome—. Prepárese usted. A las
tres y media vengo a buscarla para conducirla a bordo del bote francés