Download the Full Version of textbook for Fast Typing at textbookfull.

com

Digital Signal Processing with Matlab Examples

Volume 3 Model Based Actions and Sparse
Representation 1st Edition Jose Maria Giron-Sierra
(Auth.)
https://textbookfull.com/product/digital-signal-processing-
with-matlab-examples-volume-3-model-based-actions-and-
sparse-representation-1st-edition-jose-maria-giron-sierra-
auth/

OR CLICK BUTTON

DOWNLOAD NOW

Download More textbook Instantly Today - Get Yours Now at textbookfull.com

 Recommended digital products (PDF, EPUB, MOBI) that
you can download immediately if you are interested.

Conceptual Digital Signal Processing with MATLAB Keonwook

Kim

https://textbookfull.com/product/conceptual-digital-signal-processing-
with-matlab-keonwook-kim/

textboxfull.com

Understanding Digital Signal Processing with MATLAB® and

Solutions. First Edition. Edition Poularikas

https://textbookfull.com/product/understanding-digital-signal-
processing-with-matlab-and-solutions-first-edition-edition-poularikas/

textboxfull.com

Digital Signal Processing-A Primer With MATLAB® 1st

Edition Samir I. Abood (Author)

https://textbookfull.com/product/digital-signal-processing-a-primer-
with-matlab-1st-edition-samir-i-abood-author/

textboxfull.com

Real Time Digital Signal Processing from MATLAB to C with

the TMS320C6x DSPs Third Edition Morrow

https://textbookfull.com/product/real-time-digital-signal-processing-
from-matlab-to-c-with-the-tms320c6x-dsps-third-edition-morrow/

textboxfull.com
Smartphone based real time digital signal processing Third
Edition Abhishek Sehgal

https://textbookfull.com/product/smartphone-based-real-time-digital-
signal-processing-third-edition-abhishek-sehgal/

textboxfull.com

Digital Signal Processing and Spectral Analysis for

Scientists Concepts and Applications 1st Edition Silvia
Maria Alessio (Auth.)
https://textbookfull.com/product/digital-signal-processing-and-
spectral-analysis-for-scientists-concepts-and-applications-1st-
edition-silvia-maria-alessio-auth/
textboxfull.com

MATLAB Signal Processing Toolbox User s Guide The

Mathworks

https://textbookfull.com/product/matlab-signal-processing-toolbox-
user-s-guide-the-mathworks/

textboxfull.com

Digital Image Processing A Signal Processing and

Algorithmic Approach 1st Edition D. Sundararajan (Auth.)

https://textbookfull.com/product/digital-image-processing-a-signal-
processing-and-algorithmic-approach-1st-edition-d-sundararajan-auth/

textboxfull.com

From Algebraic Structures to Tensors Digital Signal and

Image Processing Matrices and Tensors in Signal Processing
Set 1st Edition Gérard Favier (Editor)
https://textbookfull.com/product/from-algebraic-structures-to-tensors-
digital-signal-and-image-processing-matrices-and-tensors-in-signal-
processing-set-1st-edition-gerard-favier-editor/
textboxfull.com
Signals and Communication Technology

Jose Maria Giron-Sierra

Digital Signal
Processing with
Matlab Examples,
Volume 3
Model-Based Actions and Sparse
Representation
Signals and Communication Technology
More information about this series at http://www.springer.com/series/4748
Jose Maria Giron-Sierra

Digital Signal Processing

with Matlab Examples,
Volume 3
Model-Based Actions and Sparse
Representation

123
Jose Maria Giron-Sierra
Systems Engineering and Automatic Control
Universidad Complutense de Madrid
Madrid
Spain

ISSN 1860-4862 ISSN 1860-4870 (electronic)

Signals and Communication Technology
ISBN 978-981-10-2539-6 ISBN 978-981-10-2540-2 (eBook)
DOI 10.1007/978-981-10-2540-2

Library of Congress Control Number: 2016951678

MATLAB® is a registered trademark of The MathWorks, Inc., and is used with permission. The
MathWorks does not warrant the accuracy of the text or exercises in this book. This book’s use or
discussion of MATLAB software or related products does not constitute endorsement or sponsorship by
the MathWorks of a particular pedagogical approach or particular use of the MATLAB software.

© Springer Science+Business Media Singapore 2017

This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part
of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations,
recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission
or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar
methodology now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this
publication does not imply, even in the absence of a specific statement, that such names are exempt from
the relevant protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this
book are believed to be true and accurate at the date of publication. Neither the publisher nor the
authors or the editors give a warranty, express or implied, with respect to the material contained herein or
for any errors or omissions that may have been made.

Printed on acid-free paper

This Springer imprint is published by Springer Nature

The registered company is Springer Nature Singapore Pte Ltd.
The registered company address is: 152 Beach Road, #22-06/08 Gateway East, Singapore 189721, Singapore
Preface

This is the third book of a trilogy. As in the other books, a series of MATLAB
programs are embedded in the chapters for several purposes: to illustrate the
techniques, to provide implementation examples, to encourage for personal
exploration departing from a successful start.
The book has two parts, each having just one chapter. These chapters are long
and have a considerable number of bibliographic references.
When using a GPS on a car, sometimes it is not possible to keep contact with
satellites, like for instance inside tunnels. In this case, a model of the car motion—a
dynamic model—can be used for data substitution. The adequate combination of
measurements and models is the key idea of the Kalman filter, which is the central
topic of the first part of the book. This filter was formulated for linear conditions.
There are modifications for nonlinear conditions, like the extended Kalman filter, or
the unscented Kalman filter. A new idea is to use particle filters. These topics are
covered in the chapter under an important perspective: Bayesian filtering.
Compressed sensing has emerged as a promising idea. One of the intended
applications is networked devices or sensors, which are becoming a reality. This
topic is considered in the second part of the book. Some experiments that
demonstrate image denoising applications were included.
For easier reading of the book, the longer programs have been put in an
appendix. And a second appendix on optimization has been added to support some
contents of the last chapter.
The reader is invited to discover the profound interconnections and common-
alities that exist behind the variety of topics in this book. This common ground
would become surely the humus for the next signal processing future.
As said in the preface of the other books, our particular expertise on signal
processing has two main roots: research and teaching. I belong to the Faculty of
Physics, University Complutense of Madrid, Spain. During our experimental
research on autonomous vehicles, maritime drones, satellite control, etc., we
practiced main methods of digital signal processing, for the use of a variety of
sensors and for prediction of vehicle motions. From years ago, I teach Signal
Processing in a Master of Biomedical Physics, and a Master on New technologies.

v
vi Preface

The style of the programs included in the book is purposively simple enough.
The reader is invited to typeset the programs included in the book, for it would help
for catching coding details. Anyway, all programs are available from the book web
page: www.dacya.ucm.es/giron/SPBook3/Programs.
A lot of different materials have been used to erect this book: articles, blogs,
codes, experimentation. I tried to cite with adequate references all the pieces that
have been useful. If someone has been forgotten, please contact me. Most of the
references cited in the text are available from Internet. We have to express our
gratitude to the public information available in this way.
Please, send feedback and suggestions for further improvement and support.

Acknowledgments

Thanks to my University, my colleagues and my students. Since this and the other
book required a lot of time taken from nights, weekends and holidays, I have to
sincerely express my gratitude to my family.

Madrid, Spain Jose Maria Giron-Sierra

Contents

Part I Model-Based Actions: Filtering, Prediction, Smoothing

1 Kalman Filter, Particle Filter and Other Bayesian Filters . . . . . . . . . 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 A Basic Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 Prediction with the Gauss-Markov Model . . . . . . . . . . . . . 10
1.2.3 Continuation of a Simple Example of Recursive
Wiener Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.1 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.2 Evolution of Filter Variables . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 Several Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.3.4 Some Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.3.5 Numerical Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.3.6 Information Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4 Nonlinear Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4.1 Propagation and Nonlinearity . . . . . . . . . . . . . . . . . . . . . . 32
1.4.2 Jacobian. Hessian. Change of Coordinates. . . . . . . . . . . . . 39
1.4.3 Local Linearization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.4.4 Example of a Body Falling Towards Earth . . . . . . . . . . . . 43
1.5 Extended Kalman Filter (EKF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.5.1 The EKF Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.5.2 Assessment of the Linearized Approximation . . . . . . . . . . 58
1.6 Unscented Kalman Filter (UKF) . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
1.6.1 The Unscented Transform . . . . . . . . . . . . . . . . . . . . . . . . . 63
1.6.2 The Unscented Kalman Filter (UKF) . . . . . . . . . . . . . . . . . 70
1.7 Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
1.7.1 An Implementation of the Particle Filter . . . . . . . . . . . . . . 77
1.7.2 Resampling Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
1.7.3 Multinomial Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . 84

vii
viii Contents

1.7.4 Systematic Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

1.7.5 Stratified Resampling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
1.7.6 Residual Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
1.7.7 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
1.7.8 Roughening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
1.7.9 Basic Theory of the Particle Filter . . . . . . . . . . . . . . . . . . . 89
1.7.10 Sequential Monte Carlo (SMC) . . . . . . . . . . . . . . . . . . . . . 90
1.7.11 Proposal Importance Functions . . . . . . . . . . . . . . . . . . . . . 93
1.7.12 Particle Filter Variants . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
1.7.13 Marginalized Particle Filter (Rao-Blackwellized
Particle Filter) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
1.7.14 Regularized Particle Filters . . . . . . . . . . . . . . . . . . . . . . . . 99
1.8 The Perspective of Numerical Integration . . . . . . . . . . . . . . . . . . . . 100
1.8.1 Geometry. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
1.8.2 Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
1.8.3 Other Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
1.8.4 Gaussian Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
1.8.5 Assumed Density. Expectation Propagation . . . . . . . . . . . . 112
1.9 Other Bayesian Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
1.9.1 Ensemble Kalman Filter (EnKF) . . . . . . . . . . . . . . . . . . . . 114
1.9.2 Iterative Kalman Filter. . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
1.9.3 Gaussian Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
1.9.4 Divide and Conquer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
1.9.5 Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
1.9.6 Algorithms with Special Characteristics . . . . . . . . . . . . . . 118
1.10 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
1.10.1 Optimal Prediction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
1.10.2 One-Stage Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
1.10.3 Three Types of Smoothers . . . . . . . . . . . . . . . . . . . . . . . . 122
1.10.4 Bayesian Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
1.11 Applications of Bayesian Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
1.11.1 Navigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
1.11.2 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
1.11.3 Information Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
1.11.4 SLAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
1.11.5 Speech, Sounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
1.11.6 Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
1.11.7 Earth Monitoring and Forecasting . . . . . . . . . . . . . . . . . . . 137
1.11.8 Energy and Economy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
1.11.9 Medical Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
1.11.10 Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
1.11.11 Other Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Contents ix

1.12 Frequently Cited Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

1.12.1 Bearings-Only Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . 139
1.12.2 Other Tracking Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
1.12.3 Univariate Non-stationary Growth Model . . . . . . . . . . . . . 140
1.12.4 Financial Volatility Model . . . . . . . . . . . . . . . . . . . . . . . . . 141
1.12.5 Nonlinear Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
1.12.6 The Pendulum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
1.13 Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
1.13.1 MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
1.13.2 Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

Part II Sparse Representation. Compressed Sensing

2 Sparse Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
2.2 Sparse Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.2.1 The Central Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.2.2 Norms and Sparsity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
2.2.3 Solving Sparsity Optimization Problems . . . . . . . . . . . . . . 156
2.3 Compressed Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
2.3.1 Statement of the Approach . . . . . . . . . . . . . . . . . . . . . . . . 182
2.3.2 Compression and Recovery. The Matrix A . . . . . . . . . . . . 184
2.3.3 Incoherence and Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . 189
2.3.4 Stable and Robust Recovery . . . . . . . . . . . . . . . . . . . . . . . 190
2.3.5 Phase Transitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
2.3.6 Some Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
2.4 Image Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
2.4.1 Texture + Cartoon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
2.4.2 Patches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
2.4.3 Morphological Components . . . . . . . . . . . . . . . . . . . . . . . . 208
2.5 An Additional Repertory of Applicable Concepts
and Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
2.5.1 Sparse Representation in MATLAB . . . . . . . . . . . . . . . . . 215
2.5.2 Diffusion in 2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
2.5.3 Bregman-Related Algorithms. . . . . . . . . . . . . . . . . . . . . . . 228
2.6 Matrix Completion and Related Problems . . . . . . . . . . . . . . . . . . . 233
2.6.1 Matrix Completion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
2.6.2 Decomposition of Matrices . . . . . . . . . . . . . . . . . . . . . . . . 238
2.7 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
2.7.1 Signal Denoising Based on Total Variation (TV) . . . . . . . 241
2.7.2 Picture Reconstruction Based on Matrix Completion. . . . . 244
2.7.3 Text Removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
x Contents

2.8 Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

2.8.1 MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
2.8.2 Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Appendix A: Selected Topics of Mathematical Optimization . . . . . . . . . . 263
Appendix B: Long Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
List of Figures

Figure 1.1 Keeping the car at a distance from the road border . . . . . . . . . 7
Figure 1.2 Prediction (P), measurement (M) and update (U) PDFs . . . . . . 9
Figure 1.3 Variation of K in function of σ y =σ x . . . . . . . . . . . . . . . . . . . . 10
Figure 1.4 The algorithm is a cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Figure 1.5 A two-tank system example . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Figure 1.6 System outputs (measurements) . . . . . . . . . . . . . . . . . . . . . . . . 19
Figure 1.7 System states, and states estimated by the Kalman filter . . . . . 19
Figure 1.8 Error evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Figure 1.9 Evolution of the Kalman gains . . . . . . . . . . . . . . . . . . . . . . . . 23
Figure 1.10 Evolution of the state covariance . . . . . . . . . . . . . . . . . . . . . . . 24
Figure 1.11 The prediction step, from left to right . . . . . . . . . . . . . . . . . . . 25
Figure 1.12 The measurement. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Figure 1.13 Estimation of the next state . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Figure 1.14 Bayes net corresponding to Kalman filter . . . . . . . . . . . . . . . . 27
Figure 1.15 Satellite position under disturbances . . . . . . . . . . . . . . . . . . . . 33
Figure 1.16 Example of nonlinear function: arctan(). . . . . . . . . . . . . . . . . . 34
Figure 1.17 Original and propagated PDFs . . . . . . . . . . . . . . . . . . . . . . . . . 35
Figure 1.18 Propagation of a PDF through nonlinearity . . . . . . . . . . . . . . . 36
Figure 1.19 Propagated PDFs for sigma ¼ 0:7; 1; 2 . . . . . . . . . . . . . . . . . . 37
Figure 1.20 Propagation of a shifted PDF through nonlinearity . . . . . . . . . 38
Figure 1.21 Basic linear approximation using tangent . . . . . . . . . . . . . . . . 42
Figure 1.22 Falling body example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Figure 1.23 System states (cross marks) . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Figure 1.24 Distance measurement and drag . . . . . . . . . . . . . . . . . . . . . . . 45
Figure 1.25 The three non-zero components of the o f=o x Jacobian . . . . . 47
Figure 1.26 Propagation of ellipsoids (state N=43 -> 44)s . . . . . . . . . . . . . 49
Figure 1.27 System states (cross marks) under noisy conditions. . . . . . . . . 51
Figure 1.28 Distance measurement. Drag . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Figure 1.29 System states (cross marks), and states estimated
by the EKF (continuous) . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 54

xi
xii List of Figures

Figure 1.30 Error evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 56

Figure 1.31 Evolution of matrix P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 57
Figure 1.32 Evolution of the altitude and velocity Kalman gains . . . . . . .. 57
Figure 1.33 Propagation of a PDF through nonlinearity and through
tangent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 58
Figure 1.34 Propagated PDFs for sigma ¼ 0:2; 0:4; 0:6 . . . . . . . . . . . . . .. 60
Figure 1.35 Propagation of a shifted PDF through nonlinearity,
and through tangent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Figure 1.36 Example of sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Figure 1.37 Example of sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Figure 1.38 Propagation of sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Figure 1.39 Uncertainty on the angle-radius plane (satellite example),
and sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 69
Figure 1.40 The uncertainty on the Cartesian plane, and sigma points . . .. 69
Figure 1.41 The UT approximation and propagated data points . . . . . . . .. 70
Figure 1.42 System states (cross marks), and states estimated
by the UKF (continuous) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Figure 1.43 Error evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Figure 1.44 Evolution of matrix P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Figure 1.45 Evolution of the altitude and velocity Kalman gains . . . . . . . . 77
Figure 1.46 System states (cross marks), and states estimated
by the particle filter (continuous) . . . . . . . . . . . . . . . . . . . . . . . 79
Figure 1.47 Error evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Figure 1.48 Histogram of weights, resampling example . . . . . . . . . . . . . . . 83
Figure 1.49 Cumsum() of weights, resampling example . . . . . . . . . . . . . . . 84
Figure 1.50 Zoom on the cumsum() plot . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Figure 1.51 Histograms of prior and resampled particles . . . . . . . . . . . . . . 85
Figure 1.52 Histograms of systematic, stratified, multinomial,
residual resampling example . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Figure 1.53 A possible situation of prior and likelihood PDFs . . . . . . . . . . 94
Figure 1.54 Using Gaussian kernel for filter regularization . . . . . . . . . . . . . 100
Figure 1.55 Organigram of the section . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Figure 1.56 Approximations of Student’s T PDF: (top) Laplace's
method, (bottom) KLD minimization . . . . . . . . . . . . . . . . . . . . 107
Figure 1.57 Organigram of the section . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Figure 1.58 System estimated states (cross marks), and fixed-interval
smoothed states (continuous) . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Figure 1.59 System estimated states (cross marks), and fixed-lagl
smoothed states (continuous) . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Figure 1.60 Smoothing of states with fixed-point smoothing . . . . . . . . . . . 132
Figure 1.61 Evolution of covariances in the fixed-point smoothing
example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Figure 1.62 Bearings only tracking scenario . . . . . . . . . . . . . . . . . . . . . . . . 139
List of Figures xiii

Figure 2.1 The line L and, a the ball B1=2 , b the ball B1 ,
c the ball B2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Figure 2.2 An example of the solution paths obtained with LARS . . . . . . 159
Figure 2.3 Solution paths using LARS for diabetes set . . . . . . . . . . . . . . 162
Figure 2.4 Solution paths using LASSO for diabetes set . . . . . . . . . . . . . 162
Figure 2.5 Soft-thresholding operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
Figure 2.6 Application of ISTA for a sparse signal recovery
example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Figure 2.7 Evolution of objective function along ISTA iterations . . . . . . . 172
Figure 2.8 A BP sparsest solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Figure 2.9 Evolution of objective function k xk1 along ADMM
iterations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Figure 2.10 Sparse solution obtained with OMP . . . . . . . . . . . . . . . . . . . . 180
Figure 2.11 Evolution of the norm of the residual . . . . . . . . . . . . . . . . . . . 181
Figure 2.12 The CS scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Figure 2.13 An sparse signal being measured . . . . . . . . . . . . . . . . . . . . . . . 186
Figure 2.14 Recovered signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Figure 2.15 Evolution ofkxk1 along iterations . . . . . . . . . . . . . . . . . . . . . . 187
Figure 2.16 A phase transition curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Figure 2.17 Original image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
Figure 2.18 (right) Chan-Vese segmentation, (left) level set . . . . . . . . . . . . 197
Figure 2.19 A patch dictionary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Figure 2.20 The dictionary problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
Figure 2.21 Original picture, and image with added Gaussian noise. . . . . . 207
Figure 2.22 Patch dictionary obtained with K-SVD . . . . . . . . . . . . . . . . . . 207
Figure 2.23 Denoised image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
Figure 2.24 A synthetic image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Figure 2.25 Example of figure during MCA process . . . . . . . . . . . . . . . . . 211
Figure 2.26 The original composite signal and its components . . . . . . . . . . 212
Figure 2.27 Visualization of banded matrix using spy() . . . . . . . . . . . . . . . 216
Figure 2.28 Visualization of the Bucky ball matrix structure . . . . . . . . . . . 217
Figure 2.29 Visualization of the bucky ball graph . . . . . . . . . . . . . . . . . . . 217
Figure 2.30 Visualization of HB/nnc1374 matrix using spy() . . . . . . . . . . . 218
Figure 2.31 Visualization of heat diffusion example . . . . . . . . . . . . . . . . . . 220
Figure 2.32 Effect of Gaussian diffusion, original on top . . . . . . . . . . . . . . 222
Figure 2.33 Effect of Gaussian anti-diffusion, original on top . . . . . . . . . . . 224
Figure 2.34 The diffusion coefficient and the corresponding
flux function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
Figure 2.35 Denoising of image with salt & pepper noise,
using P-M method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Figure 2.36 Example of Bregman distance . . . . . . . . . . . . . . . . . . . . . . . . . 228
Figure 2.37 ROF total variation denoising using split Bregman . . . . . . . . . 233
Figure 2.38 Evolution of nuclear norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Figure 2.39 A test of reconstruction quality . . . . . . . . . . . . . . . . . . . . . . . . 236
xiv List of Figures

Figure 2.40 A low-rank matrix and a sparse matrix . . . . . . . . . . . . . . . . . . 238

Figure 2.41 The observed matrix M = L+S . . . . . . . . . . . . . . . . . . . . . . . . 239
Figure 2.42 The recovered matrices L and S . . . . . . . . . . . . . . . . . . . . . . . 239
Figure 2.43 Signal to be denoised . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Figure 2.44 TV denoising: (left) convergence, (right) denoised signal . . . . 243
Figure 2.45 Original image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Figure 2.46 Evolution of nuclear norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Figure 2.47 Image reconstruction by matrix completion . . . . . . . . . . . . . . . 246
Figure 2.48 Simulated graffiti image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
Figure 2.49 Image decomposition into low-rank and sparse matrices . . . . . 249
Listings

1.1 Combining prediction and measurement . . . . . . . . . . . . . . . . . . . . 9

1.2 K in function of sigmay/sigmax. . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Kalman filter example, in noisy conditions . . . . . . . . . . . . . . . . . . 20
1.4 Example of satellite position at T0. . . . . . . . . . . . . . . . . . . . . . . . 33
1.5 Propagation through nonlinearity . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.6 Propagation through nonlinearity . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.7 Propagation through nonlinearity . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.8 Radar monitoring of falling body . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.9 Radar monitoring of falling body: Jacobians . . . . . . . . . . . . . . . . . 48
1.10 Radar monitoring of falling body: ellipsoids . . . . . . . . . . . . . . . . . 50
1.11 Extended Kalman filter example . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.12 Linearized propagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.13 Propagation: variances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
1.14 Propagation: asymmetrical result . . . . . . . . . . . . . . . . . . . . . . . . . 62
1.15 Example of sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
1.16 Example of sigma points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
1.17 Unscented Kalman filter example. . . . . . . . . . . . . . . . . . . . . . . . . 72
1.18 Particle filter example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
1.19 Resampling (multinomial). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
1.20 Resampling (systematic) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
1.21 Resampling (stratified) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
1.22 Resampling (residual). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
1.23 Fixed-interval smoothing example . . . . . . . . . . . . . . . . . . . . . . . . 124
1.24 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
1.25 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
2.1 LARS/LASSO example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
2.2 ISTA example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
2.3 Example of ADMM for Basis Pursuit . . . . . . . . . . . . . . . . . . . . . 177
2.4 Example of OMP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
2.5 Example of Douglas-Rachford. . . . . . . . . . . . . . . . . . . . . . . . . . . 188
2.6 Example of Chan-Vese algorithm . . . . . . . . . . . . . . . . . . . . . . . . 197

xv
xvi Listings

2.7 MCA example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

2.8 Create a tri-banded sparse matrix. . . . . . . . . . . . . . . . . . . . . . . . . 216
2.9 Load and visualize the bucky matrix . . . . . . . . . . . . . . . . . . . . . . 218
2.10 Load and visualize HB nnc1374 . . . . . . . . . . . . . . . . . . . . . . . . . 219
2.11 Example of heat diffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
2.12 Example of picture diffusion blurring . . . . . . . . . . . . . . . . . . . . . . 223
2.13 Example of picture anti-diffusion sharpening . . . . . . . . . . . . . . . . . 223
2.14 Perona-Malik diffusivity function and flux function . . . . . . . . . . . . 226
2.15 Example of picture denoising using Perona-Malik diffusion . . . . . . 227
2.16 Example of Matrix Completion . . . . . . . . . . . . . . . . . . . . . . . . . . 236
2.17 Decomposition into low-rank (L) and sparse (S) matrices . . . . . . . . 240
2.18 Example of TV denoising. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
2.19 Example of Picture Completion . . . . . . . . . . . . . . . . . . . . . . . . . . 246
2.20 Decomposition into low-rank (L) and sparse (S) matrices . . . . . . . . 249
B.1 Kalman filter example, in noisy conditions . . . . . . . . . . . . . . . . . . 370
B.2 Kalman filter ellipsoids. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
B.3 Propagation through nonlinearity . . . . . . . . . . . . . . . . . . . . . . . . . 378
B.4 Influence of perturbations and noise . . . . . . . . . . . . . . . . . . . . . . . 381
B.5 Extended Kalman filter example . . . . . . . . . . . . . . . . . . . . . . . . . 385
B.6 Propagation of sigma points through nonlinearity . . . . . . . . . . . . . 389
B.7 Unscented Transformation example . . . . . . . . . . . . . . . . . . . . . . . 392
B.8 Unscented Kalman filter example. . . . . . . . . . . . . . . . . . . . . . . . . 397
B.9 Particle filter example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
B.10 Resampling methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
B.11 Example of Laplace’s and KLD approximations . . . . . . . . . . . . . . 413
B.12 Fixed-lag smoothing example . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
B.13 Fixed-point smoothing example . . . . . . . . . . . . . . . . . . . . . . . . . . 417
B.14 K-SVD denoising example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
B.15 spc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
B.16 Example of picture denoising using Anisotropic TV. . . . . . . . . . . . 425
 Part I
Model-Based Actions: Filtering,
Prediction, Smoothing
Chapter 1
Kalman Filter, Particle Filter and Other
Bayesian Filters

1.1 Introduction

Consider the case of satellite tracking. You must determine where is your satellite,
using a large antenna. Signals from the satellite are noisy. Measurements of antenna
angles have some uncertainty margins. But you have something that may help you:
the satellite follows a known orbit, so at time T must be at position P. However this
help should be taken with caution, since there are orbit perturbations.
Satellite tracking is an example of a more general scenario. The target is to estimate
the state of a dynamic system, a state that is changing along time. The means you
have are measurements and a mathematical model of the system dynamics. These
two means should be combined as best as possible.
Some more examples could be useful to capture the nature of the problem to be
considered in this chapter.
According with the description given in a scientific conference, a research team
was developing a small UAV (unmanned aerial vehicle) to fly on their university
campus. They used distance measurement with an ultrasonic sensor, for flight altitude
control. Sometimes the altitude measurements were lost or completely wrong. In
such moments, these measurements were substituted by a reasonable value. At least
a simplistic (or even implicit) model should be used here for two reasons: to determine
that there is a wrong measurement, and to obtain a reasonable value.
Nowadays a similar problem is found with vehicular GPS. In certain circumstances
of the travel—for instance, a tunnel—the connection with satellites is lost, but the
information to the driver should continue.
Another example is the case of biosignals. When measuring electroencephalo-
grams (EEG) or electrocardiograms (ECG), etc., sometimes artifacts appear due to
bad electrodes contact, eye blinking, interferences, etc. These bad measurements
should be correctly identified as outliers, and some correction procedure should be
applied.
This chapter deals with optimal state estimation for dynamic systems. The
Bayesian methodology provides a general framework for this problem. Along time,

© Springer Science+Business Media Singapore 2017 3

J.M. Giron-Sierra, Digital Signal Processing with Matlab Examples, Volume 3,
Signals and Communication Technology, DOI 10.1007/978-981-10-2540-2_1
4 1 Kalman Filter, Particle Filter and Other Bayesian Filters

a set of important practical methods, which can be seen as Bayesian instances, have
been developed, such as the Kalman filter and the particle filter.
Given a dynamic system, the Bayesian approach to state estimation attempts
to obtain the posterior PDF of the sate vector using all the available information.
Part of this information is provided by a model of the system, and part is based
on measurements. The state estimation could be done with a recursive filter, which
repeats a prediction and an update operation.
Denote the posterior PDF at time step k as p(xk | Yk ), where Yk is the set of all
previous measurements Yk = { y j , j = 1, 2, . . . , k}.
The prediction operation propagates the posterior PDF from time step k − 1 to k,
as follows: 
p(x | Y ) = p(x | x ) p(x | Y ) dx (1.1)
 k  k−1  k k−1  k−1 k−1 k−1
A B C

where A is the prior at k, B is given by the system model, and C is the posterior at
k − 1.
The update operation takes into account the new measurement yk at k:
⎛ ⎞

p(xk | Yk ) = ⎝ p(yk | xk ) p(xk | Yk−1 )⎠ / p(yk | Yk−1 ) (1.2)

           
D L A N

where D is the posterior, L is the measurement likelihood, and N is a normalizing

denominator.
The system model could be of the form:

x(k + 1) = f(x(k), u(k), w(k)) (1.3)

y(k) = h(x(k), v(k)) (1.4)

where w(k) is the process noise, and v(k) is the observation noise.
The first equation of the system model can be used for the term B, and the second
equation for the term L.
If some cases, with linear dynamics and measurement, the system model can be
a Gauss-Markov model:

x(n + 1) = A x(n) + B u(n) + w(n) (1.5)

y(n) = C x(n) + v(n) (1.6)

Notice that, in order to align with the notation commonly employed in the Bayesian
filters literature, we denote vectors in boldface letters (in previous chapters we used
bars over letters).
1.1 Introduction 5

The Kalman filter [55] offers an optimal solution for state estimation, provided
the system is linear, and noises are Gaussian. It is a particular case of the Bayesian
recursive filter.
In more general cases with non-linear dynamics, the system model is based on
the two functions f(·) and h(·). A linearization strategy could be applied to still use
the Kalman filter algorithm, and this is called ‘Extended Kalman Filter’ (EKF). An
alternative is to propagate a few special points (‘sigma points’) through the system
equations; with these points it is possible to approximate the prior and posterior PDFs.
An example of this alternative is the ‘Unscented Kalman Filter’ (UKF). For non-
linear/non-Gaussian cases that do not tolerate approximations, the ‘Particle Filter’
could be used; the filter is based on the propagation of many points.
The chapter starts with the standard Kalman filter, after some preliminaries. Then
nonlinearities are considered, and there are sections on EKF, UKF, and particle
filters. All these methods are naturally linked to the use of computers or digital
processors, and so the world of numerical computation must be visited in another
section. Smoothing is another important field that is treated in Sect. 1.10. The last
sections intend to at least introduce important extensions and applications of optimal
state estimation.
Some limits should be admitted for this chapter, and therefore there is no space for
many related topics, like H-infinity, game theory, exact filters, etc. The last section
offer some links for the interested reader.
The chapter is mainly based on [8, 15, 19, 40, 72, 96].
In general, many problems related with state estimation remain to be adequately
solved. The field is open for more research.

1.2 Preliminaries

The main stream of this chapter is estimation. Therefore, it is convenient to harvest

relevant concepts and results about it.
In particular, the Kalman filter is concerned with joint distributions of states x and
observations y (both are stochastic variables).
The basic mathematical treatment of stochastic variables uses the following mag-
nitudes:

• Scalar case:

mean : μx = E(x(n))

variance : σx2 = E((x(n) − μx )2 )

• Vector case (vectors in column format):

covariance matri x : Σx = E((x(n) − μx )(x(n) − μx )T )

6 1 Kalman Filter, Particle Filter and Other Bayesian Filters

A typical element σi j of a covariance matrix is:

σi j = E((xi (n) − μxi )(x j (n) − μx j )T )

• Two processes:

cr oss − covariance matri x : Σx y = E((x(n) − μx )(y(n) − μ y )T )

Suppose there is a function f(y) that gives us an estimation of x, the variance of

the estimation (a scalar value) would be:

E(|| f(y) − x||2 )

It can be shown that this variance is minimized when:

f(y) = E(x|y)

Therefore, the minimum variance estimate (MVE) of x, given y is the conditional

expectation:
x̂ = E(x|y)

In other words, the conditional mean gives the MVE.

The Kalman filter is a linear minimum variance estimator (LMVE). If the process
and observation noises are Gaussian, the filter gives the MVE.
Note that the MAP estimate is the mode of the a posteriori PDF, while the MVE
is the mean of the a posteriori PDF. In some applications there are several modes,
and specific filters–modal filters-should be employed. In other applications, it may
happen that the mean differs from the mode. Bayesian estimation obtains the MAP
estimation. In the case of linear systems with process and observation Gaussian
noises, the mode and the mean are coincident.
Starting from an initial state, the state of dynamic systems evolves along time.
The estimation of this state is linked to propagation of states and noises. It would be
a good exercise for the reader to simulate this propagation using a linear state model
with noises.
When taking data for humanoid robot research, it is common to record from top the
motion of a walking man. It is not purely straight, even trying to follow a line. There
are state oscillations. The same happen with satellites, it was supposed to follow a
precise orbit, but there are oscillations. Notice that these are real oscillations. Process
noise corresponds to real perturbations.
Measurement noise tends to confound you, not giving the real state. A main
target of state estimation is to filter out this problem. And speaking of problems,
when possible it is better to use good measurements, avoiding sources of noise, and
trying to obtain linear measurements. As it would be demonstrated in this chapter,
nonlinearities usually cause estimation difficulties. Sometimes change of variables
could help to obtain linear conditions.
1.2 Preliminaries 7

1.2.1 A Basic Example

This is an example taken from [95]. It is the case of driving a car, keeping a distance
x from the border of the road (Fig. 1.1).
In this example is useful to take into account that:

N (μ1 , Σ1 ) × N (μ2 , Σ2 ) = const × N (μ, Σ) (1.7)

with:
μ = Σ Σ1−1 μ1 + ΣΣ2−1 μ2
(1.8)
Σ −1 = Σ1−1 + Σ2−1

(it is usual in the literature to denote the Gaussian PDF as N (μ, Σ)).
At time 0, a passenger guess that the distance to the border is y(0). It could be
considered as an inexact measurement with a variance σ 2y0 . One could assume a
Gaussian conditional density f (x|y(0)) with variance σ 2y0 . In this moment, the best
estimate is x̂(1|0) = y(0).
At time 1, the driver also takes a measurement y(1), which is more accurate.
Assume again a Gaussian conditional density f (x|y(1)), with σ 2y1 < σ 2y0 . The joint
distribution that combines both measurements (product of Gaussians) would have:

σ 2y1 σ 2y0
μx = y(0) + y(1) (1.9)
σ 2y0 + σ 2y1 σ 2y0 + σ 2y1

1 1 1
= 2 + 2 (1.10)
σx2 σ y0 σ y1

The new estimate of the distance would be μx . The corresponding variance, σx2 , is
smaller than either σ 2y0 or σ 2y1 . The combination of two estimates is better.

Fig. 1.1 Keeping the car at a

distance from the road border
8 1 Kalman Filter, Particle Filter and Other Bayesian Filters

By the way, the so-called ‘Fisher information’ of a Gaussian distribution is the

inverse of the variance: 1/σ 2 . Large uncertainty means poor information.
Now, write the new estimate as follows:

σ 2y0
x̂(1|1) = μx = y(0) + (y(1) − y(0)) = x̂(1|0) + K (1)(y1 − x̂(1|0))
σ 2y0 + σ 2y1
(1.11)
where:
σ 2y0
K (1) = (1.12)
σ 2y0 + σ 2y1

Equation (1.11) has the form of a Kalman filter; K () is the Kalman gain. The equation
says that the best estimate can be obtained using the previous best estimate and a
correction term. This term compares the latest measurement with the previous best
estimate.
Likewise, the variance could be written as follows:

σx2 (1|1) = σx2 (1|0) − K (1) σx2 (1|0) (1.13)

so the variance decreases.

The car moves. A simple model of the lateral motion, with respect to the border
of the road, could be:
dx
= u +w (1.14)
dt

The term w is random perturbation with variance σw2 . The lateral velocity is u, set
equal to zero. After some time T , the best estimate (prediction) would be:

x̂(2|1) = x̂(1|1) + T u (1.15)

The variance of the estimate increases:

σx2 (2|1) = σx2 (1|1) + T σw2 (1.16)

The increase of variance is not good. A new measurement is welcome. Suppose that
at time 2 a new measurement is taken. Again the product of Gaussians appears, as
we combine the prediction x̂(2|1) and the measurement y(2). Therefore:

x̂(2|2) = x̂(2|1) + K (2)(y2 − x̂(2|1)) (1.17)

σx2 (2|2) = σx2 (2|1) − K (2) σx2 (2|1) (1.18)

where:
σx2 (2|1)
K (2) = (1.19)
σx2 (2|1) + σ 2y2
1.2 Preliminaries 9

Fig. 1.2 Prediction (P), 0.35

measurement (M) and update
(U) PDFs 0.3
U
0.25

0.2

P
0.15
M
0.1

0.05

0
-10 -5 0 5 10 15
x

The philosophy of the Kalman filter is to obtain better estimates by combining pre-
diction and measurement (the combination of two estimates is better). The practical
procedure is to update the prediction with the measurement.
Figure 1.2 shows what happens with the PDFs of the prediction (P), the measure-
ment (M) and the update (U). The update PDF has the smallest variance, so it is a
better estimation.

Program 1.1 Combining prediction and measurement

%Combining prediction and measurement
%
xiv=0.1;
x=-10:xiv:15;
%prediction pdf
pmu=4; psig=1.8;
ppdf=normpdf(x,pmu,psig);
%measurement pdf
mmu=0; msig=2.5;
mpdf=normpdf(x,mmu,msig);
%combine pdfs
cpdf=ppdf.*mpdf;
%area=1
KA=1/(sum(cpdf)*xiv);
cpdf=KA*cpdf;
figure(1)
plot(x,ppdf,'b'); hold on;
plot(x,mpdf,'r'); plot(x,cpdf,'k');
title('combine prediction and measurement: update');
xlabel('x');
10 1 Kalman Filter, Particle Filter and Other Bayesian Filters

Fig. 1.3 Variation of K in

function of σ y /σx 1

0.8

0.6

K
0.4

0.2

0
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
sigy/sigx

Another aspect of the Kalman filter philosophy is that, in order to estimate the
present system state, the value of K () is modulated according with the confidence
offered by measurements or by prediction. Suppose that the prediction variance is
constant, then, if measurement uncertainty increases, K decreases: it could be said
that the correction exerted by K becomes more ‘prudent’.
Figure 1.3 shows how K depends on σ y /σx . The figure has been generated with
the Program 1.17.

Program 1.2 K in function of sigmay/sigmax

%K in function of sigmay/sigmax
%
%values of sigmay/sigmax
r=0.1:0.1:2;
%reserve space
K=zeros(1,length(r));
figure(1)
K=1./(1+r.^2); %vectorized code
plot(r,K,'k');
title('K vs. sigy/sigx');
xlabel('sigy/sigx'); ylabel('K');
axis([0 2.1 0 1.1]);

1.2.2 Prediction with the Gauss-Markov Model

This subsection focuses on the propagation of mean and covariance. The basis of the
next study is an important lemma, which applies to a partition of a set of Gaussian
variables:
1.2 Preliminaries 11

x1
x =
x2

With:
μx1 S11 S12
μx = ; Sx =
μx2 S21 S22

Lemma: the conditional distribution of x1 (n), given a x2 (n) = x∗2 (n) is Gaussian
with:
−1
mean = μx1 + S12 S22 (x2 − μx2 )
−1
cov = Σ11 − Σ12 Σ22 Σ21

Now, let us focus on dynamic systems described with Gauss-Markov models.

The Gauss-Markov model deals with states x(n) and observations y(n) (also
denoted as outputs or measurements). Here is the model:

x(n + 1) = A x(n) + B u(n) + w(n) (1.20)

y(n) = C x(n) + v(n) (1.21)

Let us use the following notation:

• x̂(n + 1) is the conditional mean of x(n + 1) given a set of observations {y(0), y(1),
. . . y(n)}.
• The state error is:

er(n) = x(n) − x̂(n)

• The state error covariance is:

Σ(n) = E(er(n) · er(n)T )

Now, consider the following partition:

x(n + 1)
(1.22)
y(n)

Taking into account the model, the four covariance components are:

Σx x = A Σ(n) A T + Σw (1.23)

Σx y = A Σ(n) C T + Σwv (1.24)

12 1 Kalman Filter, Particle Filter and Other Bayesian Filters

Σ yx = C Σ(n) A T + Σwv
T
(1.25)

Σ yy = C Σ(n) C T + Σv (1.26)

Thus, the mean and the variance of the partitioned process are the following:

A x̂(n) B
μp = + u(n) (1.27)
C x̂(n) 0

A Σ(n) A T + Σw A Σ(n) C T + Σwv

Σp = (1.28)
C Σ(n) A T + Σwv
T
C Σ(n) C T + Σv

Now, according to the lemma, the conditional mean is:

x̂(n + 1) = A x̂(n) + B u(n) + K (n) (y(n) − C x̂(n)) (1.29)

And the conditional covariance is:

Σ(n + 1) = [A Σ(n) A T + Σw ] − K (n) [C Σ(n) C T + Σv ] K T (n) (1.30)

where:
−1
K (n) = Σx y · Σ yy = [A Σ(n) C T + Σwv ] · [C Σ(n) C T + Σv ]−1 (1.31)

The last three equations provide a one-step prediction. The term K (n) is called the
Kalman gain.
And the important point is that since we know the conditional mean, then we have
the minimum variance estimate (MVE) of the system state: this is the Kalman filter.

1.2.3 Continuation of a Simple Example of Recursive

Wiener Filter

This subsection links with subsection (5.2.5) where a simple example of Wiener
filter was described. In that example, no model of x(n) was considered. A recursive
estimation was obtained, with the following expression:

x̂(n + 1) = x̂(n) + g(n + 1) (y(n + 1) − x̂(n)) (1.32)

As it was said in the second book, the above expression has the typical form of
recursive estimators, where the estimation is improved in function of the estimation
error.
1.2 Preliminaries 13

In the preceding subsection the Kalman filter was derived by studying the propa-
gation of means and variances. Notice that x̂(n + 1) was obtained using y(n). This
is prediction.
Now, let us establish a second version of the filter where x̂(n + 1) is obtained using
y(n + 1). This is filtering. A scalar Gauss-Markov example will be considered. The
derivation of the Kalman filter will be done based on minimization of estimation
variance. This is a rather long derivation borrowed from [8]. Although long, it is an
interesting deduction exercise that exploits orthogonality relations.
Let us proceed along three steps:

1. Problem statement
The scalar system is the following:

x(n + 1) = A x(n) + w(n) (1.33)

y(n) = C x(n) + v(n) (1.34)

where A and C are constants (they are not matrices, however we prefer to use
capital letters).
Assumptions:
x(0) = 0; w(0) = 0

x(n) and w(n) are uncorrelated

v(n) and w(n) are uncorrelated, and zero-mean

The following recursive estimation is proposed:

x̂(n + 1) = f (n + 1) x̂(n) + k(n + 1) y(n + 1) (1.35)

(it will reach the typical form, after the coming development)
The estimation variance is:

Σ(n + 1) = E {(x̂(n + 1) − x(n + 1))2 } (1.36)

To obtain the MVE:

∂ Σ(n + 1)
= 2 E {(x̂(n + 1) − x(n + 1)) · x̂(n) } = 0 (1.37)
∂ f (n + 1)

∂ Σ(n + 1)
= 2 E {(x̂(n + 1) − x(n + 1)) · y(n + 1) } = 0 (1.38)
∂ k(n + 1)
Exploring the Variety of Random
Documents with Different Content
V, el cual consultó el asunto en Valladolid con graves
teólogos y logró se diesen las leyes del año 1553 en
favor de ellos. No aceptado el obispado del Cuzco,
hubo de aceptar el de Chiapa, que administró varios
años, hasta renunciarlo, muriendo en Madrid.
Opusiéronse á su pretensión Ginés de Sepúlveda,
Bartolomé Frías Albornoz, Fernández de Oviedo y
otros muchos. Sobre esta defensa y contienda
versan casi todas sus obras. Breuissima relación de
la destruyción de las Indias, 1552; Barcelona, 1646;
escrita en 1542, como él lo dice al principio, es un
alegato cristiano, pero exagerado, en pro de los
indios de América, que aprovecharon los enemigos
de España para dar color de verdad á la llamada
leyenda negra que sobre ella han formado. Audiatur
et altera pars, como en toda causa, esto es, las
Leyes de Indias y los efectos de nuestra
colonización. Otras naciones no ofrecerán tal
abogado de los indios ni tales leyes protectoras,
porque tampoco los miraron como á hijos de Dios,
cual los miraban los españoles. El efecto de nuestra
colonización ha sido cristianizar á los indios; el de
otras naciones, hacerlos desaparecer enteramente.
De los españoles, sólo algunos particulares
comenderos abusaron de la encomienda contra las
leyes; las otras naciones, por ley y sistema acabaron
con ellos. El remedio que Las Casas aprobó fué tan
malo como la enfermedad, como hijo del celo
indiscreto: la llevada á América de los negros
africanos, que paró en esclavitud, aunque después
lo desaprobó y le pesó de ello. Tradújose la Relación
al latín, francés, italiano, alemán. Como historiador,
escribió la Historia de las Indias, inédita hasta 1875-
1876; perdida la primera redacción en vida del autor,
que la había comenzado en 1527, sólo quedan tres
décadas de la segunda, empezada en 1552 y no
terminada. Su deseo, según puso en el testamento,
fué quedase sin publicar hasta cuarenta años
después de su muerte; pero no se sabe cómo
Antonio de Herrera (1559-1625) la aprovechó en las
cuatro primeras décadas de su Historia de los
hechos de los Castellanos en las Islas i Tierra firme
del mar oceano, 1601. Llega su historia desde 1492
hasta el año 1520, y es verídico cuando narra
acontecimientos que él vió ó de Colón, cuyos
papeles tuvo en sus manos; pero no es narración
completa, dejándose otras cosas, y aunque su
intención es cristiana y de razón, la polémica le lleva
á exagerar lo que va contra sus principios. Admírale
su adversario Sepúlveda (1490-1573) como
polemista; como historiador es mediano en su
Historia de las Indias y en su Apologética Historia, y
siempre exagerado por su celo religioso.
 Don Fray Bartolomé de las Casas.

(J. L. Enguidanos lo dibuxó. T. L. Enguidanos lo

grabó)
169. Otras publicaciones de Las Casas: Aquí se contienen unos
avisos y reglas para los confesores de los españoles que son ó han
sido en cargo á los indios, Sevilla, 1552. Aquí se contienen 30
proposiciones muy jurídicas sobre el derecho que la Iglesia tiene
sobre los infieles, ibid., 1552. Entre los remedios que Fr. B. de las
Casas refirió por mandado del emperador, donde se asignan 20
razones, por las cuales prueba no se deben dar los indios á los
españoles, ibid., 1552. Aquí se contiene una disputa ó controversia
entre el obispo Fr. B. de las Casas y el Dr. Ginés de Sepúlveda
sobre la conquista de las Indias, Valladolid, 1552. Éste es un tratado
que el obispo de Chiapa Fr. B. de las Casas compuso sobre la
materia de los indios que se han hecho en ellas esclavos, 1552.
Principia quaedam ex quibus procedendum est in disputatione ad
manifestandam et defendendam iustitiam indorum, Sevilla.

Véanse, según N. Antonio, algunas de sus obras: Disputa ó

controversia entre el Obispo y el Doctor Ginés de Sepúlveda sobre
que el Doctor contendía, que las conquistas de las Indias contra los
Indios eran lícitas, y el Obispo por el contrario defendió, y afirmó
haver sido, y ser imposible no ser ilícitas, tyránicas, injustas, y
iniquas; la qual questión se ventiló, y disputó en presencia de
muchos Letrados, Teólogos, y Juristas en una congregación, que
mandó su Magestad juntar el año de MDXLII, en Valladolid. Entre
los Remedios que el Obispo refirió por mandado del Rey en los
ajuntamientos que mandó hacer su Magestad de Prelados y
Letrados y personas graves en Valladolid el año de 1542 para
reformación de las Indias, el octavo en orden es el siguiente, donde
se asignan veinte razones por las quales prueba no deberse dar los
Indios á los Españoles en encomienda, ni en feudo, ni en vasallage,
ni de otra manera alguna, si su Magestad, como desea, quiere
librarlos de la tiranía y perdición que padecen, etc. Avisos para los
Confesores de las Indias. Tratado comprobatorio del Imperio
Soberano y Principado universal, que los Reyes de Castilla y León
tienen sobre las Indias. Todos estos tratados salieron por separado
en Sevilla, 1552, y comienzo de 1553. Véanse sus Títulos en
Tipografía Hispalense, 1894. Además se trajeron á El Escorial:
Apologética Historia sumaria quanto á las calidades, disposición,
descripción, Cielo, y suelo de estas tierras y condiciones naturales,
políticas, repúblicas, maneras de vivir y costumbres de estas gentes
de las Indias Occidentales y meridionales, cuyo imperio soberano
pertenece á los Reyes de Castilla. Una Historia general de las
Indias, la que aprovechó Herrera. Diez y seis remedios contra la
peste que entonces comenzaba y á toda priesa iba destruyendo las
Indias, de los cuales el octavo se imprimió, según Remesal, en
Sevilla, 1552. De Thesauris. De Cura Regibus Hispaniarum habenda
circa Orbem Indiarum et de unico vocationis modo omnium gentium
ad veram religionem. Sumario de lo que el Dr. Sepúlveda escrivió
contra los Indios. Doce quadernos de las disputas que tuvo con el
Obispo de Darien y el Dr. Sepúlveda. De iuridico et Christiano
ingressu et progressu Regum nostrorum in regno Indiarum, etc., etc.

Bartolomé de las Casas, Colección de obras, ed. con traducción

francesa, J. A. Llorente, París, 1822; Historia de las Indias, 5 vols.,
en Documentos inéditos para la historia de España, Madrid, 1875-
1876, ts. LXII á LXVI; De las antiguas gentes del Perú, en Libr. rar. y
cur., t. XXI; Apologética Historia Sumaria, etc., en Nueva Bibl. de
Aut. Esp., t. XIII. Consúltense: Quintana, Vidas, t. III, 1833; A. M.
Fabié, Vida y escritos de don Fray Bartolomé de las Casas, Madrid,
1879; F. A. Mac Nutt, Bartholomew de las Casas, etc., New-York and
London, 1909; M. Serrano y Sanz, Noticias psicológicas de Fr.
Bartolomé de las Casas, en Revista de Archivos, etc. (1907), t. XVII,
págs. 59-75; Carlos Gutiérrez, Fr. B. de las Casas, su tiempo, su
apostolado.

170. Año 1552. Juan Lorenzo Palmireno (1514?

-1584?), sobrenombre que él se puso y se lo
censuró Domingo Andrés, nació en Alcañiz; fué
discípulo en Gramática de Pedro Puig, de Beceite;
enseñó Humanidades en Alcañiz, Zaragoza y
Valencia; fué bachiller en Medicina por la última
ciudad, donde se graduó entre 1562 y 1564; casóse
y tuvo dos hijos, Argesilao y Arsenio; quedó viudo en
1579 y debió de morir en Valencia. Hombre de
mucha lectura, apasionado por el latín y el griego,
extraordinario pedagogo práctico y aun teórico, de
sus aulas en Zaragoza y Valencia salieron escritores
eminentes, en quienes supo entrañar la afición á las
Humanidades.
171. Obras de Palmireno: Aphtonii clarissimi rhetoris
progymnasmata, Valencia, 1552. Lamentación de la Virgen María
sobre la Pasión de su Hijo, traducida, ibid., 1554. Ori Apollinis Niliaci
hieroglyphica, ibid., 1556. Vida de Fr. Juan Micó, ibid., 1556.
Enchiridion graecae linguae, Lyon, 1558; Valencia, 1563. De vera et
facili imitatione Ciceronis cui aliquot opuscula, studiosis
adolescentibus utilissima adiuncta sunt, Zaragoza, 1560; los
opúsculos son: De ratione syllabarum, De orthographia, De notis
distinguendae orationis, De notis arithmeticis Ciceronis, Dialogus
Hispanice de ratione styli, De imitatione Ciceronis, Lexicon Puerile,
Ratio facile perveniendi ad veram dialecticam et utramque
philosophiam, Adagiorum Hispanice et Latine loquentium centuriae
quinque. Las elegancias, de Paulo Manucio, Barcelona, 1645.
Etimologia latina, ¿Valencia, 1560?; ibid., 1562, 1570, 1571, 1573.
Silva de vocablos y frases de moneda y medidas, Valencia, 1563,
1566, 1573. Rhetoricae prolegomena una cum eiusdem parte prima,
Valencia, 1564, 1567, 1573, 1578. Rhetoricae secunda pars,
Valencia, 1565, 1567, 1573, 1576, 1578. Catecismo ó suma de la
religión cristiana, traducido del que escribió el P. Edmundo Auger,
Valencia, 1565; Caller, 1566; Tudela, 1573; Madrid, 1575.
Rhetoricae tertia pars, Valencia, 1567, 1573, 1578. De ratione
syllabarum, Valencia, 1568, 1578, 1579, 1591. El estudioso de la
aldea, Valencia, 1568, 1571, 1578? Vocabulario del humanista, con
200 refranes, Valencia, 1569, 1575. Phrases Ciceronis obscuriores
in hispanicam linguam conversae, Valencia, 1572, 1574.
Hypotyposes clarissimorum virorum, Valencia, 1572, 1573, 1574,
1578. Ortographia, Valencia, 1573. Dialogo de imitatione Ciceronis,
Valencia, 1573. El latino de repente, Valencia, 1573 (dos ed.), 1577;
Barcelona, 1575, 1578; Valencia, 1578; Sevilla, 1578; Valencia,
1582; Bilbao, 1583; Sevilla, 1583; Barcelona, 1588; Zaragoza, 1588;
Madrid, 1592; Valencia, 1599. Eloquentia iuvenilis ubi elogia et
exempla continentur, Valencia, 1573, 1578. Descuidos de los latinos
de nuestro tiempo, Valencia, 1573, 1578. De arte dicendi libri V,
Valencia, 1573, 1577, 1578. Ecpaña abreviada (Geografía),
Valencia, 1573. El estudioso cortesano, Valencia, 1573; Alcalá,
1587. Campi eloquentiae, Valencia, 1574; Perpiñán, 1597. Camino
de la Iglesia, Valencia, 1575, 1580. Oratorio de enfermos, Valencia,
1578, 1580. Descanso de estudiosos ilustres, Valencia, 1578.
Vocabularios de las partes más principales del mundo..., Valencia,
1578.

172. Año 1552. Juan Cristóbal Calvete de Estrella († 1593?),

de Sariñena, elegante escritor en latín y castellano, en prosa y
verso, cronista de las Indias, publicó Viage que el Príncipe D. Felipe
hizo desde Valladolid hasta los estados de Flandes, Amberes, 1552.
Aphrodisium expugnatum, cuya versión castellana hizo Diego
Gracián, con el título de La Conquista de la Ciudad de África,
Salamanca, 1558; con Notas publicó la obra latina Bartolomé
Barrientos, en 1566. Encomium ad Carolum V, Amberes, 1555. Ad
Ferdinandum Alvarum Toletum... Encomium, ibid., 1573. Munuscula
ad Didacum Espinosam, ibidem. El Túmulo Imperial, Valladolid,
1559. De Rebus Indicis... Libri XX (de los viajes de Colón,
Magallanes, Vasco Núñez, Pizarro, etcétera).

El doctor Juan de Vergara (1492-1557), toledano, erasmista,

catedrático de Filosofía en Alcalá (1502), canónigo y secretario de
Cisneros un año antes de su muerte, quien se había valido de sus
conocimientos para la Políglota; después secretario del arzobispo
Alonso de Fonseca, el cual se gloriaba de tener en su casa quien
respondiese en tan elegante latín á León X, como en el que le
escribían, en nombre del Papa, Bembo y Sadoleto, viajó por
España, Francia, Flandes y Alemania. Tradujo al latín, por orden de
Cisneros, para la edición que proyectaba de Aristóteles, los tratados
De Anima, de Física y Metafísica, y se hallan los ms. en Toledo.
Salomonis libri et Iesu Sirach, traducidos al latín, por orden de
Cisneros. Las ocho Questiones del Templo, respondiendo á Iñigo de
Mendoza, Toledo, 1552. Epigrammata. Escribió sobre la Universidad
de Alcalá y la vida de Cisneros, y cartas, que se hallan entre las de
Marineo Sículo. Según Tamayo y Vargas y otros, fué también autor
de la Historia ó descripción de la imperial ciudad de Toledo, Toledo,
1554; Madrid, 1641; obra que salió á nombre de un Pedro Alcocer.
Relación de algunas cosas que pasaron en estos Reinos de Castilla
desde que murió la reina doña Isabel, hasta que se acabaron las
comunidades. Toledo, por Pedro de Alcocer (ms. de la Colombina).
Descripción de la Universidad de Alcalá (ms., Nic. Antonio). Vida del
cardenal Cisneros (ms. sin acabar). Consúltense: A. Bonilla y San
Martín, Clarorum Hispaniensium Epistolae, Parisiís, 1901 (Revue
Hispanique, VIII); M. Serrano y Sanz, Juan de Vergara y la
Inquisición de Toledo, en Revista de Archivos, etcétera (1901), t. V,
págs. 896-912; (1902), t. VI, págs. 29-42 y 466-486; A. Bonilla,
Anales de la lit. esp., Madrid, 1904, pág. 172; M. Pelayo, Heterod.,
II, pág. 63.

El doctor Pedro Juan Núñez († 1602), insigne filólogo, crítico y

comentarista de textos greco-latinos, valenciano, que enseñó en
Zaragoza, Barcelona y Valencia griego, Filosofía y oratoria, seguidor
primero de Ramus, á quien oyó en París, luego aristotélico clásico,
publicó Institutiones Oratoriae collectae methodicos ex
Institutionibus Andomari Talaei, Valencia, 1552. Anonymi
Compendium de Syllogismis, ibid., 1553. De causis obscuritatis
Aristoteleae et de illarum remediis. Eiusdem Liber de constructione
Artis Dialecticae... Eiusdem Commentarius in constitutionem Artis
Dialecticae, ibid., 1554, 1558. Institutionum Phisicarum quatuor libri,
Valencia, 1554. Apposita M. T. Ciceronis collecta, ibid., 1556;
Venecia, 1570; Lyon, 1571; Colonia, 1571; Barcelona, 1588. De situ
Orbis explanationes in Dionysium Afrum, ibid., 1562. Tabulae
Institutionum Rhetoricarum, Barcelona, 1578. Institutionum
Rhetoricarum l. V. Editio altera multo correctior et locupletior, ibid.,
1585, 1593; traducción al romance, por Miguel Sebastián, en 1624.
Grammatistica, seu de genuina graecarum literarum pronuntiatione y
Libellus de mutatione linguae graecae in Latinam, Barcelona, 1589.
De Studio Philosophico, 1594; Lyon, 1621, con In Vitam Aristotelis
Notae. Progymnasmata, id est, praeludia quaedam oratoria ex
progymnasmatis potissimum Aphtonii (es una parte de las Instit.
Rhetor.), Zaragoza, 1596, con la Ratio brevis et expedita
conscribendi genera epistolarum illustriora, reimpresa aparte en
Valencia, 1607. Grammaticae Graecae Institutiones. Phrynici
Epitoma Dictionum Atticarum, Augustae, 1601. Rhetórica de
Hermógenes, de Griega hecha Latina y mejorada muchísimo por el
clarísimo Dr. Pedro Núñez Valenciano... y vertida en vulgar
castellano por Miguel Sebastián, Presbítero, Rector que fué de
Galve y discípulo de Núñez y cathedrático de Rhetórica en la
universidad de Zaragoza, año 1624 (en el códice B. 4.ª, 445-5 de la
Colombina). Sobre Núñez: Specimen bibliothecae majansianae,
págs. 79-81; Notas al Canto del Turia, 1778. El Omer Talon ó
Andomaro Talaeo era un francés discípulo de Pedro Ramus.
Imprimió su Retórica en 1544. Bartolomé Gavilá, de Elche,
compendió las Instituciones, Oscae, 1604; así como Vicente Ferrer,
de Gandía, Valencia, 1655.

173. Año 1552. Fray Pedro Alfonso, benedictino de Monserrat,

burgalés, publicó De Inmensis Dei beneficiis, Barcelona, 1552. De
Eucharistia. De Vita solitaria. De Religione. De Inmortalitate Animae.
De Vita Mariae Virginis: todo ello en Barcelona, 1562. De
Praeparatione ad mortem, ibid., 1568. Diálogos entre Christo y el
Alma, ibid., 1569.—Luis de Aranda, de Úbeda, publicó La Glosa de
Moral sentido en prosa á las coplas de D. Jorge Manrique,
Valladolid, 1552. Avisos sentenciosos, Granada, 1575. Glosa á los
Proverbios de D. Iñigo López de Mendoza y á xxiv Coplas de las
Trecientas de Juan de Mena, en verso, Granada, 1578. Glosa
Peregrina, porque va glosando pies de diversos Romances, Sevilla,
1607.—Auto agora nuevamente hecho sobre la quinta angustia que
N. S.ª pasó al pie de la Cruz...; Romance muy devoto en
contemplación de la pasión de N. Redemptor Jesuchristo, MDLII,
Burgos (Gayangos en Ticknor, Adic., t. III, pág. 518).—La Institución:
Definiciones y actos capitulares de la ínclita cavallería de la orden
de Calatrava, Toledo, 1552.—Luis de Centellas publicó Cartas al
Dr. Manresa sobre la ciencia oculta y piedra philosophal, 1552.
Coplas sobre la piedra filosofal.—Despertador del alma dormida,
Zaragoza, 1552.—Fray Antonio de Espinosa, dominico, publicó
Reglas de bien vivir y menosprecio de mundo y Lecciones de Job,
1552. In summulas.—Fray Andrés Flórez publicó la Doctrina
Christiana del Ermitaño y Niño, Valladolid, 1552. Primer tratado de
tres. Es doctrina para grandes, Granada, 1557.—Bartholomei
Fumi Placentini, ordinis praedicatorum ac haereticae pravitatis
Inquisitoris Summa: quae Aurea Armilla inscribitur (de casos de
conciencia), Medina, 1552.—Antonio Gómez de Talavera, publicó
Variarum Resolutionum Juris Civilis, Communis et Regii libri III,
Salamanca, 1552. In leges Tauri, ibid., 1555. Ambas obras, 2 vols.,
Lyon, 1661.—El doctor Alfonso García, deán de Santiago y
Segovia y oidor del Rey, tradujo los dos últimos libros de la
traducción hecha por Pero López de Ayala de la Cayda de
Príncipes, de Boccaccio, Alcalá, 1552.—Alexo de Herrera publicó
el Espejo de la conciencia, Medina, 1552.—Fray Cristóbal
Mansilla, dominico, publicó Invectiva contra el heresiarcha Luthero,
Burgos, 1552.—Francisco Juan Mas, valenciano, publicó Epitome
Copiae verborum, Valencia, 1552. Compendium libelli Hadriani
Cardinalis de sermone Latino, ibid., 1554.—Alonso Muñoz de
Pamplona publicó Recopilación y elucidación de los Fueros de
Aragón, Zaragoza, 1552. Publicáronse después los Fueros y
observancias de las costumbres escriptas del Reyno de Aragón, en
Zaragoza, 1576, 1586, 1593, 1623, 1624, 1627, etc.—Alonso
Núñez de Reinoso, de Guadalajara, publicó la Historia de los
amores de Clareo y Florisea y de los Trabajos de Isea..., Venecia,
1552. Fué traducida al francés y está tomada, en parte, de los
Ragionamenti (1546), de Ludovico Dolce, y por ellos, del Leucipe y
Clitofonte, de Aquiles Tacio, alejandrino. Tiene el mérito de ser
acaso la más antigua imitación de las novelas griegas publicada en
Europa.—Diálogos de Diego Núñez Alva de la vida del Soldado, en
que se quenta la conjuración, y pacificación de Alemaña con todas
las batallas, recuentros y escaramuças que en ello acontecieron en
los años de mil y quinientos y quarenta y seys y siete, y juntamente
se descrive la vida del Soldado, Salamanca, 1552; Cuenca, 1589.
Reeditado en Madrid, 1890 (Libr. de antaño).—Diego Pisador,
vecino de Salamanca, publicó el Libro de música de vihuela,
Salamanca, 1552.—El doctor Antonio de Porras, canónigo de
Plasencia, publicó el Tratado de la oración, Alcalá, 1552.—Juan de
Quirós, toledano y cura de Sevilla, publicó Cristopathia, Toledo,
1552, 1555; en 7 cantos. Ms., en la bibl. Osuna, con fecha de 1591.
—El obispo Don Diego de Simancas, cordobés, publicó
Institutiones Catholicae, Valladolid, 1552; Alcalá, 1569. Enchiridium
Iudaicum violatae Religionis y Annotationes in Zanchini librum de
Haereticis y De Dignitate Episcoporum, Amberes, 1573. Liber
Disceptationum, Salamanca, 1556; Amberes, 1575. De Episcopis
Iurisperitis, Amberes, 1574. Defensio Statuti Toletani, ibid., 1575. De
Republica Collectanea, Valladolid, 1565; Venecia, 1569.—Alonso
de Ulloa, que vivió en Venecia y tradujo al italiano muchos libros
españoles, publicó en castellano El Duelo de Mucio Justinopolitano,
Venecia, 1552. Diálogo de las Empresas militares y amorosas de
Paulo Jovio, ibid., 1558; Lyon, 1561, 1562, 1602. Suceso de la
Jornada que se comenzó para Tripol año de 1559, ibid., 1569.
Comentarios de la guerra del duque de Alva contra Guillermo de
Nasau, año 1568, Venecia, 1569.—Juan de Valverde de Amusco
publicó De Animi et Corporis sanitate tuenda, París, 1552; Venecia,
1553. De la composición del Cuerpo humano, Roma, 1556.—
Cristóbal de Vega († 1573), alcalaíno, publicó De Curatione
Caruncularum, Salamanca, 1552. In Hippocratis Prognostica é In
Aphorismos Hippocratis, ibid., 1552. In Galeni de Differentia
Febrium, Alcalá, 1553. De Urinis, ibid., 1553. De pulsibus atque
Urinis, ibid., 1565. De Arte medendi, Lyon, 1565; Alcalá, 1580. Todas
las obras en Lyon, 1580, 1626.—Diego de Villalpando, leonés,
publicó Repetitio Legis XXII, Tit. I. Partitae VII, León, 1552.
Repertorium, Valladolid, 1574.—Francisco de Villalpando,
architecto, publicó Tercero y Quarto Libro de Architectura de
Sebastián Serlio Boloñés, Toledo, 1552, 1563, 1573.

174. Año 1553. Este año se imprimió en Ferrara la famosa Biblia de

Ferrara: Biblia en lengua Española traducida palabra por palabra de
la verdad Hebraica por muy excelentes letrados, vista y examinada
por el oficio de la Inquisición, con privilegio del ilustrísimo señor
Duque de Ferrara. En otros ejemplares se lee año 5313 de los
judíos, que equivale al 1553 de Cristo. Se reimprimió en Amberes,
5371 (1611 de J. C.); ibid., hacia 1620; ibid., 5606 (errata, por 5406)
ó sea 1646 de J. C...; ibid., 5421 (1661 J. C.); ibid., 5486 (1726 J.
C.); ibid., 5522 (en hebreo y castellano iuxtalineal). Nótese que en
cada nueva edición se van modernizando algunas voces; pero
siempre es importantísima obra para el conocimiento del viejo
castellano. De la Biblia, de Ferrara, hay dos clases de ejemplares:
unos dirigidos á Hércules de Este, cuarto duque de Ferrara, por
Duarte Pinel y Jerónimo de Vargas, en 1553; otros á doña Gracia
Nasi, por Jom Tob Athias y Abraham Usque, en el mismo año. Doña
Gracia era una judía portuguesa muy rica, que estuvo en Italia en
1553, según cuenta Villalón (Viaje de Turquía, fol. 122) y, pasando
por Ferrara, le dirigieron el libro, contribuyendo quizá ella á los
gastos.
 Parte Primera de la Crónica del Perú.

(Sevilla, 1553. Del ejemplar firmado por el autor)

Agustín de Almaçán, madrileño, hijo del doctor Almaçán, médico
de su Majestad, publicó El Momo. La moral é muy graciosa historia
del Momo: compuesta en Latín por el docto varón León Baptista
Alberto Florentín. Trasladada en Castellano, Alcalá, 1553; Madrid,
1598.—Pedro Altamirando, el Mozo; natural de Hontiveros,
publicó el auto de La aparición que N. S. Jesucristo hizo á los
discípulos que iban á Emaus, en metro de arte mayor, Burgos
(ejemplar de La Barrera).—Don Juan de Borja, duque de Gandía,
hijo de San Francisco de Borja y de doña Leonor de Castro y Melo,
comendador de Reyna, embajador de Portugal y Alemania,
mayordomo mayor de doña María de Austria, mujer del emperador
Maximiliano II é hija de Carlos V, publicó la Via Spiritus, agora
nuevamente abreviado, Toledo, 1553. Cien Empresas morales,
Praga, 1581; Bruselas, 1680, aumentada la segunda parte. Tratado
de las cosas de la Samaritana.—Baltasar Manuel Bou publicó De
Sphera Mundi. Accesserunt duodecim tabulae coelestium
domiciliorum et earum praeceptio ad elationem atque altitudinem poli
Valentiae, 1553.—Tractado llamado Cruz de Christo con otro
tractado de mística theologia de S. Buenaventura, llamado Viae
Syon lugent, con otra obra dicha Praeparatio mortis. Compuesto por
un frayle de la orden de los menores, Medina 1553.—Pedro de
Cieza de León (1518-1560), sevillano, publicó Primera parte de la
Crónica del Perú, Sevilla, 1553; Amberes, 1554; Roma, 1555;
Venecia, 1556, 1560, 1576. Tercer libro de las guerras civiles del
Perú, el cual se llama la Guerra de Quito, Madrid, 1877. Segunda
parte de la Crónica del Perú, Madrid, 1880. Guerra de las Salinas, t.
LXVIII de la Colecc. de doc. para la Hist. de Esp. Guerra de Chupas,
t. LXXVI de la misma.—Fray Antonio de Córdoba, franciscano de
la provincia de Castilla, publicó Annotationes in Dom. Sotum circa
secretum, Alcalá, 1553. De detractione et famae restitutione, ibid.,
1553. De indulgentiis, Alcalá, 1554; Ingolstad, 1582. Expositio
regulae fratrum Minorum, Lovaina, 1554; Madrid, 1616. Arma Fidei,
Alcalá, 1562. In quatuor libros Magistri Sententiarum, Alcalá, 1562,
1569. Tratado de los casos de consciencia, Toledo, 1573, 1575,
1578; Zaragoza, 1581; Barcelona, 1581; Zaragoza, 1583; Toledo,
1584; Alcalá, 1589, 1590, 1592; Zaragoza, 1593; Breslau, 1599
(ital.). Quaestionarium theologicum, sive Silva Casuum
Conscientiae, 5 partes, Toledo, 1578; Ingoldstad, 1593. Additiones in
compendium privilegiorum fratrum Minorum Alphonsi de
Casarrubios, Nápoles, 1595.—Alonso Díaz de Osma, canónigo
burgalés, publicó La Vida y algunos milagros de S. Casilda, 1533.—
Francisco Gallés publicó Epitome troporum et schematum, 1553.
—Del inquisidor, pesas y medidas, de los vestidos y otras cosas,
Zaragoza, 1553.—Fray Pablo de León, dominico, publicó Guía del
Cielo, Alcalá, 1553; enérgica y elocuentísima censura de los
desórdenes públicos.—Fernando de Mena publicó Claudii Galeni
de Pulsibus, del griego; Alcalá, 1553. De Urinis, ibid., 1553. De
ratione permiscendi medicamenta, Alcalá, 1555; Turín, 1587. In
libros de sanguinis missione et purgatione Cl. Galeni, Alcalá, 1558;
Turín, 1587, etc. Methodus febrium omnium y De Septimestri partu
et purgantibus medicamentis, Amberes, 1568, etc.—Cristóbal
Méndez, médico de Jaén, publicó Del exercicio y de sus provechos,
Sevilla, 1553.—Diego Ortiz publicó El primo libro de Diego Ortiz
Tolletano, nell quale si tratta delle Glosse sopra le cadenze ed altre
sorte de punti, é la musica del Violone, Venecia, 1553. Hymni,
Magnificat, Salve, Psalmi et alia diversa Cantica IV vocum, Venecia,
1565.—Miguel Sagaun publicó Concordia aromatariorum
Caesaraugustanensium, Zaragoza, 1553.—Juan de Segura, rector
del Colegio de Valladolid, mártir en la Florida, publicó,
probablemente, si no fué otro autor sinónimo, el Libro de la
institución Cristiana en Ejercicios espirituales, Burgos, 1553, 1554.
Pero con certeza, el Tratado de la Humildad y Obediencia, Madrid,
1600.—Francisco Tarrafa, canónigo barcelonés, publicó De
Origine ac rebus gestis Regum Hispaniae, Amberes, 1553; Colonia,
1577; en castellano, Barcelona, 1563.—Fray Alonso de
Traspinedo, jerónimo, publicó Tratado de la Vida de Christo con los
Mysterios del Rosario, Amberes, 1553, con el anónimo Fasciculus
Myrrhae.—Samuel Usque, hebreo, publicó Consolación á las
tribulaciones de Israel, Ferrara, 1553.—Fray Gabriel de Vaca,
franciscano, publicó Sermonario Quadragesimal medicinal,
Valladolid, 1553.—Gaspar Jerónimo Valle publicó De Prosodia,
Alcalá, 1553.—Fray Juan Viguera, dominico granadino, publicó
Opusculum de consolatione Agonizantium, París, 1553. Institutiones
ad naturalem et Christianam Philosophiam y Commentaria in D.
Pauli Epistolam ad Romanos, París, 1558.—Blas de Villafranca
publicó Methodus refrigerandi vini et aquae per salnitrum, etc.,
Venecia, 1553. Varia rerum naturalium problemata, Venecia, 1553.

175. Año 1554. El Lazarillo de Tormes. Sin nombre

de autor y sin punta, al parecer, de intencionado
propósito, ni menos de vanas pretensiones, salió á la
estampa hacia los últimos años del reinado de
Carlos V un librejo, tan corto en tomo, cuan largo en
bienafortunado suceso. Corrió dentro y fuera de
España con tan buena estrella y general aplauso,
cual no se recordaba de otro alguno desde que se
publicó la Celestina ni había algún otro de sonarse
hasta que Guzmanillo y Don Quijote vinieran al
mundo. Como aquélla había sido la más famosa
obra de ingenio en tiempos de los Reyes Católicos y
habían de serlo éstas en el de los Felipes, fuélo el
Lazarillo en el del Emperador. Fué el libro de todos:
de la gente letrada y de la gente lega, de
eclesiásticos y seglares, del pueblo bajo y de las
personas de cuenta. Aventureros y merchantes
llevábanlo sin falta en la faltriquera, como en la
mochila trajineros y soldados. Veíase en el tinelo de
pajes y criados no menos que en la recámara de los
señores, en el estrado de las damas como en el
bufete de los letrados. Los españoles solazábanse
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and

personal growth!

textbookfull.com