Experience Seamless Full Ebook Downloads for Every Genre at textbookfull.

com

Roadside Video Data Analysis Deep Learning 1st

Edition Brijesh Verma

https://textbookfull.com/product/roadside-video-data-
analysis-deep-learning-1st-edition-brijesh-verma/

OR CLICK BUTTON

DOWNLOAD NOW

Explore and download more ebook at https://textbookfull.com

 Recommended digital products (PDF, EPUB, MOBI) that
you can download immediately if you are interested.

Deep Learning with Structured Data 1st Edition Mark Ryan

https://textbookfull.com/product/deep-learning-with-structured-
data-1st-edition-mark-ryan/

textboxfull.com

Deep Learning with Structured Data 1st Edition Mark Ryan

https://textbookfull.com/product/deep-learning-with-structured-
data-1st-edition-mark-ryan-2/

textboxfull.com

Deep Learning for Medical Image Analysis 1st Edition S.

Kevin Zhou

https://textbookfull.com/product/deep-learning-for-medical-image-
analysis-1st-edition-s-kevin-zhou/

textboxfull.com

Deep Learning Innovations and Their Convergence With Big

Data 1st Edition S. Karthik

https://textbookfull.com/product/deep-learning-innovations-and-their-
convergence-with-big-data-1st-edition-s-karthik/

textboxfull.com
Design of Video Quality Metrics with Multi Way Data
Analysis A data driven approach 1st Edition Christian
Keimel (Auth.)
https://textbookfull.com/product/design-of-video-quality-metrics-with-
multi-way-data-analysis-a-data-driven-approach-1st-edition-christian-
keimel-auth/
textboxfull.com

Advanced Data Analytics Using Python: With Machine

Learning, Deep Learning and NLP Examples Mukhopadhyay

https://textbookfull.com/product/advanced-data-analytics-using-python-
with-machine-learning-deep-learning-and-nlp-examples-mukhopadhyay/

textboxfull.com

Deep Learning for Data Analytics: Foundations, Biomedical

Applications, and Challenges 1st Edition Himansu Das

https://textbookfull.com/product/deep-learning-for-data-analytics-
foundations-biomedical-applications-and-challenges-1st-edition-
himansu-das/
textboxfull.com

Deep Learning in Medical Image Analysis and Multimodal

Learning for Clinical Decision Support Danail Stoyanov

https://textbookfull.com/product/deep-learning-in-medical-image-
analysis-and-multimodal-learning-for-clinical-decision-support-danail-
stoyanov/
textboxfull.com

Programming PyTorch for Deep Learning Creating and

Deploying Deep Learning Applications 1st Edition Ian
Pointer
https://textbookfull.com/product/programming-pytorch-for-deep-
learning-creating-and-deploying-deep-learning-applications-1st-
edition-ian-pointer/
textboxfull.com
Studies in Computational Intelligence 711

Brijesh Verma
Ligang Zhang
David Stockwell

Roadside
Video Data
Analysis: Deep
Learning
Studies in Computational Intelligence

Volume 711

Series editor
Janusz Kacprzyk, Polish Academy of Sciences, Warsaw, Poland
e-mail: [email protected]
About this Series

The series “Studies in Computational Intelligence” (SCI) publishes new develop-

ments and advances in the various areas of computational intelligence—quickly and
with a high quality. The intent is to cover the theory, applications, and design
methods of computational intelligence, as embedded in the fields of engineering,
computer science, physics and life sciences, as well as the methodologies behind
them. The series contains monographs, lecture notes and edited volumes in
computational intelligence spanning the areas of neural networks, connectionist
systems, genetic algorithms, evolutionary computation, artificial intelligence,
cellular automata, self-organizing systems, soft computing, fuzzy systems, and
hybrid intelligent systems. Of particular value to both the contributors and the
readership are the short publication timeframe and the worldwide distribution,
which enable both wide and rapid dissemination of research output.

More information about this series at http://www.springer.com/series/7092

Brijesh Verma Ligang Zhang
•

David Stockwell

Roadside Video Data

Analysis: Deep Learning

123
Brijesh Verma David Stockwell
School of Engineering and Technology School of Engineering and Technology
Central Queensland University Central Queensland University
Brisbane, QLD Brisbane, QLD
Australia Australia

Ligang Zhang
School of Engineering and Technology
Central Queensland University
Brisbane, QLD
Australia

ISSN 1860-949X ISSN 1860-9503 (electronic)

Studies in Computational Intelligence
ISBN 978-981-10-4538-7 ISBN 978-981-10-4539-4 (eBook)
DOI 10.1007/978-981-10-4539-4
Library of Congress Control Number: 2017936905

© Springer Nature Singapore Pte Ltd. 2017

This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part
of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations,
recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission
or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar
methodology now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this
publication does not imply, even in the absence of a specific statement, that such names are exempt from
the relevant protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this
book are believed to be true and accurate at the date of publication. Neither the publisher nor the
authors or the editors give a warranty, express or implied, with respect to the material contained herein or
for any errors or omissions that may have been made. The publisher remains neutral with regard to
jurisdictional claims in published maps and institutional affiliations.

Printed on acid-free paper

This Springer imprint is published by Springer Nature

The registered company is Springer Nature Singapore Pte Ltd.
The registered company address is: 152 Beach Road, #21-01/04 Gateway East, Singapore 189721, Singapore
Preface

Video data analysis has become an increasingly important research area with
widespread applications in automatic surveillance of transportation infrastructure
including roads, rail and airports. As the amount of video data collected grows, so
does the opportunity for further processing with new artificial intelligence methods.
One type of useful video data that has seen little research is the roadside video data
that is collected using video-mounted vehicles. These video data may augment or
replace road-based surveys of the conditions of roadside objects such as trees,
grasses, roads and traffic signs and can be potentially used in many real-world
applications such as roadside vegetation growth condition monitoring, effective
roadside management to reduce the possible hazards to drivers and vehicles, and
developing automatic vehicles that are able to automatically sense roadside objects
and traffic signs.
Most existing studies on video data analysis are primarily focused on analyzing
generic object categories in the data content in public benchmark datasets. Very
limited research has focused on the analysis of roadside video data, although the
significance of developing smart techniques for roadside video data analysis has
been widely recognized. One of the main reasons is probably because there is a lack
of a comprehensive public dataset that was specifically created for roadside objects.
Another reason is the various types of variations and environmental conditions
encountered along road sides, which are still challenging issues in the computer
vision field. The great variability in the appearance and structure of objects as well
as the various types of environmental effects such as underexposure, overexposure,
shadows, and sunlight reflectance make accurate segmentation and recognition of
objects difficult. The current literature lacks a comprehensive review of existing
machine learning algorithms, particularly deep learning techniques, on roadside
data analysis.
This book highlights the methods and applications for roadside video data
analysis. It describes various system architectures and methodologies that are
specifically built upon different types of learning algorithms for roadside video data
processing, with detailed analysis of the segmentation, feature extraction and
classification. The use of deep learning to solve the roadside video data

v
vi Preface

segmentation and classification problems is one of the major highlights of this

book. Deep neural net learning has become popular in machine learning and data
mining areas. However, the benefits of a deep feature free approach must be bal-
anced against the considerations of accuracy and robustness, and most real-world
learning systems require some hand engineering of features and architectures. This
book examines via empirical testing the types of features and architectures that
contribute to the performance of multi-layer neural nets on real-world scene anal-
ysis. We then demonstrate novel architectures that perform scene classification with
equal or better accuracy to previous methods and investigate the feature engineering
into convolutional neural networks. Further, we provide an industrial perspective to
help align theoretical concerns with real-world results. Finally, as a case study of
roadside video data analysis, we demonstrate an application of vegetation biomass
estimation techniques for roadside fire risk assessment. Overall, this book compiles
the most useful strategies in the field of scene analysis to help researchers identify
the most appropriate features and architectures for their applications.

Brisbane, Australia Brijesh Verma

Ligang Zhang
David Stockwell
Acknowledgements

The authors express their gratitude for help from the Department of Transport and
Main Roads in Queensland, Australia for the creation of the data and assistance
with field resources for the fire risk survey. This work was supported under
Australian Research Council’s Linkage Projects funding scheme (project number
LP140100939).
Many students and research fellows in the Centre for Intelligent Systems at
Central Queensland University have contributed to research presented in this book.
The authors would like to thank the following researchers: Dr Sujan Chowdhury,
Dr Tejy Kinattukara Jobachan, Dr Peter Mc Leod, Dr M. Asafuddoula, Mrs. Toshi
Sinha and Mrs. Fatma Shaheen.

vii
Contents

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Collection of Roadside Video Data . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Industry Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Benchmark Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Applications Using Roadside Video Data . . . . . . . . . . . . . . . . . . . 10
1.4 Outline of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Roadside Video Data Analysis Framework . . . . . . . . . . . . . . . . . . . . . 13
2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 Pre-processing of Roadside Video Data . . . . . . . . . . . . . . . 14
2.2.2 Segmentation of Roadside Video Data into Objects . . . . . . 18
2.2.3 Feature Extraction from Objects . . . . . . . . . . . . . . . . . . . . . 19
2.2.4 Classification of Roadside Objects . . . . . . . . . . . . . . . . . . . 20
2.2.5 Applications of Classified Roadside Objects . . . . . . . . . . . . 21
2.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1 Vegetation Segmentation and Classification . . . . . . . . . . . . 24
2.3.2 Generic Object Segmentation and Classification . . . . . . . . . 28
2.4 Matlab Code for Data Processing. . . . . . . . . . . . . . . . . . . . . . . . . . 32
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Non-deep Learning Techniques for Roadside Video Data
Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 Neural Network Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.2 Neural Network Learning Approach . . . . . . . . . . . . . . . . . . 42
3.1.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

ix
x Contents

3.2 Support Vector Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . 49

3.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.2 SVM Learning Approach . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3 Clustering Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.2 Clustering Learning Approach . . . . . . . . . . . . . . . . . . . . . . 57
3.3.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.4 Fuzzy C-Means Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.4.2 Fuzzy C-Means Learning Approach . . . . . . . . . . . . . . . . . . 75
3.4.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.5 Ensemble Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.5.2 Ensemble Learning Approach . . . . . . . . . . . . . . . . . . . . . . . 80
3.5.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.5.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.6 Majority Voting Based Hybrid Learning . . . . . . . . . . . . . . . . . . . . 86
3.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.6.2 Majority Voting Approach . . . . . . . . . . . . . . . . . . . . . . . . . 87
3.6.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.7 Region Merging Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.7.2 Region Merging Approach . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.7.3 Components of Approach . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3.7.4 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
3.7.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4 Deep Learning Techniques for Roadside Video Data Analysis . . . . . 119
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4.3 Automatic Versus Manual Feature Extraction . . . . . . . . . . . . . . . . 122
4.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.3.2 Comparison Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.3.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.4 Single Versus Ensemble Architectures . . . . . . . . . . . . . . . . . . . . . . 127
4.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.4.2 Comparison Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Contents xi

4.4.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

4.4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.5 Deep Learning Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.5.2 Deep Learning Network . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.5.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.5.4 Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
4.5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5 Case Study: Roadside Video Data Analysis for Fire Risk
Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
5.3 Proposed VOCGP Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
5.3.1 Problem Formulation and Motivations . . . . . . . . . . . . . . . . 162
5.3.2 Overview of Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
5.3.3 Grass Region Segmentation . . . . . . . . . . . . . . . . . . . . . . . . 164
5.3.4 Gabor Filter Voting for Dominant Vertical Orientation
Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 165
5.3.5 Vertical Orientation Connectivity of Grass Pixels
Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
5.4 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
5.4.1 Roadside Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . 171
5.4.2 Experimental Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.4.3 Performance of Estimating Grass Biomass . . . . . . . . . . . . . 173
5.4.4 Performance of Predicting Grass Density . . . . . . . . . . . . . . 176
5.4.5 Fire-Prone Region Identification . . . . . . . . . . . . . . . . . . . . . 177
5.5 Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
5.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
6 Conclusion and Future Insight . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.1 Recommendations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.2 New Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.3 New Opportunities and Applications . . . . . . . . . . . . . . . . . . . . . . . 188
Abbreviations

ANN Artificial Neural Network

ANOVA ANalysis Of VAriance
BG Brown Grass
CAV Context Adaptive Voting
CHM Contextual Hierarchical Model
CIVE Color Index of Vegetation Extraction
CNN Convolutional Neural Network
CRF Conditional Random Field
CRR Correct Recognition Rate
CSPM Contextual Superpixel Probability Map
CWT Continuous Wavelet Transform
DTM Digital Terrain Model
DTMR Department of Transport and Main Roads
ExG Excess Green
ExR Excess Red
FC Fully Connected layer
FCM Fuzzy C-Means algorithm
FRR False Recognition Rate
GG Green Grass
GLCM Gray-Level Co-occurrence Matrix
HOG Histograms of Oriented Gradients
KNN K-Nearest Neighbor
LBP Local Binary Pattern
LIDAR LIght Detection And Ranging
MLP Multi-Layer Perceptron
MNDVI Modification of NDVI
MNIST Mixed National Institute of Standards and Technology dataset
MO Morphological Opening
MRF Markov Random Field
MSRC MicroSoft Research Cambridge 21-class dataset

xiii
xiv Abbreviations

N/A Not Available

NDVI Normalized Difference Vegetation Index
NIR Near Infrared Ray
OCP Object Co-occurence Prior
PHOG Pyramid Histogram of Oriented Gradient
PID Pixel Intensity Difference
PPM Pixel Probability Map
PPS Pixel and Patch Selective
RBF Radial Basis Function
RELU REctified Linear Unit
ROI Region Of Interest
SCSM Spatial Contextual Superpixel Model
SIFT Scale-Invariant Feature Transform
SOM Self-Organizing Map
SVM Support Vector Machine
SVR Support Vector Regression
TL Tree Leaf
TS Tree Stem
VI Vegetation Index
VocANN VOCGP obtained using ANN
VocCNN VOCGP obtained using CNN
VOCGP Vertical Orientation Connectivity of Grass Pixel
VVI Visible Vegetation Index
List of Figures

Figure 1.1 Illustration of small regions cropped from DTMR video

frames. The white blocks in the figures give an
indication of the location, size and shape of the cropped
regions. Note that only a proportion of representative
cropped regions are included in the final cropped
roadside object dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Figure 1.2 Samples of cropped regions for seven roadside objects.
There are big variations in the appearance of the same
object and high similarity between objects (e.g. green
grass and tree leaf), which are challenges for accurate
object classification. These regions are rescaled to the
same shape and size only for illustration . . . . . . . . . . . . . . . . 4
Figure 1.3 Sample images for (top) sparse and (bottom) dense
grasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Figure 1.4 Sample images in the natural roadside object dataset
(left) with their corresponding pixel-wise ground truths
(right) for six types of roadside objects . . . . . . . . . . . . . . . . . 5
Figure 1.5 Sample images in the natural road object dataset.
The images were captured using a frontal view camera . . . . . 6
Figure 1.6 Sample images and their corresponding pixel-wise
ground truths in the Stanford background dataset. The
images were captured in a wide range of real-world
situations, and form one of the most challenging
datasets in the field of scene content understanding . . . . . . . . 7
Figure 1.7 Sample images and their corresponding pixel-wise
ground truths in the MSRC 21-class dataset. Note that
black pixels in the ground truth images indicate a void
label, which is excluded from the performance evaluation . . . 8

xv
xvi List of Figures

Figure 1.8 Sample images and their corresponding pixel-wise

ground truths in the SIFT flow dataset. Note that there
are 33 objects in total, but only a subset of object
categories is displayed in the sample images . . . . . . . . . . ... 8
Figure 1.9 Sample images and their corresponding pixel-wise
ground truths in the Croatia roadside grass dataset . . . . . . ... 9
Figure 1.10 Samples of handwritten digits in the MNIST dataset
(adopted from [4]) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 9
Figure 2.1 A general framework for roadside video data analysis . . . ... 14
Figure 2.2 An example of video to frame conversion. There are
500 frames in total in the example video, and every
10th frame is displayed. . . . . . . . . . . . . . . . . . . . . . . . . . . ... 15
Figure 2.3 An example of converting an RGB image (left)
to a grayscale image (right) . . . . . . . . . . . . . . . . . . . . . . . ... 15
Figure 2.4 Examples of cropped roadside regions resized into the
same resolution by applying an image resizing technique. ... 16
Figure 2.5 An example of noise removal (right) by applying a
median filter of 3
3 pixels to an original roadside
image (left) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 17
Figure 2.6 A sampling region indicated by a white plastic square in
field tests (left) and one possible corresponding sample
region indicated by a red rectangle in the image (right). . ... 17
Figure 2.7 Graphic illustration of object segmentation in roadside
frames. The frames are segmented into different object
categories, such as tree, sky, road, soil, brown grass,
and green grass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 18
Figure 2.8 Examples of roadside grasses with high and low fire risk ... 22
Figure 2.9 Examples of four levels of tree regrowth conditions,
including heavy, medium, light and zero . . . . . . . . . . . . . ... 23
Figure 2.10 Visual displays of segmented superpixels in roadside
images using a graph-based segmentation algorithm
[26]. Different colors indicate different superpixel regions ... 29
Figure 3.1 Graphic illustration of the neural network learning
approach. For each pixel in an image, O1 ; O2 ; O3 color
intensity features are extracted. Color moment texture
features are also extracted in a local patch centered at
the pixel. The color and texture features are combined
using a feature-level fusion and fed into an ANN for
classifying six object categories . . . . . . . . . . . . . . . . . . . . ... 42
Figure 3.2 Global accuracy versus number of hidden neurons
in the ANN classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 46
Figure 3.3 Classification results of six sample images from the
DTMR video data. One issue found is that pixels in
object boundaries are prone to be misclassified, which is
List of Figures xvii

a common problem for patch based feature extraction

techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 48
Figure 3.4 Overview of the SVM learning approach . . . . . . . . . . . . . ... 50
Figure 3.5 (Left) Pixel values in grass regions; (middle) pixel
values in soil regions; and (right) an input image
with target regions labelled . . . . . . . . . . . . . . . . . . . . . . . . ... 50
Figure 3.6 Illustration of training data acquisition. a Original image
with a ROI of 5
5 pixels; b index of pixels in the ROI;
c the training data collected from the ROI; and d the
final training data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Figure 3.7 Pixel value correction in the output images . . . . . . . . . . . . . . 53
Figure 3.8 Image samples used in experimental evaluations . . . . . . . . . . 54
Figure 3.9 Object segmentation results in sample images . . . . . . . . . . . . 54
Figure 3.10 Framework of the clustering learning approach. During
training, a set of regions is cropped to generate
class-semantic color and texture textons using K-means
clustering. During testing, features of all pixels within
each superpixel are projected to one of the learnt
textons, and further aggregated into texton occurrences.
A majority vote over texton occurrences in each
superpixel is used to segment objects from roadside
images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 58
Figure 3.11 Global accuracy versus the number of textons.
The number of color and texture textons
is the same, the combination weight for texture textons
w = 1, the size of Gaussian filters: 7
7 pixels,
and distance metric: Euclidean . . . . . . . . . . . . . . . . . . . . . ... 63
Figure 3.12 Computational performance versus the number of
textons on the cropped and natural roadside object
datasets. The time is the average seconds per image
(or region) required for calculating color and texture
features (i.e. Feature), and performing texton mapping
and classification (i.e. Classification) . . . . . . . . . . . . . . . . ... 64
Figure 3.13 Global accuracy versus the value of combination
weights. The weight of texture textons is a value relative
to a fixed value of 1 for color textons. Color & texture
texton no. = 60 (cropped dataset) and 30 (natural
dataset); the size of Gaussian filters: 7
7 pixels;
distance metric: Euclidean . . . . . . . . . . . . . . . . . . . . . . . . ... 65
Figure 3.14 Global accuracy versus the size of Gaussian filters.
The combination weight w = 1.2 (cropped dataset), and
1 (natural dataset); Color and texture texton no. = 60
(cropped dataset) and 30 (natural dataset); distance
metric: Euclidean (for both datasets). The performance
xviii List of Figures

of color textons remains the same using varied sizes of

Gaussian filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 66
Figure 3.15 Samples of segmentation results on the natural roadside
object dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 70
Figure 3.16 Segmentation results on frame samples from three
roadside videos. Frames in the three rows are selected
from the beginning, middle, and end sections of the
video, respectively. The frame number in each video
is shown below each figure . . . . . . . . . . . . . . . . . . . . . . . ... 71
Figure 3.17 Framework of the wavelet based FCM learning approach ... 75
Figure 3.18 First and second level decompositions in CWTs . . . . . . . ... 76
Figure 3.19 A sample set of pre-processed images in the natural road
image dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 78
Figure 3.20 A sample set of extracted road objects . . . . . . . . . . . . . . . ... 79
Figure 3.21 Framework of the ensemble learning approach . . . . . . . . . ... 81
Figure 3.22 Layering on the data which are clustered into a two
atomic clusters and one non-atomic cluster,
and b three clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 83
Figure 3.23 A sample set of extracted road objects using the
ensemble learning approach . . . . . . . . . . . . . . . . . . . . . . . ... 85
Figure 3.24 Comparative analysis of the ensemble learning
approach with three benchmark approaches . . . . . . . . . . . ... 86
Figure 3.25 Framework of the majority voting based hybrid approach ... 88
Figure 3.26 Examples misclassified as dense (left) and sparse (right)
grasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 93
Figure 3.27 Image examples illustrating the necessity of considering
local characteristics of objects (i.e. tree leaf) in a test
image. The two regions of tree leaves have substantially
contrasting differences in pixel intensities, and thus a
classification system trained using features extracted
from the left region may not work well
in the right region . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 96
Figure 3.28 Framework of the spatial contextual superpixel
model (SCSM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 97
Figure 3.29 Illustration of determining boundary versus
non-boundary pixels. Given a segmented superpixel,
the interior and exterior boundaries are determined by
taking a distance of a half of the height (or width)
of a patch away from the superpixel boundary. All
pixels within the region between interior and exterior
boundaries are treated as boundary pixels, while those
within interior boundary are non-boundary pixels. . . . . . . ... 101
List of Figures xix

Figure 3.30 Distribution of probability weights given to sky, road

and tree, depending on the (x, y) coordinates of pixels in
an image of Height
Width (H
W) pixels. The
coordinates start from ð0; 0Þ at the left-top corner
to the ðH; WÞ at the right-bottom corner . . . . . . . . . . . . . ... 102
Figure 3.31 Classification accuracy (%) versus number of hidden
neurons on the cropped roadside object dataset. Patch
based features outperform pixel based features
for all objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 110
Figure 3.32 Overall accuracy comparisons between approaches
on the natural roadside object dataset. The SCSM
outperforms all benchmark approaches. Patch based
features show higher accuracies than both PPS and pixel
based features for all classes . . . . . . . . . . . . . . . . . . . . . . . ... 112
Figure 3.33 Comparisons of classification results of the SCSM with
using pixel based features and PPS features. The SCSM
produces more consistent results than using pixel or
PPS features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 114
Figure 4.1 Architecture of the LeNet-5 CNN. There are 7 layers
in total excluding the input layer. The abstract feature
representations are extracted by progressively applying
convolutional and subsampling operations. The features
are then fed into two full connection layers for
classifying the input data into different object categories . ... 120
Figure 4.2 CNN research trend from 1970 to 2016. Source Scopus . ... 121
Figure 4.3 Framework for comparing between automatic feature
extraction in CNN and manual feature extraction using
the same MLP classifier . . . . . . . . . . . . . . . . . . . . . . . . . . ... 123
Figure 4.4 Comparisons of feature extraction in CNN, image-based
MLP and feature-based MLP . . . . . . . . . . . . . . . . . . . . . . ... 124
Figure 4.5 Two images in the cow heat sensor dataset showing
changed and unchanged colors . . . . . . . . . . . . . . . . . . . . . ... 125
Figure 4.6 Classification accuracy (%) obtained using CNN,
image-based MLP and feature-based MLP. The MLP
has 120 hidden neurons . . . . . . . . . . . . . . . . . . . . . . . . . . ... 126
Figure 4.7 Framework for comparing a single versus an ensemble
of CNNs and MLPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 128
Figure 4.8 Illustration of the architecture of an ensemble of CNNs
(or MLPs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 129
Figure 4.9 Framework of the three-layer deep learning network
architecture. The prediction layer takes superpixel-level
visual features as inputs and predicts class probabilities
of each superpixel using class-semantic classifiers. The
context voting layer calculates global and local Context
xx List of Figures

Adaptive Voting (CAV) features by casting votes from

superpixels in spatial blocks and from adjacent
superpixels respectively based on the most probable
class and Object Co-occurance Priors (OCPs). The
OCPs (shown in rectangles) are collected for all block
pairs from the training data. The integration layer
integrates visual feature based class probabilities, global
and local CAV features to produce a class probability
vector. Each superpixel is finally assigned to a class
label using a majority voting strategy . . . . . . . . . . . . . . . . ... 135
Figure 4.10 Illustration of the differences between relative location
prior, absolute location prior, and OCP in modelling
of three cases of a spatial correlation “left sky and right
building” (best viewed in color) . . . . . . . . . . . . . . . . . . . . ... 137
Figure 4.11 Illustration of the calculation of the global OCP in an
image from the Stanford background dataset. The pixel
distributions over all classes are calculated for each of
all spatial image blocks, and an object co-occurrence
matrix is then formed for every two-block pair
(#3 and #15 in the example) to reflect the long-range
label dependencies between objects within two blocks . . . ... 138
Figure 4.12 Qualitative results on the Stanford background dataset
(best viewed in color). Compared with using visual
features alone, the deep learning network shows more
robust scene parsing results by utilizing CAV features,
with many misclassifications successfully removed . . . . . ... 146
Figure 4.13 Qualitative results on the MSRC dataset. The deep
learning network using CAV features successfully
removes a significant portion of misclassification
in the results of visual feature based prediction . . . . . . . . ... 149
Figure 4.14 Qualitative results on the SIFT Flow dataset. The results
demonstrate the benefit of incorporating CAV features
to improve the classification accuracy and correct
misclassification error for complex objects
in natural scenes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 153
Figure 5.1 Graphic illustration of main processing steps in the
VOCGP approach. For a given image, the approach
outputs a VOCGP value for estimating the grass
biomass within a sampling window. The outputs
of grass region segmentation and dominant vertical
orientation detection are combined for VOCGP
calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 164
List of Figures xxi

Figure 5.2 Visual illustration of the real part of image responses

using five-scale (row) and four-orientation (column)
Gabor filters (left). Four orientations used in this case
study and their defined indices (right) . . . . . . . . . . . . . . . ... 167
Figure 5.3 Illustration of the difference in the connectivity along
the vertical orientation between high and low grasses.
The white and black in the right windows indicate the
dominant vertical and non-vertical orientations
respectively computed using Gabor filter votes. High
grasses have longer unbroken connectivity along the
vertical orientation than low grasses . . . . . . . . . . . . . . . . . ... 168
Figure 5.4 Location distribution of 61 sample sites for taking
images and collecting grass biomass data. These sites
(F001 to F061) are chosen from the Fitzroy region,
Queensland, Australia . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 171
Figure 5.5 Image samples for sparse, moderate and dense grasses . . . ... 172
Figure 5.6 Objective biomass and estimated VOCGP for all samples ... 175
Figure 5.7 Correlation between objective biomass and VOCGP for
all samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 175
Figure 5.8 Mean biomass and VOCGP for sparse, moderate and
dense grasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 176
Figure 5.9 Box and whisker plot of objective biomass and VOCGP
for sparse, moderate and dense grasses . . . . . . . . . . . . . . . ... 177
Figure 5.10 Best linear fit of objective biomass and VOCGP to three
grass categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 178
Figure 5.11 Distribution and classified results of 15 sampling grass
windows in image frames. a Ground truth: 2-sparse,
3-moderate, and 4-dense; b grass segmentation results:
white grass pixels and black non-grass pixels;
c estimated VOCGP, i.e. VocANN . . . . . . . . . . . . . . . . . . ... 179
Figure 5.12 Illustration of using the average VocANN over
15 sampling windows in each image for fire-prone
region identification. The frames are ordered according
to their locations on the state road No. 16A in the
Fitzroy region. The locally highest and lowest VocANN
are matched accurately with the corresponding grass
density levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 180
List of Tables

Table 2.1 Typical types of features used in existing studies

for video data analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 20
Table 2.2 Summary of typical visible approaches for vegetation
segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 25
Table 2.3 Summary of typical invisible approaches for vegetation
segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 27
Table 3.1 Class accuracy (%) on the test and training data . . . . . . . . ... 46
Table 3.2 Performance (%) comparisons between classifiers . . . . . . . ... 46
Table 3.3 Performance (%) comparisons of color versus fused
color and texture features based on the ANN classifier . . . . . . 47
Table 3.4 A list of pixel characteristics features . . . . . . . . . . . . . . . . . . . 51
Table 3.5 Average pixel value for each object . . . . . . . . . . . . . . . . . . . . 52
Table 3.6 Confusion matrix for four objects . . . . . . . . . . . . . . . . . . . . . . 55
Table 3.7 Classification of grass regions using percentages
of grass pixels (%) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 56
Table 3.8 Global accuracy (% ± standard deviation) versus
distance metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 67
Table 3.9 Comparisons of class accuracy (%) between approaches . . ... 68
Table 3.10 Confusion matrix (%) for different classes using the
clustering learning approach . . . . . . . . . . . . . . . . . . . . . . . ... 69
Table 3.11 Global accuracy (%) of the LeNet-5 CNN on the
cropped roadside object dataset . . . . . . . . . . . . . . . . . . . . . ... 71
Table 3.12 Performance comparisons with existing approaches . . . . . . ... 72
Table 3.13 Performance (%) comparisons of the wavelet based
FCM approach with the FCM approach . . . . . . . . . . . . . . ... 79
Table 3.14 Performance comparisons of the ensemble learning
approach with three benchmark approaches . . . . . . . . . . . . ... 85
Table 3.15 Classification accuracy (%) using the SVM classifier . . . . ... 90

xxiii
xxiv List of Tables

Table 3.16 5-fold cross validation results (%) using a linear SVM
classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Table 3.17 Classification accuracy (%) using the ANN classifier . . . . . . . 91
Table 3.18 5-fold cross validation results using the ANN classifier. . . . . . 91
Table 3.19 Classification accuracy (%) using the KNN classifier . . . . . . . 92
Table 3.20 5-fold cross validation results using KNN with K = 7 . . . . . . 92
Table 3.21 Classification accuracy (%) using the majority voting
approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 92
Table 3.22 5-fold cross validation results using the majority voting
approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 92
Table 3.23 Comparisons of classification rates between classifiers
using 5-fold cross validations . . . . . . . . . . . . . . . . . . . . . . ... 93
Table 3.24 Summary of the single factor ANOVA test . . . . . . . . . . . . ... 94
Table 3.25 Results of the ANOVA test . . . . . . . . . . . . . . . . . . . . . . . . ... 94
Table 3.26 Class accuracy (%, ± standard deviation) of pixel versus
patch based features on the cropped roadside
object dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 111
Table 3.27 Confusion matrix of six classes obtained using the
SCSM on the natural roadside object data . . . . . . . . . . . . . ... 113
Table 3.28 Performance (%) comparisons with state-of-the-art
methods on the stanford background dataset . . . . . . . . . . . ... 114
Table 3.29 Confusion matrix of eight classes on the stanford
background dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Table 4.1 A brief review of typical types of CNNs . . . . . . . . . . . . . . . . . 121
Table 4.2 Accuracy (%) using an ensemble of CNNs . . . . . . . . . . . . . . . 129
Table 4.3 Accuracy (%) using an ensemble of MLPs . . . . . . . . . . . . . . . 130
Table 4.4 Accuracy (%) using a single CNN . . . . . . . . . . . . . . . . . . . . . 130
Table 4.5 Accuracy (%) using a single MLP . . . . . . . . . . . . . . . . . . . . . . 130
Table 4.6 Performance (%) comparisons with previous approaches
on the Stanford background dataset . . . . . . . . . . . . . . . . . . ... 145
Table 4.7 Confusion matrix for eight objects on the Stanford
background dataset (SVR, global accuracy 81.2%) . . . . . . ... 147
Table 4.8 Performance (%) comparisons with previous approaches
on the MSRC dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 148
Table 4.9 Confusion matrix for 21 objects on the MSRC dataset
(SVR, global accuracy 85.5%) . . . . . . . . . . . . . . . . . . . . . ... 150
Table 4.10 Performance (%) comparisons with previous approaches
on the SIFT Flow dataset . . . . . . . . . . . . . . . . . . . . . . . . . ... 152
Table 5.1 Samples categorized into sparse, moderate, and dense
grasses based on human observation . . . . . . . . . . . . . . . . . ... 172
Table 5.2 Objective biomass and estimated VOCGP (i.e. VocANN
and VocCNN for using ANN and CNN respectively) for
sparse, moderate and dense grasses . . . . . . . . . . . . . . . . . . ... 174
List of Tables xxv

Table 5.3 Performance using images with different degrees

of rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Table 5.4 Performance comparisons of the VOCGP approach
with human observation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
Table 5.5 Confusion matrix of sparse, moderate and dense grasses
using estimated VocANN . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Chapter 1
Introduction

This chapter presents brief background information and datasets for roadside video
data analysis. It also shows some relevant applications of video data analysis and
presents a detailed outline of this book.

1.1 Background

The roadside is a specific region that is of great significance to many fields such as
agriculture, forestry, transportation, power and telecommunications, national
security and environmental authorities. Being able to acquire accurate information
about roadside conditions can be potentially useful for assisting a wide range of
practical applications, such as effective roadside management, vegetation growth
condition monitoring, and road hazard assessment. For instance, accurately
estimating the site-specific parameters of roadside vegetation such as biomass,
height, coverage, density and greenness can be critically important for monitoring
the real-time growth conditions of roadside grasses and trees. This supports the
design and implementation of effective vegetation management strategies by rele-
vant government authorities, preserving the road assets and improving the safety of
the driving public. Tracking the changes in these parameters is an effective way to
detect and quantify the possible effects on vegetation such as diseases, dryness, soil
nutrients and water stress. From the perspective of safety, roadside vegetation
(e.g. grass and tree) with high biomass can present a major fire hazard to the
security of drivers and vehicles, particularly in remote and low-population regions
without regular and frequent human checks on roadside grass growth conditions.
The current practice of monitoring roadside conditions by relevant authorities is
heavily dependent on manual measurements by humans, which suffer from high
investments in terms of labor, time, effort and cost. The necessity and importance of
developing automatic roadside video data analysis techniques have been widely

© Springer Nature Singapore Pte Ltd. 2017 1

B. Verma et al., Roadside Video Data Analysis: Deep Learning,
Studies in Computational Intelligence 711, DOI 10.1007/978-981-10-4539-4_1
2 1 Introduction

accepted by both government authorities and academics. Unfortunately, there has

been very limited progress in this direction. In fact, the vast majority of current
computer scientists working on video data analysis are focusing on developing
robust or real-time algorithms that can improve the performance on commonly used
benchmark datasets with general types of objects and scenes. Little attention to
roadside analysis may be due to the lack of such benchmark datasets, and also due
to its restriction to only a relatively small number of specific roadside objects.
In light of the current lack of work specifically focusing on the roadside, this
book aims to be one of the first studies that specifically focuses on roadside video
data analysis using various modern machine learning algorithms, particularly deep
learning techniques, with an emphasis on the use of these techniques for supporting
real-world roadside applications. We describe several industry datasets collected
from the state roads within the Fitzroy region, Central Queensland, Australia, as
well as several commonly used real-world benchmark datasets. We then present an
overview of a general systematic framework for roadside video analysis and
introduce the most widely used feature types and object classification algorithms in
present studies. Various types of non-deep and deep learning algorithms for video
analysis are further described in detail and evaluated using industry and benchmark
datasets. A case study is specifically introduced regarding the development of
automatic and efficient methods to estimating the biomass of roadside grasses and
identifying fire-prone road regions. Finally, we discuss several issues and chal-
lenges associated with analyzing roadside video data, and highlight possible future
directions.

1.2 Collection of Roadside Video Data

A robust and reliable machine learning technique, including deep learning algo-
rithms, is expected to be consistently effective on both local roadside datasets
collected for a specific purpose and general scene datasets taken from various
real-world scenarios. To enable direct and fair comparisons of the techniques
described in this book with other state-of-the-art approaches, this section introduces
four industry datasets and five widely used benchmark datasets.

1.2.1 Industry Data

The datasets used for evaluating machine learning techniques in this book come
from the roadside video data collected by the Department of Transport and Main
Roads (DTMR) using vehicle-mounted cameras in the Fitzroy region, Central
Queensland, Australia. Four cameras are mounted on the front, left, right and rear
directions of the vehicle, which runs across main state roads in Queensland each
1.2 Collection of Roadside Video Data 3

year. All video data is in an AVI format with a frame resolution of 1632  1248
pixels at approximately 10 meters apart, totaling more than 500 GB. The data from
the left-view camera primarily focuses on roadside vegetation regions, and thus can
be used to monitor vegetation growth conditions and find potential fire-prone areas,
whereby steps can be taken subsequently to eliminate the fire hazard.
Like similar real-world video datasets, the DTMR video data lacks pixel-wise
annotation of ground truths of all objects that are present in video frames, which
would require intensive labor efforts considering the huge number of all videos and
the high resolution of frames. However, ground truths are critically important for
designing and evaluating machine learning algorithms, as well as promoting future
research efforts in this field. In this book, we document four image datasets based
on the video captured using the left or frontal camera.

1.2.1.1 Cropped Roadside Object Dataset

We manually cropped a total of 650 small regions from 230 frames for seven types
of objects (100 regions per object except for sky which has 50 regions), including
brown grass, green grass, tree leaf, tree stem, soil, road, and sky as shown in
Figs. 1.1 and 1.2. All frames were selected from the video captured by the left
camera, and thus they primarily focus on the vegetation area rather than the road
area. To simulate realistic conditions as closely as possible, the frames were
selected to cover a wide range of vegetation types, and different scene content, day
times and locations, etc. A set of local regions was then cropped from these frames
and each region was ensured to belong to only one object. It should be noted that
the resulting rectangular regions have different resolution and shapes. The cropped
regions represent various types of appearance of roadside objects, and have very
challenging characteristics in terms of variations in the appearance and content
within the same object, as well as between objects, making them suitable for
evaluating the performance of machine learning algorithms in natural conditions.

Fig. 1.1 Illustration of small regions cropped from DTMR video frames. The white blocks in the
figures give an indication of the location, size and shape of the cropped regions. Note that only a
proportion of representative cropped regions are included in the final cropped roadside object
dataset
4 1 Introduction

Fig. 1.2 Samples of cropped regions for seven roadside objects. There are big variations in the
appearance of the same object and high similarity between objects (e.g. green grass and tree leaf),
which are challenges for accurate object classification. These regions are rescaled to the same
shape and size only for illustration

1.2.1.2 Cropped Grass Dataset

The cropped grass dataset was created to evaluate the performance of classifying
sparse versus dense grasses, and it comprises 110 color images including 60 for
dense grasses and 50 for sparse grasses. The images taken are color images under
natural lighting conditions. To cover various types of grasses in real-world situa-
tions, different canopy sizes were selected as shown in Fig. 1.3. All images were
stored in a JPEG format with a resolution of 900  500 pixels.
1.2 Collection of Roadside Video Data 5

Fig. 1.3 Sample images for (top) sparse and (bottom) dense grasses

1.2.1.3 Natural Roadside Object Dataset

We manually selected 50 images from left-view video data as shown in Fig. 1.4
(independent from those used for the cropped roadside object dataset). These
images were selected to be representative of roadside scenes in different real-world
cases, covering various types of vegetation and other objects, such as soil, road, and
sky. All pixels were manually annotated by a researcher in the computer vision field
into six categories of objects, including brown grass, green grass, tree, soil, road,

Fig. 1.4 Sample images in the natural roadside object dataset (left) with their corresponding
pixel-wise ground truths (right) for six types of roadside objects
6 1 Introduction

and sky, and they serve as ground truths for performance evaluations. The uncertain
regions were labeled as unknown. Unlike the cropped roadside object dataset, two
categories of tree leaf and stem were combined into one category of tree, due to
relatively small sizes of tree stems in the images.

1.2.1.4 Natural Road Object Dataset

The natural road object dataset was generated to evaluate the performance of object
detection in frontal view road conditions. More than 400 images were extracted
from DTMR video sequences that were captured using a frontal view camera. The
images were taken under different lighting conditions and natural settings, rescaled
to a resolution of 960  1280 pixels, and stored in a JPEG format. The images
primarily focus on road lanes, but also include other objects such as tree, grass, sky
and traffic sign. The presence of three objects, including road, sky and traffic sign,
was manually annotated to serve as ground truths for road object detection.
A sample set of images used is shown in Fig. 1.5.

Fig. 1.5 Sample images in the natural road object dataset. The images were captured using a
frontal view camera
Exploring the Variety of Random
Documents with Different Content
essere tutta apposta agli uomini che ora salgono al governo. Il male
era interno, e nasceva da uno squilibrio tra le forze che reggevano
l’impero. L’impero è governato da un senato, nel quale si raccoglie
veramente il fiore delle famiglie ricche e colte delle province, dalla
Gallia all’Africa e alla Siria: un’aristocrazia di cui il mondo antico non
aveva ancor visto l’eguale, per numero, per coltura, per ricchezza,
per raffinatezza di gusti, per nobiltà d’aspirazioni, per varietà di
attitudini. In questa aristocrazia le virtù austere del romanesimo sono
fecondate dalla cultura greca nella più splendida varietà di attitudini:
onde abbondano i generali, gli amministratori, i giuristi, i letterati, i
filosofi, i protettori delle arti e delle lettere, che tutti insieme vogliono
conservare intatta la forza dell’impero, raffinandola con le arti più
elette della pace; e con quanto studio ed impegno, lo attestano
Traiano, Adriano, Antonino, Marco Aurelio. Senonchè mentre la
aristocrazia che governava l’impero si raffinava, si faceva più colta,
più splendida, più umana, l’esercito si imbarbariva. Con Claudio e
con Nerone i provinciali erano entrati nelle legioni, e cresciuti di
numero sotto i Flavi. Ma con gli Antonini, specie con i due ultimi, le
legioni accolgono gli stranieri, i veri e propri barbari [53]. Certo a
questi barbari si conferisce la cittadinanza romana; ma un titolo non
bastava neppure allora a mutare l’animo. Allo stesso modo, sebbene
più lentamente, era deteriorato il corpo dei pretoriani, esempio e
modello di tutte le milizie romane. Troppo ricca ormai la vecchia Italia
non basta più a riempire i vuoti delle famose coorti [54]. Tra queste
due forze, l’aristocrazia e l’esercito, si interponeva quella che noi
chiameremo l’amministrazione, il corpo dei magistrati che
esercitavano i differenti uffici civili e militari, e che, almeno nelle
cariche maggiori, era reclutato ancora secondo il principio della
coltura e del rango senatorio od equestre. Al di sopra di tutti stava
l’imperatore, il più autorevole dei senatori, il capo dell’esercito, della
nobiltà e dell’amministrazione, il simbolo dell’impero e dello Stato,
investito di poteri che non erano mai stati ben definiti, come non era
mai stato ben definito il principio politico e giuridico da cui i suoi
poteri scaturivano. Era chiaro che, sinchè l’imperatore,
l’amministrazione e l’aristocrazia fossero stati d’accordo, avrebbero
avuto autorità bastevole per imporre rispetto alle legioni. I governi di
Traiano, di Adriano, di Antonino e di Marco Aurelio lo avevano
provato. Ma che sarebbe accaduto il giorno, in cui questo accordo si
rompesse?

42. Il governo di Commodo (180-192). — Quanto fosse fragile

l’accordo tra il senato e l’imperatore, bastò a dimostrarlo, dopo un
secolo di concordia, la scelta di Commodo. Commodo, dopo Tito e
Domiziano, era il solo figlio che succedeva al padre nella suprema
carica; e per maggior disgrazia, a diciannove anni. Il senato, che non
aveva mai ammesso l’eredità come titolo del potere imperiale, e che
avrebbe voluto imperatore Claudio Pompeiano, subì l’avvento di
Commodo come una usurpazione. La rottura tra il senato e
l’imperatore non tardò dunque; e fu quanto mai calamitosa, perchè
Commodo era un giovane che ricordava assai più Nerone che non
Domiziano, a cui più spesso i contemporanei lo paragonarono. Dopo
un breve tirocinio, abbandonò il governo al prefetto del pretorio; e si
diede a godersi l’impero, esasperando ancor più il malcontento e
l’odio del senato. Ma di questa sua noncuranza, del sospetto in cui
aveva il senato approfittarono molti avventurieri di origine oscura,
per impadronirsi di molti uffici sino ad allora riserbati all’ordine
senatorio ed equestre. Sotto Commodo si tenta e si ritenta di togliere
ai senatori il privilegio di occupare le alte cariche; uomini oscuri o
indegni si insinuano dappertutto, e talora passano innanzi ai
personaggi più cospicui dell’impero; i segni esterni della potenza
sovrana dell’imperatore sono moltiplicati e risuscitati i titoli più
adulatorî, che il senato aveva aborriti nella persona di Nerone e di
Domiziano. L’opposizione senatoria, come è naturale, rinasce; le
congiure spesseggiano; e l’aspra discordia tra imperatore e Senato
guasta e precipita nel disordine in pochi anni tutta l’amministrazione.
Intorno alla politica di Commodo poco sappiamo. Ci è difficile quindi
giudicarla e decidere, per esempio, se la pace da lui conchiusa con
le popolazioni germaniche, che tanto filo da torcere avevano dato al
padre suo, fosse buona o cattiva. Ma certo è che durante gli anni del
suo governo, che furon dodici, numerose rivolte scoppiarono nelle
province: che l’esercito si decompose; che i disertori in Gallia
poterono tentare quasi un principio di rivolta, tanto erano numerosi: e
che le finanze andarono a precipizio.
La fine di questo governo fu quale si poteva imaginare. Come
Nerone e Domiziano, anche Commodo si fece via via più sospettoso
e violento; e seminò attorno a sè tanti odî e tante paure, che i suoi
stessi familiari si convinsero, alla fine, che occorreva toglierlo di
mezzo. Il 31 dicembre del 192, un gruppo di cortigiani, pavidi della
propria incolumità personale e sicuri di trovare dietro a sè largo
séguito di plauso e di favore, riescivano a uccidere l’imperatore.

43. Pertinace (1º gennaio-28 marzo 193). — La fine di Commodo

ricordava Domiziano, come il suo governo aveva ricordato Nerone.
Ma che cosa accadrebbe, dopo la sua morte? Quale dei due
imperatori ricorderebbe la successione: Domiziano con un nuovo
Nerva o Nerone con una nuova rivoluzione? Un grande sforzo fu
fatto per risparmiare una seconda rivoluzione all’impero. Il senato
scelse a imperatore un uomo che poteva veramente definirsi un
nuovo Nerva: Publio Elvio Pertinace, e lo scelse con tanta prestezza
e risolutezza, che i pretoriani lo accettarono. Era costui un homo
novus, perchè primo della sua famiglia era entrato in senato: un
uomo semplice, serio, austero, che aveva guadagnato il laticlavio
servendo nell’esercito; un soldato, che impersonava tutte le
tradizioni del militarismo romano, come Traiano. Egli si affrettò a
riconoscere di nuovo i diritti del senato e a tributargli gli onori dovuti;
scacciò dalle cariche gli avventurieri introdotti sotto Commodo,
richiamò gli esiliati; e subito pose mano, sempre agendo d’accordo
con il senato, a restaurare le finanze, e a ristabilire la disciplina negli
eserciti e nella guardia pretoriana. Ma nel voler ricondurre i pretoriani
all’antica disciplina, egli presunse troppo della autorità sua e del
senato. Anche quel corpo era ormai troppo inquinato di provinciali. Il
28 marzo del 193, tre mesi dopo la sua assunzione all’impero, i
pretoriani si rivoltarono e uccisero nel suo palazzo l’imperatore. Alla
morte di Pertinace seguì in Roma un gran panico, del quale
approfittarono due senatori, Sulpiciano, che era il suocero di
Pertinace, e Didio Giuliano, uno dei più ricchi tra i membri
dell’assemblea, per persuadere i pretoriani ad acclamarli imperatori.
Sulpiciano, che Pertinace aveva mandato a calmare i pretoriani in
rivolta, riuscì ad entrare nel campo, mentre Didio Giuliano restava
fuori. Ma i pretoriani seppero sfruttare la rivalità; e per mezzo di
ambascerie mandate a Sulpiciano e a Giuliano misero l’impero
all’asta, chiedendo all’uno e all’altro che donativo darebbero in
cambio dell’elezione. Didio Giuliano offerse la somma maggiore e fu
imperatore.
Ma l’impero non era ancora un bene che potesse mettersi all’asta.
Quando, nelle province, le legioni seppero quel che era successo a
Roma, si rivoltarono contro questo mercato e contro l’imperatore dei
pretoriani. Le legioni di Britannia proclamarono imperatore il loro
comandante D. Clodio Albino; quelle di Pannonia, L. Settimio
Severo; quelle di Siria e d’Egitto, C. Pescennio Nigro. Dopo 124 anni
si ripeteva il disordine scoppiato alla morte di Nerone. Di nuovo
l’incertezza del principio legale della successione nella suprema
autorità dell’impero scatenava le legioni.
 Note al Capitolo Quinto.

46. Cfr. Cohen, Monnaies rom., II, Anton., nn. 572, 777, 778. La Scizia è qui
forse una nuova provincia sul Danubio.

47. C. I. L. VI, 1001.

48. Sulle deduzioni dei barbari sul territorio romano si può consultare
Huschke, Ueber den Census und die Steuerverfassung der früheren
Römischen Kaiserzeit, Berlin, 1847, pag. 149 sg.

49. [Hist. Aug.], Av. Cass., 14.

50. È questo un giudizio dello stesso Marco Aurelio, Pensieri, II, 3.

51. Studi e testi, VIII (Roma, 1902): Atti di S. Giustino, 4, 8; cfr. Euseb. H.
E., 5, 1, 47; Athenag. Legatio pro Christian., 1 sg.

52. Tertull. De anima, 30.

53. Cfr. O. Seeck, in Rh. Museum, 43, 611-13.

54. Cfr. [Hist. A.] Pertin., II, 9; C. I, L. V, 5050, l. 31; VI, 2375 a sg.; Dion.
Cass. 74, 2; R. Cagnat, Praetoriae Cohortes in Daremberg et Saglio,
Dict. Antiq. Graecques et romaines, IV, pag. 635.
 CAPITOLO SESTO
I PRINCIPII DELLA MONARCHIA ASSOLUTA
SETTIMIO SEVERO

(193-211)

44. La guerra civile e la vittoria di Settimio Severo (193-197). —

Dei tre pretendenti il più accetto al senato era Pescennio: un italico,
a quanto pare, di illustre famiglia. Non sembra che fosse un
discepolo delle Muse, ma era un buon soldato; le sue maniere
affabili lo rendevano accetto a tutti, persino ai soldati, a cui pure
imponeva la più rigida disciplina. Clodio Albino, invece, era africano
di nascita, come Severo; era nato in Adrumeto, da una famiglia
antica e nobile; aveva molte amicizie a Roma e simpatie nel senato.
Settimio Severo, infine, che nasceva da una ricca e cospicua
famiglia di Leptis, era il più colto dei tre, perchè era stato educato
nelle due lingue, greca e latina, aveva studiato ad Atene, ed in
gioventù si era dato alle lettere. Ma primo della famiglia era entrato
in senato e aveva esercitato le magistrature; era quindi un homo
novus. Fosse questa la ragione o altra che non conosciamo, egli
aveva meno amici in senato che i suoi rivali.
Ma se Settimio Severo era il candidato meno grato al senato, era
anche quello che, governando la Pannonia, si trovava più vicino
all’Italia. Risoluto e intelligente, egli seppe approfittare di questo
vantaggio. Senza perdere tempo scese con il suo esercito nella valle
del Po. Didio Giuliano, il quale disponeva soltanto della guardia
pretoriana, e non aveva potuto neppur chiudergli i passi delle Alpi,
cercò di difendersi alla meglio. Ma le forze erano troppo ineguali. I
soldati lo abbandonarono; lo abbandonò la flotta e, all’avvicinarsi di
Settimio Severo, il senato lo depose e condannò a morte, eleggendo
il governatore della Pannonia.
Il nuovo imperatore non poteva illudersi sui sentimenti che il senato,
costretto a convalidarlo con la spada alla gola, nutrirebbe sul suo
conto. Ma Settimio Severo sapeva di dover combattere contro due
rivali potenti, e quindi cercò di ingraziarselo. Punì i complici di Didio
Giuliano; fece decretare l’apoteosi di Pertinace; promise che non
avrebbe condannato a morte nessun senatore, anzi fece approvare
dal senato una legge, la quale dichiarava nemico pubblico
l’imperatore che ciò facesse; promise di governare, prendendo a
modello Pertinace e Marco Aurelio: non esitò nemmeno a sciogliere
la guardia pretoriana che aveva ucciso Pertinace e messo all’incanto
l’impero, ricostituendola con i migliori soldati scelti da qualsiasi
legione. Infine, per legar le mani a Clodio Albino, e per compiacere
al Senato, lo dichiarò suo collega nell’impero e suo erede presuntivo,
dandogli l’alto comando delle province occidentali. Ma presa questa
precauzione e dati questi pegni delle sue intenzioni al senato, si
volse ad attaccare in Oriente Pescennio, che si era già assicurato
l’Asia e l’Egitto, la neutralità dell’Armenia e l’alleanza di parecchi
principi orientali, tra i quali il re dei Parti. Severo non volle che
Pescennio avesse, come Vespasiano, il tempo di assalir lui; e
sapendo che la velocità era il partito migliore, non indugiò più di un
mese nella capitale e subito partì alla testa di grandi forze, per
l’Oriente. Respinta e bloccata una buona parte dell’esercito nemico
in Bisanzio, Severo, o, piuttosto, i suoi generali sconfissero il nemico
prima a Cizico, poi a Nicea e, finalmente, presso Isso. La giornata fu
assai cruenta, ma il rivale fu alla fine vinto, e, nella tragica fuga,
arrestato e decapitato (194). Sembra che i partigiani di Pescennio
fossero duramente trattati, ma dei senatori nessuno fu condannato a
morte: i più compromessi subirono la confisca di tutto o di parte del
patrimonio.
Ma se Pescennio era morto, la guerra non era ancora finita, chè
Bisanzio resisteva accanitamente. D’altra parte Settimio Severo non
poteva illudersi che la sua vittoria gli concilierebbe il favore del
riluttante senato. Perciò egli pensò di dare al suo governo un
carattere di legittimità più sicuro; e nel 195 celebrò la adozione di sè
medesimo per parte di M. Aurelio. Il farsi adottare di autorità da un
morto, era un procedimento, alla stregua delle leggi, molto ardito,
per non dire stravagante; ma facendo questa violenza allo spirito
della legge ed al buon senso, egli poteva presentarsi come il
continuatore degli Antonini, venerati con tanto zelo in tutto l’impero.
Pare inoltre che Settimio si servisse dell’adozione per impadronirsi
dell’ingente eredità di Commodo [55]. Nel tempo stesso, mentre
stringeva d’assedio Bisanzio, provvedeva a domare l’Oriente; e
faceva una spedizione nella Adiabene e nell’Osroene, i cui sovrani
avevano favorito Pescennio. Tutto il 195 fu speso in questa
spedizione e nell’assedio di Bisanzio, che capitolò finalmente nella
primavera del 196. L’Oriente poteva dirsi domato. Settimio Severo si
affrettò a ritornare in Italia.
Nel senato l’opposizione era forte; e poichè Pescennio era stato
vinto, poneva la sua speranza in Clodio Albino. Questi a sua volta
non aveva accettato di esser collega di Settimio che per aver tempo
a preparar milizie contro di lui, in Gallia e in Britannia. Ormai, anzi,
aveva apertamente proclamata la rivolta; aveva convocato un
contro-senato; e minacciava, nuovo Vitellio, di ridiscendere dalle
Alpi [56]. Come al solito, Severo non perdè tempo. Appena giunto in
Italia, fece dichiarare Clodio Albino nemico pubblico dall’esercito e
dal senato; persuase il senato a proclamare il figlio suo, Settimio
Bassano (il futuro Caracalla), Cesare, designandolo così, quale
erede dell’impero; gli fece assumere il nome venerato di Marco
Aurelio, forse per compensare la violenza con cui faceva trionfare il
principio ereditario, e poi partì per la guerra. L’impresa non era di
piccola mole. Se vogliamo credere a Dione, Albino aveva raccolto
non meno di 150.000 uomini, e altrettanti dovette opporgliene
Severo; dunque, senza contare gli ausiliari, una quindicina di legioni,
quante non erano mai state impiegate nelle campagne contro il Gran
Re: un esercito smisurato per i tempi antichi. Anche su questa
guerra poco si sa: par che il principio fosse favorevole ad Albino, e
che il senato esultasse a Roma di questi prosperi successi. Ma nella
battaglia decisiva a Tivurtium (Trévoux) non lungi da Lione, il nuovo
pretendente fu definitivamente sconfitto (19 febbraio 197).
Questa volta la repressione fu più fiera che cinque anni prima.
Settimio dichiarò al senato che la severità di Silla, di Mario, di
Augusto era preferibile alla dolcezza che aveva perduto Cesare e
Pompeo [57]. Ventinove senatori furono condannati a morte; un
grande numero di ricchi galli e spagnuoli, che avevano aiutato
Albino, furono pure giustiziati, i loro beni confiscati, e in parte divisi
tra i soldati, in parte versati nell’erario, in parte presi da Severo. Con
queste confische Severo incominciò a creare quella sua fortuna, che
doveva essere la più grande di quante gli imperatori avevano sino
allora possedute [58].

45. Il governo di Severo: suo carattere. — Il Dio della guerra

aveva pronunciato il suo giudizio definitivo. Come Vespasiano,
Severo era ormai, alla testa delle legioni vittoriose, l’arbitro
dell’impero. Che cosa poteva fare il senato se non inchinarsi? Ma
Severo non era, come Vespasiano, un italiano; era un figlio
dell’Africa; di quell’Africa, dove il romanesimo era piuttosto una
leggera vernice appena aderente, che copriva le passioni e le idee
ataviche della razza. Severo non aveva per il senato e per le
istituzioni della repubblica aristocratica, come Traiano, il rispetto di
un figlio, l’ammirazione di un discepolo, la gratitudine di un
beneficato. Non era nemico del senato e non voleva, di proposito,
umiliarlo o avvilirlo. In tempi tranquilli, sarebbe stato uno dei tanti
senatori, non meno geloso che gli altri dei privilegi dell’ordine. Ma
aveva conquistato l’impero a prezzo di tremendi pericoli, contro la
volontà del senato, che gli avrebbe preferito Pescennio Nigro o
Clodio Albino; e conquistatolo, lo voleva tenere e godere — e qui
appariva l’africano — come cosa sua e della sua famiglia. Già prima
di vincere Albino, egli aveva, come abbiamo visto, fatto nominar
collega il figlio e tributare grandissimi onori a sua moglie Giulia
Domna, che era una siriaca di illustre famiglia e una donna molto
intelligente; inoltre aveva mostrato apertamente che l’autorità
imperiale doveva servire ad arricchirlo. Primo tra gli imperatori
costituì un’amministrazione del patrimonio privato, nominando i
procuratores privatarum rerum. Senonchè, se il senato aveva poco
gradito il suo trionfo, meno ancora avrebbe gradito un governo
animato da questo spirito. Non poteva quindi che diffidare del
senato; e, senza combatterlo metodicamente, cercò i sostegni e gli
appoggi del suo governo, non nel prestigio, nella ammirazione
sincera e nella collaborazione volenterosa del grande consesso,
come gli Antonini, ma nella intelligenza e nell’energia di un piccolo
gruppo di servitori fidati e devoti, di ogni origine e rango; e massime
nei soldati e nei cavalieri. Cresce dunque con lui l’autorità e il potere
di tutti i funzionari imperiali, specialmente degli advocati fisci, del
capo del fiscus, che prende il titolo di rationalis e del prefetto del
pretorio. Per la prima volta il prefetto del pretorio è ammesso in
senato, e per la prima volta, dopo tanti anni, non ostante la presenza
del principe in Roma, riappare un nuovo Seiano, C. Fulvio
Plauziano, che per un certo tempo, e sinchè non precipitò egli pure,
fu più potente dello stesso imperatore. Il prefetto del pretorio diviene
ora non solo il capo di tutte le truppe pretoriane, ma anche il
dirigente di tutto il personale dei funzionari imperiali. I suoi poteri
giudiziari si allargano: sembra che a lui competesse, oltre l’appello
dalle autorità provinciali, anche la giurisdizione penale per tutto il
territorio a cento miglia da Roma. Nelle province è tolto ai
governatori il diritto di levare imposte; al senato, il compito di
eseguire il censo, che è affidato in sua vece a funzionari imperiali
tratti dall’ordine equestre. Ad accrescere il prestigio dell’ordine
equestre Severo non solo concede ai cavalieri cariche prima
riserbate ai senatori; ma ai cavalieri, che si sono segnalati nel
pubblico servizio, accorda nuovi titoli di onore: quello di vir egregius
o quello anche più alto di vir perfectissimus: onorificenze che
ponevano un cavaliere alla pari di un senatore, senza farlo entrare
nell’ordine; e che quindi abbassavano il prestigio del senato.
Ma di null’altra cosa Settimio Severo fu più sollecito che di far
contento l’esercito. Egli è veramente l’imperatore dei soldati, che,
eletto dai soldati, governa con essi e per essi. L’esercito è
accresciuto di tre nuove legioni; il soldo è aumentato; ai soldati è
accordato il diritto di contrarre matrimoni legittimi o qualcosa di
simile [59], nonchè di passare per merito nel corpo dei pretoriani,
ormai riserbato ad essi come una promozione. Ai veterani è
concessa in privilegio la dispensa di ogni pubblico carico (vacatio a
muneribus); agli ex-ufficiali, nuovi titoli onorifici; ai generali, donativi
sontuosi. Riforma più importante: al grado di centurione — il più
elevato dei gradi a cui il soldato comune potesse giungere e che
corrisponde ai grado di capitano degli eserciti moderni — è annesso
il rango di cavaliere. Infine agli ufficiali in congedo sono riserbati
molti impieghi civili. È chiaro che Settimio Severo cercò di rinforzare
l’ordine dei cavalieri e l’amministrazione con elementi presi
dall’esercito, opponendo così alla nobiltà senatoria un altro ordine
sociale a lui fedele e devoto; e cercando in questo i funzionari, che
considerassero l’imperatore come loro capo e benefattore.

46. Severo in Oriente: la guerra con i Parti (197-198). — Un

imperatore che si reggeva per il potere dell’esercito doveva essere
gelosissimo della gloria e del prestigio delle armi romane. Mentre
Severo combatteva in Gallia Clodio Albino, il re dei Parti aveva
invaso la Mesopotamia e posto l’assedio a Nisibis; la Mesopotamia,
la recente conquista di M. Aurelio, e forse la Siria, l’Armenia, la
Cappadocia parevan di nuovo in pericolo. Severo non poteva
tollerare l’affronto. Appena pacificata l’Europa, si accinse, nel 197,
alla guerra con la Parzia. I preparativi furono grandi, ma adeguati.
Vologese fu sconfitto e la via di Ctesifonte, per la terza volta, aperta
alle legioni romane, che vi entrarono, e la saccheggiarono, facendo
100.000 prigionieri, tra soldati e civili. Pur troppo però, come sempre,
il ritorno fu più difficile: chè il deserto, la fame, la sete inflissero
all’esercito sofferenze inaudite. D’altra parte, se neppure Traiano
aveva potuto sottomettere l’impero dei Parti, tanto meno poteva
riuscirvi Severo, perchè da Traiano a lui l’impero si era indebolito.
Inflitta una umiliazione profonda al re dei Parti, Severo fece pace, nel
198 o 199, accontentandosi dello statu quo, e forse di qualche
ampliamento dei confini mesopotamici.
Ma Severo non tornò subito in Occidente. Sia che l’Oriente gli
sembrasse richiedere la sua presenza, sia che preferisse star
lontano da Roma e dal senato, per meglio mostrare che egli era
l’imperatore delle province, sollecito degli interessi di tutti, e non il
capo di una oligarchia angusta, Severo si trattenne nelle province
orientali sino al 202, rinforzando la difesa, distribuendo corone ai
principi vassalli, rimettendo la disciplina nelle legioni, l’ordine nel
paese, e stabilendo ovunque colonie romane. Visitò anche la
Palestina e l’Egitto; e dalla Palestina emanò un editto relativo ai
Cristiani, che riconferma all’incirca quelli di Traiano e di M.
Aurelio [60]. Ma i tempi erano inquieti, pieni di paure e di
superstizione: bastò quell’editto per scatenare in tutto l’Oriente le
collere ribollenti contro la minoranza cristiana, che non cessava dal
crescere e che si insinuava dappertutto. Di nuovo in molte province i
governatori dovettero cedere alla opinione popolare; e di nuovo
piovvero le denunzie, i processi, le condanne!

47. La fine di Severo (202-208). — Nel 202 Severo ritornò a Roma,

accolto da grandi feste e con grandi onori. Il senato gli decretò
anche quell’arco trionfale, che sarebbe sorto sulla Via Sacra, di
faccia al Campidoglio, dove ancora oggi si può ammirare. Severo
ricusò la maggior parte degli onori offertigli, e perfino il trionfo;
ringraziò i senatori, chiedendo loro di avere soltanto nel cuore, per
lui, l’affetto che gli avevano prodigato nei solenni decreti consiliari; e
si accinse a governar l’impero nella pace.
Un contemporaneo, non certo benevolo, ci descrive la giornata del
nuovo Augusto. «Sin dall’alba egli era al lavoro; poscia,
passeggiando a piedi, si intratteneva degli affari relativi allo Stato.
Venuta l’ora delle sedute nel suo tribunale, egli vi si recava, salvo
che non fosse una solenne giornata festiva, e attendeva al suo
ufficio con scrupolo grandissimo. Infatti accordava alle parti tutto il
tempo che esse domandavano, e a noi senatori, che giudicavamo
con lui, una grande libertà di opinione. Restava in tribunale fino a
mezzogiorno. Dopo egli montava a cavallo, quanto tempo poteva, o
si dedicava a qualche esercizio fisico, per entrar poi nel bagno.
Faceva colazione — abbondantemente — solo o coi suoi figliuoli.
Per solito, dopo il pasto, dormiva, e destatosi, si tratteneva, sempre
passeggiando, con dei letterati greci o latini. La sera prendeva un
secondo bagno e desinava ma soltanto con i familiari e con gli intimi,
giacchè egli non invitava mai alcuno e riservava i pranzi sontuosi pei
giorni, in cui non poteva assolutamente farne a meno» [61].
In Roma Settimio Severo continuò e rafforzò quel suo governo, che
spostava l’autorità dal senato all’imperatore e all’esercito. Ormai le
resistenze venivano meno dappertutto; anche il senato si
rassegnava, impotente. A che avrebbe servito una nuova congiura,
anche se riuscisse, se non a scatenare di nuovo le legioni? I soldati
ormai si sentivano da più del senato. Così, Settimio Severo fu, primo
degli imperatori, chiamato dominus: titolo che per secoli aveva fatto
orrore ai Romani. Primo degli imperatori rese giustizia non più nel
Foro ma nel suo palazzo. Primo osò eguagliare l’Italia alle province,
assumendo il titolo di proconsole anche per l’Italia e stanziando, oltre
i pretoriani, una legione nelle vicinanze di Roma. Il provvedimento
era savio; perchè la rovina di Didio Giuliano mostrava che l’Italia,
non avendo altre forze militari fuorchè la guardia, era alla mercè
delle legioni delle province, se queste si ribellavano. Ma un altro dei
principî su cui Augusto aveva posato il governo dell’impero era tolto
di mezzo.
Sei anni restò Severo in Roma, amministrando alacremente l’impero,
e senza essere minacciato da congiure. La sua fortuna, la sua
alacrità, la sua energia scoraggivano tutti gli odî. Nel 208 partì per la
Britannia; se vogliamo credere a uno storico antico, perchè
malcontento dei suoi figliuoli, Bassiano e Geta, e delle inclinazioni
che ambedue rivelavano. Adottando risolutamente il principio
dinastico, Settimio aveva fatto il primo con il titolo di Augusto e
collega all’impero durante la guerra contro la Persia; nel 209 aveva
fatto Augusto e collega il secondo. Ma novelli Commodi, i due figli
non amavano che la compagnia dei gladiatori e dei cocchieri del
Circo e per di più si odiavano. Per distrarli da questi piaceri, il padre
avrebbe, a dire degli antichi scrittori, deliberato di fare una
spedizione in Caledonia (Scozia), e forse la conquista di quel difficile
paese. Per altro, da gran tempo, la Britannia era irrequieta, e il
tentativo di Albino non aveva certo aiutato a calmarla.
La guerra fu lunga e difficile. Tra selve, monti e paludi, gl’indigeni si
difesero con una feroce guerriglia. Solo a prezzo di gravi perdite
l’esercito romano toccò l’estremità della grande isola; ma il 4
febbraio del 211 Severo moriva in Eburaco (York). Poco prima di
morire non solo aveva richiamato le legioni della Scozia, ma ordinato
anche l’abbandono della linea fortificata di Agricola e di Antonino Pio
per tornare alle forti difese di Adriano. La spedizione quindi non
aveva servito a nulla.

48. Il governo di Severo; come giudicarlo. — Settimio Severo fu

un insigne soldato, ma non solamente un soldato: fu anche un uomo
di grande e fine coltura. Intorno a lui, all’imperatrice Giulia Domna,
alla sorella dell’imperatrice, Giulia Mesa, alle nipoti Giulia Soemia e
Giulia Mammea, si raccolse una corte letterata, nella quale brillarono
non pochi tra gli spiriti eletti dell’epoca. Tra questi basterà ricordare
nientemeno che i giureconsulti più grandi dell’impero, Ulpiano e
Paolo, che fecero parte del Consilium principis, Papiniano, che fu
prefetto del pretorio. Egli quindi, in mezzo alle molte guerre
dell’impero, continuò, come i suoi predecessori, il grande
svolgimento del diritto razionale ed umano, che è una delle glorie
maggiori di Roma. Non si può negar neppure che egli ricostruì
saldamente l’autorità dello Stato, ponendo prontamente fine, come
Vespasiano, alla anarchia delle legioni in rivolta; che di nuovo illustrò
le armi romane, che riassestò abbastanza bene le finanze, sebbene
anch’egli abbia ricorso largamente all’espediente d’adulterar la
moneta. Nei suoi denarii la lega sale al 50 e talora sino al 60%. Ma
egli esautorò quasi del tutto il senato, che Vespasiano aveva
ringiovanito e che era stato la fonte della legalità per un secolo.
Sorpreso della catastrofe di Commodo, il senato aveva sperato,
prima in Pertinace, poi in Pescennio, poi in Clodio Albino: deluse
tutte queste speranze, si era a poco a poco, sotto il governo di
Settimio Severo, avvilito e rimpicciolito, lasciando libero il posto al
crescente assolutismo militare, rinunziando a quasi tutti i diritti e i
privilegi, che per tanti secoli aveva reclamati. Molto si è scritto dagli
storici moderni contro il servilismo del senato sotto Settimio Severo:
ma chi sappia come, in pochi anni, sotto la pressione degli
avvenimenti, possa mutare la composizione, lo spirito, l’anima di una
assemblea e di un ordine sociale, non si meraviglierà punto di
vedere il senato romano rimpicciolirsi a questo modo, innanzi a
Settimio Severo, capo vittorioso delle legioni, ossia innanzi ad una
forza che, per quanto scaturita improvvisamente dalla convulsione
degli eventi, esso sentì che era invincibile. Del resto, a giudicarne gli
effetti immediati, questa diminuzione del senato fu un fatto benefico.
Il governo di Settimio Severo fu più operoso di quello degli ultimi
Antonini, perchè non fu più obbligato a tener conto, quanto costoro,
della volontà, dei diritti, dei pregiudizi, dei privilegi del senato.
Senonchè questo beneficio era bilanciato da un pericolo grave.
Esautorato il senato, quale sarebbe, lui morto, la fonte della legalità,
per il suo successore? Il principio ereditario, da solo, non bastava;
sia perchè non era ancora universalmente riconosciuto, sia perchè il
potere di Severo era troppo recente. Il principio ereditario doveva
dunque appoggiarsi sopra un altro elemento: la volontà degli eserciti.
Messo in disparte il senato, gli eserciti diventano ormai, come
regola, quel che sinora erano stati solo ogni tanto e quasi
accidentalmente, il potere che sceglie o riconosce gli imperatori, che
ne legittima l’autorità. Ma che cosa erano ormai gli eserciti, se non
un’accozzaglia di tutte le razze dell’impero, nella quale abbondavano
i barbari appena dirozzati? Le terribili conseguenze di questo
rivolgimento non tarderanno molto a mostrarsi.
Da Settimio Severo si può sicuramente datare il principio della
monarchia assoluta. Egli è il primo degli imperatori che,
appoggiandosi sull’esercito, sostituisce apertamente, senza
esitazioni, l’autorità sua e quella dei funzionari dipendenti da lui
all’autorità del senato. Sarebbe impossibile dire se egli invece
avrebbe, volendo, potuto essere un secondo Vespasiano; e se
questo mutamento dipese dalla sua ambizione o dalla forza
invincibile degli eventi. Ma da questo mutamento, volontario o
necessario che fosse, procedè la immane catastrofe che ora ci
accingiamo a narrare e della quale quindi Settimio Severo è per la
sua parte responsabile innanzi alla storia [62].
 Note al Capitolo Sesto.

55. Dion. Cass., 76, 9; Cohen, Monnaies, IV, Sept. Severus, nn. 123-126,
128 (a. 195); 129-132 (a. 196).

56. [Hist. Aug.], Clod. Alb., 8, attribuisce invece l’iniziativa di questa guerra a
Settimio Severo, ma con un racconto di insidie così romanzesco che
non inspira nessuna fiducia. La concatenazione degli eventi mostra
invece che l’iniziativa partì da Clodio Albino, dietro il quale si
nascondeva un partito, forte in senato.

57. Dion. Cass., 75, 8.

58. Herod., 3, 15, 3.

59. Herod., 3, 8, 5: ma il passo è poco chiaro. L’argomento del resto è

ancora pieno di oscurità e di lacune.

60. [Hist. Aug.], Sever., 17.

61. Dion. Cass., 76, 17.

62. Una delle cose migliori, scritte su Settimio Severo, sono i due capitoli del
Duruy, Histoire des Romains, Paris, 1883, VI, pagg. 1-143.
 CAPITOLO SETTIMO
IL CAOS DEL TERZO SECOLO

(211-284)

49. Da Settimio Severo a Severo Alessandro: Caracalla,

Macrino, Eliogabalo. — Morto Severo, il senato riconobbe
imperatori i figli, già colleghi del padre nell’impero: M. Aurelio
Antonino e Publio Settimio Geta. Il principio ereditario era ormai così
audace e forte da osar di dividere l’impero come un patrimonio
privato tra i due figli dell’imperatore. Ma questa prima spartizione
ereditaria riuscì poco felice. Il figlio maggiore a cui, dalla foggia
preferita del mantello, la tradizione darà il nome di Caracalla, era un
soldato prepotente, sospettoso, autoritario. Presto venne in discordia
con il fratello; e senza perdere tempo in lunghe contese, lo fece
uccidere. Indi, per cancellare questo assassinio — il primo, da
Nerone in poi, che avesse insanguinato una famiglia imperiale — si
buttò nelle braccia della soldatesca, esagerando il padre.
Umiliò il senato, più che non avesse fatto Settimio Severo, e par che
escludesse quasi interamente i senatori dai comandi militari.
Aggravò le imposte [63], e continuò a peggiorare la moneta. Accrebbe
alle legioni il soldo raddoppiando quasi di un balzo il bilancio
militare [64]. Fece nell’esercito parecchie riforme, di cui alcune
sembrano buone; fece guerre in Germania, che gli valsero il nome di
Germanicus, e intorno alle quali troppo poco sappiamo per poter
pronunciare un giudizio; si volse anche all’Oriente, dove pare
sognasse di cogliere di nuovo gli allori di Alessandro Magno, che era
la sua maggiore ammirazione. Incominciò annettendo l’Osroene e
l’Armenia; sembra che chiedesse al nuovo re dei Parti, Artabano, la
figlia in isposa, forse illudendosi di unire con quel mezzo l’impero
romano e il partico; respinto con un rifiuto, preparò una grande
campagna contro la Parzia; ma in mezzo ai preparativi, l’8 aprile del
217, cadde pugnalato da un veterano, vittima non si sa se del
malcontento di un soldato o di quello del suo prefetto del pretorio o
di una congiura di generali, non lasciando altra eredità fuorchè la
memoria di un governo duro e violento. A questo governo però, in
mezzo a molti eccessi, si deve la costituzione, che donava la
cittadinanza romana a tutti gli uomini liberi delle province [65]. Si
vuole, ma non è certo, che la riforma mirasse principalmente ad
accrescere il gettito delle imposte; come è probabile che volesse
spianare le ultime differenze tra l’Italia e le province, invise al
dispotismo Severiano. Certo è invece, e qui sta la forza vera della
riforma, che affrettò quell’imbarbarirsi del ceto governante, già
incominciato da più di un secolo.
Morto Caracalla, le legioni acclamavano imperatore il suo prefetto
del pretorio, Marco Opellio Macrino, africano anch’egli e semplice
cavaliere. Macrino è il primo personaggio dell’ordine equestre, che
giunga all’impero. Ma per un oscuro cavaliere, che non aveva per sè
nè la nobiltà dei natali nè la gloria di grandi gesta compiute,
l’acclamazione dei soldati non era titolo sufficiente. Perciò, per
quanto il senato fosse avvilito dagli eventi degli ultimi anni, Macrino
cercò di ingraziarselo, per trovare nel suo favore una sembianza
almeno di legittimità: amnistiò tutti i senatori condannati da
Caracalla; annullò molti atti del suo predecessore, e tra questo le
sue misure fiscali. Ma non pare riuscisse ad ottenere la
convalidazione senatoria. Non riuscì neppure a supplire alla difettosa
legalità del suo potere con la grandezza dei trionfi militari: vinto dai
Parti, dovette per la prima volta acconsentire a pagare una indennità
di guerra. Questa doppia debolezza precipitò la sua fortuna.
Alla morte di Caracalla, la madre Giulia Domna si era lasciata morir
di fame, mentre la sorella Giulia Mesa e le nipoti, Soemia e Mamea,
andavano a vivere, relegate da Macrino, in Emesa, nel tempio del
Dio del Sole Eliogabalo. Il padre di Giulia Domna era stato sacerdote
del Dio. Ciascuna delle due giovani donne aveva un figliuolo;
Soemia, un Vario Avito Bassiano, giovinetto quattordicenne e
sacerdote del Dio come il suo bisnonno; Mamea, un Alessiano.
Approfittando della debolezza e delle sconfitte di Macrino e
profondendo le ricchezze del tempio di Emesa, Giulia Mesa ottenne
che una legione stanziata nelle vicinanze di Edessa proclamasse
imperatore Bassiano, persuadendola che era figlio di Caracalla (16
maggio 218). La rivolta si propagò rapidamente nelle legioni
malcontente e affezionate alla progenie di Settimio Severo; Macrino
fu abbandonato dai soldati ed ucciso; e in ventitrè giorni il giovine
sacerdote di Eliogabalo era riconosciuto unico imperatore (8 giugno
218).
Il principe che, salendo all’impero, assunse il nome di M. Aurelio
Antonino ma che passò alla storia con quello di Eliogabalo, regnò
quasi quattro anni, sino all’11 marzo 222. Con lui le religioni orientali
debellano la secolare opposizione di Roma: il che basta a spiegare
le leggende certamente esagerate e in parte fantastiche, che corsero
sul suo governo. Il nuovo imperatore mette in disparte la religione
ufficiale di Roma; pone innanzi al titolo di Pontefice massimo quello
di Sacerdos amplissimus Dei invicti Solis Elagabali, celebra una
specie di mistico matrimonio tra il Dio Siriaco del Sole e la Dea
Cartaginese Astarte, introducendo ambedue questi Dei nel culto
ufficiale. Il sacerdote di un culto siriaco, guidato da donne, governa
l’impero di Roma! Pericolo ancora maggiore, Eliogabalo non era
uomo da conservarsi il favore delle legioni, che l’avevano innalzato
alla carica suprema. Sotto il suo governo debole, inetto, tutto feste e
cerimonie religiose, l’impero si indebolì ancor di più; crebbe
nell’esercito l’indisciplina; le finanze precipitarono alla quasi totale
rovina per le inconsiderate spese; un sordo malcontento minacciò
sotto sotto il governo di questo sacerdote del Sole. Per rinforzarlo un
po’, la madre, la zia, e i soldati imposero al principe che si
associasse il cugino, il giovane Alessiano, che, infatti, in età di
appena dodici anni, fu assunto come collega, col nome di M. Aurelio
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and

personal growth!

textbookfull.com