Amirkabir Journal of Civil Engineering

Amirkabir J. Civil Eng., 53(11) (2022) 1007-1010

DOI: 10.22060/ceej.2020.18292.6820

Asphalt Pavement Bleeding Evaluation using Deep Learning and Wavelet Transform
S. Ranjbar, F. Moghadas Nejad* , H. Zakeri
1
Department of Civil & Environmental Engineering, Amirkabir University Of Technology, Tehran, Iran

ABSTRACT: Pavement inspection is an important part of pavement management systems because Review History:
this part provides input and raw material information to the system. If the pavement situation has not Received: Apr. 19, 2020
been assessed or incorrectly assessed, it will not be possible to carry out optimum maintenance and Revised: Jul. 04, 2020
repair operations. It can also cause higher maintenance costs and the risk of accidents. Pavement distress Accepted: Aug. 02, 2020
information is crucial data that should be collected and evaluated in the pavement inspection process. Available Online: Aug. 25, 2020
Accordingly, wide research has been conducted to develop more efficient systems for the evaluation
of pavement distresses using new technologies. Bleeding is one of the asphalt pavement distresses, Keywords:
which directly affects the skid resistance and vehicle maneuverability. Based on the literature, pavement Pavement management system
bleeding received the attention from the research community less than other pavement distress such
Distress evaluation, Bleeding
as cracks, rutting, raveling, and potholes. This research attempts to develop an efficient system for
Deep learning, Wavelet transform.
the automatic evaluation of asphalt pavement bleeding. For this aim, the transfer learning method
was applied to train a pre-trained convolutional neural network for bleeding detection. Also, various
image processing techniques (wavelet transform analysis as the main technique) were used to segment
bleeding regions in pavement images. Results indicated that the proposed system has good performance
in bleeding detection and segmentation with 98% and 87%, respectively. Accordingly, this system can
be applied as an efficient system for pavement bleeding evaluation.

1- Introduction Pavement inspection is conducted traditionally

In most countries, pavement management systems (PMS) (visual inspection) the past. This approach has some
are developed to monitor the pavement condition and defects, including high labor costs, time-consuming,
planning to improve the safety and serviceability of roads. unreliable results, and unsafe working conditions for staff.
An efficient PMS leads to work planning for pavement Accordingly, the majority of transportation agencies try
maintenance by a proper maintenance method at the optimum to apply new technologies for more efficient pavement
time, and with optimized cost [1]. Pavement inspection is an inspection. According to the literature, 2D image-based, 3D
important step in PMS because most of the input information measurement-based, radar-based, optic-based, acceleration-
for evaluating pavement condition is obtained during the based, sonic-based technologies, and hybrid methods are
pavement inspection procedure and this information has some of the more prevalent technologies for pavement
a significant impact on PMS efficiency [2, 3]. Pavement distress evaluation [3].
distresses information is the most important information that In recent years, wide researches have been conducted to
should be collected in the pavement inspection procedure. develop an automatic system for analyzing skid resistance
Pavement bleeding is a type of damage to asphalt and detecting various pavement defects such as cracking,
pavements. This pavement distress leads to create a thin layer rutting, raveling, pothole, etc. However, there is no research
of binder on the pavement surface and is usually caused by with the aim of the automatic inspection of asphalt pavement
traffic loads in hot weather [4, 5]. Bleeding directly affects bleeding as much as other pavement distress such as
pavement surface characteristics in terms of microtexture cracking, rutting, pothole [8].
and macrotexture which are important factors in pavement This research proposes an image-based system for
skid resistance. Roads safety and vehicle maneuverability automatic detection and segmentation of asphalt pavement
are significantly associated with pavement skid resistance bleeding using deep learning and image processing
[6]. Accordingly, bleeding causes reducing road safety. This techniques. In this study, deep convolutional neural
impact can intensify with the hydroplaning effect in wet and networks (CNN) were applied using transfer learning for
rainy regions [7]. bleeding detection and applied image processing techniques
for segmenting bleeding areas, including histogram
*Corresponding author’s email:[email protected]
Copyrights for this article are retained by the author(s) with publishing rights granted to Amirkabir University Press. The content of this article
is subject to the terms and conditions of the Creative Commons Attribution 4.0 International (CC-BY-NC 4.0) License. For more information,
please visit https://www.creativecommons.org/licenses/by-nc/4.0/legalcode.
1007
 ems
tion
y of S. Ranjbar et al., Amirkabir J. Civil Eng., 53(11) (2022) 1007-1010, DOI: 10.22060/ceej.2020.18292.6820

for
hod
[1].
tems
ause
ition
ment
ty of
tion
for
pact
thod
sses
[1].
ould
ause Fig. 1. Research methodology.
ment
halt
ction For bleeding detection, at first, HE has been used to
thin
pact make the more obvious image as a pre-processing. Then,
ally
esses a CNN model has been used to detect pavement images
ding
ould that there is bleeding distress in them. In this part of the Fig. 2. Examples of system outputs.
rms Fig. 1. Research methodology.
tant research, a data Fig.set of pavement
1. Research images has been
methodology. Fig. 2. Examples of system outputs.
phalt collected for training and testing a pre-trained CNN The efficiency of the proposed system has been
and For bleeding detection, at first, HE has been used to
thin model (AlexNet) using the transfer learning technique. evaluated based on the processing speed and various
with make the more obvious image as a pre-processing. Then,
ually Details of collected datasets are shown in Table1. performance
3- Results andindices. The time taken for bleeding
ding a CNN model has been used to detect pavement images Discussion
ding
sify Table 1. Details of datasets.
that there is bleeding distress in them. In this part of the detection is 0.44 and 0.042
After implementing the seconds
proposed per the
system, image in pre-
pavement
erms Table 1. Details of datasets. image with bleeding distress can be detected and bleeding
[7]. research, a data set of pavement images has been processing and object detection process, respectively.
rtant areasthe
cantime
be segmented as presented
ally
and collected for training and testing a pre-trained CNN Also, taken for bleedinginsegmentation
Fig. 2 is 1.55
ome The efficiency of the proposed system has been evaluated
with model (AlexNet) using the transfer learning technique. seconds per image.
based on the processing speed and various performance
ing, Details of collected datasets are shown in Table1. To evaluate thetaken
efficiency of thedetection
modelsisin0.44bleeding
ding indices. The time for bleeding and
for detection, the confusion matrix was calculated
nsify
tion 0.042 seconds per image in pre-processing andto object
achieve
s [7]. Table 1. Details of datasets. performance metrics
detection process, such asAlso,
respectively. accuracy, sensitivity,
the time taken for
ient
nally
2D precision, and F-score.is The
bleeding segmentation averageper
1.55 seconds ofimage.
the performance
ome In the second part of the research (bleeding
To is
metrics evaluate
almostthe 98efficiency of theresult
percent. This models in bleeding
showed that the
sed, equalization (HE), image smoothing, wavelet transform
ming,
ased segmentation), a pre-processing including HE and created CNN model using transfer learning tohas
detection, the confusion matrix was calculated achieve
a good
for (WT), thresholding, and morphological operations (MO). performance metrics such as accuracy, sensitivity, precision,
more smoothing was done to prepare pavement images for the performance in bleeding detection.
ation and F-score. The average of the performance metrics is
tion main process. Then, a WT module was developed to The 98
almost performance of the
percent. This result showedproposed system
that the created CNNfor
cient 2- Methodology
separate the bleeding areas in pavement images as the segmenting
model using transfer learning has a good performance in by
the bleeding areas was evaluated
2D As can be seen in Fig. 1, the research process consists
main process. Finally, global thresholding and MO were
cted comparing the outputs with pixel-level ground-truth
bleeding detection.
ased, In the
of two mainsecond
parts, part of the
including research
bleeding (bleeding
detection and
skid applied as post-processing to improve the quality of labelsThebased on the of
performance Dice and recall
the proposed metrics.
system The results
for segmenting
ased segmentation), a pre-processing including HE and
segmentation.
uch output images. showed that the proposed system can segment
the bleeding areas was evaluated by comparing the outputsthe
more smoothing
For bleeding wasdetection,
done to prepare pavement
at first, HE has beenimages
used toformakethe
ver, It should be noted that all computations were with pixel-level ground-truth labels based
bleeding areas with 89.94 and 87.47 percent based on on the Dice andthe
ation main
the process.
more obviousThen, aasWT module was Then, developed CNNto
atic performed using image
a personal a pre-processing.
computer with a a 64-bit recall metrics. The results showed that the proposed system
separate
model hasthe bleeding
been used to areas
detect in pavement
pavement images
images that as the
there Dice and recall metrics, respectively.
ther operating system, 8.0 GB memory, and Intel(R) Core i7- can segment the bleeding areas with 89.94 and 87.47 percent
cted main
is process.
bleeding Finally,
distress in global
them. In thresholding
this part of andresearch,
the MO were a
[8]. 4710HQ @ 2.50 GHz processor running a GeForce GTX based on the Dice and recall metrics, respectively.
skid applied
data set aspavement
of post-processing
images tobeen
has improve thefor
collected quality of
4. Conclusion
training
for 850M graphics processing unit (GPU).
such output
and images.
testing a pre-trained CNN model (AlexNet) using the 4-Bleeding
Conclusion is important pavement distress that has a
halt
ever, It should
transfer learning be noted Details
technique. that all computations
of collected datasetswere
are
directBleeding
effect on the pavement
is important pavementskiddistress
resistance anda direct
that has reduces
mage 3. Results and Discussion
matic performed
shown in using
Table1. a personal computer with a 64-bit
road safety. This research tried to apply machine learning
effect on the pavement skid resistance and reduces road
onal After implementing the proposed system, the
other operating system, 8.0
In the second GBresearch
memory, and Intel(R) Core i7-
sfer pavement imagepart of the
with (bleeding
bleeding distress segmentation),
can safety.
be detected This research tried to apply machine
and image processing techniques for automatic detection learning and
[8]. 4710HQ @ 2.50 including
GHz processor running a GeForce GTX
mage and bleeding areas can be segmented as presented indone
a pre-processing HE and smoothing was
and segmentation of bleeding in asphalt pavements.and
imageFig.processing techniques for automatic detection
m for 850M
to graphics
prepare pavementprocessing
images unit
for (GPU).
the main process. segmentation of bleeding in asphalt pavements.
Then, a
eas, 2. For bleeding detection, a pre-trained CNN model
phalt WT module was developed to separate the bleeding areas For bleeding detection, a pre-trained CNN model
mage (AlexNet)
mage 3. Results
in pavementand Discussion
images as the main process. Finally, global (AlexNet)was retrained
was retrained based
based on theoncollected
the collected dataset
dataset using
and using the transfer learning
onal After implementing
thresholding and MO were the proposed
applied system, the
as post-processing to the transfer learning method. method.
Results of Results
applying oftheapplying
model
nsfer pavement image with bleeding
improve the quality of output images.distress can be detected theonmodel
the on
test the
datasettest dataset
indicated indicated
that that
retraining theretraining
pre-trainedthe
mage andIt bleeding
should beareas
notedcan
thatbeallsegmented as presented
computations in Fig.
were performed pre-trained
CNN is an CNN is
efficient an efficient
method for method
bleeding for
detection bleeding
with
almost 98% based on the various metrics.
reas,
sists using a personal computer with a 64-bit operating system, detection with almost 98% based on the various metrics.
2.
mage For segmenting
For segmenting the bleeding areas, an image
the bleeding areas,processing-
an image
and 8.0 GB memory, and Intel(R) Core i7-4710HQ @ 2.50
and based method was developed using WT as the main
GHz processor running a GeForce GTX 850M graphics processing-based method was developed using WT as the
process and some other techniques such as HE, smoothing,
2 processing unit (GPU). main process and
thresholding, andMO.some other techniques
Comparing the similaritysuch as HE,
of outputs
smoothing, thresholding, and MO. Comparing the
 similarity of outputs with ground-truth images showed
sists
that the developed method is efficient with 89.94% based
and
on the Dice similarity coefficient.
1008
2 According to the results, this system can improve
PMS performance in various countries by efficiently
 detecting and segmenting the asphalt pavement bleeding.
 S. Ranjbar et al., Amirkabir J. Civil Eng., 53(11) (2022) 1007-1010, DOI: 10.22060/ceej.2020.18292.6820

with ground-truth images showed that the developed of Computational Methods in Engineering, 24(4) (2017)
method is efficient with 89.94% based on the Dice similarity 935-977.
coefficient. [4] J.S. Miller, W.Y. Bellinger, Distress identification manual
According to the results, this system can improve PMS for the long-term pavement performance program,
performance in various countries by efficiently detecting United States. Federal Highway Administration. Office
and segmenting the asphalt pavement bleeding. of Infrastructure Research and Development, 2014.
[5] A. Designation, D6433 Standard Practice for Roads and
References Parking Lots Pavement Condition Index Surveys, (2007).
[1] F.M. Nejad, H. Zakeri, The Hybrid Method and its [6] B. Mataei, H. Zakeri, M. Zahedi, F.M. Nejad, Pavement
Application to Smart Pavement Management, in: X.-S. friction and skid resistance measurement methods: a
Yang, A.H. Gandomi, S. Talatahari, A.H. Alavi (Eds.) literature review, Open J. Civ. Eng., 6(04) (2016) 537.
Metaheuristics in Water, Geotechnical and Transport [7] W. Lawson, S. Senadheera, Chip seal maintenance:
Engineering, Elsevier, Oxford, 2013, pp. 439-484. solutions for bleeding and flushed pavement surfaces,
[2] M.Y. Shahin, Pavement management for airports, roads, Transportation Research Record: Journal of the
and parking lots, 1994. Transportation Research Board, (2108) (2009) 61-68.
[3] H. Zakeri, F.M. Nejad, A. Fahimifar, Image Based [8] T.B. Coenen, A. Golroo, A review on automated pavement
Techniques for Crack Detection, Classification and distress detection methods, Cogent Engineering, 4(1)
Quantification in Asphalt Pavement: A Review, Archives (2017) 1374822.

HOW TO CITE THIS ARTICLE

S. Ranjbar, F. Moghadas Nejad , H. Zakeri , Asphalt Pavement Bleeding Evaluation using
Deep Learning and Wavelet Transform , Amirkabir J. Civil Eng., 53(11) (2022) 1007-1010.

DOI: 10.22060/ceej.2020.18292.6820

1009
Th
is
pa
ge
in
te
nt
io
na
lly
le
ft
bl
an
k
 ‫نشریه مهندسی عمران امیرکبیر‬
‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحات ‪ 4577‬تا ‪4598‬‬
‫‪DOI: 10.22060/ceej.2020.18292.6820‬‬

‫ارزیابی خرابی قیرزدگی روسازی آسفالتی با استفاده از یادگیری عمیق و تبدیل موجک‬
‫سجاد رنجبر‪ ،‬فریدون مقدس‌نژاد*‪ ،‬حمزه ذاکری‬
‫دانشکده مهندسی عمران و محیط زیست‪ ،‬دانشگاه صنعتی امیرکبیر‪ ،‬تهران‪ ،‬ایران‪.‬‬

‫تاریخچه داوری‪:‬‬ ‫خالصه‪ :‬اطالعات مرتبط با وضعیت روسازی نظیر خرابی ها‪ ،‬ورودی و مواد اولیه سامانه مدیریت روسازی را تأمین می کند‪ .‬در صورت‬
‫دریافت‪1399/01/31 :‬‬
‫عدم ارزیابی وضعیت روسازی و یا ارزیابی ناقص و نادرست وضعیت روسازی‪ ،‬امکان انجام عملیات تعمیر و نگهداری مناسب و به موقع‬
‫بازنگری‪1399/04/14 :‬‬
‫پذیرش‪1399/05/12 :‬‬ ‫وجود نخواهد داشت که این موضوع به افزایش هزینه های نگهداری و بهسازی و افزایش احتمال بروز تصادفات منجر خواهد شد‪ .‬از‬
‫ارائه آنالین‪1399/06/04 :‬‬ ‫این رو‪ ،‬تحقیقات گسترده ای با هدف بکارگیری فناوری های جدید در جهت ارزیابی دقیق و خودکار خرابی های روسازی انجام شده‬
‫است‪ .‬خرابی قیرزدگی یکی از خرابی های روسازی آسفالتی است که مستقیم ًا بر اصطکاک سطحی و مانورپذیری وسایل نقلیه تأثیر‬
‫کلمات کليدي‪:‬‬
‫می گذارد‪ .‬علی‌رغم اهمیت خرابی قیرزدگی‪ ،‬ارزیابی خودکار این خرابی نسبت به سایر خرابی ها نظیر ترک‌خوردگی‪ ،‬چاله‪ ،‬شیارافتادگی‬
‫سامانه مدیریت روسازی‬
‫کمتر مورد توجه جامعه تحقیق بوده است‪ .‬در این پژوهش‪ ،‬سعی شده است که با استفاده از روش های جدید نظیر یادگیری عمیق‬
‫ارزیابی خرابی‬
‫و ابزار های مختلف پردازش تصویر‪ ،‬یک سامانه کارآمد مبتنی بر تصویر به منظور ارزیابی خودکار خرابی قیرزدگی ارائه شود‪ .‬برای‬
‫قیرزدگی‬
‫این منظور‪ ،‬از روش انتقال یادگیری برای ساخت مدل تشخیص خرابی و از یک فرآیند پردازش تصویر مبتنی بر تبدیل موجک برای‬
‫یادگیری عمیق‬
‫تفکیک نواحی قیرزده استفاده شد‪ .‬نتایج به دست آمده نشان می دهد که سامانه ارائه شده در این پژوهش‪ ،‬در تشخیص خرابی و‬
‫تبدیل موجک‬
‫تفکیک نواحی قیرزده به ترتیب با متوسط باالی ‪ 98‬و ‪ 87‬درصد‪ ،‬عملکرد خوبی در ارزیابی خرابی قیرزدگی دارد و می تواند به عنوان‬
‫ابزاری کارآمد در ارزیابی قیرزدگی بکار گرفته شود‪.‬‬

‫تشخیص خرابی‪ ،‬تفکیک‪ 2‬نواحی خرابی‪ ،‬دستهبندی بر اساس شدت و نوع‬ ‫‪1-‬مقدمه‬
‫خرابی و کمیسازی (ارائه شاخص) خرابی است‪ .‬موارد ذکر شده در گذشته‬ ‫روسازی راهها بخش اصلی زیرساختهای حمل و نقل جادهای را تشکیل‬
‫به روش سنتی (بازرسی چشمی) مورد بررسی قرار میگرفت‪ .‬از جمله معایب‬ ‫می دهند و در اکثر کشورها به منظور کنترل وضعیت روسازی و انجام‬
‫روش سنتی ارزیابی شرایط روسازی میتوان به زمان‌بر بودن و هزینه‌های باال‪،‬‬ ‫عملیات تعمیر و نگهداری برای بهبود وضعیت روسازی‪ ،‬سامان های مدیریت‬
‫غیر قابل اعتماد بودن نتایج‪ ،‬قرار دادن کارکنان در شرایط پر خطر و ایجاد‬ ‫روسازی‪ )PMS( 1‬ایجاد شده اند‪ .‬مطابق شکل ‪ ،1‬این سامانه از پنج بخش‬
‫اخالل در ترافیک مسیر اشاره کرد [‪ .]2‬عالوه بر موارد ذکر شده‪ ،‬گستردگی‬ ‫اصلی تشکیل شده است که بازرسی و ارزیابی شرایط روسازی از مهم‌ترین‬
‫شبکه راهها در کشورهای مختلف‪ ،‬استفاده از روشهای مبتنی بر بازرسی‬ ‫بخشهای این سامانه است‪ ،‬زیرا اطالعات جمعآوری شده در این بخش‪ ،‬پایه‬
‫چشمی را غیر ممکن کرده است‪.‬‬ ‫و اساس تمام ارزیابیهای سایر بخشها است و تعیین وضعیت فعلی و آینده‬
‫معایب روشهای سنتی از یک سو و پیشرفت چشمگیر فناوری های‬ ‫روسازی و تصمیمگیری در مورد عملیات تعمیر و نگهداری مناسب همگی بر‬
‫مبتنی بر علوم کامپیوتری از سوی دیگر‪ ،‬سازمانها و محققان اکثر کشورها را‬ ‫اساس اطالعات برداشت شده از روسازی انجام می شود [‪.]1‬‬
‫به استفاده از فناوریهای مختلف نظیر پردازش تصویر‪ ،‬یادگیری ماشین برای‬ ‫مطابق شکل ‪ ،1‬ارزیابی خرابیهای روسازی از جمله اطالعات مهم در‬
‫توسعه سامانههای خودکار ارزیابی شرایط روسازی سوق داده است [‪.]4-2‬‬ ‫بخش ارزیابی شرایط روسازی به شمار می رود‪ .‬این اطالعات معمو ًال شامل‬
‫مقاومت لغزشی سطح روسازی یکی از مهمترین مشخصه های روسازی‬
‫‪1‬‬ ‫‪Pavement Management System‬‬

‫‪2‬‬ ‫‪Segmentation‬‬ ‫* نویسنده عهده‌دار مکاتبات‪[email protected] :‬‬

‫حقوق مؤلفین به نویسندگان و حقوق ناشر به انتشارات دانشگاه امیرکبیر داده شده است‪ .‬این مقاله تحت لیسانس آفرینندگی مردمی (‪)Creative Commons License‬‬
‫در دسترس شما قرار گرفته است‪ .‬برای جزئیات این لیسانس‪ ،‬از آدرس ‪ https://www.creativecommons.org/licenses/by-nc/4.0/legalcode‬دیدن فرمائید‪.‬‬
‫‪4577‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫شکل ‪ :1‬بخشهای اصلی سامانه مدیریت روسازی [‪.]2 ,1‬‬

‫شکل ‪ .1‬بخش های اصلی سامانه مدیریت روسازی [‪.]2 ,1‬‬
‫‪Fig. 1. Main parts of PMS‬‬
‫‪Fig. 1. Main parts of PMS‬‬

‫شکل ‪ : 2‬اثر خرابی قیرزدگی بر مقاومت لغزشی‪ .‬الف‪ :‬روسازی سالم [‪ ،]12‬ب‪ :‬روسازی دارای خرابی قیرزدگی [‪.]11‬‬
‫شکل ‪ .2‬اثر خرابی قیرزدگی بر مقاومت لغزشی‪ .‬الف‪ :‬روسازی سالم [‪ ،]12‬ب‪ :‬روسازی دارای خرابی قیرزدگی [‪.]13‬‬
‫‪Fig. 2. The effect of bleeding on skid resistance; a) intact pavement, b) pavement with bleeding‬‬
‫‪Fig. 2. The effect of bleeding on skid resistance; a) intact pavement, b) pavement with bleeding‬‬

‫بیان شده است [‪.]9-7‬‬ ‫راه ها به شمار می رود که تأثیر بسزایی در سطح ایمنی راه ها دارد؛ زیرا‬
‫خرابی قیرزدگی ازجمله خرابی های روسازی آسفالتی است که به طور‬ ‫مانورپذیری و کنترل وسایل نقلیه تا حد زیادی به این مشخصه بستگی دارد‬
‫مستقیم بر بافت ریز و درشت سطح روسازی اثر می گذارد و مقاومت لغزشی‬ ‫[‪ .]5‬همان‌طور که در شکل ‪-2‬الف مشاهده می شود‪ ،‬بافت ریز و بافت درشت‬
‫سطح روسازی را کاهش می دهد (شکل ‪-2‬ب) و این امر موجب کاهش‬ ‫سطح روسازی دو پارامتر اصلی در تأمین مقاومت لغزشی روسازی هستند‪.‬‬
‫مانورپذیری وسایل نقلیه و افزایش احتمال تصادفات می شود‪ .‬الزم به ذکر‬ ‫بارهای ناشی از عبور وسایل نقلیه موجب حرکت رو به باالی قیر در‬
‫است که اثر خرابی قیرزدگی در شرایط آب و هوای بارانی که سطح روسازی‬ ‫مخلوط آسفالتی و رسیدن آن به سطح روسازی می شود که اغلب در هوای‬
‫خیس و مرطوب است‪ ،‬به علت پدیده هیدروپلنینگ‪ 2‬تا حد زیادی تشدید می‬ ‫گرم به وقوع میپیوندد [‪ .]6 ,1‬با توجه به تحقیقات انجام شده‪ ،‬علت اصلی‬
‫شود [‪.]11 ,10‬‬ ‫وقوع خرابی قیرزدگی‪ ،‬وجود نقص در طرح اختالط آسفالت‪ ،‬یعنی کم بودن‬
‫در سال های اخیر‪ ،‬تحقیقات گسترده ای با هدف ارزیابی خودکار خرابی‬ ‫حجم فضای خالی (‪ )Air Void‬و باال بودن حجم پر شده با قیر‪،)VFA( 1‬‬

‫‪2‬‬ ‫‪Hydroplaning‬‬ ‫‪1‬‬ ‫‪Void Filled with Asphalt‬‬

‫‪4578‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫از اطالعات موجود در تصویر و سیگنال به شمار می رود [‪ .]22‬در سالهای‬ ‫های روسازی انجام شده است که در بین این تحقیقات‪ ،‬خرابی قیرزدگی‬
‫اخیر‪ ،‬سامانه های مبتنی بر پردازش سیگنال با استفاده از تبدیل موجک‬ ‫نسبت به سایر خرابی ها نظیر ترک خوردگی‪ ،‬چاله و شیارافتادگی‪ ،‬کمتر‬
‫ارزیابی وضعیت روسازی بکار گرفته شده است‪ .‬در این راستا تحقیقاتی‬ ‫مورد توجه جامعه تحقیق قرار گرفته است [‪ .]14‬در این پژوهش سعی شده‬
‫با هدف ارزیابی ناهمواری روسازی [‪ ،]26-23‬بررسی اصطکاک سطحی‬ ‫است‪ ،‬با استفاده از مدلهای مبتنی بر یادگیری عمیق و الگوریتم های پردازش‬
‫روسازی [‪ ]27‬و تشخیص خرابی روسازی نظیر چاله [‪ ]28‬با استفاده از ابزار‬ ‫تصویر‪ ،‬سامانهای برای ارزیابی خرابی قیرزدگی ارائه شود تا تشخیص وجود‬
‫تبدیل موجک انجام شده است‪.‬‬ ‫قیرزدگی و تفکیک نواحی قیرزده در تصاویر به صورت خودکار و با دقت قابل‬
‫در بخش پردازش تصویر‪ ،‬تبدیل موجک به عنوان یک روش پرکاربرد در‬ ‫قبول انجام دهد‪.‬‬
‫جهت کاهش نویز [‪ ،]30 ,29‬فشردهسازی [‪ ]32 ,31‬و بررسی بافت تصاویر‬ ‫برای تشخیص خرابی قیرزدگی از مدلهای مبتنی بر شبکه عصبی‬
‫[‪ ]34 ,33‬مورد توجه بوده است‪ .‬در این بخش از تبدیل موجک در سامانه‬ ‫پیچشی عمیق استفاده شده است‪ .‬در این راستا‪ ،‬روش انتقال یادگیری‪ 1‬برای‬
‫های مبتنی بر پردازش تصویر به منظور ارزیابی خرابیهای روسازی نظیر ترک‬ ‫بازتعلیم مدلهای از پیش تعلیم یافته بکار گرفته شده است‪ .‬همچنین الگوریتم‬
‫خوردگی [‪ ]36 ,35 ,2‬و چاله [‪ ]37‬استفاده شده است‪ .‬این ابزار همچنین در‬ ‫های مختلف پردازش تصویر نظیر تسهیم هیستوگرام‪ ،‬هموارسازی‪ ،2‬تبدیل‬
‫بررسی بافت روسازی برای ارزیابی وضعیت زهکشی [‪ ]38‬و مقاومت لغزشی‬ ‫موجک‪ ،‬آستانه گذاری و عملگرهای مورفولوژیک برای تعیین و تفکیک‬
‫[‪ ]39‬مورد استفاده قرار گرفته است‪.‬‬ ‫نواحی قیرزده در تصاویر دارای خرابی قیرزدگی استفاده شده است و در این‬
‫بررسی مطالعات نشان می دهد که تبدیل موجک می تواند به عنوان یک‬ ‫راستا یک ماژول تبدیل موجک نیز برای تعیین نواحی خرابی ارائه شده است‪.‬‬
‫روش کارآمد در ارزیابی وضعیت روسازی مورد استفاده قرارگیرد‪ .‬در پژوهش‬
‫حاضر از تبدیل موجک به منظور بررسی تصاویر دارای خرابی قیرزدگی و‬ ‫‪2-‬مرور مطالعات گذشته‬
‫تفکیک نواحی قیرزده بکار گرفته شده است‪.‬‬ ‫در این بخش‪ ،‬مرور کلی بر کاربرد شبکه های عصبی پیچشی در ارزیابی‬
‫خرابی‌های روسازی و کاربرد تبدیل موجک در سامانه های ارزیابی وضعیت‬
‫‪2- 3-‬ارزیابی خودکار خرابی قیرزدگی‬ ‫روسازی انجام شده است‪ .‬همچنین مرور مختصری بر تحقیقات انجام شده با‬
‫تنگ و همکاران [‪ ،]18‬چند مدل بر اساس ترکیب شبکه های عصبی‬ ‫هدف ارزیابی خودکار خرابی قیرزدگی انجام شده است‪.‬‬
‫پیچشی‪ ،)CNN( 3‬ماشین بردار پشتیبان‪ ،‬چهارچوب عدم قطعیت و زمینه‬
‫های تصادفی شرطی گوسی برای تشخیص و تفکیک خرابی های روسازی‬ ‫‪2- 1-‬کاربرد شبکه های عصبی پیچشی در ارزیابی خرابی‌های روسازی‬
‫نظیر ترک‌خوردگی‪ ،‬چاله و قیرزدگی ارائه کرده اند‪ .‬مدلهای پیشنهاد شده‪،‬‬ ‫مدلهای مبتنی بر یادگیری عمیق به ویژه شبکه های عصبی پیچشی با‬
‫عملیات دسته بندی و شناسایی خرابی را در مقیاس پیکسل های تصویر‬ ‫توجه به قابلیت استخراج و یادگیری خودکار قوانین و الگوهای مهم در داده‬
‫انجام می دهند‪ .‬آماده سازی داده های تعلیم و آزمایش این دسته از مدلها‬ ‫ها‪ ،‬کاربرد گسترده ای در تشخیص اشیاء و بینایی ماشین دارند [‪ .]16 ,15‬در‬
‫فرآیندی زمان‌بر است و فرآیند تعلیم و بکارگیری این مدلها به توان پردازشی‬ ‫سالهای اخیر‪ ،‬جامعه تحقیق توجه ویژه ای به استفاده از این مدلها در زمینه‬
‫باالیی نیاز دارد‪.‬‬ ‫های مختلف مهندسی داشته است‪ .‬از این رو‪ ،‬پژوهش های مختلفی با هدف‬
‫سانگ و وانگ [‪ ،]21‬با استفاده مدلهای ‪ ،Faster R-CNN‬سامانه‬ ‫بکارگیری شبکه های عصبی پیچشی در بخش ارزیابی خرابی های روسازی‬
‫ای به منظور تشخیص خرابی های روسازی نظیر ترک‌خوردگی‪ ،‬چاله و‬ ‫نظیر ترک‌خوردگی [‪ ،]19-17‬چاله [‪ ،]21 ,20 ,18‬شن‌زدگی [‪ ]21‬و قیرزدگی‬
‫قیرزدگی ارائه داده اند‪ .‬در این سامانه نواحی دارای قیرزدگی با یک مستطیل‬ ‫[‪ ]21 ,18‬انجام شده است‪.‬‬
‫مشخص می شوند‪ .‬سامانه ارائه شده قادر به تفکیک دقیق نواحی قیرزده‬
‫‪2- 2-‬کاربرد تبدیل موجک در ارزیابی وضعیت روسازی‬
‫نیست و آماده سازی داده های تعلیم مدلها فرآیند زمانبری است‪.‬‬
‫تبدیل موجک یک ابزار ریاضی قدرتمند در استخراج اطالعات کاربردی‬
‫کاراساهین و همکاران [‪ ،]40‬با توجه به اینکه پس از وقوع قیرزدگی‬

‫‪1‬‬ ‫‪Transfer Learning‬‬

‫‪3‬‬ ‫‪Convolutional Neural Network‬‬ ‫‪2‬‬ ‫‪Smoothing‬‬

‫‪4579‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫شکل ‪ :1‬سامانه پیشنهادی برای ارزیابی خودکار خرابی قیرزدگی‬

‫شکل ‪ .3‬سامانه پیشنهادی برای ارزیابی خودکار خرابی قیرزدگی‬
‫‪Fig. 3. Proposed system for automatic evaluation of the pavement bleeding‬‬
‫‪Fig. 3. Proposed system for automatic evaluation of the pavement bleeding‬‬

‫دارای بافت سطحی ضعیف تری هستند به عنوان نواحی دارای قیرزدگی‬ ‫سنگدانه‌ها با الیه ای از قیر پوشانده می شوند‪ ،‬سامانه‌ای مبتنی بر پردازش‬
‫تشخیص داده می شوند‪ .‬در این پژوهش‪ ،‬به تفکیک نواحی قیرزده و بررسی‬ ‫تصاویر دیجیتال به منظور تشخیص خرابی قیرزدگی در سیل‌کت‌ها‪ ،‬ارائه‬
‫گستردگی قیرزدگی توجهی نشده است‪ .‬همچنین بکارگیری سامانه های‬ ‫کردند‪ .‬در این مطالعه از الگوریتم های تشخیص لبه به منظور بررسی‬
‫مبتنی بر فناوری لیزر با توجه به هزینه های باالی این دسته از فناوری ها‪،‬‬ ‫سنگدانه های روی سطح روسازی استفاده شده است و بخشهایی از تصاویر‬
‫چندان توجیه اقتصادی ندارد‪.‬‬ ‫که دارای میزان لبه کمتری هستند به عنوان نواحی دارای قیرزدگی تشخیص‬
‫با بررسی پژوهش های گذشته می توان دریافت که تمرکز اصلی محققان‬ ‫داده می شوند‪ .‬سامانه پیشنهاد شده توانایی تفکیک و بررسی مشخصات‬
‫بر تشخیص خرابی قیرزدگی بوده است‪ .‬پژوهش هایی که بر تشخیص و‬ ‫هندسی نواحی قیرزده را ندارد و همچنین تصاویر ورودی باید در شرایط نوری‬
‫تفکیک نواحی قیرزده متمرکز باشند‪ ،‬سهم بسیار ناچیزی از مطالعات انجام‬ ‫کنترل شده برداشت شده باشد‪.‬‬
‫شده را به خود اختصاص داده اند و نیازمند صرف زمان زیاد برای آماده سازی‬ ‫هادجی متریو و کرستودولو [‪ ،]41‬یک سامانه مبتنی بر آنتروپی تصاویر‬
‫دادهها و توان پردازشی باال برای تعلیم مدلها هستند‪ .‬از این رو‪ ،‬در پژوهش‬ ‫برای تشخیص خرابی های روسازی نظیر ترک‌خوردگی‪ ،‬شن‌زدگی‪،‬‬
‫حاضر تالش شده است سامانه ای خودکار و کارآمد به منظور تشخیص‬ ‫شیارافتادگی‪ ،‬موج زدگی و قیرزدگی پیشنهاد دادهاند‪ .‬سامانه ارائه شده‬
‫خرابی قیرزدگی و تفکیک نواحی قیرزده در تصاویر روسازی ارائه شود‪.‬‬ ‫عملکرد قابل قبولی در تشخیص خرابیهای قیرزدگی و شیارافتادگی نداشته‬
‫است‪ .‬همچنین قادر به تفکیک نواحی قیرزده و ارزیابی مشخصات نواحی‬
‫‪3-‬سامانه پیشنهادی و مفاهیم پایه‬ ‫قیرزده نیست‪.‬‬
‫سامانه پیشنهاد شده در این پژوهش برای ارزیابی خودکار قیرزدگی‪،‬‬ ‫الرنت و همکاران [‪ ،]42‬در پژوهش خود تالش کردند تا با استفاده از‬
‫از دو بخش اصلی تشکیل شده است که در بخش اول‪ ،‬تشخیص وقوع‬ ‫داده های برداشت شده توسط سامانه ‪ LCMS1‬مبتنی بر فناوری لیزر که‬
‫خرابی قیرزدگی انجام می شود و در بخش دوم‪ ،‬نواحی قیرزده موجود در‬ ‫اغلب به منظور برداشت اطالعات ترک‌خوردگی روسازی استفاده می شود‪،‬‬
‫تصویر روسازی تفکیک و قطعه بندی خواهند شد‪ .‬همان‌طور که در شکل ‪3‬‬ ‫برای ارزیابی سایر خرابیها نظیر شن زدگی و قیرزدگی بکار گیرند‪ .‬در پژوهش‬
‫نشان داده شده است‪ ،‬در بخش اول ابتدا یک پیش‌پردازش‪ ،‬به منظور بهبود‬ ‫انجام شده‪ ،‬با محاسبه متوسط عمق بافت روسازی‪ )MTD( 2‬نواحی که‬
‫وضوح تصاویر‪ ،‬انجام می شود‪ .‬سپس یک مدل مبتنی بر شبکه های عصبی‬
‫‪1‬‬ ‫‪Laser Crack Measurement System‬‬
‫‪2‬‬ ‫‪Mean Texture Depth‬‬

‫‪4580‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫شکل ‪ :4‬ساختار کلی شبکههای عصبی پیچشی‬

‫شکل ‪ .4‬ساختار کلی شبکه های عصبی پیچشی‬
‫‪Fig. 4. The stracture of the convolutional neural network‬‬
‫‪Fig. 4. The stracture of the convolutional neural network‬‬

‫کننده ویژگی ها و (‪ )2‬دسته بندی کننده تشکیل شده است‪ .‬بخش استخراج‬ ‫پیچشی برای تشخیص وقوع خرابی قیرزدگی در تصاویر روسازی بکار گرفته‬
‫ویژگی از چندین الیه تشکیل شده است که وظیفه استخراج و خالصه سازی‬ ‫می شود‪.‬‬
‫اطالعات موجود در تصویر را بر عهده دارند‪ .‬الیه های پیچشی‪ 1‬و ترکیب‪ 2‬از‬ ‫در بخش دوم‪ ،‬تصاویری که در بخش اول دارای قیرزدگی تشخیص‬
‫اصلی ترین الیه های تشکیل‌دهنده این بخش به شمار می روند [‪.]44 ,43‬‬ ‫داده شده اند وارد یک فرآیند پردازش تصویر مبتنی بر تبدیل موجک می‬
‫هر الیه پیچشی معمو ًال دارای چند طرح‌واره است که از اعمال فیلترهای‬ ‫شوند‪ .‬هدف این فرآیند‪ ،‬تفکیک نواحی خرابی است که برای این منظور‪ ،‬ابتدا‬
‫مختلف روی داده ورودی به دست آمده است‪ .‬با انجام عملیات پیچش‬ ‫یک پیش پردازش متشکل از عملیات تسهیم هیستوگرام و هموارسازی روی‬
‫(‪ )convolution‬مطابق رابطه (‪ ،)1‬هر یک از طرح‌واره ها‪ 3‬به وسیله‬ ‫تصویر اعمال می شود‪ .‬سپس با استفاده از یک فیلتر مبتنی تبدیل موجک‬
‫حرکت یک کرنل یا فیلتر روی ورودی الیه ایجاد می شود و برای استخراج‬ ‫نواحی دارای خرابی مشخص می شوند و در آخر یک فرآیند پس‌پردازش‬
‫یک ویژگی مشخص از ورودی به وجود آمده است‪ .‬یکسان بودن کرنل‬ ‫متشکل از آستانه گذاری و عملگرهای مورفولوژیک به منظور بهبود کیفیت‬
‫اعمال شده برای ایجاد یک طرح‌واره موجب اشتراک گذاری وزنها و کاهش‬ ‫نتایج استفاده می شود‪.‬‬
‫قابل توجه تعداد پارامترهای یادگیری مدل خواهد شد [‪.]44 ,43‬‬ ‫در سامانه پیشنهاد شده‪ ،‬مدل مبتنی بر شبکه های عصبی پیچشی و‬
‫روش تبدیل موجک به عنوان دو ابزار اصلی در سامانه ارائه شده مورد استفاده‬
‫‪, j   I  i  m, j  n F  m, n ‬‬
‫‪ F  I i‬‬ ‫)‪(1‬‬ ‫توضیحات مختصری پیرامون مفاهیم تئوری این‬
‫(‪)1‬‬ ‫قرار گرفته اند‪ .‬در ادامه‬
‫‪m‬‬ ‫‪n‬‬ ‫‬
‫ابزارها ارائه شده است‪.‬‬
‫که در رابطه (‪)1‬؛ ‪ F‬و ‪ I‬به ترتیب بیانگر فیلتر و تصویر هستند‪ i .‬و ‪j‬‬
‫هستند ‪x,‬که( ‪1‬بر‪f k‬روی‬
‫فیلتری‪y) V‬‬ ‫مختصات پیکسل تصویر و ‪D m‬و ‪ n‬ابعاد‪ V‬کرنل ‪H‬یا‬
‫‪k  Wk  Wk  Wk‬‬
‫پیچشی‬
‫‪3- 1-‬شبکه های عصبی (‪)2‬‬
‫تصویر اعمال می شود‪.‬‬ ‫شبکه‌های عصبی پیچشی نوع خاصی از مدل‌های یادگیری عمیق‬
‫‌واره ها‪ V‬در‬
‫ح‪2‬‬
‫سازی و کاهش ابعاد طر‪ k‬‬
‫‪‬‬ ‫‪k‬‬ ‫فشرده‪m,n LLk  m, n   2k x ‬‬
‫هدف ‪m   ‬‬
‫تنها ‪n‬با‪2 k y ‬‬
‫‪‬‬ ‫الیه ترکیب‬ ‫هستند‪ .‬قابلیت استخراج و خالصه سازی خودکار الگوها از ویژگیهای‬
‫‪‬‬‫‪ W‬با‬
‫سازی‬
‫‪k‬‬
‫‪H‬‬
‫فشرده‪2‬‬
‫‪k‬‬
‫این‪m,‬‬
‫گیرند‪HLk.‬‬
‫می‪ m, n ‬‬
‫قرار‪  2‬‬
‫‪k‬‬
‫پیچشی‪x ‬‬
‫عصبی‪m   2‬‬
‫‪k‬‬
‫های‪y  n ‬‬ ‫ساختار شبکه‬ ‫متمایزکننده این دسته از مدلها در بین سایر مدلهای یادگیری ماشین در کار‬
‫(‪)3‬‬
‫‪n‬‬

‫‪‬‬‫اعمال یک‪W‬تابع‬
‫‪LH‬ها‪m,n‬و‪2 ‬‬
‫‪k‬‬
‫‪V‬‬
‫‌واره‬
‫‪k‬‬
‫حرکت یک ناحیه محلی با ابعاد مشخص روی طرح‬
‫‪k  m, n   2 x  m    2 y  n ‬‬
‫‪k‬‬ ‫‪k‬‬
‫با داده ها (به ویژه تصاویر) به شمار میرود‪ .‬این ویژگی شبکه های عصبی‬
‫‪‬‬‫‪WkD 2 k  m,n HH k  m, n   2 k x  m   2 k y  n ‬‬ ‫پیچشی را به یک ابزار قدرتمند برای ساخت مدلهای تشخیص اشیاء و‬
‫‪1 Convolutional‬‬ ‫استخراج الگوها تبدیل کرده است [‪.]43‬‬
‫‪k  i, j    l  m  2i  l  n  2 j  LLk 1  m, n ‬‬
‫‪2 LLPooling‬‬
‫‪3 Feature Map‬‬ ‫‪m,n‬‬ ‫مطابق شکل ‪ ،4‬ساختار این مدلها به طور کلی از دو بخش (‪ )1‬استخراج‬
‫‪HLk  i, j  ‬‬ ‫‪ h  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬

‫(‪)4‬‬
‫‪m,n‬‬

‫‪LH k  i, j  ‬‬ ‫‪ l  m  2i  h  n  2 j  LL  m, n ‬‬

‫‪k 1‬‬
‫‪m,n‬‬ ‫‪4581‬‬
‫‪HH k  i, j  ‬‬ ‫‪ h  m  2i  h  n  2 j  LL  m, n ‬‬
‫‪m,n‬‬
‫‪k 1‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫شکل ‪ :5‬ساختار مدل از پیش تعلیم یافته ‪]55 ,44[ AlexNet‬‬

‫شکل ‪ .5‬ساختار مدل از پیش تعلیم یافته ‪]50 ,49[ AlexNet‬‬
‫‪Fig. 5. The stracture of AlexNet model [49, 50].‬‬
‫‪Fig. 5. The stracture of AlexNet model [49, 50].‬‬

‫بر طرف کرده است [‪.]48-46 ,15‬‬ ‫بر اطالعات قرار گرفته در ناحیه محلی صورت می گیرد‪ .‬توابع میانگین گیری‬
‫در روش انتقال یادگیری‪ ،‬تنها بخشی از ساختار شبکه های از پیش تعلیم‬ ‫و انتخاب بیشینه از جمله توابع پرکاربرد در عملیات ترکیب هستند‪ .‬انجام این‬
‫یافته بر اساس داده‌های جدید مورد باز تعلیم قرار می گیرند و این امر امکان‬ ‫عملیات موجب کاهش پارامترهای یادگیری مدل می شود و با توجه به اینکه‬
‫ساخت مدل در زمان کمتر و با تعداد داده‌های کمتر و با صرف توان پردازشی‬ ‫پیچیدگی مدل کاهش می یابد‪ ،‬احتمال بروز اضافه برازش نیز کاهش می‬
‫کمتر فراهم می‌آورد‪ .‬به عبارت دیگر در انتقال یادگیری از قابلیت یادگیری‬ ‫یابد [‪.]44 ,43‬‬

‫و استخراج ویژگی‌ها اساسی در شبکه های از پیش تعلیم یافته برای تعلیم‬ ‫تعداد و ترتیب قرارگیری این الیه ها به ساختار مدل بستگی دارد و پس‬

‫مجدد شبکه بر اساس داده‌های جدید استفاده می شود [‪.]48-45 ,15‬‬ ‫از قرار گیری چندین الیه پیچشی و ترکیب در بخش اول‪ ،‬امکان استخراج و‬
‫خالصه سازی خودکار الگوهای مهم فراهم می شود‪ .‬در بخش دوم با اعمال‬
‫در این پژوهش‪ ،‬از قابلیت استخراج ویژگی شبکه از پیش تعلیم یافته‬
‫یک مدل دسته بندی کننده نظیر ماشین بردار پشتیبان‪ ،‬شبکه عصبی‪ ،‬درخت‬
‫‪ AlexNet‬که یکی از شبکه های پرکاربرد در استخراج ویژگی از تصاویر و‬
‫تصمیم بر روی اطالعات استخراج شده‪ ،‬امکان تشخیص و دسته بندی اشیاء‬
‫تشخیص اشیا است‪ ،‬استفاده شده است و با بکارگیری روش انتقال یادگیری‪،‬‬
‫در تصاویر فراهم می شود‪ .‬مطابق شکل ‪ ،4‬در شبکه های عصبی پیچشی‬
‫بخش دسته بندی‌کننده شبکه بر اساس ویژگیهای استخراج شده از تصاویر‬
‫اغلب از شبکه عصبی معمولی دو یا سه الیه در بخش دوم استفاده می شود‬
‫روسازی‪ ،‬مورد تعلیم مجدد قرار می گیرد‪.‬‬
‫که تحت عنوان الیه‌های دارای اتصال کامل‪ 1‬شناخته می شوند [‪.]45-43‬‬
‫مدل از پیش تعلیم یافته ‪ AlexNet‬یکی از مدل های مبتنی بر شبکه‬
‫با توجه به پیچیدگی ساختار مدل و زیاد بودن تعداد پارامترهای یادگیری‪،‬‬
‫های عصبی پیچشی است‪ .‬همان‌طور که در شکل ‪ 5‬نمایش داده شده است‪،‬‬
‫دست‌یابی به یک ساختار بهینه کار دشوار و زمان‌بری است‪ .‬عالوه بر این‪،‬‬
‫ورودی این مدل یک تصویر سه کاناله (‪ )RGB2‬با ابعاد ‪ 277‬در ‪277‬‬
‫فرآیند تعلیم پارامترهای یادگیری چنین مدلهایی نیازمند حجم انبوهی از‬
‫پیکسل است‪ .‬معماری این شبکه شامل ‪ 8‬الیه است که ‪ 5‬الیه در بخش‬
‫داده است که معمو ًال در مسائل پیشرو در شاخه مهندسی‪ ،‬جمع آوری حجم‬
‫استخراج ویژگی و از نوع الیه های پیچشی هستند‪ .‬هر یک از این الیه ها‬ ‫عظیمی از داده‪ ،‬هزینه و زمان زیادی نیاز دارد‪ .‬روش انتقال یادگیری یکی از‬
‫در بردارنده تعدادی طرح‌واره بوده که بر اساس فیلترهای مختلف ایجاد می‬ ‫روش های پرکاربرد در یادگیری ماشین است که این مشکل را تا حد زیادی‬
‫شوند‪ 3 .‬الیه دیگر از نوع اتصال کامل هستند که عملیات ساخت مدل دسته‬
‫‪2‬‬ ‫‪Red-Green-Blue‬‬ ‫‪1‬‬ ‫‪Fully Connected Layers‬‬

‫‪4582‬‬
 ‫‪‬‬‫‪WkH 2 k  m,n HLk  m, n    2 k x  m   2 k y  n ‬‬
‫(‪)3‬‬
‫‪‬‬‫‪WkV 2 k  m,n LH k  m, n   2 k x  m    2 k y  n ‬‬
‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬
‫‪‬‬‫‪WkD 2 k  m,n HH k  m, n   2 k x  m   2 k y  n ‬‬

‫بندی بر اساس الگوهای استخراج شده را انجام می دهد‪ .‬ساختار مدل در‬
‫‪LLk  i, j  ‬‬ ‫‪ l  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬
‫‪m,n‬‬ ‫مجموع دارای حدود ‪ 61‬میلیون پارامتر است که بر اساس یک پایگاه داده‬
‫‪HLk  i, j  ‬‬ ‫‪ h  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬
‫عظیم متشکل از ‪ 1/2‬میلیون تصویر در پایگاه ‪ ،ImageNet‬به منظور‬
‫‪m,n‬‬ ‫)‪(4‬‬ ‫(‪)4‬‬
‫‪LH k  i, j  ‬‬ ‫‪ l  m  2i  h  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬
‫‬ ‫تشخیص و دسته بندی تصاویر در ‪ 1000‬دسته‪ ،‬تعلیم یافته است [‪.]50 ,49‬‬
‫‪m,n‬‬

‫‪HH k  i, j  ‬‬ ‫‪ h  m  2i  h  n  2 j  LL  m, n ‬‬

‫‪k 1‬‬
‫‪m,n‬‬ ‫‪3- 2-‬تبدیل موجک‬
‫تبدیل موجک یک ابزار ریاضی کاربردی در پردازش های یک بعدی‬
‫‪N‬‬ ‫(سیگنال) (و‪)5‬دو بعدی (تصاویر) است‪ .‬از آنجایی که ابزار تبدیل موجک‪،‬‬
‫در مجموعه روابط (‪ LH k ، HLk ، LLk ،)3‬و ‪ HH k‬طرح‪i ‬های‬
‫‪n‬‬
‫نرمال شده و متعامد در فضاهای ‪ Wk ، Wk ، Vk‬و ‪ Wk‬هستند که‬
‫‪D‬‬ ‫‪V‬‬ ‫‪H‬‬
‫پردازش تصاویر را با توجه به خصوصیات تصویر در حوزه فرکانس انجام می‬
‫دهد‪ ،‬با بهره گیری از این ابزار می توان تصویر را به چند زیر بخش فرکانسی ‪ 1‬مطابق مجموعه روابط (‪ )4‬تعیین می شوند‪.‬‬
‫‌کننده ‪M s ,k ‬‬
‫ص‪p, q ‬‬ ‫سپس با استفاده فیلترهای پایین گذر و باال گذر می توان دو ‪ HL  p, q   LH kSl p, q   HH kS  p, q    N  R‬‬
‫مشخ ‪‬‬ ‫‪S‬‬ ‫(‪)6‬‬
‫تجزیه نمود‪.‬‬
‫فیلترهای‬ ‫در مجموعه روابط (‪ ،)4‬و ‪ h‬به ترتیب ‪‬‬
‫‪k‬‬ ‫‪‬‬
‫پایین‌گذر‪ 1‬و باالگذر‪ 2‬هستند و ‪ LL0‬بیانگر تصویر اصلی قبل شروع فرآیند‬ ‫دسته از مقادیر (فرکانس باال وپایین) را استخراج نمود که هریک می توانند‬

‫‪Accuracy ‬‬
‫‪TP  TN‬‬ ‫تجزیه است‪.‬‬ ‫به ترتیب بیانگر بخش های پیش‌زمینه و پس‌زمینه در تصویر باشند‪ .‬در آخر‬
‫‪TP  TN  FP  FN‬‬ ‫(‪)7‬‬
‫همان‌طورکه پیشتر گفته شد‪ ،‬با انجام فرآیند تجزیه به کمک تبدیل‬ ‫پس از اعمال تغییرات بر اجزای تجزیه شده‪ ،‬میتوان اطالعات مورد نظر در‬
‫ویولت‪ ،‬زیرگروه های فرکانس باال و فرکانس پایین از تصویر استخراج خواهد‬ ‫تصویر را استخراج و بازسازی نمود‪.‬‬
‫‪TP‬‬ ‫تبدیل موجک‪ ،‬تصویر مطابق رابطه (‪ )2‬به زیر چند زیر بخش‬
‫‪Sensitivity‬های‬
‫‪ HH‬زیرگروه‬‫شد‪ .‬با توجه به مجموعه روابط (‪ LH k ، HLk ،)4‬و ‪ k‬‬ ‫در فرآیند(‪)8‬‬
‫‪TP  FN‬‬ ‫‪, j   I  i  m, j  n F  m, n ‬‬
‫‪ F  I i‬‬
‫تجزیه‪m‬کرد که ‪ ، k‬سطح تجزیه یا‬
‫در فضاهای ‪ Wk ، Wk ، Vk‬و ‪n Wk‬‬
‫‪D‬‬ ‫‪V‬‬ ‫‪H‬‬
‫فرکانس باال به ترتیب در جهت های افقی‪ ،‬قائم و قطری هستند و ‪LLk‬‬
‫زیرگروه فرکانس پایین را مشخص می کند [‪.]52 ,36‬‬ ‫تعداد تجزیه ها را بیان میکند [‪.]51 ,39 ,22‬‬
‫‪TP‬‬
‫‪Precision ‬‬ ‫(‪)9‬‬
‫‪ TP‬های فرکانس باال‬
‫زیرگروه‬
‫در تحقیقات مختلف مشخص شده است که‪ FP‬‬

‫اغلب بیانگر جزئیات موجود در تصویر برداشت شده از روسازی مانند خرابیها‬ ‫‪f k 1 ( x, y) Vk  WkH  WkV  WkD‬‬ ‫)‪(2‬‬
‫‬
‫هستند و زیر گروه فرکانس پایین مربوط به اجزای پیش‌زمینه تصویر است‪.‬‬
‫بر این اساس می توان با طراحی ماژول هایی با هدف اعمال تغییرات بر روی‬
‫‪‬‬‫‪ kF  I2k ‬‬
‫‪V‬‬ ‫‪i‬‬
‫‪k‬‬
‫‪‬‬
‫‪, j LL  m, n I 2i‬‬
‫‪k m, j  nkF  m, n ‬‬
‫‪x  m  2 y  n ‬‬
‫زیرگروه های فرکانس باال‪ ،‬اجزای مورد نظر را از تصویر استخراج نمود و‬ ‫مختصات‬ ‫پیکسل موجود ‪ k‬در‬ ‫بیانگر مقدار‬ ‫در رابطه (‪f ( x, y ) k ،)2‬‬
‫‪m,n‬‬
‫‪m n‬‬
‫‪‬‬‫‪Wk 2‬‬ ‫‪H‬‬
‫‪ HL  m, n   2 x  m  2 y  n ‬‬
‫‪k‬‬
‫‪ k k −1‬‬

‫سپس در فرآیند ترکیب که معکوس فرآیند تجزیه است‪ ،‬تصویر پردازش شده‬ ‫است و مقادیر ) ‪ k f 0 ( x, y‬بیانگر ‪V‬مقادیر‬ ‫) ‪ ( x, y‬در سطح ‪ k‬تجزیه ‪ k‬ام‬
‫‪m, n‬‬

‫‪‬‬ ‫‪W‬‬ ‫‪2  LH  m, n   2 x  m    2 y  n ‬‬

‫‪k‬‬

‫را بازسازی کرد [‪.]53 ,39 ,3‬‬ ‫پیکسل های تصویر اصلی هستند‪ .‬هریک از مولفه های رابطه (‪ )2‬بر اساس‬
‫‪k‬‬ ‫‪m, n‬‬ ‫‪k‬‬

‫‪‬‬ ‫‪Wf ( x2, y‬‬

‫‪k 1‬‬
‫‪D‬‬
‫می‪) V‬‬
‫شوند‪.‬‬
‫‪k‬‬ ‫‪ m,Hn W‬‬
‫‪k‬‬
‫‪HH W‬‬ ‫‪W‬به‪ 2kV x‬‬
‫صورت‪‬زیر ‪k‬تعیین ‪k‬‬
‫‪m,n‬‬ ‫‪k‬‬ ‫‪mD  2 y  n ‬‬
‫‪k‬‬

‫هسته های موجک ( ‪ ϕ‬و ‪)ψk‬‬

‫‪k‬‬

‫‪4-‬پیاده سازی سامانه‬

‫‪LLk  i, j    l  m  2i  l  n  2 j  LLk 1  m, n ‬‬
‫در این بخش‪ ،‬روند پیاده سازی سامانه پیشنهادی در دو بخش اصلی‬
‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  n ‬‬
‫‪m,n‬‬
‫‪‬‬ ‫‪Vk‬‬
‫تشریح خواهد شد‪ .‬در ابتدا توضیحات مرتبط با فرآیند ساخت مدل تشخیص‬ ‫‪HLk  i, j    h  m  2i  l  n  2 j  LLk 1  m, n ‬‬
‫‪‬‬ ‫‪WkH 2 k  mm,n,nHLk  m, n    2 k x  m   2 k y  n ‬‬
‫خرابی قیرزدگی ارائه می شود و سپس روند ایجاد یک روش پردازش تصویر‬ ‫)‪(3‬‬
‫‪WkV k  2 k  m‬‬ ‫‪LHk  m, n ‬‬
‫‪LH i, j ‬‬ ‫‪l m  2i  h  n k 2 j  LLk 1k m, n ‬‬
‫‪‬‬ ‫‪n ,n‬‬
‫‪,m‬‬ ‫‪ 2 x  m  2 y  n ‬‬ ‫‬
‫مبتنی بر تبدیل موجک برای تفکیک نواحی قیرزده در تصاویر روسازی‬
‫‪‬‬‫‪HH‬‬
‫‪W‬‬ ‫‪D‬‬
‫‪i, kj   m,‬‬
‫‪k k 2 ‬‬ ‫‪ m, n2i h 2 nk x 2 mj LL‬‬
‫‪h k m‬‬
‫‪HH‬‬ ‫‪ k21k m‬‬
‫‪y , nn‬‬
‫توضیح داده خواهد شد‪.‬‬
‫‪n‬‬
‫‪m,n‬‬

‫‪LLk  i, j  ‬‬
‫‪N‬‬
‫‪ l  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪m,n‬‬
‫‪k 1‬‬
‫‪1‬‬ ‫‪Low-Pass filter‬‬ ‫‪i‬‬
‫‪2‬‬ ‫‪High-Pass filter‬‬ ‫‪ i, j  ‬‬
‫‪HLk n‬‬ ‫‪ h  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪m,n‬‬
‫‪k 1‬‬

‫‪LH k  i, j  ‬‬
‫‪m,n‬‬
‫‪ l  m  2i  h  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬
‫‪1‬‬

‫‪ HL‬‬
‫‪HHs ,k  ip, ,jq  ‬‬ ‫‪k p2‬‬
‫‪, qi h nLH‬‬
‫‪ 2k j pLL‬‬ ‫‪m, nk  p, q    N ‬‬
‫‪, q  HH‬‬
‫‪4583‬‬ ‫‪M‬‬ ‫‪‬‬ ‫‪hm‬‬
‫‪S‬‬ ‫‪S‬‬ ‫‪S‬‬
‫‪‬‬ ‫‪R‬‬
‫‪k‬‬ ‫‪k 1‬‬
‫‪m,n‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫انجام می شود‪ .‬از این رو برای بهبود عملکرد مدلها‪ ،‬وضوح و کیفیت تصاویر‬ ‫‪4- 1-‬تشخیص قیرزدگی‬
‫از اهمیت باالیی برخوردار است و با بکارگیری یک فرآیند پیش‌پردازش ارتقاء‬ ‫در این پژوهش‪ ،‬به منظور ارائه یک سامانه مبتنی بر تصویر برای‬
‫داده شده است‪ .‬همان‌طور که در شکل ‪ 6‬نشان داده شده است‪ ،‬ابتدا باید‬ ‫تشخیص خرابی قیرزدگی از مدلهای مبتنی بر یادگیری عمیق استفاده شده‬
‫بخشی از تصاویر که جزئیات روسازی در آن به خوبی ثبت شده است (این‬ ‫است‪ .‬اولین گام برای ایجاد این مدلها‪ ،‬جمع آوری و آماده سازی یک پایگاه‬
‫ناحیه با توجه به یکسان بودن کیفیت برداشت تصویر و ارتفاع نصب دوربین‪،‬‬ ‫داده غنی است‪ .‬داده های بکار گرفته شده برای ساخت یک مدل‪ ،‬تأثیر زیادی‬
‫تا حد زیادی ثابت است) برش داده شود‪ .‬برای این منظور ناحیه مشخص‬ ‫بر عملکرد مدل دارند‪ .‬از این رو به منظور کاهش احتمال بروز مشکالتی نظیر‬
‫شده در شکل ‪ 6‬بخش ‪ ،1‬به صورت خودکار از تصاویر برش داده می شود‪.‬‬ ‫اضافه برازش و تعلیم ناقص مدلها‪ ،‬سعی شده است که یک پایگاه داده‬
‫در ادامه ناحیه برش داده شده به مقیاس خاکستری تبدیل می شود (شکل‬ ‫متشکل از تصاویر روسازی با تنوع باال و تعداد مناسب جمع آوری شود‪.‬‬
‫‪ 6‬بخش ‪.)3‬‬ ‫الزم به ذکر است که تعداد داده مورد نیاز برای بازتعلیم شبکه به روش‬
‫سپس با بکارگیری تسهیم هیستوگرام (شکل ‪ 6‬بخش ‪ ،)4‬مقادیر‬ ‫پیاده سازی تکنیک انتقال یادگیری بستگی دارد‪ .‬به طوری که هرچه نسبت‬
‫روشنایی پیکسل ها محدوده گسترده تری از مقادیر را پوشش خواهد داد که‬ ‫بخش هایی از مدل که در فرآیند بازتعلیم شرکت داده می شوند افزایش یابد‪،‬‬
‫نتیجه این امر‪ ،‬ایجاد تصاویری با کنتراست و وضوح باالتر خواهد بود‪ .‬در این‬ ‫به تعداد داده بیشتری برای فرآیند بازتعلیم نیاز خواهد بود‪.‬‬
‫عملیات‪ ،‬مقدار پیکسل های تصویر در بازه صفر تا یک نرمال می شوند و‬ ‫در این پژوهش تمامی الیه های مربوط به بخش استخراج ویژگی مدل‬
‫تابع چگالی احتمال مقدار پیکسلها تعیین میگردد و سپس با اعمال یک تابع‬ ‫بدون تغییر بکار گرفته شده اند و در عملیات بازتعلیم شرکت داده نشده‌اند‬
‫انتقال روی مقدار پیکسل ها‪ ،‬مقدار جدید پیکسل های تصویر مشخص می‬ ‫و فقط بخش دسته بندی‌کننده مدل در فرآیند بازتعلیم شرکت داده است‪ .‬از‬
‫شود‪ .‬الزم به ذکر است که در این فرآیند‪ ،‬تابع توزیع تجمعی مقدار پیکسل‬ ‫این رو‪ ،‬تعداد داده های مورد نیاز برای عملیات بازتعلیم مدل تا حد زیادی‬
‫ها به عنوان تابع انتقال مورد استفاده قرار می گیرد [‪ .]51‬در شکل ‪ 7‬جزئیات‬ ‫کاهش می یابد‪.‬‬
‫فرآیند تسهیم هیستوگرام تصاویر نمایش داده شده است‪.‬‬ ‫با بررسی مطالعات گذشته می توان دریافت‪ ،‬در مواردی که شیوه‬
‫پس از انجام فرآیند آماده سازی پایگاه داده‪ ،‬بخشی از تصاویر باید به‬ ‫بکارگیری تکنیک انتقال یادگیری مشابه با شیوه بکار گرفته شده در پژوهش‬
‫عملیات تعلیم و اعتبارسنجی و بخش دیگر به عملیات ارزیابی مدل اختصاص‬ ‫حاضر است‪ ،‬تعداد داده های استفاده شده در محدوده ‪ 1000‬تا ‪ 2000‬تصویر‬
‫داده شوند‪ .‬در مسائل یادگیری ماشین‪ ،‬فرآیند تقسیم پایگاه داده برای عملیات‬ ‫بوده است‪ ،‬به طوری که گااُ و مساالم [‪ ]54‬در پژوهش خود از تکنیک‬
‫تعلیم و ارزیابی مدل باید به گونه ای باشد که از یک سو تعداد داده مناسب‬ ‫یادگیری عمیق با بکارگیری ‪ 2000‬تصویر‪ ،‬مدلی جهت تشخیص خرابی‬
‫برای عملیات تعلیم مدل فراهم شود و از سوی دیگر تعداد داده های ارزیابی‬ ‫های ساختمان ارائه کردهاند‪ .‬همچنین گپاالکریشنان و همکاران [‪ ]45‬در‬
‫مدل به میزانی باشد که بتوان با سطح اطمینان مناسب عملکرد مدل را مورد‬ ‫پژوهش خود به منظور ایجاد مدل تشخیص ترک های روسازی‪ ،‬از تکنیک‬
‫بررسی قرار داد‪ .‬میزان محدودیت در پایگاه داده از جمله مهمترین عوامل‬ ‫انتقال یادگیری بر اساس ‪ 1056‬تصویر استفاده کرده اند‪.‬‬
‫اثرگذار بر فرآیند تقسیم پایگاه داده به شمار میرود؛ به طوری که هرچه‬ ‫در این پژوهش یک پایگاه داده متشکل از ‪ 1540‬تصویر با رزولوشن‬
‫محدودیت در جمع آوری داده کمتر باشد‪ ،‬نسبت داده های اختصاص داده‬ ‫‪ 2480 × 970‬پیکسل از روسازی های دارای خرابی قیرزدگی و بدون خرابی‬
‫شده به فرآیند تعلیم و ارزیابی مدل‪ ،‬یکسان (‪ )50-50‬در نظر گرفته خواهد‬ ‫قیرزدگی جمع آوری شده است‪ .‬الزم به توضیح است که با توجه به ماهیت‬
‫شد‪.‬‬ ‫خرابی قیرزدگی‪ ،‬احتمال وقوع آن در مناطق گرمسیری بیشتر از سایر مناطق‬
‫از سوی دیگر هرچه محدودیت در جمع آوری داده بیشتر باشد‪ ،‬بخش‬ ‫است‪ .‬به همین دلیل در این پژوهش‪ ،‬عملیات جمع آوری داده از جاده های‬
‫عمده داده ها باید به فرآیند تعلیم اختصاص پیدا کند؛ زیرا فرآیند تعلیم مدل‬ ‫اصلی در محورهای موجود در مناطق گرم نظیر محورهای ایرانشهر‪-‬چابهار‪،‬‬
‫باید تعداد داده مناسب انجام شود و در غیر این صورت مدل به مشکل تعلیم‬ ‫رستم آباد‪-‬چابهار و اردکان‪-‬نایین انجام شده است و به طور متوسط در هر‬
‫ناقص دچار خواهد شد‪ .‬از سوی دیگر باید به این نکته توجه شود که اگر‬ ‫‪10‬یک تصویر از روسازی برداشت شده است‪.‬‬
‫تعداد داده های تست خیلی کم باشد‪ ،‬نمی توان با اطمینان کافی عملکرد‬ ‫در مدلهای یادگیری عمیق‪ ،‬استخراج الگو از دادها به صورت خودکار‬

‫‪4584‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫هیستوگرام‪.‬‬
‫تسهیمتسهیم‬ ‫نتیجه‬
‫‪ )4‬نتیجه‬ ‫خاکستری‪)4 ،‬‬
‫خاکستری‪،‬‬ ‫مقیاس مقیاس‬ ‫)تصویر در‬
‫‪)3‬تصویر در‬ ‫بررسی‪1 ،‬‬
‫بررسی‪،‬‬ ‫)ناحیه مورد‬
‫‪)2‬ناحیه مورد‬ ‫‪)1‬تصویر‪ 2‬اولیه‪،‬‬
‫)تصویر اولیه‪،‬‬
‫پایگاه‪ 1‬داده‪.‬‬
‫سازیداده‪.‬‬
‫آماده پایگاه‬
‫فرآیندسازی‬
‫فرآیند آماده‬
‫شکل ‪:6‬شکل ‪.6‬‬
‫‪Fig. 6. Dataset prepration process; 1) initial image,‬‬ ‫‪2) region of intrest, 3) gray scale image, 4) histogram‬‬
‫هیستوگرام‪.‬‬
‫‪equalization‬‬
‫‪Fig. 6. Dataset prepration process; 1) initial image, 2) region of intrest, 3) gray scale image, 4) histogram‬‬
‫‪equalization‬‬

‫بر اساس پایگاه داده جمع آوری شده مورد تعلیم قرار خواهد گرفت و بخش‬ ‫مدل را بررسی نمود‪.‬‬
‫استخراج کننده ویژگیها بدون تغییر باقی خواهد ماند‪.‬‬ ‫در پژوهش حاضر‪ ،‬با توجه به اینکه پایگاه داده بسیار گسترده ای از‬
‫در این پژوهش با استفاده از روش انتقال یادگیری‪ ،‬بخش اعظم شبکه‬ ‫تصاویر روسازی دارای قیرزدگی در دسترس نبود‪ ،‬تالش شد که تعداد داده‬
‫‪ AlexNet‬که مربوط به استخراج ویژگی است در فرآیند تعلیم تغییر‬ ‫مناسب برای عملیات تعلیم و تست فراهم شود؛ به طوری که هم عملیات‬
‫نخواهد کرد (شکل ‪ )9‬و تعداد پارامترهای یادگیری به طور قابل توجهی‬ ‫تعلیم بدون نقص انجام شود و هم داده های تست به مقداری باشد که‬
‫کاهش خواهد یافت‪ .‬این موضوع موجب می شود تا بتوان با تعداد داده و‬ ‫بتوان با سطح اطمینان مناسبی عملکرد مدل را بررسی نمود‪ .‬بر این اساس‪،‬‬
‫زمان کمتر و همچنین توان پردازشی پایینتر‪ ،‬مدل را بر اساس تصاویر جدید‬ ‫همان‌طور که در جدول ‪ 1‬نشان داده شده است‪ 1000 ،‬داده از ‪ 1540‬داده‬
‫بکار گرفت‪.‬‬ ‫(‪ 65‬درصد) به عملیات تعلیم و اعتبارسنجی اختصاص داده شد که با توجه به‬
‫ل به کمک تکنیک انتقال یادگیری‪،‬‬
‫پیش از آغاز فرآیند بازتعلیم مد ‌‬ ‫تکنیک انتقال یادگیری بکار گرفته شده و مطالعات گذشته‪ ،‬مقدار مناسبی به‬
‫باید برخی از پارامتر‌های مؤثر در روند یادگیری تعیین شوند که از آن جمله‬ ‫نظر می رسد‪ .‬همچنین ‪ 540‬داده از ‪ 1540‬داده (‪ 35‬درصد) به فرآیند تست‬
‫می‌توان به تعداد دوره‌ها‪ ،‬تعداد داده در هر تکرار‪ ،‬تعداد تکرار‪ ،‬نرخ یادگیری‬ ‫مدلها اختصاص داده شد و می توان با سطح اطمینان مناسبی عملکرد مدل‬
‫و مقدار تکانه اشاره نمود‪ .‬در ادامه توضیحاتی پیرامون تنظیم این پارامتر‌ها‬ ‫را بررسی نمود‪.‬‬
‫ارائه شده است‪.‬‬ ‫نمونه هایی از تصاویر آماده سازی شده برای انجام فرآیند تعلیم و ارزیابی‬
‫تعداد دوره‌های یادگیری به تعداد دفعاتی که تمامی داده‌های تعلیم‬ ‫مدل در شکل ‪ 8‬ارائه شده است‪.‬‬
‫در روند یادگیری مدل‌ها بکار گرفته می‌شوند‪ ،‬اطالق می‌شود‪ .‬در صورتی‬ ‫به منظور ساخت مدل تشخیص قیرزدگی از روش انتقال یادگیری‬
‫که تعداد دوره‌ها زیاد در نظر گرفته شوند‪ ،‬سبب بروز مشکالتی نظیر اضافه‬ ‫استفاده شده است‪ .‬در این روش شبکه عصبی پیچشی از پیش تعلیم یافته‬
‫برازش و افزایش زمان پردازش می‌شود‪ .‬از سوی دیگر‪ ،‬کم بودن تعداد‬ ‫‪ AlexNet‬مورد باز تعلیم قرار گرفته است‪ .‬در این پژوهش مطابق شکل ‪،9‬‬
‫دوره‌ها سبب ناقص انجام شدن فرآیند یادگیری خواهد شد‪ .‬در این پژوهش‬ ‫بخش دسته بندی‌کننده (الیه های با اتصال کامل) مدل از پیش تعلیم یافته‬

‫‪4585‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫شکل ‪ :7‬جزئیات فرآیند تسهیم هیستوگرام ‪ )1.‬هیستوگرام تصویر اولیه‪ )2 ،‬تابع توزیع تجمعی مقدار پیکسلها‪ )1 ،‬هستوگرام تصویر نهایی‪.‬‬
‫تصویر‪7.‬نهایی‪.‬‬
‫‪Fig.‬‬ ‫‪of‬هستوگرام‬
‫‪The process‬‬ ‫‪)3histogram‬‬
‫مقدار پیکسل ها‪،‬‬ ‫تابع)‪1‬توزیع تجمعی‬
‫;‪equalization‬‬ ‫تصویر اولیه‪)2 ،‬‬
‫‪histogram‬‬ ‫هیستوگرام‬
‫‪of initial‬‬ ‫)‪)1. 2‬‬
‫‪image,‬‬ ‫هیستوگرام‬ ‫‪distribution‬تسهیم‬
‫‪cumulative‬‬ ‫‪of‬جزئیات فرآیند‬
‫‪.7 pixel‬‬
‫شکل‬
‫‪values, 3) histogram of final image‬‬
‫‪Fig. 7. The process of histogram equalization; 1) histogram of initial image, 2) cumulative distribution of pixel‬‬
‫‪values, 3) histogram of final image‬‬

‫شده‬
‫سازی شده‬
‫آماده سازی‬
‫های آماده‬ ‫‪ .1‬داده‬
‫دادههای‬ ‫جدول‬
‫جدول ‪:1‬‬
‫‪Table‬‬ ‫‪1. Preprade‬‬
‫‪Table 1.‬‬ ‫‪Preprade data‬‬‫‪data‬‬

‫قیرزدگی‪.‬‬
‫خرابی قیرزدگی‪.‬‬
‫دارای خرابی‬
‫ب) دارای‬
‫قیرزدگی ب)‬ ‫بدون خرابی‬
‫خرابی قیرزدگی‬ ‫الف) بدون‬
‫مدل‪ ،‬الف)‬
‫ارزیابی مدل‪،‬‬
‫تعلیم وو ارزیابی‬
‫فرآیندتعلیم‬
‫استفادهدردرفرآیند‬
‫مورداستفاده‬
‫تصاویرمورد‬
‫هاییازازتصاویر‬
‫نمونههایی‬
‫شکل‪.8:8‬نمونه‬
‫شکل‬
‫‪Fig. 8. Examples of train and test image; a) image without bleeding, b) image with bleeding‬‬
‫‪Fig. 8. Examples of train and test image; a) image without bleeding, b) image with bleeding‬‬

‫‪4586‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫‪, j   I  i  m, j  n F  m, n ‬‬
‫‪ F  I i‬‬
‫‪m‬‬ ‫‪n‬‬
‫یادگیری‬
‫انتقال یادگیری‬ ‫شکل‪.9:4‬فرآیند‬
‫فرآیند انتقال‬ ‫شکل‬
‫‪Fig. 9. Transfer learning process‬‬
‫‪Fig. 9. Transfer learning process‬‬

‫‪f k 1 ( x, y) Vk  WkH  WkV  WkD‬‬

‫دوره یادگیری‪ ،‬در کل فرآیند یادگیری ‪ 800‬تکرار باید انجام شود‪ .‬الزم به‬ ‫همان‌طور با بررسی روند تعلیم مدل‌ها می‌توان گفت که نرخ خطا و دقت‬
‫‪‬‬‫‪Vk‬‬ ‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  nً ‬‬
‫ذکر است که اگر تعداد تکرار خیلی زیاد باشد‪ ،‬منجر به اضافه برازش و‬ ‫مدل‌ها تقریبا بعد از ‪ 10‬دوره پایدار گشته و فرآیند یادگیری مدل‌ها به‬
‫‪‬‬
‫افزایش زمان پردازش خواهد شد‪.‬‬ ‫این‪2 ‬‬
‫پژوهش ‪Wk15‬دوره‬
‫‪H‬‬ ‫‪k‬‬
‫اساس در ‪m, n‬‬
‫‌رسند‪ 2.‬بر ‪‬‬
‫این‪HLk  m, n‬‬ ‫تکرار‪ ‬م‪m‬ی‪x ‬‬
‫دقت‪‬در‪ y‬هر‪  2‬‬
‫‪k‬‬
‫باالترین ‪n ‬‬
‫‪k‬‬

‫‪‬نرخ یادگیری‪ 1‬و مقدار تکانه‪ 2‬پارامتر‌های دیگری هستند که در نتیجه‬‫‌رسد‪WkV 2 k  m,n LH k  m, n   2 k x  m  .‬‬
‫مناسب به ‪n ‬نظر‪‬م‪y‬ی‪ 2k‬‬
‫یادگیری و سرعت همگرایی مدل تأثیر زیادی دارند‪ .‬در صورتی که مقدار‬
‫‪‬‬ ‫‪‬ل‌ها‪ 2‬باید ‪Wk‬‬
‫تعیین‬ ‫تعلیم‪ m‬مد‬
‫‪,n‬‬
‫‪D‬‬
‫عملیات‪HH‬‬
‫‪k‬‬
‫قبل از‪  2‬‬
‫شروع‪k  m, n‬‬ ‫‪xm‬‬ ‫دیگری‪‬که‬
‫مهم‪ 2 y‬‬ ‫‪‬‬
‫پارامتر‪ n‬‬
‫‪k‬‬ ‫‪k‬‬

‫نرخ یادگیری زیاد باشد موجب عدم همگرایی مدل خواهد شد و در صورتی‬ ‫شود‪ ،‬تعداد نمونه‌ها (داده‌ها) در هر تکرار است‪ .‬تعداد نمونه‌ها در هر تکرار‬
‫که خیلی کم باشد‪ ،‬سرعت همگرایی مدل تا حد زیادی کاهش پیدا میکند‬ ‫‪ LL‬در‬ ‫زیاد ‪ i,‬‬
‫نمون‪k‬ه‌ها‬ ‫‪‬‬
‫تعداد‪j  ‬‬
‫‪m,n‬‬
‫انتخاب‪l  m‬‬
‫شود‪.‬‬ ‫تعلیم‪ 2i  l‬‬
‫‌های‪ n ‬‬
‫داده‪2 j ‬‬
‫کل‪LL‬‬‫تا‪k 1 ‬‬ ‫می‌تواند بین ‪, n ‬‬
‫یک‪m‬‬

‫و احتمال یادگیری نادرست مدل افزایش می یابد‪ .‬مقدار نرخ یادگیری به و‬ ‫‪ HL‬به‬
‫مقاله‪i,‬با‪k ‬توجه‬
‫این ‪j  ‬‬
‫است‪h .‬در‪‬‬
‫قدرتمند ‪m ‬‬
‫پردازشی ‪2i  l  n‬‬ ‫سیستم‬
‫‪ 2 j  LL‬‬ ‫هر تکرار نیازمند‬
‫‪k 1  m, n ‬‬

‫صورت ثابت و متغیر قابل تعیین است و مقدار پایه معمو ًال به صورت تجربی‬
‫‪m,n‬‬
‫توان پردازشی رایانه‪ ،‬تعداد ‪ 20‬نمونه در هر تکرار درنظر گرفته شده است‪.‬‬
‫‪LH k  i, j  ‬‬ ‫‪ l  m  2i  h  n  2 j  LL  m, n ‬‬
‫‪k 1‬‬
‫بین ‪ 0/001‬تا ‪ 1‬و مقدار مومنتوم بین ‪ 0‬تا ‪ 1‬در نظر گرفته میشود‪ .‬در این‬ ‫استفاده از رابطه (‪ )5‬تعیین‬
‫‪m,n‬‬ ‫تعداد تکرار الزم برای انجام یک دوره یادگیری با‬
‫پژوهش‪ ،‬مقدار نرخ یادگیری و تکانه به ترتیب ‪ 0/001‬و ‪ 0/9‬در نظر گرفته‬
‫‪HH k  i, j  ‬‬ ‫‪ h  m  2i  h  n  2 j  LL  m, n ‬‬
‫‪m,n‬‬
‫‪k 1‬‬
‫می‌شود‪.‬‬
‫شده‌اند که در برخی از مطالعات گذشته نیز استفاده شده‌اند [‪.]55 ,46 ,18‬‬
‫مقدار پارامترهای مؤثر در فرآیند یادگیری مدلها به طور خالصه در جدول ‪2‬‬ ‫‪N‬‬ ‫)‪(5‬‬
‫‪i‬‬
‫ارائه شده است‪.‬‬ ‫‪n‬‬ ‫‬

‫‪4- 2-‬تفکیک نواحی قیرزده‬ ‫تعلیم و ‪ n‬تعداد نمونه در هر‬ ‫که در رابطه (‪ N ،)5‬تعدادکل داده‌های‬ ‫‪1‬‬
‫‪M s ,k  p, q    HLSk  p, q   LH kS  p, q   HH kS  p, q    N  R‬‬
‫در سامانه پیشنهاد شده‪ ،‬تصاویری که توسط مدل ساخته شده در مرحله‬ ‫تکرار است‪.‬‬
‫با توجه به در نظر گرفتن ‪ 20‬نمونه در هر تکرار‪ 40 ،‬تکرار برای انجام‬
‫‪1‬‬ ‫‪Learning Rate‬‬ ‫‪TP  TN‬‬
‫‪15Accuracy‬‬
‫یک دوره یادگیری متشکل از ‪ 800‬نمونه (داده) نیاز است‪ ‬و با احتساب‬
‫‪Momentum‬‬ ‫‪2‬‬ ‫‪TP  TN  FP  FN‬‬

‫‪4587‬‬ ‫‪TP‬‬
‫‪Sensitivity ‬‬
‫‪TP  FN‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫یادگیری‬
‫فرآیندیادگیری‬
‫در فرآیند‬ ‫پارامترهای مؤثر‬
‫مؤثر در‬ ‫‪ .2‬پارامترهای‬
‫جدول ‪:2‬‬
‫جدول‬
‫‪Table 2. The value of the effective factors in learning process‬‬
‫‪Table 2. The value of the effective factors in learning process‬‬

‫قیرزده‬ ‫نواحی‬
‫قیرزده‬ ‫تفکیکنواحی‬ ‫شکل‪.10:15‬فرآیند‬
‫فرآیند تفکیک‬ ‫شکل‬
‫‪Fig.Fig.‬‬
‫‪10.10.‬‬
‫‪Process‬‬ ‫‪of segmenting bleeding areas‬‬
‫‪Process of segmenting bleeding areas‬‬

‫نکته اساسی در تعیین فیلتر مناسب برای انجام فرآیند هموارسازی‪،‬‬ ‫قبل دارای خرابی قیرزدگی تشخیص داده می شوند‪ ،‬در گام بعدی وارد یک‬
‫توانایی فیلتر در حفظ لبه اشیاء و کاهش نویزهای موجود در تصویر است‪.‬‬ ‫فرآیند پردازش تصویر خواهند شد تا نواحی قیرزده در تصاویر تعیین و تفکیک‬
‫فیلتری که بیشترین نویز را حذف کند و علی‌رغم ایجاد تارشدگی تا حد‬ ‫شوند (شکل ‪ .)3‬اجزای اصلی فرآیند طراحی شده در این پژوهش و نحوه‬
‫امکان لبه اشیاء را حفظ کند‪ ،‬فیلتر مناسبی برای انجام فرآیند خواهد بود‪ .‬با‬ ‫کارکرد هر یک از بخش ها در شکل ‪ 10‬ارائه شده است‪.‬‬
‫بررسی فیلترهای مختلف‪ ،‬فیلتر مبتنی بر تابع گوسی برای این منظور بکار‬ ‫همان‌طور که در شکل ‪ 10‬نمایش داده شده است‪ ،‬بخش ابتدایی این‬
‫گرفته شده است‪.‬‬ ‫فرآیند به منظور انجام پیش‌پردازش تصاویر در نظر گرفته شده است‪ .‬در این‬
‫در فیلتر گوسی مورد استفاده‪ ،‬میزان هموارسازی تصویر در راستای‬ ‫بخش‪ ،‬به منظور بهبود توزیع مقدار پیکسلها و افزایش وضوح تصویر از روش‬
‫افقی و عمودی با پارامتر ‪ σ‬قابل تنظیم است‪ .‬در نظر گرفتن مقادیر خیلی‬ ‫تسهیم هیستوگرام استفاده شده است‪ .‬همچنین برای دست‌یابی به خروجی‬
‫بزرگ موجب از بین رفتن جزئیات تصویر می شود و از طرف دیگر در نظر‬ ‫های بهتر و دقیقتر‪ ،‬عملیات هموارسازی تصویر برای کاهش نویزهای موجود‬
‫گرفتن مقادیر کوچک در حذف نویزهای تصویر اخالل ایجاد می کند‪ .‬در این‬ ‫در تصویر و ایجاد تصویری همگن تر بکار گرفته شده است‪ .‬در شکل ‪،11‬‬
‫پژوهش پس از بررسی اثر مقادیر مختلف بر نتیجه نهایی‪ ،‬مقدار پارامتر فیلتر‬ ‫نمایی از فرآیند پیش پردازش و هیستوگرام مقدار روشنایی پیکسلها نمایش‬
‫گوسی برابر ‪ 5‬در نظر گرفته شده است‪.‬‬ ‫داده شده است‪.‬‬

‫‪4588‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫تصویر‪.‬‬ ‫پیش‪ F  I ‬‬

‫پردازش؛ ‪ )1‬تصویر اولیه‪)2 ،‬تسهیم هیستوگرام‪)1 ،‬هموارسازی‬ ‫‪i‬‬ ‫تصویر‪I ‬در‪‬‬
‫فرآیند ‪, j ‬‬ ‫‪j  n F  m, n:11‬‬
‫هیستوگرام ‪i  m,‬‬
‫شکل ‪ .11‬هیستوگرام تصویر‪n‬در ‪m‬فرآیند پیش پردازش؛ ‪ )1‬تصویر اولیه‪)2 ،‬تسهیم هیستوگرام‪)3 ،‬هموارسازی تصویر‪.‬‬
‫شکل ‪‬‬
‫‪Fig. 11. Histogram of the image in pre-processing; 1) initial image, 2) histogram equalization, 3) image‬‬
‫;‪Fig. 11. Histogram of the image in pre-processing‬‬ ‫‪1) initial image, 2) histogram equalization, 3) image‬‬
‫‪smoothing‬‬
‫‪smoothing‬‬
‫‪f k 1 ( x, y) Vk  WkH  WkV  WkD‬‬

‫هریک از پارامترها مورد ارزیابی قرار گرفته است‪.‬‬ ‫مطابق شکل ‪ ،10‬پس از انجام پیش‌پردازش‪ ،‬تصاویر وارد فرآیند پردازش‬
‫‪‬‬‫‪Vk‬‬ ‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  n ‬‬
‫سطح ‪ ،K‬تعداد مرتبه های تجزیه تصویر را مشخص می کند‪ .‬اگر مقدار‬ ‫مبتنی بر تبدیل موجک خواهند شد‪ .‬در این فرآیند‪ ،‬از ابزار تبدیل موجک‬
‫‪‬‬‫‪WkH 2 k  m,n HLk  m, n    2 k x  m   2 k y  n ‬‬
‫این پارامتر کم در نظر گرفته شود ممکن است جزئیات مد نظر به خوبی از‬
‫‪‬‬
‫فیلتر‪ W‬بر‬
‫‪V‬‬ ‫به منظور استخراج زیر بخشهای فرکانسی تصویر و اعمال یک‬
‫‪2 k  m,n LH k  m, n   2 k x  m    2 k y  n ‬‬
‫‪k‬‬

‫تصویر استخراج نشود و اگر مقدار آن زیاد باشد‪ ،‬اغلب عملیات تجزیه بیش‬
‫‪‬‬ ‫روسازی‬
‫تصاویر‪WkD 2‬‬
‫‪k‬‬
‫باال‪HH‬در ‪m,n‬‬ ‫فرکانس های‬‫‪k‬‬ ‫فرکانسهای باال استفاده شده‪k‬است‪.‬‬
‫‪k  m, n   2 x  m   2 y  n ‬‬

‫از اندازه انجام شده و موجب بروز ناهنجاری و تشخیص نادرست اجزای مورد‬ ‫بیانگر جزئیات خرابی های موجود در تصویر روسازی است‪.‬‬
‫نظر می شود‪ .‬در این پژوهش‪ ،‬اطالعات به دست آمده از مرتبه سوم تجزیه‬ ‫‪‬‬
‫‪LLk  i, j  ‬‬
‫های فرکانس باال و‬
‫‪l  m  2i  l  n  2 j  LL‬‬ ‫‪ m, n ‬‬
‫در این مرحله ابتدا به کمک تبدیل موجک زیر گروه ‪m , n‬‬
‫‪k 1‬‬

‫تصویر به نتایج قابل قبولی منجر شده است‪.‬‬ ‫‪‬‬

‫‪HL  i, j  ‬‬
‫ماژول که از ‪k‬ترکیب‬
‫‪m,n‬‬
‫‪h  m  2i  l  n  2 j  LL‬‬
‫استخراج‪k ‬می شود و سپس یک‬
‫‪1‬‬ ‫‪ m, n ‬‬
‫فرکانس پایین از تصویر‬
‫‪‬موجود در ‪k‬تصویر‬
‫‪LH  i, j  ‬‬ ‫‪l  m  2i  h  n  2 j  LL‬‬ ‫‪ m, n ‬‬
‫متغیر ‪ R‬با هدف تنظیم حساسیت تبدیل موجک برای استخراج اجزای‬ ‫زیرگروه های فرکانس باال است به منظور استخراج اشیا‪m , n‬‬
‫‪k 1‬‬

‫مورد نظر استفاده می شود‪ .‬در محدوده یک تا ده‪ ،‬مقدار این پارامتر با میزان‬
‫‪HH i, j ‬‬ ‫‪‬‬
‫ترکیب ‪‬های‪k ‬مختلف‪،‬‬
‫‪m,n‬‬
‫‪‬‬ ‫‪ ‬‬ ‫‪ k 1  ‬‬
‫‪h m  2i h n  2 j LL‬‬
‫ارزیابی اثر‬ ‫گذشته و‬
‫‪m, n‬‬
‫تعریف می شود‪ .‬با بررسی مطالعات‬
‫حساسیت رابطه مستقیم دارد‪ .‬اگر مقدار این پارامتر زیاد باشد‪ ،‬میزان جزئیات‬ ‫در این پژوهش به منظور استخراج اجزای مربوط به نواحی قیرزده یک ماژول‬
‫‪N‬‬
‫استخراج شده بیش از اندازه خواهد بود و سبب ایجاد نویز در نتایج خروجی‬ ‫‪i‬‬
‫‪n‬‬
‫مطابق رابطه (‪ )6‬ارائه شده است‪.‬‬
‫خواهد شد و اگر مقدار آن کم باشد ممکن است جزئیات مد نظر به طور‬
‫کامل استخراج نشوند‪ .‬متغیر ‪ N‬نیز در محدوده بین صفر تا یک‪ ،‬اثر معکوس‬
‫‪1‬‬
‫‪M s ,k  p, q    HLSk  p, q   LH kS  p, q   HH kS  p, q    N  R‬‬ ‫)‪(6‬‬
‫‬
‫بر حساسیت دارد و اثر این متغیر شدیدتر از متغیر ‪ R‬است‪ .‬متغیر ‪ S‬تأثیر‬
‫یکنواختی بر میزان حساسیت ندارد و مقدار ‪ 2‬برای این پارامتر مناسبترین‬ ‫‪ Accuracy‬و‬ ‫‪TP  TN‬‬
‫در رابطه (‪ ،)6‬پارامترهای ) ‪LH k ( p, q ) ، HLk ( p, q‬‬
‫‪TP  TN  FP  FN‬‬
‫عملکرد را داشته است‪.‬‬ ‫) ‪ HH k ( p, q‬به ترتیب زیرگروه های فرکانس باال در راستای افقی‪ ،‬قائم‬
‫در این پروژه با سعی و خطا و بررسی اثر مقادیر مختلف بر کیفیت نتایج‬ ‫و قطری متناظر با پیکسل موجود در موقعیت ) ‪TP( p, q‬در سطح ‪ k‬ام تبدیل‬
‫‪Sensitivity ‬‬
‫خروجی‪ ،‬مشخص شد که مقدار سه برای متغیر ‪ ،K‬مقادیر بین ‪ 0/008‬و‬ ‫‪TP  FN‬‬
‫موجک هستند‪ N ،S .‬و ‪ R‬پارامترهایی هستند که برای تنظیم حساسیت‬
‫‪ 0/009‬برای متغیر ‪ N‬و مقادیر بین ‪ 2‬و ‪ 4‬برای متغیر ‪ R‬نتایج قابل قبولی‬ ‫ادامه نحوه اثرگذاری‬
‫ماژول در استخراج اجزاء بکار گرفته می شوند‪ .‬در ‪TP‬‬
‫‪Precision ‬‬
‫‪TP  FP‬‬

‫‪4589‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫تبدیل موجک‬
‫موجک‬ ‫ماژول تبدیل‬
‫پارامترهای ماژول‬
‫مناسب پارامترهای‬
‫مقدار مناسب‬
‫‪.3‬مقدار‬
‫جدول‪:3‬‬
‫جدول‬
‫‪Table‬‬ ‫‪3. The‬‬
‫‪Table 3.‬‬ ‫‪The best‬‬
‫‪best value‬‬
‫‪value for‬‬
‫‪for wavelet‬‬
‫‪wavelet module‬‬
‫‪module parameters‬‬
‫‪parameters‬‬

‫موجک‬ ‫تبدیل‬
‫موجک‬ ‫مبتنیبربرتبدیل‬
‫فیلترمبتنی‬ ‫پردازش‪)2)2‬خروجی‬
‫خروجی فیلتر‬ ‫پیشپردازش‬
‫عملیاتپیش‬
‫خروجیعملیات‬
‫خروجی‬‫قیرزده‪)1 )،‬‬
‫قیرزده‪1 ،‬‬ ‫نواحی‬
‫نواحی‬ ‫استخراج‬
‫استخراج‬ ‫شکل‪.12 :‬‬
‫شکل ‪12‬‬
‫‪Fig. 12. Extracting bleeding regions; 1) pre-processing output, 2) output of the wavelet-based filter‬‬
‫‪Fig. 12. Extracting bleeding regions; 1) pre-processing output, 2) output of the wavelet-based filter‬‬

‫گذاری در نتایج به دست آمده‪ ،‬اشیاء کوچک یا نویزهایی وجود دارد که که‬ ‫را به منظور استخراج نواحی قیرزده دارند‪ .‬همچنین به منظور انجام تبدیل‬
‫این امر موجب کاهش کیفیت و وضوح خروجی فرآیند شده است‪ .‬برای رفع‬ ‫موجک از فیلتر ‪ coif1‬استفاده شده است‪ .‬در جدول ‪ 3‬مقدار مناسب برای‬
‫این مشکل از عملگرهای مورفولوژیکی به منظور حذف این عناصر استفاده‬ ‫پارامترهای ماژول تبدیل موجک‪ ،‬ارائه شده است‪.‬‬
‫شده است‪ .‬در شکل ‪ ،13‬عملکرد فرآیند بکار گرفته شده برای بهبود نتایج‪،‬‬ ‫در شکل ‪ ،12‬نتیجه بکارگیری ماژول تبدیل موجک طراحی شده برای‬
‫نمایش داده شده است‪.‬‬ ‫استخراج نواحی قیرزده روی یک نمونه از تصاویر دارای خرابی قیرزدگی‬
‫در پایان این بخش‪ ،‬الزم به ذکر است که تمامی عملیات انجام شده‬ ‫نشان داده شده است‪.‬‬
‫در این پژوهش با استفاده از یک رایانه شخصی با سیستم اجرایی ‪ 64‬بیتی‪،‬‬ ‫همان‌طور که در شکل ‪ 12‬مشاهده می شود‪ ،‬فیلتر مبتنی بر تبدیل موجک‬
‫‪ 8‬گیگابایت فضای حافظه‪ ،‬پردازنده ‪Intel(R) Core i7-4710HQ‬‬ ‫طراحی شده در این پژوهش تا حد زیادی نواحی دارای خرابی قیرزدگی را‬
‫‪ 2.50 GHz‬و پردازنده گرافیکی ‪ GeForce GTX 850M‬انجام‬ ‫از تصاویر استخراج کرده است‪ .‬در گام بعد فرآیندی به منظور بهبود نتایج به‬
‫شده‌اند‪.‬‬ ‫دست آمده استفاده شده است‪ .‬این فرآیند از عملیات آستانه‌گذاری سراسری‬
‫و عملیات مورفولوژیکی تشکیل شده است‪.‬‬
‫‪5-‬نتایج و بحث‬ ‫با انجام عملیات آستانه گذاری سراسری روی تصاویر به دست آمده از‬
‫در این بخش نتایج به دست آمده از پیاده سازی سامانه با بررسی سرعت‬ ‫تبدیل موجک‪ ،‬تصویر باینری از نواحی دارای خرابی و بدون خرابی ایجاد‬
‫و دقت بخش های مختلف سامانه به عنوان دو پارامتر مهم در سامانه های‬ ‫می شود‪ .‬این پردازش موجب تفکیک بهتر نواحی قیرزدگی و فراهم شدن‬
‫مدیریت روسازی‪ ،‬ارائه شده است‪.‬‬ ‫امکان بررسی مشخصات هندسی نواحی خرابی می شود‪ .‬پس از انجام آستانه‬

‫‪4590‬‬
 ‫‪f k 1 ( x, y) Vk  WkH  WkV4598‬‬
‫‪W‬‬ ‫‪D‬‬
‫‪ 4577‬تا‬
‫‪k‬‬ ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه‬ ‫(‪)2‬‬

‫‪‬‬‫‪Vk‬‬ ‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  n ‬‬

‫‪‬‬‫‪WkH 2 k  m,n HLk  m, n    2 k x  m   2 k y  n ‬‬
‫(‪)3‬‬
‫‪‬‬‫‪WkV 2 k  m,n LH k  m, n   2 k x  m    2 k y  n ‬‬
‫‪‬‬‫‪WkD 2 k  m,n HH k  m, n   2 k x  m   2 k y  n ‬‬
‫‪ F  I i‬‬ ‫‪, j   I  i  m, j  n F  m, n ‬‬ ‫(‪)1‬‬
‫کوچک‬
‫شکل ‪ :11‬فرآیند پسپردازش‪ )1 .‬آستانهگذاری سراسری‪ )2 ،‬عملیات مورفولوژیک حذف اشیاء ‪m n‬‬
‫‪LL  i, j    l  m‬‬ ‫حذف ‪ l  n‬‬
‫اشیاء ‪ 2i‬‬ ‫عملیات‪ LL  m,‬‬
‫مورفولوژیک ‪ 2 j‬‬ ‫شکل ‪ .13‬فرآیند پس‌پردازش‪ )1 .‬آستانه گذاری سراسری‪n  )2 ،‬‬
‫‪k‬‬ ‫کوچک‬ ‫‪k 1‬‬
‫‪m,n‬‬ ‫‪Fig. 13. Post-processing; 1) global thresholding, 2) morphological operations‬‬
‫‪HLk  i, j    h  mFig.‬‬ ‫;‪ l  nPost-processing‬‬
‫‪ 2i 13.‬‬ ‫)‪ 2 j  LLk 1  m, n1‬‬
‫‪ global thresholding, 2) morphological operations‬‬
‫(‪)4‬‬
‫‪m,n‬‬

‫‪LH‬‬
‫‪k 1‬‬ ‫‪V l mW H2i hW‬‬
‫‪f k ( ix,,jy ) ‬‬
‫‪m,n‬‬
‫‪k‬‬ ‫‪k‬‬
‫‪ nV 2 jW LL‬‬
‫‪k‬‬ ‫‪k‬‬
‫‪D‬‬
‫‪k 1  m, n ‬‬ ‫(‪)2‬‬
‫معیارهای‬
‫‌ریختگی‪i,‬و‪HH ‬‬
‫درهم ‪j  ‬‬
‫ماتریس‪h ‬‬
‫آمده‪h‬از‪m  2i ‬‬
‫دست‪ n ‬‬ ‫اطالعات به‬
‫در جدول ‪ m, n،4‬‬ ‫‪5- 1-‬عملکرد سامانه در تشخیص قیرزدگی‬
‫‪k‬‬ ‫‪‬‬ ‫‪2 j  LL‬‬ ‫‪k 1‬‬
‫‪m,n‬‬
‫عملکردی محاسبه شده ارائه شده است‪.‬‬ ‫همان‌طور که در بخش ‪ 4‬توضیح داده شد‪ ،‬بخش مرتبط با تشخیص‬
‫‪‬‬‫‪Vk‬‬ ‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  n ‬‬
‫در ادامه توضیحات بیشتری در مورد معیارهای ذکر شده و ارزیابی‬ ‫خرابی قیرزدگی شامل عملیات پیش پردازش و عملیات ساخت مدل با استفاده‬
‫‪‬‬‫‪WkH N2 k  m,n HLk  m, n    2 k x  m   2 k y  n ‬‬
‫‪i‬‬ ‫عملکرد مدل بر اساس هر یک از معیارها ارائه خواهد شد‪.‬‬ ‫یادگیری است‪ .‬زمان مورد نیاز برای انجام این فرآیند از جمله‬
‫انتقال(‪)3‬‬
‫از روش(‪)5‬‬
‫‪‬‬ ‫‪W n 2 k  m,n LH k  m, n   2 k x  m    2 k y  n ‬‬
‫‪V‬‬
‫معیار صحت‪ :‬این معیار یکی از رایج‌ترین معیار‌های ارزیابی مدل‌ها به‬
‫‪k‬‬
‫پارامترهای عملکردی سامانه است‪ .‬با توجه به سیستم پردازشی استفاده شده‬
‫‪‬‬‫‪WkD 2 k  m,n HH k  m, n   2 k x  m   2 k y  n ‬‬
‫در این مطالعه‪ ،‬زمان سپری شده به منظور انجام پیش‌پردازش و آمادهسازی ‪ 1‬شمار می‌رود و بر اساس رابطه (‪ )7‬یک نمای کلی از میزان دقت مدل‌ها با‬
‫ارائه‪‬م‪,k‬ی‪M s‬‬
‫‌دهد‪.‬‬ ‫‪ HL‬پاس ‪‬خ ‪‬‬
‫‌ها‪p, q‬‬ ‫‪ )TN‬به‪ k‬کل‬
‫‪S‬‬
‫(‪TP‬و ‪p, q ‬‬ ‫‌های‪ p, q‬‬
‫صحیح‪LH kS‬‬ ‫‪HH‬خ ‪ ‬‬ ‫‪S‬‬
‫‪ )0/44‬ثانیه به ازای هر تصویر بوده است‪ .‬همچنین زمان سپری شده ‪   N  R‬‬
‫تعیین‪ p, q‬‬
‫نسبت‪ k‬پاس‬
‫(‪6‬‬
‫تصاویر‬
‫‪LLk  i, j  ‬‬ ‫‪ l  m  2i  l  n  2 j  LL  m, n ‬‬
‫‪m,n‬‬
‫‪k 1‬‬
‫در فرآیند ارزیابی مدل به ترتیب ‪ 0/042‬ثانیه به ازای هر تصویر بوده است‪.‬‬
‫‪HLk  i, j    h TP‬‬ ‫‪ l  n  2 j  LLk 1  m, n ‬‬
‫‪m 2iTN‬‬ ‫دقت و کارایی مدل ایجاد شده‪ ،‬از دیگر مولفه های عملکرد مدل به‬
‫‪Accuracy‬‬ ‫‪ m,n‬‬ ‫)‪(7‬‬ ‫(‪)7‬‬
‫‪TP  TN  FP  FN‬‬ ‫شمار می رود‪)4( .‬‬
‫‪LH k  i, j    l  m  2i  h  n  2 j  LLk 1  m, n ‬‬ ‫‬ ‫برای بررسی دقت و کارایی مدل در تشخیص خرابی قیرزدگی‪،‬‬
‫مطابق جدول ‪ ،4‬عملکرد مدل ایجاد شده بر اساس این معیار ‪98/14‬‬
‫‪m,n‬‬
‫مدل ایجاد شده با استفاده از داده های ارزیابی که مستقل از داده های تعلیم‬
‫‪HH k  i, j    h  m  2i  h  n  2 j  LLk 1  m, n ‬‬
‫‪TP‬‬ ‫مورد‪)8‬بررسی قرار گرفت‪ .‬تشکیل ماتریس درهم‌ریختگی‪ 1‬یکی از‬
‫قیرزدگی‬ ‫تشخیص خرابی‬
‫‪Sensitivity‬‬ ‫درصد بوده است که بیانگر عملکرد خوب مدل در ‪m,n‬‬ ‫هستند (‬
‫‪TP  FN‬‬
‫است‪ .‬الزم به ذکر است که در مسائلی که داده ها در دو دسته قرار می گیرند‪،‬‬ ‫بهترین روش‌های ارزیابی دقت مدل‌های ایجاد شده برای انجام تشخیص و‬
‫بود‪.‬‬ ‫‪N‬‬
‫عملکرد مدل برای هر یک از دسته ها برابر عملکرد‪TP‬کلی مدل خواهد‪i ‬‬ ‫‌بندی)است‪.‬‬
‫دسته (‪5‬‬
‫‪n ‬‬
‫‪Precision‬‬ ‫)‬‫‪9‬‬ ‫(‬
‫این ماتریس با مقایسه‌ی نتایج حاصل از مدل با واقعیت‪ ،‬پاسخ های‬
‫‪TP‬مدل‌ها را در انجام‬‫حساسیت‬
‫معیارحساسیت‪ :‬این معیار میزان توانایی و ‪ FP‬‬
‫دسته‌بندی صحیح مشخص می‌کند‪ .‬به عبارت دیگر حساسیت و صحت‬ ‫به دست آمده از مدل‌ها در هر یک از دسته‌ها (دارای قیرزدگی و بدون‬
‫‪1‬‬
‫میکند‪.‬‬
‫ارزیابی‪M s ,‬‬ ‫‪ HL‬‬
‫باشند‪ ‬را‪k  p, q‬‬ ‫قیرزدگی) (را‪)6‬با چهار حالت بررسی می‌کند که عبارتند از‪ :‬پاسخ مثبت صحیح ‪, q    N ‬‬
‫داشته ‪‬‬
‫مثبت ‪k ‬‬
‫پاسخ‪p, q ‬‬
‫مواقعی‪p,‬که‪kS ‬باید‪ LH‬‬ ‫مدلها در‬
‫‪q   HH‬‬ ‫عملکرد‪k  p‬‬
‫‪S‬‬ ‫‪S‬‬ ‫‪R‬‬

‫مطابق رابطه (‪ ،)8‬این امر با محاسبه نسبت پاسخ‌های مثبت صحیح به‬ ‫(‪ ،)TP2‬پاسخ منفی صحیح (‪ ،)3TN‬پاسخ مثبت غلط (‪ )FP4‬و پاسخ منفی‬
‫منفی غلط انجام می‌شود‪ .‬این‬
‫‌های ‪TP‬‬‫مجموع پاسخ‌های مثبت صحیح و پاسخ‬
‫‪ TN‬‬ ‫غلط (‪.)FN5‬‬
‫‪Accuracy ‬‬ ‫(‪)7‬‬
‫میزان فراخوانی‪ 7‬مدل‬
‫صحیح‪ 6‬و‪TP‬‬
‫مثبت‪TN ‬‬
‫پاسخ‪FP ‬‬
‫معیار همچنین با نام‌های نرخ ‪FN‬‬ ‫با استفاده از اطالعات به دست آمده از ماتریس درهم ریختگی‪ ،‬معیارهای‬
‫نیز شناخته می‌شود‪.‬‬ ‫عملکردی نظیر صحت (‪ ،)accuracy‬حساسیت (‪ ،)sensitivity‬دقت‬
‫‪TP‬‬ ‫(‪ )precision‬و معیار امتیاز ‪ )F-score( F‬محاسبه و ارزیابی شده‌اند‪.‬‬
‫‪Sensitivity ‬‬ ‫)‪(8‬‬ ‫(‪)8‬‬
‫‪TP  FN‬‬ ‫‬ ‫‪1‬‬ ‫‪Confusion Matrix‬‬
‫‪2‬‬ ‫‪True Positive‬‬
‫‪3‬‬ ‫‪True Negative‬‬
‫‪TP‬‬
‫‪6 Precision‬‬
‫‪True Positive‬‬
‫‪ Rate‬‬ ‫‪4‬‬ ‫‪False Positive‬‬ ‫(‪)9‬‬
‫‪7 Recall‬‬ ‫‪TP  FP‬‬ ‫‪5‬‬ ‫‪False Negative‬‬

‫‪4591‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫عملکرد مدل تشخیص قیرزدگی‬ ‫‪ .4‬ارزیابی‬

‫ارزیابی عملکرد‬ ‫جدول ‪:4‬‬
‫جدول‬
‫‪F bleeding‬‬
‫‪Table 4. Evaluating the performance of the‬‬ ‫‪I i‬‬ ‫‪‬‬ ‫‪   ‬‬
‫‪, j detection model‬‬
‫‪I i  m,‬‬
‫‪Table 3. Evaluating the performance of the bleeding detection model‬‬
‫‪j  n F  m, n ‬‬
‫‪m‬‬ ‫‪n‬‬

‫‪f k 1 ( x, y) Vk  WkH  WkV  WkD‬‬

‫‪‬‬‫‪Vk‬‬ ‫‪2 k  m,n LLk  m, n    2 k x  m    2 k y  n ‬‬

‫‪‬‬‫‪WkH 2 k  m,n HLk  m, n    2 k x  m   2 k y  n ‬‬
‫‪‬‬‫‪WkV 2 k  m,n LH k  m, n   2 k x  m    2 k y  n ‬‬
‫‪‬‬‫‪WkD 2 k  m,n HH k  m, n   2 k x  m   2 k y  n ‬‬

‫‪LLk  i, j  ‬‬ ‫‪ l  m  2i  l  n  2 j  LL  m, n ‬‬

‫‪m,n‬‬
‫‪k 1‬‬

‫‪HLk  i, j  ‬‬ ‫‪ h  m  2i  l  n  2 j  LL  m, n ‬‬

‫‪m,n‬‬
‫‪k 1‬‬

‫‪LH k  i, j  ‬‬ ‫‪ l  m  2i  h  n  2 j  LL  m, n ‬‬

‫‪m,n‬‬
‫‪k 1‬‬

‫شکل ‪ :14‬عملکرد مدل ارائه شده بر اساس معیارهای مختلف‬

‫عملکرد‪k ‬مدل‬
‫‪HH‬ارائه شده بر اساس معیارهای مختلف‬
‫‪Fig. 14. The model performance based on the various‬‬
‫‪‬‬
‫‪i, j   .14‬‬ ‫‪h  m  2i  h  n  2 j  LLk 1  m, n ‬‬
‫شکل‬
‫‪m,n‬‬ ‫‪metrics‬‬
‫‪Fig. 14. The model performance based on the various metrics‬‬

‫‪N‬‬
‫‪i‬‬
‫بدون قیرزدگی (‪ 96/87‬درصد) بوده است (شکل ‪ .)14‬این بدان معناست که‬ ‫مطابق شکل ‪ ،14‬بررسی عملکرد مدل بر اساس این معیار نشان‪ n‬می دهد‬
‫اگر جواب مدلها برای یک تصویر‪ ،‬وجود قیرزدگی باشد بیشتر می توان به‬ ‫که مدل به تصاویر بدون قیرزدگی حساستر است‪ .‬زیرا میزان صحت مدل در‬
‫پاسخ اعتماد کرد‪ .‬در مجموع مدل ارائه شده با متوسط ‪ 98/18‬دارای ارزش‬ ‫تصاویر بدون خرابی ‪S‬قیرزدگی ‪S 99/51‬درصد و در تشخیص تصاویر‬ ‫‪ R1‬تشخیص‬
‫‪M s ,k  p, q    HLk  p, q   LH k  p, q   HH k  p, q    N ‬‬
‫‪‬‬ ‫‪S‬‬

‫پیشبینی مثبت باالیی است و با سطح اطمینان باالیی می توان به پاسخ های‬ ‫مجموع با عملکرد ‪98/15‬‬ ‫دارای خرابی ‪ 96/79‬بوده است‪ .‬مدل ایجاد شده در‬
‫مدل اعتماد کرد‪.‬‬ ‫درصدی‪ ،‬حساسیت قابل قبولی در تشخیص قیرزدگی داشته است‪.‬‬
‫‪TP  TN‬‬
‫معیار امتیاز ‪ :F‬این معیار یکی از جامع‌ترین معیار‌های ارزیابی دقت و‬ ‫‪Accuracy‬که‬
‫ارزیابی مدل‌ها است‬
‫‪‬‬ ‫معیار دقت‪ :‬این معیار یکی از پارامتر‌های مهم در‬
‫‪TP  TN  FP  FN‬‬
‫عملکرد مدل‌های دسته‌بندی و پیش‌بینی است که مطابق رابطه (‪ )10‬با‬ ‫میزان دقت و اعتمادپذیری پاسخ‌های مثبت مدل‌ها را مشخص می‌کند یا به‬
‫محاسبه میانگین همساز وزنی‪ 2‬دو معیار دقت و حساسیت تعیین می‌شود‪.‬‬ ‫عبارت دیگر احتمال صحیح بودن پاسخ‌های مثبت مدل‌ها را تعیین می‌کند‪.‬‬
‫‪TP‬‬
‫رابطه‬ ‫‌شود و مطابق‬
‫‪Sensitivity‬‬ ‫این معیار با نام ارزش پیش‌بینی مثبت‪ 1‬نیز شناخته می‪‬‬
‫‪TP  FN‬‬
‫‪2‬‬ ‫)‪(10‬‬ ‫(‪ )9‬محاسبه می‌شود‪.‬‬
‫‪F  score ‬‬
‫‪‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪‬‬ ‫‬ ‫(‪)11‬‬
‫‪ Precision  Sensitivity ‬‬ ‫‪TP‬‬ ‫)‪(9‬‬
‫‪‬‬ ‫‪‬‬ ‫‪Precision ‬‬
‫‪TP  FP‬‬ ‫‬
‫با ارزیابی این معیار می توان به طور هم‌زمان با توجه به ارزش پیشبینی‬
‫‪ 2 A B ‬‬ ‫‪)11‬معیار می توان گفت که در مدل ساخته شده‪ ،‬ارزش پاسخ‬
‫بر اساس (این‬
‫‪14Dice‬‬
‫که‪A‬در( شکل‬
‫‌طور‪, B‬‬
‫مثبت و حساسیت‪ ،‬عملکرد مدلها را ‪‬بررسی نمود‪ .‬هما‪‬ن‪) ‬‬
‫‪ A B ‬‬
‫نشان داده شده است‪ ،‬عملکرد مدل بر اساس این معیار باالی ‪ 98/15‬درصد‬ ‫مثبت در دسته بندی تصاویر دارای قیرزدگی (‪ 99/49‬درصد) بیشتر از تصاویر‬

‫‪2‬‬ ‫‪Weighted Harmonic Mean‬‬ ‫‪1‬‬ ‫‪Positive Predictive Value‬‬

‫‪‬‬ ‫‪2  TP‬‬ ‫‪‬‬
‫‪Dice( A, B)  ‬‬ ‫(‪)12‬‬
‫‪ 2  TP  FP  FN ‬‬
‫‪4592‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫با تصویر حقیقت مبنا است‪ ،FP .‬تعداد پیکسل هایی از خروجی مدل که با‬ ‫است و تفاوت چندانی بین عملکرد مدل برای تشخیص تصاویر دارای خرابی‬
‫تصویر مبنا همپوشانی ندارد را مشخص می کند‪ .‬پارامتر ‪ FN‬بیانگر تعداد‬ ‫و بدون خرابی قیرزدگی وجود ندارد‪.‬‬
‫پیکسل هایی از تصویر مبنا است که با خروجی مدل همپوشانی ندارد‪.‬‬ ‫بر اساس ارزیابی عملکرد مدل با معیارهای مبتنی بر ماتریس‬
‫به عبارت دیگر در این پژوهش‪ TP ،‬بیانگر نواحی است که در خروجی‬ ‫درهم‌ریختگی‪ ،‬میتوان شبکه های پیچشی عمیق را به عنوان یک ابزار‬
‫مدل و تصویر مبنا به صورت یکسان برچسب‌گذاری شده‌اند‪ FP .‬بیانگر‬ ‫قدرتمند در تشخیص و دسته بندی خرابی قیرزدگی به حساب آورد‪.‬‬
‫پیکسل هایی است که مدل به اشتباه به عنوان ناحیه قیرزده برچسب‌گذاری‬
‫کرده است و ‪ FN‬مواردی را مشخص میکند که در تصویر مبنا به عنوان‬ ‫‪5- 2-‬عملکرد سامانه در تفکیک نواحی قیرزده‬
‫ناحیه قیرزده برچسب‌گذاری شده‪ ،‬ولی در خروجی مدل به عنوان ناحیه‬ ‫بررسی عملکرد فرآیند طراحی شده در این پژوهش به منظور تفکیک و‬
‫قیرزده مشخص نشده است‪ .‬در شکل ‪ ،15‬چند نمونه از موارد بررسی تطابق‬ ‫قطعه بندی نواحی قیرزده‪ ،‬بر اساس میزان تطابق نتایج به دست آمده از مدل‬
‫و شباهت تصاویر خروجی مدل با تصاویر مبنا با استفاده از معیارهای صحت‬ ‫پیشنهادی با واقعیت موجود در تصاویر انجام شده است‪ .‬به منظور انجام این‬
‫و ضریب تشابه دایس‪ ،‬ارائه شده است‪.‬‬ ‫ارزیابی‪ ،‬بخشی از تصاویر جمع آوری شده بر مبنای واقعیت موجود در تصاویر‬
‫سامانه پیشنهاد شده به منظور تفکیک و قطعه بندی نواحی قیرزده‪ ،‬با‬ ‫بررسی شده و نواحی قیرزده در تصاویر به صورت دستی برچسب‌گذاری‬
‫‪1‬‬

‫متوسط ‪ 89/94‬و ‪ 87/47‬درصدی به ترتیب بر اساس معیار صحت و ضریب‬ ‫شده‌اند‪ .‬این تصاویر به عنوان حقیقت مبنا‪ 2‬در بررسی عملکرد مدل پیشنهادی‬
‫تشابه دایس‪ ،‬عملکرد قابل قبولی داشته است‪ .‬همچنین در شکل ‪ ،16‬جزئیات‬ ‫بکار گرفته شده‌اند‪.‬‬
‫بیشتری از توزیع مقادیر به دست آمده در بررسی عملکرد مدل بر اساس‬ ‫در این پژوهش‪ ،‬از ضریب تشابه دایس‪ 3‬و معیار فراخوانی‪ 4‬یا حساسیت‬
‫معیارهای ذکر شده‪ ،‬با استفاده از نمودار جعبه ای ارائه شده است‪.‬‬ ‫برای بررسی میزان شباهت و تطابق تصاویر به دست آمده از مدل با تصاویر‬
‫بررسی نمودارهای جعبه ای ارائه شده در شکل ‪ 16‬نشان می دهد که‬ ‫حاصل از بررسی دستی و دقیق نواحی قیرزده‪ ،‬استفاده شده است‪ .‬معیار‬
‫پراکندگی مقادیر محاسبه شده برای معیارها‪ ،‬به ویژه برای معیار ضریب‬ ‫فراخوانی (حساسیت) به منظور بررسی حساسیت مدل در مواردی که باید‬
‫تشابه دایس‪ ،‬کم بوده است و میتوان گفت که مدل روی تصاویر عملکرد‬ ‫نواحی قیرزده را تفکیک کند‪ ،‬استفاده شده است که نحوه محاسبه آن در‬
‫خوبی داشته است‪ .‬به طوری که بخش عمده نتایج برای معیار صحت در‬ ‫رابطه (‪ )8‬ارائه شده است‪.‬‬
‫محدوده ‪ 85‬تا ‪ 96‬درصد و برای معیار ضریب تشابه دایس در محدوده ‪85‬‬ ‫ضریب تشابه دایس از جمله معیارهای پرکابرد در بررسی عملکرد مدلهای‬
‫تا ‪ 90‬درصد بوده است‪ .‬الزم به ذکر است که عملیات تفکیک نواحی قیرزده‬ ‫قطعه بندی تصاویر به شمار میرود‪ .‬این معیار نسبت اشتراک به اجتماع دو‬
‫‪2‬‬
‫‪F  score ‬‬
‫در سامانه ارائه شده‪ ،‬به طور متوسط با سرعت ‪ 1/55‬ثانیه به ازای هر تصویر‬ ‫مجموعه تعیین می‬
‫‪‬‬ ‫معیار شباهت دو‬
‫‪1‬‬ ‫عنوان ‪1‬‬ ‫مجموعه را مطابق رابطه (‪ ،)11‬به ‪‬‬
‫‪ Precision  Sensitivity ‬‬
‫‪‬‬ ‫‪‬‬
‫انجام می شود‪.‬‬ ‫‪2‬‬ ‫کند‪.‬‬
‫‪F  score ‬‬
‫‪‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪‬‬
‫در پایان این بخش‪ ،‬به مقایسه عملکرد سامانه های ارائه شده در‬ ‫‪‬‬ ‫‪2‬‬
‫‪ Precisi‬‬‫‪‬‬ ‫‪A‬‬ ‫‪ B‬‬ ‫‪‬‬
‫‪Dice( A, B) ‬‬ ‫‪‬‬
‫‪on‬‬ ‫‪Sensitivity‬‬
‫‪‬‬ ‫‪‬‬ ‫)‪(11‬‬
‫مطالعات گذشته به منظور ارزیابی خودکار قیرزدگی با عملکرد بخش های‬ ‫‪ A‬‬ ‫‪B ‬‬ ‫‬
‫مختلف سامانه ارائه در این پژوهش پرداخته خواهد شد‪ .‬سامانه مبتنی بر‬ ‫رابطه‬
‫‪Dice‬‬‫مطابق‬
‫شده‪( A, B‬‬
‫‪ 2 A B ‬‬
‫تصویر قطعه بندی‪)  ‬‬ ‫دو‬ ‫معیار دایس در بررسی تشابه‬
‫‪‬‬ ‫‪2  TP‬‬ ‫‪‬‬
‫آنتروپی تصاویر که توسط هادجی متریو و کرستودولو [‪ ]41‬ارائه شده است‪،‬‬ ‫‪Dice( A, B)   A B ‬‬
‫‪ 2  TP  FP  FN ‬‬ ‫(‪ )12‬محاسبه می شود‪.‬‬
‫بر اساس نتایج گزارش شده قادر است وجود خرابی قیرزدگی را با حساسیت‬
‫‪‬‬ ‫‪2  TP‬‬ ‫‪‬‬ ‫)‪(12‬‬
‫‪Dice( A, B)  ‬‬
‫‪ 65/5‬درصدی تشخیص دهد‪ .‬این سامانه تنها به منظور تشخیص خرابی ارائه‬ ‫‪‬‬ ‫‪2‬‬ ‫‪‬‬ ‫‪TP‬‬ ‫‪‬‬ ‫‪FP‬‬ ‫‪‬‬ ‫‪FN‬‬ ‫‪‬‬
‫‬
‫شده و امکان تفکیک نواحی خرابی وجود ندارد‪.‬‬ ‫که در رابطه (‪ A ،)12‬و ‪ B‬تصاویر خروجی مدل و تصویر مبنا (واقعیت)‬
‫سامانه ی مبتنی بر مدلهای ‪ Faster R-CNN‬که توسط سانگ و‬ ‫هستند‪ TP .‬بیانگر تعداد پیکسل های خروجی مدل که دارای برچسب مشابه‬
‫وانگ [‪ ]21‬ارائه شده است‪ ،‬امکان تشخیص وجود خرابی و تعیین موقعیت‬
‫کلی نواحی خرابی را با صحت ‪ 87/2‬درصدی و حساسیت ‪ 85/5‬درصدی‬ ‫‪1‬‬ ‫‪Label‬‬
‫‪2‬‬ ‫‪Ground Truth‬‬
‫‪3‬‬ ‫‪Dice similarity coefficient‬‬
‫‪4‬‬ ‫‪Recall‬‬

‫‪4593‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫خروجیمدل‬
‫مدل‬ ‫دستی‪)2)2،‬خروجی‬
‫صورتدستی‪،‬‬
‫شدهبهبهصورت‬
‫تفکیکشده‬
‫نواحیتفکیک‬
‫‪)1‬نواحی‬
‫قیرزده‪)1 .‬‬
‫نواحی قیرزده‪.‬‬
‫تفکیک نواحی‬
‫مدلتفکیک‬
‫عملکردمدل‬
‫بررسیعملکرد‬
‫هایی ازاز بررسی‬
‫نمونههایی‬
‫‪:15‬نمونه‬
‫شکل‪.15‬‬
‫شکل‬
‫‪Fig. 15. Examples of the bleeding segmentation model; 1) ground truth image, 2) model output‬‬
‫‪Fig. 15. Examples of the bleeding segmentation model; 1) ground truth image, 2) model output‬‬

‫قیرزده‬
‫قیرزده‬ ‫تفکیکنواحی‬
‫نواحی‬ ‫مدلتفکیک‬
‫ارزیابیمدل‬
‫آمدهازازارزیابی‬
‫دستآمده‬
‫به دست‬
‫مقادیر به‬
‫ای مقادیر‬
‫جعبهای‬
‫نمودارجعبه‬
‫شکل‪:16.16‬نمودار‬
‫شکل‬
‫‪Fig. 16. Box plot for the metrics in evaluating bleeding segmentation‬‬
‫‪Fig. 16. Box plot for the metrics in evaluating bleeding segmentation‬‬

‫سطح پیکسل های تصویر را انجام می دهد‪ .‬الزم به ذکر است که تعلیم این‬ ‫فراهم کرده است‪ .‬الزم به ذکر است که این سامانه قابلیت بررسی موقعیت و‬
‫دسته از مدلها نیازمند تصاویری است که تمامی پیکسل ها به طور دستی‬ ‫هندسه دقیق نواحی خرابی را نداشته و تنها موقعیت کلی خرابی را با کادرهای‬
‫برچسب گذاری شده باشند و این موضوع فرآیند آماده سازی داده ها را بسیار‬ ‫مستطیلی مشخص می کند‪.‬‬
‫زمانبر خواهد کرد‪ .‬همچنین تعلیم این دسته از مدلها نیازمند سیستم پردازشی‬ ‫سامانه دیگری توسط تنگ و همکاران [‪ ]18‬بر اساس چند مدل مبتنی‬
‫به مرتب قوی تری هستند‪.‬‬ ‫بر ترکیب شبکه های عصبی پیچشی‪ ،‬ماشین بردار پشتیبان‪ ،‬چهارچوب عدم‬
‫الزم به توضیح است که در پژوهش ذکر شده‪ ،‬عملکرد مدل به تنهایی‬ ‫قطعیت و زمینه های تصادفی شرطی گوسی ارائه شده است‪ .‬این سامانه‬
‫برای خرابی قیرزدگی ارائه نشده است و عملکرد کلی بهترین مدل ارائه شده‬ ‫قابلیت تشخیص و تفکیک نواحی خرابی را دارد و عملیات دسته بندی در‬

‫‪4594‬‬
 ‫نشریه مهندسی عمران امیرکبیر‪ ،‬دوره ‪ ،53‬شماره ‪ ،11‬سال ‪ ،1400‬صفحه ‪ 4577‬تا ‪4598‬‬

‫موجب کاهش هزینه های برداشت اطالعات نسبت به روشهای مبتنی بر‬ ‫در ارزیابی خرابی های مختلف‪ ،‬بر اساس معیارهای متوسط صحت پیکسلی‬
‫‪1‬‬

‫فناوری لیزر شده است‪ .‬ارزیابی که توسط سامانه پیشنهاد شده روی خرابی‬ ‫(‪ ،)MPA‬متوسط نسبت اشتراک به اجتماع تصاویر‪ )MIoU( 2‬و نسبت‬
‫قیرزدگی انجام می دهد‪ ،‬عالوه بر تشخیص خرابی‪ ،‬تفکیک و قطعه بندی‬ ‫وزنی اشتراک به اجتماع تصاویر‪ )FWIoU( 3‬به ترتیب ‪ 75/8 ،82/2‬و‬
‫نواحی قیرزده را نیز در بر می گیرد‪.‬‬ ‫‪ 92/1‬گزارش شده است‪.‬‬
‫به منظور تشخیص خرابی قیرزدگی از مدلهای یادگیری عمیق استفاده‬ ‫با بررسی و مقایسه نحوه پیادهسازی و اجرا‪ ،‬قابلیت ها و عملکرد سامانه‬
‫شد‪ .‬این مدلها از جمله جدیدترین مدلهای ارائه شده در زمینه یادگیری‬ ‫ارائه شده در این پژوهش نسبت به مطالعات گذشته میتوان دریافت که‬
‫ماشین هستند که با توجه به قابلیت استخراج خودکار ویژگیها‪ ،‬بسیار مورد‬ ‫سامانه ارائه شده در این پژوهش‪ ،‬فرآیند پیادهسازی راحتتری داشته و با توان‬
‫توجه قرار گرفته اند‪ .‬در این پژوهش‪ ،‬عملبات ساخت مدل تشخیص خرابی با‬ ‫پردازشی معمول امکان تشخیص خرابی قیرزدگی و تفکیک نواحی قیرزده را‬
‫بکارگیری روش انتقال یادگیری و بازتعلیم شبکه پیچشی از پیش تعلیم یافته‬ ‫فراهم کرده است‪ .‬به طوری که با استفاده از مدلهای سادهتر یادگیری عمیق‬
‫‪ AlexNet‬صورت گرفت‪.‬‬ ‫قادر به تشخیص خرابی قیرزدگی با متوسط دقت باالی ‪ 98‬درصد است و‬
‫به منظور تفکیک نواحی قیرزده در تصاویر دارای قیرزدگی‪ ،‬یک فرآیند‬ ‫با بکارگیری روش های پردازش تصویر قادر به تفکیک نواحی قیرزده با‬
‫پردازش تصویر ارائه شده که از بخش های مختلفی نظیر تسهیم هیستوگرام‪،‬‬ ‫عملکرد متوسط ‪ 89/94‬و ‪ 87/47‬درصدی به ترتیب بر اساس معیار صحت‬
‫هموارسازی‪ ،‬تبدیل موجک و عملیات مورفولوژیک تشکیل شده است‪ .‬بخش‬ ‫و ضریب تشابه دایس است‪.‬‬
‫اصلی این فرآیند را تبدیل موجک تشکیل داده است که از روشهای قدرتمند‬
‫و پرکاربرد در زمینه طراحی فیلترهایی برای فرکانس و تصویر به شمار‬ ‫‪6-‬جمع بندی و نتیجه‌گیری‬
‫میرود‪ .‬در این پژوهش یک فیلتر مبتنی بر تبدیل موجک با پارامترهای‬ ‫در سالهای اخیر با توجه به پیشرفت فناوریهای مختلف‪ ،‬تالشهای‬
‫تنظیم مختلف توسعه داده شد که نواحی دارای خرابی قیرزدگی را در تصویر‬ ‫گسترده ای در جهت بکارگیری این فناوریها در برداشت و ارزیابی اطالعات‬
‫مشخص می کند‪.‬‬ ‫خرابیهای روسازی انجام شده است‪ .‬خرابی قیرزدگی یکی از خرابیهای‬
‫عملکرد بخش های مختلف سامانه پیشنهادی به استفاده از معیارهای‬ ‫روسازی آسفالتی است که به طور مستقیم بر مقاومت لغزشی سطح روسازی‬
‫مختلفی مورد ارزیابی قرار گرفت‪ .‬در این راستا‪ ،‬عملکرد مدل ایجاد شده‬ ‫اثر میگذارد و مانورپذیری وسایل نقلیه را کاهش میدهد که این اثر در شرایط‬
‫به منظور تشخیص تصاویر دارای خرابی به کمک اطالعات استخراج شده‬ ‫بارانی تا حد زیادی تشدید می شود‪.‬‬
‫از ماتریس درهم‌ریختگی انجام شد‪ .‬با استفاده از این اطالعات‪ ،‬معیارهای‬ ‫بررسی مطالعات گذشته در زمینه ارائه سامانه های کارآمد به منظور‬
‫عملکردی مختلفی نظیر ‪ precision ،sensitivity ،accuracy‬و‬ ‫برداشت و ارزیابی خودکار خرابی ها‪ ،‬نشان می دهد که جامعه تحقیق به‬
‫‪ F-score‬تعیین شدند که مدل این ایجاد شده با متوسط باالی ‪ 98‬درصد‬ ‫خرابی هایی نظیر ترک‌خوردگی‪ ،‬چاله‪ ،‬شیارافتادگی و شن زدگی توجه‬
‫عملکرد خوبی داشته است‪.‬‬ ‫بیشتری نسبت به سایر خرابی ها نظیر قیرزدگی داشته است‪ .‬همچنین‬
‫همچنین عملکرد فرآیند تفکیک و قطعه بندی نواحی قیرزده با بررسی‬ ‫با بررسی تحقیقاتی که تاکنون در زمینه ارزیابی قیرزدگی انجام شده اند‪،‬‬
‫میزان مشابهت با تصاویر واقعی‪ ،‬مورد ارزیابی قرار گرفت‪ .‬برای این منظور‬ ‫مشخص شد که توجه اکثر محققان بر تشخیص این خرابی بوده است و‬
‫ابتدا بخشی از تصاویر روسازی دارای قیرزدگی به صورت دستی و با دقت‬ ‫تحقیقاتی که ارزیابی جامع تری از خرابی قیرزدگی ارائه دهند بسیار محدود‬
‫باال برچسب گذاری شدند تا به عنوان مبنای ارزیابی مورد استفاده قرار‬ ‫بوده است‪.‬‬
‫گیرند‪ .‬عملکرد مدل ارائه شده با تعیین میزان شباهت تصاویر خروجی مدل‬ ‫در این تحقیق تالش شد تا سامانه ای خودکار با بکارگیری فناوری ها‬
‫با تصاویر مبنا با استفاده از معیارهای صحت و ضریب تشابه دایس انجام شد‬ ‫و روش های جدید به منظور ارزیابی خرابی قیرزدگی ارائه شود‪ .‬این سامانه‬
‫که متوسط ‪ 89/94‬درصد بر اساس معیار صحت و متوسط ‪ 87/47‬بر اساس‬ ‫مبتنی بر تصاویر دو بعدی برداشت شده از سطح روسازی است و این امر‬
‫معیار دایس‪ ،‬بیانگر عملکرد قابل قبول این مدل است‪.‬‬
‫‪1‬‬ ‫‪Mean Pixel Accuracy‬‬
‫با توجه به اینکه در استانداردهای معتبر نظیر ‪،ASTM D6433‬‬ ‫‪2‬‬ ‫‪Mean Intersection over Union‬‬
‫‪3‬‬ ‫‪Frequency weighted Intersection over Union‬‬

‫‪4595‬‬
 4598 ‫ تا‬4577 ‫ صفحه‬،1400 ‫ سال‬،11 ‫ شماره‬،53 ‫ دوره‬،‫نشریه مهندسی عمران امیرکبیر‬

[4] C. Koch, K. Georgieva, V. Kasireddy, B. Akinci, P. ‫ارزیابی و ارائه شاخص خرابی قیرزدگی بر اساس دو معیار شدت و گستردگی‬
Fieguth, A review on computer vision based defect
‫ در سامانه ارائه شده با تعیین نسبت نواحی قیرزده به‬،‫خرابی انجام می شود‬
detection and condition assessment of concrete and
asphalt civil infrastructure, Advanced Engineering ‫ امکان تعیین خودکار‬،‫نواحی سالم و یا با محاسبه مساحت نواحی قیرزده‬
Informatics, 292 (2015) 196-210. ‫ همچنین تفکیک خودکار نواحی‬.‫میزان گستردگی خرابی فراهم شده است‬
[5] B. Mataei, H. Zakeri, M. Zahedi, F.M. Nejad, Pavement ‫ زمینه انجام ارزیابی های بیشتر برای تعیین نوع (محلی یا طولی) و‬،‫قیرزده‬
friction and skid resistance measurement methods: a
literature review, Open J. Civ. Eng., 6(04) (2016) 537.
.‫شدت قیرزدگی را در پژوهش های آینده فراهم میکند‬
[6] J.S. Miller, W.Y. Bellinger, Distress identification manual ‫ می توان از سامانه ارائه شده به منظور ایجاد داده های‬،‫عالوه بر این‬
for the long-term pavement performance program, ‫مورد نیاز برای ساخت انواع دیگری از مدلهای مبتنی بر شبکه عصبی پیچشی‬
United States. Federal Highway Administration. Office
‫ زیرا داده های مورد نیاز برای‬.‫ و غیره) استفاده نمود‬YOLO ،U-Net(
of Infrastructure Research and Development, 2014.
‫تعلیم مدلهای ذکر شده باید تمامی پیکسل های تصویر دسته بندی و‬
[7] S. Kodippily, T.F.P. Henning, J.M. Ingham, G. Holleran,
Quantifying the effects of chip seal volumetrics on the ‫برچسب گذاری شده باشند که این عملیات در حالت عادی به صورت دستی‬
occurrence of pavement flushing, Journal of Materials in .‫انجام می شود و بسیار وقت گیر خواهد بود‬
Civil Engineering, 26(8) (2014).
‫در مجموع عملکرد سامانه ارائه شده در این پژوهش در ارزیابی خودکار‬
[8] T. Bennert, Determining Binder Flushing Causes in New
‫خرابی قیرزدگی روسازی آسفالتی نشان می دهد که این سامانه می تواند به‬
York State Final Report, (2014).
[9] H. Khosravi, S.M. Abtahi, B. Koosha, M. Manian,
‫عنوان ابزاری کارآمد در جهت تشخیص و ارزیابی این خرابی مورد استفاده‬
An analytical–empirical investigation of the bleeding ‫قرار گیرد و عملکرد سامانه های مدیریت روسازی در کشورهای مختلف را‬
mechanism of asphalt mixes, Construction and Building .‫بهبود بخشد‬
Materials, 45(Supplement C) (2013) 138-144.
‫در آخر می توان به این نکته اشاره کرد که در بخش های مختلف سامانه‬
[10] W. Lawson, S. Senadheera, Chip seal maintenance:
solutions for bleeding and flushed pavement surfaces, ‫ امکان استفاده از ابزارها و روش های دیگر به منظور بهبود‬،‫پیشنهاد شده‬
Transportation Research Record: Journal of the ‫ به عنوان نمونه در بخش تفکیک نواحی قیرزده‬.‫عملکرد سامانه وجود دارد‬
Transportation Research Board, (2108) (2009) 61-68. ‫میتوان از فیلترهای دیگر نظیر فیلترهای فازی استفاده نمود یا در بخش‬
[11] R. Henderson, P. Cenek, N. Jamieson, D. Wilson, The
‫تشخیص خرابی می توان از سایر مدل های از پیش تعلیم یافته استفاده نمود‬
influence of binder rise in reducing tyre–road friction
June 2011, (2011). .‫و میزان بهبود یا عدم بهبود سامانه را بررسی کرد‬
[12] M. Arbabpour Bidgoli, A. Golroo, H. Sheikhzadeh
Nadjar, A. Ghelmani Rashidabad, M.R. Ganji, Road ‫منابع‬
roughness measurement using a cost-effective sensor- [1] M.Y. Shahin, Pavement management for airports, roads,
based monitoring system, Automation in Construction, and parking lots, 1994.
104 (2019) 140-152.
[2] H. Zakeri, F.M. Nejad, A. Fahimifar, Image Based
[13] A. Designation, D6433 Standard Practice for Roads Techniques for Crack Detection, Classification and
and Parking Lots Pavement Condition Index Surveys, Quantification in Asphalt Pavement: A Review, Archives
(2007). of Computational Methods in Engineering, 24(4) (2017)
[14] T.B.J. Coenen, A. Golroo, A review on automated 935-977.
pavement distress detection methods, Cogent [3] H. Zakeri, F.M. Nejad, A. Fahimifar, Rahbin: A quadcopter
Engineering, 4(1) (2017). unmanned aerial vehicle based on a systematic image
[15] Y. LeCun, Y. Bengio, G. Hinton, Deep learning, Nature, processing approach toward an automated asphalt
521 (2015) 436. pavement inspection, Automation in Construction,
[16] Goodfellow, Y. Bengio, A. Courville, Y. Bengio, Deep 72(Part 2) (2016) 211-235.

4596
 4598 ‫ تا‬4577 ‫ صفحه‬،1400 ‫ سال‬،11 ‫ شماره‬،53 ‫ دوره‬،‫نشریه مهندسی عمران امیرکبیر‬

to Threshold Computation Based on the Haar Wavelet learning, MIT press Cambridge, 2016.
Transform, in: 2019 IEEE 43rd Annual Computer [17] B. Li, K.C. Wang, A. Zhang, E. Yang, G. Wang,
Software and Applications Conference (COMPSAC), Automatic classification of pavement crack using deep
IEEE, 2019, pp. 306-315. convolutional neural network, International Journal of
[29] P. Luo, X. Qu, X. Qing, J. Gu, CT Image Denoising Pavement Engineering, (2018) 1-7.
Using Double Density Dual Tree Complex Wavelet [18] Z. Tong, D. Yuan, J. Gao, Z. Wang, Pavement defect
with Modified Thresholding, in: 2018 2nd International detection with fully convolutional network and an
Conference on Data Science and Business Analytics uncertainty framework, Computer-Aided Civil and
(ICDSBA), IEEE, 2018, pp. 287-290. Infrastructure Engineering, (2020).
[30] A.S. Yaseen, O.N. Pavlova, A.N. Pavlov, A.E. Hramov, [19] Y. Liu, J. Yao, X. Lu, R. Xie, L. Li, DeepCrack: A Deep
Image denoising with the dual-tree complex wavelet Hierarchical Feature Learning Architecture for Crack
transform, in: Saratov Fall Meeting 2015: Third Segmentation, Neurocomputing, (2019).
International Symposium on Optics and Biophotonics
[20] W. Ye, W. Jiang, Z. Tong, D. Yuan, J. Xiao, Convolutional
and Seventh Finnish-Russian Photonics and Laser
neural network for pothole detection in asphalt pavement,
Symposium (PALS), International Society for Optics and
Road Materials and Pavement Design, (2019) 1-17.
Photonics, 2016.
[21] L. Song, X. Wang, Faster region convolutional neural
[31] P. Prasad, G. Umamadhuri, Biorthogonal Wavelet-
network for automated pavement distress detection,
based Image Compression, in: Artificial Intelligence
Road Materials and Pavement Design, (2019) 1-19.
and Evolutionary Computations in Engineering Systems,
[22] P.S. Addison, The illustrated wavelet transform
Springer, 2018, pp. 391-404.
handbook: introductory theory and applications in
[32] C. Karthikeyan, C. Palanisamy, An Efficient Image
science, engineering, medicine and finance, CRC press,
Compression Method by Using Optimized Discrete
2017.
Wavelet Transform and Huffman Encoder, Journal of
[23] S. Yang, A. Alhasan, Y. Zhang, H. Ceylan, S. Kim,
Computational Theoretical Nanoscience, 15(1) (2018)
Pavement curling and warping analysis using wavelet
289-298.
techniques, International Journal of Pavement
[33] A. Bakhshipour, A. Jafari, S.M. Nassiri, D. Zare,
Engineering, (2020) 1-16.
Weed segmentation using texture features extracted
[24] Z. Zhang, C. Sun, R. Bridgelall, M. Sun, Road profile
from wavelet sub-images, Biosystems Engineering, 157
reconstruction using connected vehicle responses and
(2017) 1-12.
wavelet analysis, Journal of Terramechanics, 80 (2018)
[34] A.M. Atto, Y. Berthoumieu, P. Bolon, 2-d wavelet
21-30.
packet spectrum for texture analysis, IEEE Transactions
[25] M. Khan, F. Qiao, L. Yu, Wavelet analysis to characterize
on Image Processing, 22(6) (2013) 2495-2500.
the dependency of vehicular emissions on road roughness,
[35] Y.O. Ouma, M. Hahn, Wavelet-morphology based
Transportation Research Record, 2641(1) (2017) 111-125
detection of incipient linear cracks in asphalt pavements
[26] A. Alhasan, D.J. White, K. De Brabanter, Wavelet filter
from RGB camera imagery and classification using
design for pavement roughness analysis, Computer-
circular Radon transform, Advanced Engineering
Aided Civil and Infrastructure Engineering, 31(12)
Informatics, 30(3) (2016) 481-499.
(2016) 907-920.
[36] F. Moghadas Nejad, H. Zakeri, An expert system based
[27] G. Yang, Q.J. Li, Y.J. Zhan, K.C. Wang, C. Wang,
on wavelet transform and radon neural network for
Wavelet based macrotexture analysis for pavement
pavement distress classification, Expert Systems with
friction prediction, KSCE Journal of Civil Engineering,
Applications, 38(6) (2011) 7088-7101.
22(1) (2018) 117-124.
[37] P. Wang, Y. Hu, Y. Dai, M. Tian, Asphalt Pavement
[28] R.S. Rodrigues, M. Pasin, A. Kozakevicius, V. Monego,
Pothole Detection and Segmentation Based on Wavelet
Pothole Detection in Asphalt: An Automated Approach

4597
 4598 ‫ تا‬4577 ‫ صفحه‬،1400 ‫ سال‬،11 ‫ شماره‬،53 ‫ دوره‬،‫نشریه مهندسی عمران امیرکبیر‬

[47] S.J. Pan, Q. Yang, A survey on transfer learning, IEEE Energy Field, Mathematical Problems in Engineering,
Transactions on knowledge data engineering, 22(10) 2017 (2017) 13.
(2010) 1345-1359. [38] B. Mataei, F. Moghadas Nejad, M. Zahedi, H. Zakeri,
[48] Y. Gao, K.M. Mosalam, Deep Transfer Learning for Evaluation of pavement surface drainage using an
Image-Based Structural Damage Recognition, Computer- automated image acquisition and processing system,
Aided Civil and Infrastructure Engineering, 33(9) (2018) Automation in Construction, 86 (2018) 240-255.
748-768. [39] F.M. Nejad, N. Karimi, H. Zakeri, Automatic image
[49] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, acquisition with knowledge-based approach for multi-
S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, directional determination of skid resistance of pavements,
Imagenet large scale visual recognition challenge, Automation in Construction, 71(Part 2) (2016) 414-429.
International Journal of Computer Vision, 115(3) (2015) [40] M. Karaşahin, M. Saltan, S. Çetin, Determination of
211-252. seal coat deterioration using image processing methods,
[50] A. Krizhevsky, I. Sutskever, G.E. Hinton, Imagenet Construction and Building Materials, 53(Supplement C)
classification with deep convolutional neural networks, (2014) 273-283.
in: Advances in neural information processing systems, [41] G.M. Hadjidemetriou, S.E. Christodoulou, Vision-
2012, pp. 1097-1105. and Entropy-Based Detection of Distressed Areas for
[51] R.C. Gonzalez, R.E. Woods, Digital image processing, Integrated Pavement Condition Assessment, Journal of
(2007). Computing in Civil Engineering, 33(3) (2019).
[52] F.M. Nejad, H. Zakeri, An optimum feature extraction [42] J. Laurent, J. Hébert, M. Talbot, Using full lane 3D road
method based on Wavelet–Radon Transform and texture data for the automated detection of sealed cracks,
Dynamic Neural Network for pavement distress bleeding and ravelling, in: Proceedings of the World
classification, Expert Systems with Applications, 38(8) Conference on Pavement and Asset Management, Milan,
(2011) 9442-9460. Italy, 2017, pp. 12-16.
[53] F.M. Nejad, H. Zakeri, The Hybrid Method and its [43] Goodfellow, Y. Bengio, A. Courville, Deep learning,
Application to Smart Pavement Management, in: X.-S. MIT press, 2016.
Yang, A.H. Gandomi, S. Talatahari, A.H. Alavi (Eds.) [44] M.A. Nielsen, Neural networks and deep learning,
Metaheuristics in Water, Geotechnical and Transport Determination press USA, 2015.
Engineering, Elsevier, Oxford, 2013, pp. 439-484.
[45] K. Gopalakrishnan, S.K. Khaitan, A. Choudhary, A.
[54] Y. Gao, K.M. Mosalam, Deep Transfer Learning for Agrawal, Deep Convolutional Neural Networks with
Image-Based Structural Damage Recognition, 33(9) transfer learning for computer vision-based data-driven
(2018) 748-768. pavement distress detection, Construction and Building
[55] S.R. Young, D.C. Rose, T.P. Karnowski, S.-H. Lim, Materials, 157 (2017) 322-330.
R.M. Patton, Optimizing deep learning hyper-parameters [46] K. Zhang, H. Cheng, B. Zhang, Unified Approach to
through an evolutionary algorithm, in: Proceedings of Pavement Crack and Sealed Crack Detection Using
the Workshop on Machine Learning in High-Performance Preclassification Based on Transfer Learning, Journal of
Computing Environments, ACM, 2015, pp. 4. Computing in Civil Engineering, 32(2) (2018) 04018001.

‫چگونه به این مقاله ارجاع دهیم‬

S. Ranjbar, F. Moghadas Nejad, H. Zakeri, Asphalt Pavement Bleeding Evaluation using Deep
Learning and Wavelet Transform , Amirkabir J. Civil Eng., 53(11) (2022) 4577-4598.

DOI: 10.22060/ceej.2020.18292.6820

4598