Big Data

Trends 2018

Romi Satria Wahono

[email protected]
http://romisatriawahono.net
Telegram/WA: +6281586220090

1
Romi Satria Wahono
• SMA Taruna Nusantara Magelang (1993)
• B.Eng, M.Eng and Ph.D in Software Engineering
Saitama University Japan (1994-2004)
Universiti Teknikal Malaysia Melaka (2014)
• Research Interests in Software Engineering and
Machine Learning
• LIPI Researcher (2004-2007)
• Founder and CEO:
• PT IlmuKomputerCom Braindevs Sistema
• PT Brainmatics Cipta Informatika
• Professional Member of IEEE, ACM and PMI
• IT and Research Award Winners from WSIS (United Nations),
Kemdikbud, LIPI, etc
• SCOPUS/ISI Indexed Journal Reviewer: Information and Software
Technology, Journal of Systems and Software, Software: Practice and
Experience, etc
• Industrial IT Certifications: TOGAF, ITIL, CCNA, etc
• Enterprise Architecture Consultant: KPK, Ristek Dikti, LIPI, DJPK
Kemenkeu, Kemsos, INSW, Telkom, PLN, PJB, UNSRI, etc
2
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use Cases 3. Methods

3
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use
3. Methods
Cases

1. Big Data Culture

4
 Manusia Memproduksi Data

Manusia memproduksi beragam

data yang jumlah dan ukurannya
sangat besar
• Astronomi
• Bisnis
• Kedokteran
• Ekonomi
• Olahraga
• Cuaca
• Financial
• …

5
Pertumbuhan Data
kilobyte (kB) 103
Astronomi megabyte (MB) 106
• Sloan Digital Sky Survey gigabyte (GB) 109
• New Mexico, 2000 terabyte (TB) 1012
• 140TB over 10 years
petabyte (PB) 1015
• Large Synoptic Survey Telescope exabyte (EB) 1018
• Chile, 2016
zettabyte (ZB) 1021
• Will acquire 140TB every five days
yottabyte (YB) 1024

Biologi dan Kedokteran

• European Bioinformatics Institute (EBI)
• 20PB of data (genomic data doubles in size each year)
• A single sequenced human genome can be around 140GB in size

6
Perubahan Kultur dan Perilaku

7
Perubahan Kultur dan Perilaku

8
 kilobyte (kB) 103
Datangnya Tsunami Data megabyte (MB) 106
gigabyte (GB) 109

• Mobile Electronics market terabyte (TB)

petabyte (PB)
1012
1015
• 4.43B mobile phone users in 2015 exabyte (EB) 1018
• 7B mobile phone subscriptions in 2015 zettabyte (ZB) 1021
yottabyte (YB) 1024

• Web and Social Networks generates

amount of data
• Google processes 100 PB per day, 3 million servers
• Facebook has 300 PB of user data per day
• Youtube has 1000PB video storage
• 235 TBs data collected by the US Library of Congress
• 15 out of 17 sectors in the US have more data stored
per company than the US Library of Congress
9
Kebanjiran Data tapi Miskin Pengetahuan

We are drowning in data, but

starving for knowledge!
(John Naisbett, Megatrends, 1988)

10
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use
3. Methods
Cases

2. Big Data Mining

11
 Mengubah Data Menjadi Pengetahuan
• Data harus kita olah menjadi pengetahuan
supaya bisa bermanfaat bagi manusia

• Dengan pengetahuan
tersebut, manusia dapat:
• Melakukan estimasi dan prediksi
apa yang terjadi di depan
• Melakukan analisis tentang
asosiasi, korelasi dan
pengelompokan antar data dan atribut
• Membantu pengambilan keputusan dan
pembuatan kebijakan
12
Memining Data Menjadi Pengetahuan

Data Mining: Disiplin ilmu yang mempelajari metode

untuk mengekstrak pengetahuan atau menemukan pola
dari suatu data yang besar
13
Memining Data Menjadi Pengetahuan

Himpunan Data Mining

Knowledge
Data Methods

14
Contoh Data di Kampus
• Puluhan ribu data mahasiswa di kampus yang
diambil dari sistem informasi akademik
• Apakah pernah kita ubah menjadi pengetahuan
yang lebih bermanfaat? TIDAK!
• Seperti apa pengetahuan itu? Rumus, Pola, Aturan

15
Prediksi Kelulusan Mahasiswa

16
Contoh Data di Komisi Pemilihan Umum
• Puluhan ribu data calon anggota legislatif di KPU
• Apakah pernah kita ubah menjadi pengetahuan
yang lebih bermanfaat? TIDAK!

17
Prediksi Calon Legislatif DKI Jakarta

18
 From Stupid Apps to Smart Apps

Stupid Smart
Applications Applications
• Sistem Informasi • Sistem Prediksi
Akademik Kelulusan Mahasiswa
• Sistem Pencatatan • Sistem Prediksi Hasil
Pemilu Pemilu
• Sistem Laporan • Sistem Prediksi
Kekayaan Pejabat Koruptor
• Sistem Pencatatan • Sistem Penentu
Kredit Kelayakan Kredit

19
Perusahaan Pengolah Pengetahuan
• Uber - the world’s largest taxi company, owns
no vehicles
• Google - world’s largest media/advertising
company, creates no content
• Alibaba - the most valuable retailer, has no
inventory
• Airbnb - the world’s largest accommodation
provider, owns no real estate
• Gojek - perusahaan angkutan umum, tanpa
memiliki kendaraan
• Groceria – perusahaan penjual sayur dan
daging di pasar, tanpa punya toko dan barang
dagangan

20
Evolution of Sciences
• Sebelum 1600: Empirical science
• Disebut sains kalau bentuknya kasat mata

• 1600-1950: Theoretical science

• Disebut sains kalau bisa dibuktikan secara matematis atau eksperimen

• 1950s-1990: Computational science

• Seluruh disiplin ilmu bergerak ke komputasi
• Lahirnya banyak model komputasi

• 1990-sekarang: Data science

• Kultur manusia menghasilkan data besar
• Kemampuan komputer untuk mengolah data besar
• Datangnya data mining sebagai arus utama sains

Jim Gray and Alex Szalay, The World Wide Telescope:

An Archetype for Online Science, Comm. ACM, 45(11): 50-54, Nov. 2002
21
22
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use
3. Methods
Cases

3. Big Data Methods and

Technologies

23
Empat Dimensi Masalah Big Data

24
Big Data Methods
1. Text Mining:
• Mengolah data tidak terstruktur dalam bentuk text,
web, social media, dsb
• Menggunakan metode text processing untuk
mengkonversi data tidak terstruktur menjadi terstruktur
• Kemudian diolah dengan data mining

2. Data Mining:
• Mengolah data terstruktur dalam bentuk tabel yang
memiliki atribut dan kelas
• Menggunakan metode data mining, yang terbagi
menjadi metode estimasi, forecasting, klasifikasi,
klastering atau asosiasi
• Yang dasar berpikirnya menggunakan konsep statistika atau
heuristik ala machine learning

25
Text Mining

Text Processing

26
 2
7

Text Mining
Jejak Pornografi di
Indonesia
Text Mining: AHY-AHOK-ANIES

28
Data Mining

1. Estimasi

5. Asosiasi 2. Forecasting

4. Klastering 3. Klasifikasi

29
Dataset (Himpunan Data)
Attribute/Feature Class/Label

Record/
Object/
Sample

Nominal

Numerik
30
 1. Estimasi Waktu Pengiriman Pizza
Customer Jumlah Pesanan (P) Jumlah Traffic Light (TL) Jarak (J) Waktu Tempuh (T)

1 3 3 3 16
2 1 7 4 20
3 2 4 6 18
Label
4 4 6 8 36
...
1000 2 4 2 12

Pembelajaran dengan
Metode Estimasi (Regresi Linier)

Waktu Tempuh (T) = 0.48P + 0.23TL + 0.5J

Pengetahuan
31
 Estimasi Performansi CPU
• Example: 209 different computer configurations

Cycle time Main memory Cache Channels Performance

(ns) (Kb) (Kb)
MYCT MMIN MMAX CACH CHMIN CHMAX PRP
1 125 256 6000 256 16 128 198
2 29 8000 32000 32 8 32 269
…
208 480 512 8000 32 0 0 67
209 480 1000 4000 0 0 0 45

• Linear regression function

PRP = -55.9 + 0.0489 MYCT + 0.0153 MMIN + 0.0056
MMAX
+ 0.6410 CACH - 0.2700 CHMIN + 1.480 CHMAX

32
2. Forecasting Harga Saham
Dataset harga saham dalam
bentuk time series (rentet waktu)

Pembelajaran dengan
Metode Forecasting (Neural Network)

33
Forecasting Kurs Mata Uang

34
 3. Klasifikasi Kelulusan Mahasiswa
Label

NIM Gender Nilai Asal IPS1 IPS2 IPS3 IPS 4 ... Lulus Tepat
UN Sekolah Waktu
10001 L 28 SMAN 2 3.3 3.6 2.89 2.9 Ya
10002 P 27 SMA DK 4.0 3.2 3.8 3.7 Tidak
10003 P 24 SMAN 1 2.7 3.4 4.0 3.5 Tidak
10004 L 26.4 SMAN 3 3.2 2.7 3.6 3.4 Ya
...
...
11000 L 23.4 SMAN 5 3.3 2.8 3.1 3.2 Ya

Pembelajaran dengan
Metode Klasifikasi (C4.5)

35
Pengetahuan Berupa Pohon Keputusan

36
Klasifikasi Sentimen Analisis

37
Klasifikasi Sentimen Analisis

38
4. Klastering Bunga Iris Dataset Tanpa Label

Pembelajaran dengan
Metode Klastering (K-Means)

39
Klastering Jenis Pelanggan

40
Klastering Sentimen Warga

41
5. Aturan Asosiasi Pembelian Barang

Pembelajaran dengan
Metode Asosiasi (FP-Growth)

42
Pengetahuan Berupa Aturan Asosiasi

43
Aturan Asosiasi di Amazon.com

44
Teknologi Pendukung Big Data?

45
46
Magic Quadrant for Advanced
Analytics Platform (Gartner, 2016)

47
Big Data Analytics Solution 2015 (The Forrester Wave)

48
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use
3. Methods
Cases

4. Big Data Use Cases

49
Private and Commercial Sector
• Marketing: product recommendation, market basket
analysis, product targeting, customer retention
• Finance: investment support, portfolio management,
price forecasting
• Banking and Insurance: credit and policy approval,
money laundry detection
• Security: fraud detection, access control, intrusion
detection, virus detection
• Manufacturing: process modeling, quality control,
resource allocation
• Web and Internet: smart search engines, web
marketing
• Software Engineering: effort estimation, fault
prediction
• Telecommunication: network monitoring, customer
churn prediction, user behavior analysis
50
 Use Case: Product Recommendation
4,000,000
Tot.Belanja
3,500,000
Jml.Pcs
3,000,000 Jml.Item
2,500,000

2,000,000

1,500,000

1,000,000

500,000

0
0 5 10 15 20 25 30 35

Cluster - 2 Cluster - 3 Cluster - 1

51
 Use Case: Penentuan Kelayakan Kredit
20

15

10 Jumlah kredit
macet

0
2003 2004

52
 Use Case: Software Fault Prediction

• The cost of capturing and

correcting defects is expensive
• $14,102 per defect in post-release
phase (Boehm & Basili 2008)
• $60 billion per year (NIST 2002)
• Industrial methods of manual
software reviews activities can
find only 60% of defects
(Shull et al. 2002)
• The probability of detection of
software fault prediction
models is higher (71%) than
software reviews (60%)

53
Public and Government Sector
• Finance: exchange rate forecasting, sentiment analysis
• Taxation: adaptive monitoring, fraud detection
• Medicine and Healt Care: hypothesis discovery, disease
prediction and classification, medical diagnosis
• Education: student allocation, resource forecasting
• Insurance: worker’s compensation analysis
• Security: bomb, iceberg detection
• Transportation: simulation and analysis, load estimation
• Law: legal patent analysis, law and rule analysis
• Politic: election prediction

54
Use Case: Deteksi Pencucian Uang

55
 Use Case: Prediksi Kebakaran Hutan
FFMC DMC DC ISI temp RH wind rain ln(area+1)
93.5 139.4 594.2 20.3 17.6 52 5.8 0 0
92.4 124.1 680.7 8.5 17.2 58 1.3 0 0
90.9 126.5 686.5 7 15.6 66 3.1 0 0
85.8 48.3 313.4 3.9 18 42 2.7 0 0.307485
91 129.5 692.6 7 21.7 38 2.2 0 0.357674
90.9 126.5 686.5 7 21.9 39 1.8 0 0.385262
95.5 99.9 513.3 13.2 23.3 31 4.5 0 0.438255
12
9.648
10

8
5.9 5.615
SVM SVM+GA 6
4.3
C 4.3 1,840
4
Gamma (𝛾) 5.9 9,648 3.9
1.391
Epsilon (𝜀) 3.9 5,615 1.840
2
RMSE 1.391 1.379
0 1.379
C Gamma Epsilon RMSE
SVM SVM+GA
56
 Use Case: Prediksi Koruptor

Aktivitas Penindakan Prediksi dan klastering

calon tersangka koruptor
Aktivitas Intelijen

Asosiasi atribut
DATA tersangka koruptor
DATA DATA Pengetahuan

DATA
Prediksi pencucian uang

Aktivitas Pendukung
Estimasi jenis dan
Aktivitas Pencegahan jumlah tahun hukuman

57
Use Case: Profiling dan Deteksi Kasus TKI

58
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use
3. Methods
Cases

5. Big Data Research

59
 Komparasi Penelitian D3/D4 vs S1 vs S2 vs S3

Aspek Tugas Akhir Skripsi Tesis Disertasi

(D3/D4) (D4/S1) (S2) (S3)
Penguasaan Pengujian Teori Pengembangan Penemuan Teori Baru
Level Kemampuan Teknis Teori
Kontribusi

Implementasi dan Implementasi dan Perbaikan Secara Substansial dan

Bentuk pengembangan pengembangan Inkremental dan Invention
Kontribusi Terus Menerus

- Domestic International International Journal

Target Conference Conference
Publikasi

60
Komparasi Penelitian D3/D4 vs S1 vs S2 vs S3
• D3/D4:
• Pengembangan Sistem Informasi Rumah Sakit untuk
Rumah Sakit “Suka Sembuh”
• Karakter: menguasai skill teknis
• S1:
• Sistem Cerdas Berbasis Neural Network untuk Prediksi
Harga Saham
• Karakter: menguji teori, ada software development
• S2/S3:
• Penerapan Algoritma Genetika untuk Pemilihan Arsitektur
Jaringan Secara Otomatis pada Neural Network untuk
Prediksi Harga Saham
• Karakter: mengembangkan teori (perbaikan metode), ada
kontribusi ke teori/metode

61
Apa Yang Dikejar di Penelitian?

Research is a considered activity, which

aims to make an original contribution to
knowledge (Dawson, 2009)

• Original Contribution: Kontribusi Orisinil

• To Knowlegde: Untuk Pengetahuan

62
Bentuk Kontribusi ke Pengetahuan

Kegiatan penyelidikan dan investigasi

terhadap suatu masalah yang dilakukan
secara berulang-ulang dan sistematis,
dengan tujuan untuk menemukan atau
merevisi teori, fakta, dan aplikasi
(Berndtsson et al., 2008)

63
Kontribusi ke Pengetahuan

64
 Contoh Kontribusi ke Pengetahuan
Decision Tree CART (Breiman ,1984)

Credal C4.5 (Mantas, 2014)

Credal DT (Abellan, 2003)

C4.5 (Quinlan, 1993)

ID3 (Quinlan, 1986)

65
 Contoh Kontribusi ke Pengetahuan
Feature Backward Elimination
Selection
Forward Selection
yang Diperbaiki dengan
Algoritma XYZ

Forward Selection

Algoritma Genetika
66
Penelitian Yang Memiliki Kontribusi?
• Penerapan Neural Network untuk Prediksi Harga
Saham pada Perusahaan ABC
• Pemilihan Arsitektur Jaringan pada Neural Network
Secara Otomatis dengan Menggunakan Algoritma Semut
untuk Prediksi Harga Saham

• Penerapan algoritma C4.5 untuk penentuan

kelulusan mahasiswa tepat waktu: Studi Kasus
STMIK XYZ
• Modifikasi Penghitungan Gain dan Entropi untuk
Peningkatan Akurasi pada Algoritma C4.5

Hanya penelitian dengan kontribusi ke pengetahuan yang

bisa menembus jurnal-jurnal internasional terindeks

67
68
Penelitian Terapan

Penelitian Dasar
69
Penerapan C4.5 untuk
Prediksi Pemilu

Split
Criterion

C4.5

Gain
Ratio

Teori Gain
70
 Penerapan Credal C4.5
untuk Prediksi Pemilu

Split
Criterion

Credal
C4.5

Imprecis
e Gain
Ratio

Teori Imprecise Probability

71
Statistik Jumlah Publikasi (ScimagoJR.Com)

72
Rangking Publikasi Ilmiah (ScimagoJR.Com)

73
Rangking Publikasi Ilmiah (ScimagoJR.Com)

74
Scientist vs Businessman

Big Data Big Data

Scientist Business

75
 1. Culture

5. Research 2. Mining
Big Data
Trends 2018

4. Use Cases 3. Methods

Romi Satria Wahono

http://romisatriawahono.net
[email protected]
081586220090

76