How to prevent cyber attack with big data & intelligence(sfis170222)

목차HowtoPrevent Cyberattacks

What makes “Big” data ?
“What makes most big data big is repeated observations over time” (ACM)

“Big” data vs “Normal” data
Big Data isn’t any different to
normal data,
But It combines unstructured &
multi-structured data
Unstructured data
is not organized or easily
interpreted by traditional methods.
Usually text heavy.
Multi-structured data
is a variety of data formats and types
and can be derived from interactions
between people and machine.

Infrastructure
*Big data
Analytics
*Intelligence
Application
어떤 목적으로 어떤 영역에?
어떻게 Processing할 것인가?
어떻게 Construct할 것인가?
Sales, Marketing, CRM, HR, 광고,
보안, Finance, 교육 …
Search, NPL, AI, Social Analytics,
Visualization, Data Science,
Analytics platform, …
Hadoop, Spark, NoSQL, NewSQL,
Graph DB, Management, Storage, ….
Concerns about Big data

Big Data
Infrastructure
=
Still Plenty of Innovation
Big Data
Analytics
=
Now with AI
Big Data
Applications
=
A Real Acceleration
Big data technology is in deployment phase
( But, still hard work )

Logs Events Alerts
Configuration
information
System
audit trails
External
threat feeds
Network flows
and anomalies
Identity
context
Malware
information
Full packet and
DNS captures
E-mail and
social activityBusiness
process data
전통적 보안 운영과 기술
Big Data
Analytics
Facing the challenges of cyber security, IBM
Big Data in cyber security

Security 에서 모든 Data는 연관성이 있습니다. = Big Data
Security context

Needs of big data tech. in security

대응
프로세스
분석
운영
로그수집
1세대 – ESM
수집로그단일분석
2세대 –SIEM
이기종 상관분석
3세대 – Platform
다양한기술/프로그램
이슈사항
Time
보안
솔루션
소규모
Data
단일
장비
단시간
Workflow
IT기기
- 정형
Big
Data
복합
장비
장시간
비정형 –
Big Data
NMS
NMS
탐지
정책
자동
탐지
자동
대응
BPM
I-DB
Deep
Learning
운영 정책 생성/
변경/삭제 관리
자동
격리
자동
치료
Rule
DB
Vul
Scan
1 1세대 ESM
• Data 처리 성능 이슈
• 연동 Device 한계
• 상관분석 처리 부족
• 프로세스 미반영
2 2세대 SIEM
• Rule 관리 어려움
• 자산기반 상관분석 부족
• 프로세스 변경 한계
• 공격 판정 시 리소스 과다
• 솔루션 운영 기능 부족
• 대응 관점 기능 제외
영역확장
Managed Security Tools

Operation-NMS
Knowledge
Integration
KNOWLEDGE Response ANALYTICS SIEM
Automation Intelligence
Big Data Engine – Scale Out
DetectionScenario Rule
Threat
Intelligence
Normalization
MSS Process
- BPM
Prevention
Report
MSS Know-How
Asset/Vul Info
Complex Event
Process
Machine
Learning
Workflow
Ticketing
Incident
Management
Big Data based Managed Security

1)Flume: 원본 Data 수집 Agent 2) Kafka: 분산 메시지 Queue 3) Spark 실시간분산처리엔진 4) Drools: Complex Event Processing 엔진(Rule엔진)
5) Hadoop File System: Hadoop 분산파일시스템 6)MapR-DB: Hbase 기반 NoSQL DB 7) Elasticsearch: 검색 엔진
Event
Collector1)
원본 Event
Queue2)
실시간 분석3)
1st
1)정규화
2) BlackIP/URL
저장 Queue
2nd
(정규화된 로그 저장)
Snmptrap
Syslog
대상장비 Data 수집/분석
실시간 분석
2nd
(실시간 탐지)
CEP 분석4)
(복합 분석/탐지)
DBMS
(탐지결과 저장)
분산파일 저장
시스템5)
(보고서 /로그저장)
Data 저장
분산 검색7)
(단기 로그 저장 및 검색)
실시간 처리
3nd
- 저장
Data View
Dashboard
통합관제화면
Rule 엔진
질의
질의
질의
탐지 결과
저장
정규화 로그
저장
FW
IDS
WAF
DDoS
APT
Nagios
(장애
탐지)
Security Infrastructure ( Big Data)

탐지규칙
( Detecting Rule )
- hreshold/Condition/Vul.
연관규칙(Correlating Rule)
- Scenario,
Compound rule
Threat Information DB
정규화 규칙
(Normalizing rule)
유해 정보(Malicious IP)
- Black IP/URL
- C2 IP/URL수집
가용성 모니터링
취약점 스캔
정규화
1차 탐지 ( IP/URL)
2차 탐지 ( Rules )
3차 탐지 ( Advanced
Rules )
수집, 분석 및 탐지
In-Depth 분석 지원
자동 Ticket 및 경고
인시던트 관리
Report
보안관제 흐름
Knowledge Base
2
3
4
Conditional
Detect Rules
Threshold
Detect Rule
Scenario
Detect Rule
Integrated
Detect Rule
자동 Ticket
생성
경보/경고
Mail/SMS
Events
on-the-fly
Analysis
Complex
Correlation
복합 분석/탐지 Threat Intl. 취약점 연계
Reputation
Geologic info.
Historic Info.
Asset Info.
Vulnerability
Big Data Engine
실시간 분석, 탐지 Engine
RBL, C2
detect
공격자
자동 차단
Incident 대응
프로세스
시스템 운영
5
1
Security Analytics (detect)

로그전송
1 2
3
45
Detection
공격자동탐지
Identification
공격자정보식별
Alert
침해위협자동발송
Deny
방화벽자동차단
Warning
조치 메일
자동발송
Risk Check
Rule Gen
Rule Executor
Firewall
Mail
Mail SMS
SMS
이벤트
감시
공격 IP
차단 설정
고객 침해위협
보고서 발송
대응 종료
공격탐지
경고메일
발송
Rule Engine Incident Case
ResponseAutomation
Security Application ( Response )

보안운영/관리
Baseline
관리
Comm.
관리
보안자산
관리
서비스
수준관리
조직
관리
운영
관리
보안관리 엔진/ 보안 KB 서비스
취약점
관리
정책관리
Threat
Intelligence
모니터링
가용성 관리
통합
위협 탐지
Reports
Deployment
SLA
이벤트
관리
Built-in 보안운영 절차
Managed Security ( Scope )
보안관제
업무프로세스
현황파악/
정책 셋업
보안솔루션
운영
탐지/분석 대응 보고/개선

• Real-Time Big Data 기반 보안관제 Platform
• 보안 관제 표준 Business Process Management 적용
• 다년간 축적된 보안 관제 Knowledge 시스템 반영
• 업무 Automation & Orchestration 적용을 통한 업무 효율화
 초당 10만 EPS 이상 지원
 Real-Time Big Data 엔진
- Apache Spark
 CEP 기반 Rule 엔진
- Drools Rule 엔진
 검증된 MapR 사용
 관제 표준 프로세스 적용
- 통합 탐지 프로세스
- 장애 대응 프로세스
- 정책 변경 프로세스
 BPMN 2.0 적용
- 국제 표준 규격
 공격 탐지 Rule
- Alarm/상관 탐지
 CERT-DB
- Black IP/C2 서버/악성 URL
 보안 솔루션 운영
- 정책 변경/장애 대응
 통합 공격 탐지
- 자동화 된 공격 탐지 정책
 공격 차단
- 방화벽 자동 차단 엔진
 보고 자동화
- 침해위협/경고메일/월간
보고

How to prevent cyber attack with big data & intelligence(sfis170222)

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to How to prevent cyber attack with big data & intelligence(sfis170222) (20)