[D3T1S06] Neptune Analytics with Vector Similarity Search

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DATA & AI ROADSHOW 2024
Donghoon Jang
Database Specialist SA
AWS
Neptune Analytics
Vector Similar Search

2
Agenda
• Graph Data Model
• Amazon Neptune
• Vector Similarity Search with Neptune

3
Graph Model
그래프 데이터 모델은 관계
(Relationships) 를 기반
그래프는 연결된 데이터의
연결 및 패턴을 탐색
Name:
Alice
City:
Anytown
works_with
Name:
Bob

4
Graph Model
PROPERTY
GRAPH
RESOURCE
DESCRIPTION
FRAMEWORK (RDF)

5
Graph Model Label
Node/Vertex
Property
Rel/Edge
Property
Property graph Model

6
Graph Model
부자연스러운
쿼리
비효율적인 처리
데이터 변경에 유연하지
않은 엄격한 스키마
vs.RelationalModel

7
Graph Model
UseCases
서로 연결된 데이터를 기반으로
• 데이터 자체만큼 데이터 간의 관계가 중요
• 결과가 관계의 강도, 무게 또는 질에 따라 변화
소셜
네트워크
추천 지식 그래프 사기 감지 생명 과학
네트워크 및 IT
운영

8
Neptune Analytics
Amazon Neptune
Amazon Neptune
Neptune
Analytics
Neptune
ML
Neptune
Database
𝑃! 𝑃"
𝑃#
𝑃$

9
Neptune Analytics
NeptuneDatabases
Neptune
Workbench
Social
networking
Knowledge
graph
Fraud
detection
1 writer and up to 15 read replicas
6 copies of data
across 3 AZs
Up to 128 TiB Automated backup
and restore
Database fast
clone
Bulk load
from S3
Neptune
Streams
Status
Endpoint
Query Read replica
Profile and auto scaling
Explain
AWS Backup Neptune ML Amazon
OpenSearch
Security Graph

10
Neptune Analytics
Ø 그래프 워크로드를 위한 단일 서비스
Ø 고성능 그래프 분석 쿼리 및 그래프 알고리즘
Ø Gen AI 애플리케이션을 위한 벡터 저장 및 검색
사용 사례
• 임시 분석
• 낮은 지연 시간의 분석 쿼리
• 그래프 데이터를 이용한 벡터 검색
클러스터링 분석의 예

11
Neptune Analytics
Centrality
Degree
PageRank
Closeness
Path Finding
Breadth First Search
Single Source Shortest Path
topK Hop-Limited BFS
Vector Similarity
topK Search
Vector Distance
Clustering
Weakly Connected Components
Label Propagation
Strongly Connected Components
Similarity
Common Neighbors
Total Neighbors
Overlap Similarity
Jaccard Similarity

12
Neptune Analytics
Neptune Database Neptune Analytics
Architecture 인스턴스 기반(단일 라이터, 다중 리더)
서버리스 지원
메모리 최적화(캐싱)
메모리 기반
HPC 스타일 그래프 파티셔닝 사용
Terminology Cluster Graph
Graph Frameworks RDF
Property Graph
Property Graph
Query Languages SPARQL (RDF)
openCypher / Gremlin
openCypher – supports CALL, YIELD
Global Databases 단일 기본 리전, 최대 5개의 리더 리전 아직 지원되지 않음
Data Ingestion Bulk Load
Lambda
Bulk Load (80배 더 빠른 로드)
Data Plane API
Workload Types OLTP (transactional) OLAP (analytical)
메모리 집약적인 그래프 계산을 위해 조정됨
Storage 영구 저장 임시 분석 – 대규모 데이터 세트를 빠르게
로드하고 분석
벡터 지원
Generative AI RAG를 위한 LangChain 통합 RAG를 위한 LangChain 통합
벡터/유사성 검색

13
Neptune Analytics
사용 사례 사용을 고려…
그래프 데이터 세트 저장
및 관리
Neptune 데이터베이스는 뛰어난 확장성과 가용성을 위해 설계된 서버리스
그래프 데이터베이스
사용 시기 : Neptune 데이터베이스는 초당 100,000개의 쿼리, 다중 AZ
고가용성 및 다중 지역 배포로 확장해야 하는 그래프 데이터베이스
워크로드를 위한 솔루션
그래프 데이터 세트 분석 Neptune Analytics는 대량의 그래프 데이터를 빠르게 분석하여 통찰력을 얻고
추세를 찾아내는 그래프 분석 데이터베이스 엔진
사용 시기: Neptune Analytics는 널리 사용되는 그래프 분석 알고리즘과 지연
시간이 짧은 분석 쿼리를 사용하여 데이터 레이크에 저장된 기존 그래프
데이터베이스 또는 그래프 데이터 세트를 신속하게 분석하기 위한 솔루션

14
Neptune Analytics
// Algorithms
MATCH (n:airport {country: 'US’})
WITH collect(n) as airports, n.region as region
CALL neptune.algos.bfs.levels(n)
YIELD node, level
RETURN node, level

15
Neptune Analytics
MATCH (n:Book {name: ‘Travel: Portugal’})
// 1 //
CALL neptune.vectors.topKByNode(n, { topK: 10 } )
YIELD node, score, rank
// 2 //
MATCH p=(node)-[*1..3]->(suspicious)
WHERE (suspicious: seller OR suspicious: lister OR suspicious: buyer)
// 3 //
RETURN n, collect(p), score, rank
ORDER BY rank DESC

16
Neptune & Vector Similar Search
Neptune
Analytics
Graph Analytics and Vector Search
Amazon
S3
Generative AI Models (LLM)
Amazon
SageMaker
LangChain
OSS
Amazon
Bedrock
Neptune
Database

17
Vector Similarity Search
• 벡터 검색은 암시적 유사성을 찾음
• 그래프는 명시적인 컨텍스트를 찾음
• Gen AI 애플리케이션에 대한 더욱
풍부한 응답 제공
Neptune Analytics
Native vector index
Graph

18
Natural language
queries
Vector similarity
search (VSS)
Vector Embedding
공항과 항로 검색

19
• 읽기 쿼리는 세 가지 기본 부분을 기반으로 함 :
• Find
• Filter
• Format
MATCH (a:airport)-[:route]->(b:airport)
WHERE a.code = 'CZM'
RETURN a.code as Source, b.code AS
Destination
Find
Filter
Format

20
Natural language
queries
VSS and
traversals
Vector Embedding
import boto3
from langchain.embeddings import BedrockEmbeddings
import pandas as pd
df = pd.read_csv("air-routes-latest-nodes.csv")
bedrock_client = boto3.client(service_name="bedrock-runtime", region_name="<INSERT REGION>")
bedrock_embeddings = BedrockEmbeddings(
model_id="amazon.titan-embed-text-v1", client=bedrock_client
)
for i in df.index:
if df.loc[i]["~label"] == "airport":
json = df.loc[i].to_json()
embedding = bedrock_embeddings.embed_query(json)
df.at[i, "embedding:vector"] = (
str(embedding).replace(", ", ";").replace("[", "").replace("]", "")
)
if i % 25 == 0:
print(f"Embedding row {i}")
df.to_csv("air-routes-latest-nodes.csv", index=False)

21
Natural language
queries
Vector similarity
search (VSS)
Vector Embedding
// Vector Similarity Distance Algorithms
MATCH (n {code: 'ANC'})
MATCH (m) WHERE m.code in ['SEA', 'FAI']
CALL neptune.algo.vectors.distance(n, m)
YIELD distance
RETURN n.code, m.code, distance
// Graph Traverse Query
MATCH (arc:airport)-[*2]->(dest)
WHERE arc.code='ARC' AND NOT (arc)-->(dest) AND dest <> arc
RETURN DISTINCT dest.city AS City
ORDER BY City
// Vector Similarity TopK Algorithms
MATCH ( n:airport {code: 'ANC'} )
CALL neptune.algo.vectors.get(n) YIELD
embedding
RETURN embedding
embedding = res['results'][0]['embedding']
print(len(embedding))
CALL neptune.algo.vectors.topKByEmbedding(
${embedding}
)
YIELD node, score
RETURN node.code, node.desc, score
MATCH ( n:airport {code: 'ANC'} )
CALL neptune.algo.vectors.topKByNode(n)
YIELD node, score
RETURN node.code, node.desc, score

22
Natural language
queries
Vector similarity
search (VSS)
Vector Embedding

Thank you!

[D3T1S06] Neptune Analytics with Vector Similarity Search

More Related Content

Similar to [D3T1S06] Neptune Analytics with Vector Similarity Search (20)

More from Amazon Web Services Korea (19)

[D3T1S06] Neptune Analytics with Vector Similarity Search