Ad
More Related Content
What's hot (20)
Similar to Linked Open Data勉強会2020 前編：LODの基礎・作成・公開 (20)
Ad
More from KnowledgeGraph (17)
![[part 1]ナレッジグラフ推論チャレンジ・Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechliive2020-1021-201023101135-thumbnail.jpg?width=560&fit=bounds)
![[part 2]ナレッジグラフ推論チャレンジ・Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechlive-201023091455-thumbnail.jpg?width=560&fit=bounds)
Ad
Linked Open Data勉強会2020 前編：LODの基礎・作成・公開
- 1. Linked Open Data勉強会 LODチャレンジ実行委員会 人工知能学会セマンティックWebとオントロジー研究会 企画委員 1 2020/08/26 15:00 – 17:00 オンラインhttps://lod-ws-2020.peatix.com/ ① LODの基礎・作成・公開
- 2. 内容 • LODの基礎 • RDF（初歩） • RDF（クラス,インスタンス,サブクラス, サブプロパティ） • RDF, LODの作成 • RDF, LODの格納・公開 2
- 3. LODの基礎 概要 3
- 6. Linked (Open) Data • すべての事物に一意なURIを付与し，データを主語・述語・目的語 の三組（トリプル）で記述し，「データのWeb」を実現させる • 厳密には，後述する４つの原則にしたがって公開 6 Open Data Linked DataLinked Open Data
- 7. Linked Dataの基本原則 1. あらゆる事物にURIを付与すること 2. 誰でも事物の内容が確認できるように、URIはHTTP経由で参照 できること 3. URIを参照した時は、標準の技術（RDFやSPARQL等）を使用して 関係する有用な情報を利用できるようにすること 4. より多くの事物を発見できるように、他のURIへのリンクを含める こと 7 詳しく理解するには下記の本がおすすめ Linked Data：Webをグローバルなデータ空間にする仕組み
- 8. LODクラウド図 8 • 一つの円が数千トリプル〜数十億トリプルからなるLOD 8 2020年 一定の基準を満たしたもののみ図示 The Linked Open Data Cloud, https://lod-cloud.net/
- 12. リソースとは URI※で識別可能な全ての事物 ・人物，書籍，イベントなどの実世界の物事 ・趣味，嗜好，信頼性などの事柄など… 12 by Peter Krauss, Mysid, Rjgodoy, Surachit / CC 表示-継承 3.0 ※補足： URI: Uniform Resource Identifier リソースを指し示す統一識別子 URL: Uniform Resource Locator リソースの場所を識別する URN: Uniform Resource Name リソースの名前を識別する
- 17. シリアライゼーションフォーマット ↑これは図なのでデータとして記述する必要がある。 XML, N-Triples, Turtle, JSON等で書くことができる。 記述方法が異なるが、結局RDFグラフとして図示す ると全て同じになることが特徴！（= 情報の統一化） 17 主語：Aさん 目的語：犬 述語：好き （シリアライゼーションフォーマットの相互変換ツールも充実している）
- 18. N-Triples 18 <http://example.com/terms/Aさん> <http://example.com/terms/ 名前> "Aさん"@ja . <http://example.com/terms/Aさん> <http://example.com/terms/ 好き> <http://example.com/terms/犬> . ピリオド忘れずに！ ファイルの拡張子は「.nt」とするのが慣習。 EXCELデータやCSVからの変換が楽。 • <URI>をスペースで分けて並べる最も原始的な記法。 • トリプルはピリオドで区切る。 • 拡張子は.ntとすることが多い リテラルの言語指定をする 場合@言語コード
- 19. Turtle 19 N-Triplesは原始的で理解しやすいけど長い！ @prefix ex: <http://example.com/terms/> . <http://example.com/terms/Aさん> ex:名前 "Aさん" ; ex:好き ex:犬 . 以降で青文字部分の名前空間※ を接頭辞に省略して記述可能。 ピリオド忘れずに！ 省略しない場合は< >で URIをくくる ファイルの拡張子は「.ttl」とするのが慣習。 N-Triplesに比べて見やすく容量も小さい！ 接頭辞 接頭辞＋ローカル名で記述可能 ※名前空間 名前の競合を回避するため にグルーピングする仕組み。 主語が同じ場合は 「；」で省略
- 20. RDF/XML <?xml version="1.0" encoding="utf-8" ?> <rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" > <rdf:Description rdf:about=“http://example.com/terms/Aさん"> <http://example.com/terms/好き> <rdf:Description rdf:about=“http://example.com/terms/犬" /> </http://example.com/terms/好き> </rdf:Description> </rdf:RDF> 以降で青文字部分の名前空間 を接頭辞「rdf:」に省略できる 緑文字部分の行は リソース記述 名前空間定義してないからURI をフルスペルで書いている XMLタグの入れ子構造でRDFグラフを記述 ファイルの拡張子は「.rdf」とするのが慣習。 XMLエディタで開きたい場合は「.xml」
- 21. JSON-LD { "@context": { "ex": "http://example.com/terms/", }, "@id": "http://example.com/terms/Aさん", "ex:好き": { "@id": "http://example.com/terms/犬" } } 21 JSONでのデータ交換や、HTMLのscriptタグへの埋め込みによく利用される 拡張子は.jsonや.jsonld 他にもRDF/JSONがある https://www.w3.org/TR/rdf-json/
- 26. クラスの階層関係 26 ex:哺乳類ex:人間 rdfs:subClassOf 「ex:人間」を「ex:哺乳類」のサブクラス として定義する！ 書きたい情報「ex:人間はex:哺乳類のサブクラスである」 哺乳類もクラスとして予め定義していると想定 (図は省略) この定義をした上で 「ex:Aさん rdf:type ex:人間 .」と書くと, 「ex:Aさん rdf:type ex:哺乳類 .」を 記述しなくても当然導ける＝【推論可能】 推論については今回 は説明しません
- 28. プロパティの階層関係 28 ex:親族ex:兄弟 「ex:兄弟」を「ex:親族」のサブプロパティ として定義する！ 書きたい情報「ex:兄弟はex:親族のサブプロパティである」 rdfs:subPropertyOf 兄弟プロパティを使って「A ex:兄弟 B .」と書くと, 「A ex:親族 B .」が当然導ける＝【推論可能】 親族もプロパティとして予め定義していると想定 (図は省略)
- 29. RDF, LODの構築 29
- 34. 参考：WikiDataページを編集 • 無いデータは自分で作れる • WikiDataを編集してみよう！ • https://www.slideshare.net/KoujiKozaki/wikidata-75383827 • 事前にWikiData右上からアカウント作成が必要 34
- 35. RDFの作成：題材 • Aさんは人間である • Aさんは東京都出身 • 東京都の国は日本 • 東京都の団体コードは130001 35 ex:Aさん ex:出身 ex:東京都 ex:団体コード 130001 ex:タイプ ex:国 ex:日本 ex:人間
- 36. テキストエディタでTurtleを書く場合 36 ex:Aさん ex:出身 ex:東京都 ex:団体コード 130001 ex:タイプ ex:国 ex:日本 ex:人間 @prefix ex: <http://example.com/terms/> . ex:Aさん ex:タイプ ex:人間 ; ex:出身 ex:東京都 . ex:東京都 ex:国 ex:日本 ; ex:団体コード "130001" . このようにTurtleを記述し、テキストファイルとして保存
- 37. よりRDFらしく：規定の語彙を使用 37 ex:Aさん ex:出身 ex:東京都 ex:団体コード 130001 rdf:type ex:国 ex:日本 ex:人間 @prefix ex: <http://example.com/terms/> . @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . ex:Aさん rdf:type ex:人間 ; ex:出身 ex:東京都 . ex:東京都 ex:国 ex:日本 ; ex:団体コード "130001" . クラス-インスタンスの関係をrdf:typeで追加 ※Turtleでは「rdf:type」を「a」と省略して書くこともできます
- 38. （再掲） Linked Dataの基本原則 1. あらゆる事物にURIを付与すること 2. 誰でも事物の内容が確認できるように、URIはHTTP経由で参照 できること 3. URIを参照した時は、標準の技術（RDFやSPARQL等）を使用して 関係する有用な情報を利用できるようにすること 4. より多くの事物を発見できるように、他のURIへのリンクを含める こと 38 詳しく理解するには下記の本がおすすめ Linked Data：Webをグローバルなデータ空間にする仕組み
- 39. よりLODらしく 39 ex:Aさん wdt:P19 wd:Q1490 （団体コード） 130001 rdf:type wdt:P17 wd:Q215627 @prefix ex: <http://example.com/terms/> . @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix wdt: <http://www.wikidata.org/prop/direct/> . @prefix wd: <http://www.wikidata.org/entity/> . ex:Aさん rdf:type wd:Q215627 ; wdt:P19 wd:Q1490 . wd:Q1490 wdt:P17 wd:Q17 ; wdt:P429 "130001" . （人間） （東京都） （日本） wd:Q17 （国） wdt:P429 （出身） WikiDataを再利用
- 42. RDFグラフの可視化 • ARC2によるRDFグラフの視覚化 • Turtle, Microdata, JSON-LD, RDF/XML, TriGに対応 • By KANZAKI, Masahide • https://www.kanzaki.com/works/2009/pub/graph-draw • W3C RDF Validation Service • RDF/XMLに対応 • 日本語を含むトリプルを視覚化したい場合には，「Graph format」を「SVG-embedded」または「SVG-link」とする • http://www.w3.org/RDF/Validator/ 42
- 44. フォーマットの変換 • シリアライゼーションフォーマット変換ツールを利用し、 各種システムで扱いやすいのデータに変換可能 • EASYRDF Converter • Turtle, N-Triples, RDF/XML, RDF/JSON, JSON-LD等に対応 • https://www.easyrdf.org/converter 44 TurtleをRDF/JSONに変換した例
- 45. EXCELでN-Triplesを作成する • テキストエディタにコピペ→タブを一括削除→保存 45 <http://～ 名称 > <http://～> " 名称 "@ja . https://github.com/koujikozaki/RDF-FederatedSample
- 46. Open Refine（旧Google Refine） • スプレッドシートのようなUIでデータの整形やRDFへの 変換などが可能 • https://openrefine.org/ • 詳しくはこちらをご参照ください • 「Open Refine（旧Google Refine）の使い方 〜導入・基本編 〜」 http://togotv.dbcls.jp/ja/20130212.html 46
- 47. Javaからフレームワークを使用する Apache Jena • Linked DataのためのオープンソースJavaフレームワーク • https://jena.apache.org/ • 以下の3つの機能を持つ • RDFの構築，検索 • RDFの格納（トリプルストア）とエンドポイントの立ち上げ • オントロジーの利用と推論 47
- 48. Apache JenaでRDFの作成 • 詳しくはこちらもご参考ください • 「Javaのプログラムを作成してLODを効率的に処理してみよう」 https://github.com/KnowledgeGraphJapan/LODws2nd/blob/master/ApacheJena%E3% 83%8F%E3%83%B3%E3%82%BA%E3%82%AA%E3%83%B3.pdf 48 Jenaをダウンロードしてパスを通す必要あり
- 49. その他の言語 • Python • RDFLib： https://github.com/RDFLib/rdflib • PHP • EASYRDF： https://www.easyrdf.org/ • JS • RDFJS： https://rdf.js.org/ • Ruby • Ruby RDF： https://github.com/ruby-rdf • C • Redland： http://librdf.org/ 49
- 50. プログラムでRDFを作成する利点 • ファイルの入出力処理と組み合わせると，既存の データをRDFに自動変換するプログラムを自在に 作成できる。 50 学科 学年 Aさん 情報工学科 3 Bさん 機械工学科 2 Cさん 生命科学科 2 Aさん 主語 述語 目的語 情報工学科 学科 3 学年 その他 複雑なデータの変換，インスタンスマッチング，機械学習応用など，将来的 に色々やりたいことがある人はプログラムの利用に慣れていると便利です。
- 51. RDFの格納・公開→LOD 51
- 52. （再掲）Linked Dataの基本原則 1. あらゆる事物にURIを付与すること 2. 誰でも事物の内容が確認できるように、URIはHTTP経由で参照 できること 3. URIを参照した時は、標準の技術（RDFやSPARQL等）を使用して 関係する有用な情報を利用できるようにすること 4. より多くの事物を発見できるように、他のURIへのリンクを含める こと 52 詳しく理解するには下記の本がおすすめ Linked Data：Webをグローバルなデータ空間にする仕組み
- 53. トリプルストア • RDFデータを格納し，SPARQLによる検索などを可能にす るデータベース • RDFストア，RDFデータベースとも呼ばれる • オープンソース，商用ともに様々なトリプルストアが存在 • AllegroGraph • Amazon Neptune • Blazegraph • Dydra • GraphDB by Ontotext • MarkLogic • OpenLink Virtuoso • Oracle • Stardog • … 53 詳しくはこちら https://en.wikipedia.org/wiki/Comparison_of_triplestores
- 54. RDFデータをトリプルストアに格納 • GraphDB by Ontotextのフリー版で説明 • 下記ボタンの遷移先フォームから必要情報を入力して送信す るとDLリンクが送られてきます 54https://www.ontotext.com/products/graphdb/
- 55. リポジトリの作成 • Setup > Repositories > Create Repositories 55
- 56. インポート • Import > RDF > Upload RDF Files > ファイル選択 > Import 56
- 57. データの確認 • Explore > Graph overview > The default graph 57 可視化も
- 59. LOD公開ツール • トリプルストアのエンドポイントを外向けに公開設定する のはハードルが高いという人向けのツール • Simple LODI • https://github.com/uedayou/simplelodi • LOD Smart Index • https://www.mirko.jp/LODSI/ 59
- 60. とりあえず公開するだけなら • DropBox, Google Drive, OneDriveなどで公開 • 厳密にLinked Dataの基本原則を満たすことはできないが、 データを公開して共有することはできる • GitHubでRDFデータを公開 • こちらも厳密にLinked Dataの基本原則を満たすことはできな いが、データを公開して共有することはできる • 複数人での管理や変更履歴を残したい場合に便利 60
- 61. 今回説明しなかった関連技術 時間の都合上説明できなかったので、より詳しく知りたい 方は下記の資料をご参考にされると良いと思います 61 • RDFの細かな部分 • RDF入門：http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/rdf-primer.html • RDF 1.1入門：http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/NOTE-rdf11- primer-20140225.html • RDFスキーマ • RDFスキーマ -- リソース表現の語彙定義：https://kanzaki.com/docs/sw/rdf-schema.html • SPARQL • 本勉強会の後編で • オントロジー • オントロジーとは？：https://www.slideshare.net/KoujiKozaki/ss-124638776 • OWL • ウェブ・オントロジー言語OWL：https://kanzaki.com/docs/sw/webont-owl.html • 記述論理 • セマンティックWebと記述論理：http://www.sw.cei.uec.ac.jp/kaneiwa/SemWeb.pdf • 推論 • Reasoning: http://graphdb.ontotext.com/documentation/standard/reasoning.html
- 62. その他参考資料 • 古崎晃司，つながったデータの作り方，情報の科学と技 術「特集：RDFとSPARQL～検索とデータ可視化」，70(8), pp.406-412 (2020) • https://www.jstage.jst.go.jp/article/jkg/70/8/70_406/_article/- char/ja/ • 古崎晃司，ウェブの情報資源活用のための技術：ナレッ ジグラフとしてのLOD活用，情報の科学と技術「特集： ウェブを基盤とした社会」，70(6), pp.303-308 (2020) • https://www.jstage.jst.go.jp/article/jkg/70/6/70_303/_article/- char/ja/ 62