【修士論文】LLMを用いた俳句推敲と批評文生成に関する研究

Editor's Notes

• #1: LLMを用いた俳句推敲と批評文生成に関する研究と題して，発表します．
• #2: まず，研究背景についてです． 芸術分野において、人間は作品の「選択」「推敲」「批評」を通して作品の価値を発見し、感性や技術を向上させてきました。 そのため，人工知能技術を用いて芸術分野に取り組むうえで，生成作品を「選択」「推敲」「批評」することは重要な作業となります． 芸術分野の１つである俳句は，文字数の短さに対する情報量の多さからAIの感情理解や俳句の新たな表現の可能性に繋がると考えられ，俳句の生成に関する研究が為されています． しかし，生成句の推敲・選択や批評はいまだに十分な研究が行われていません． 虚子は後に「選は創作なり」と述べている。 数多くの句の中から何を選び、どこに着目し、どのように評価するのかは、選ぶ側の審美眼にかかるのであり、立派な創作行為なのだと虚子は言う。
• #3: 俳句の世界では，俳人たちが自身の作品を句会という場に持ち寄り，相互評価を行う文化があります． 句会では，まず俳人各々が指定された題に基づく俳句の作成を行います． このとき，一般的には複数の作品候補を作り，一句または数句選んで提出します． その後，提出作品の中から他者のよいと感じた作品に特選，並選などの選をいれ，最後に，各々が選を入れた俳句に対する批評を述べます．
• #4: 本研究では，句会のプロセスにおける作句にあたる部分を，本研究室でこれまでに生成してきた約1億句の生成句からの選択・推敲と位置づけ，批評にあたる部分を長所や出来栄えを評価する批評文の生成と位置付けます． スライド左の表に，俳人から高評価を受けた生成句の例を示しています． 生成句は，web上で収集した約50万句を学習したGPT-2により生成した俳句で，句会や大会で選を得る質の俳句も中には含まれているものとなっています．
• #5: 研究目的についてです． まず，多数の生成句から題に基づいた俳句を選択・推敲する手法の開発を行います． GPT-2による生成句を利用し，俳人の推敲プロセスに基づいたLLMによる選択・推敲の実装を行い，選択された俳句の質の検証します． 2点目として，俳句の長所や出来栄えを評価する批評文生成手法の開発を行います． 俳人作の批評文に基づくLLMによる批評文の生成を行い，生成文の内容・質の検証をします．
• #6: 初めに，俳句について説明します． 俳句は日本の伝統文芸で，季語と呼ばれる季節の言葉を１つ含み，5-7-5の音数で構成される定型詩です． 最も有名な俳句の１つとしては，松尾芭蕉の「古池や蛙飛び込む水の音」という句があります． 俳句は，情景や心情を共有するという機能を持ちます． 作者は目に映った情景を17音に込め、感情を示唆する一方で，鑑賞者は俳句に込められた情景や心情を読み解きます． この例で言うと，蛙が池に飛び込む音が聞こえてくるほど静かだ，という俳句の解釈に基づいて，水音を一瞬に過ぎない人間の生涯に例え、その虚しさや大切さを説いている，と一般的には言われています． このように有名な俳句であれば共通の解釈が存在することがありますが，一般的に俳句に込められた事象の解釈は難しく，俳人によって異なる解釈が存在することも多くあります．
• #7: 次に，本研究で扱う生成句について説明します． 本研究で扱う約1億句の生成句の中には，句会で選を得る質の俳句も含まれますが，一方で，これらの大半が，似通った古風な表現を含む，という課題があります． これはweb上で収集した学習データの古風さに起因しますが．このような古風な俳句は，現代の句会や大会では評価されづらい傾向があるため，現代的な俳句にする必要があります． 方法としてはまず，現代的な俳句を収集・学習させ，新たに生成するということが考えられますが，これは，収集可能な現代的な俳句が不足しているため難しいです． 一方で，既存の生成句を現代的な俳句へと変換することは，そのような変換の事例が複数あれば，LLMにより実現できる可能性があります． また，このような変換作業は俳句においては推敲として，実際に俳人が行っている作業となります． そこで，本研究では，この変換を俳人が作句の際に行う推敲の作業と位置付け，生成句を現代的な俳句へと推敲します．
• #8: LMによる推敲を行うために，まず俳人へのヒアリングにより，推敲を行うために必要な作業を決定しました． 今回扱う現代的な俳句への推敲に関しては，旧仮名遣い，切れ字，文語表現の変更があり，その他一般的な推敲の作業として，語句の入替，句意の分析があります． 決定した作業項目と俳人が行っている推敲プロセスに基づいて，LLMによる推敲のプロセスを決定し，理想的な入出力例を含むプロンプトを設計しました． 入力は複数の俳句と入出力例で，出力は推敲された俳句です．
• #9: 推敲過程の一例を示します． この例は，まず切れ字を含む「澄みにけり」を口語表現「澄んでいる」に変更した後，文語表現である「恐ろしき」の「き」を「い」に変え，最後に上五と，中七下五の語句の入替を行っています．
• #10: 推敲機能を含む俳句選択手法の概要を示します． この手法は，題を入力とし，生成句データベースから取得した生成句に対して題に基づいた俳句の選択を段階的に行い，推敲した俳句を出力します． 詳細については時間の都合上割愛します．
• #11: 次に，俳句の批評文についてです． 本研究では，句会や公募企画で最優秀作品に対して俳人が作成する，作品の長所や出来栄えを評価する批評文を扱います． この批評文を俳人が作成するには多大な労力がかり，実際，数百から数千の応募がある公募企画などでは，上位数%しか批評文は作成されず，さらに本研究で扱う最も字数の多い批評文に関しては上位1％未満となることが一般的です． しかし，本来は参加者の満足度や技術力向上といった観点から全作品に対して作成することが理想的であるため．このような批評文を自動で生成する手法を検討しました．
• #12: まず，俳人が作成した批評文を収集し，字数，文調，批評文の中で述べている要素を分析しました． 結果として，字数は270字～320字，文調は丁寧語，そして，下の表の８個の要素のうち４~６個の要素を含むということを確認しました． 要素については，特徴的な語句や表現，俳句のリズムと音などがあり，俳人から見ても妥当な要素であることを確認しています． また，同一企画内での文頭の表現や要素の構成，言い回しなどに多様性があることを確認しました．
• #13: 批評文生成手法について説明します． まず，先ほどの分析結果に基づいて，要素の選択・構成の決定を含む批評文生成プロセスを決定しました． また，多様性の確保のため，先に生成した批評文やその構成を次の入力に含め，2つの分析ステップで過去とは異なる構成や言い回しを決定するよう設計しました． そして，このプロセスに基づく理想的な入出力ペアを３つ設計しました． 入力は俳句，３つの入出力例，過去に生成した批評文とその構成で，出力は批評文章です．
• #14: 実験１について説明します． 俳句選択手法により選択した推敲後の俳句の質を検証することと，推敲後の俳句が現代的な口語俳句に推敲されたかを検証することを目的として，実験を行います． 方法としては，まず，題を「冬の句」と設定し，提案手法により20句の俳句を選択しました． そして，アンケート調査用の俳句として，選択した俳句の推敲前の俳句と，題が「冬の句」の俳句募集企画で選を得た，優秀作品，入賞作品の2種類のレベル別の俳句をそれぞれ20句ずつ収集しました． 収集した俳句について，題に基づいているか，俳句の基本的な項目を満たしているか，句会で選を得るか，という３つの観点でアンケート調査を行った他，現代的な俳句へと推敲されているかについて俳人3名へのヒアリングを行いました．
• #15: アンケート内容について説明します． 質問1～質問4は各俳句ごとの絶対評価です． 質問5「句会で選を入れるか」については，下の表に示す，生成句と人間作の異なる組み合わせの各40句の4つの俳句群それぞれに対する相対評価です． 選の種類に関する各選択肢の句数の目安は，実際の句会に基づいて設定しました． 回答者は句歴5~40年の俳人11名です．
• #16: アンケート調査結果について説明します． 質問1~４については，推敲前後の俳句ともに概ね肯定的な回答を得たことから，提案手法により，題に基づいた，俳句の基本的な項目を満たす俳句が選択されたことが示されました．
• #17: 質問５の「句会の選」については，４つの群全てにおいて人間作の俳句群の方が多くの選を獲得するという結果になりました． この結果より，推敲前後の俳句ともに，全体として見ると人間作の俳句には及ばないということが示されました．
• #18: 一方で，選を得た生成句も複数存在しました． 推敲後のみ特選を得た例としては，「冬椿咲いて淋しさつれている」という句があり，俳人によると，推敲によって句意が変わっているが口語俳句として良いとのことで，推敲の作業も適切に行われていました． 一方で，推敲前のみ選を得た俳句もあり，「寒い夜鉄瓶の湯気ほとばしる」という句は，元の俳句で強調されていた「夜寒かな」という語句を変更してしまったために良さが失われているということが俳人へのヒアリングによりわかりました．
• #19: 最後に，推敲後の俳句について，俳人へヒアリングを行いました． まず，推敲後の俳句20句の中に，旧仮名遣い，切れ字，文語表現を含む俳句は無いことがわかりました． この結果より，LLMが推敲すべき部分を正確に特定し，現代的な俳句へと推敲しているということが明らかになりました． 一方で，現代的な俳句への推敲の仕方については，文語表現や切れ字の変更の仕方が適切でない例がそれぞれ複数あることがわかりました． これは，LLMの学習データに口語俳句が極端に少ないことが原因として考えられます． また，語句の入替によりリズム感が損なわれる例も多くあることがわかりました． 結果として，現代的な俳句への推敲へと推敲されたことを確認しましたが，口語表現への推敲事例や学習データの追加と，句切れ，リズム感を考慮した推敲が課題であることが明らかになりました．
• #20: 次に，実験2について説明します． 批評文生成手法が、俳句の長所や出来栄えを適切に評価する批評文を生成できるかを検証することを目的とします． 方法としては，ふくし句会という句会に投句された俳句の中から，主観評価により異なる特徴を持つ俳句15句を収集し，それらの俳句を対象に，各1文ずつ批評文を生成しました． 評価方法としては，生成した1５文と俳人作の批評文3文を用いて，俳人11名へ，批評文として適切か，貰う批評文として嬉しいか，15文全体として表現に偏りがないか，という項目についてアンケート調査を行いました．
• #21: 結果についてです． 質問1「長所や出来栄えを適切に批評しているか」，と，質問2「自分の作品に対して貰う批評文として嬉しいか」，については，俳人作の批評文には若干劣るものの，概ね肯定的な回答を得ました． この結果より，俳句作成者に対して生成する批評文として適切であることが示されました． 一方，質問3「15文全体としてみたときに偏りがあるか」については，「非常に偏りがある」「偏りがある」という回答約55%でした． この結果より，全体として表現や構成の一部に偏りがあることを確認しました．
• #22: 生成された批評文について，肯定的な回答を得た批評文の1つとして，「夜の秋初めて習うバタフライ」という俳句に対する批評文の一部を示します． この文は，特徴的な語句である「バタフライ」について説明しており，俳句の意味を解釈したうえで，「新たな挑戦のエネルギーを感じさせる」，と，語句の効果を適切に述べているといえます． 一方で，否定的な回答が多くみられた15文全体としての表現や構成の偏りについてですが，俳人のコメントによると，表現についての偏りは見られず，要素の構成順序に一定の傾向があるということがわかりました． これは，一部の要素をランダムに構成することで修正可能であると考えます． 最後に，出来栄えを評価する適切な批評文として，作者に，嬉しさや喜びといった感情をもたらすことを確認した，という点について，本手法の生成コストは100文あたり約1,000円であるため，これまで参加してきた句会や大会の規模であれば十分提供できる可能性があると考えられます．
• #23: まとめです． まず，俳人の推敲プロセスに基づく，LLMを用いた多数の生成句から題に基づいた俳句を選択・推敲する手法の開発を行いました． 実験の結果，題に基づく俳句を適切に選択し，現代的な俳句へと推敲した一方で，句切れやリズムを考慮した推敲が課題であることがわかりました． また，俳人作の批評文に基づく，俳句の長所や出来栄えを評価する批評文生成手法の開発を行いました． 実験の結果，LLMが俳句を分析し、各要素を適切に説明した一方で，句節の繋がりやリズム感を考慮した批評文の生成が課題であることがわかりました．
• #24: 研究業績は以上のとおりです．
• #25: このスライドは，AI俳句と題している本研究の，生成句に関する業績の一部を示しています． これまでに複数の句会や大会で，人間作を上回る評価を得た事例があります． ふくし句会は，本研究にご協力いただいている有限会社マルコボ．コムが主催している月に一度開催される句会で，私も参加しているのですが，私自身が自分で０から作成した俳句は滅多に選を得ない中，生成句の中から自分で，または提案手法により選択した生成句は，多くの選を得てきました．
• #26: 最後に，このスライドでは，本研究で高評価を得た推敲後の俳句と，その俳句に対して批評文生成手法により生成した批評文を示しています． 以上で発表を終わります．