20151013nodered whatson

Editor's Notes

• #2: 今回「Node-REDで実装した人工知能ワッツオンがTOEICに挑戦」 という内容で発表いたします。 ワッツオンはWatsonサービスではありませんので、ご注意ください。 (16秒)
• #3: まず背景について説明いたします。 人工知能が挑戦している試験の例としましては、 東大入試、センター試験、医師国家試験などがあります。 人工知能の発展は、人間の仕事を奪うのではないかという意見もありますが、 個人的にはコンピュータの得意分野や限界を明らかにし、 人間がより人間らしい仕事にフォーカスすることに貢献すると考えています。 今回対象としたTOEICとは、ご存じのように英語能力を測る リスニング、リーディングのテストです。 受験のメリットとしましては、社会人ですと国家試験の英語科目の免除優遇でしたり、転職、昇進でのアピールなどがあります。 世界の受験者数は、年間700万人とかなりの人数が受験している試験です。 日本の平均点は、584点となっています。 990満点てすので、平均点である60%を超えれば、 賢い人工知能と言えるのではないかと考え、 正答率60%を目標とし開発を行いました。 (72秒)
• #4: 次に人工知能ワッツオンについて説明いたします。 ワッツオンは、文法問題を解くウェブアプリケーションとして実装されています。 仕組みはとてもシンブルでして、選択肢が入る空欄前後の単語を手かがりとして、 書籍のテキスト上で、最も使われている単語の並びを解答とします。 内部では、Googleが公開している書籍800万冊分、圧縮形式で9TBもあるデータを加工して使っています。 空欄前後の単語を見ますので品詞問題や、 自然な単語の並びを問うコロケーション問題が得意です。 下の図が処理の流れです。 The ladder is leaning空欄the wallという問題文の空欄に、 選択肢between、after、about、againstのどれが入るかという問題を例として用いて説明いたします。 TOEICに慣れている人でしたら、頻出のleaning againstという語彙の知識で解く問題です。 ワッツオンは、まず問題文の空欄前後の1～3単語から成る文字列を切り出します。 その後、各文字列に対して選択肢を追加します。 最後に、選択肢を追加した文字列を用いてN-gramのデータを検索し、 検索で得た文字列の使用頻度を正規化して積み上げグラフとして出力します。 (96秒)
• #5: 次に開発方法について説明いたします。 まず、N-gramのデータの格納には、dashDBを活用しました。 また、Node-REDを用いて試行錯誤を繰り返す開発を効率よく行いました。 データは既に持っていましたので、4時間程で開発できました。。 下がNode-REDで開発したノードです。 まず左上がユーザインターフェースでして、入力フォームやグラフ表示のためのHTMLを記述しています。 右下の要素スコアAPIは、問題文と選択肢から検索に用いる文字列を生成し、dashDBして検索を行い、使用頻度を返すAPIです。 このノードは、切り出す文字列の場所毎に用意しており、7つ存在しています。 右の統合スコア取得APIは、これらの要素スコアAPIをまとめて問い合わせ、正規化したスコアを返すAPIです。 ユーザインターフェイスのノードは、この統合スコア取得APIに問い合わせて、グラフを作成しています。 (ちなみに、要素スコア取得APIのノードで用いているwhile文は ブログを参考にして作成しました。) (93秒)
• #6: こちらが動作画面です、 左は私が作成した品詞問題でして、give空欄a chocolateという問題文の空欄に、 選択肢のI、my、mine、meのどれか入るという問題です。 もちろん解答はDのgive me a chocolateです。 下は、計算結果の積み上げグラフでして、Dが解答であると判定しています。 Dのスコアの内訳は、赤色が空欄前の1単語の組み合わせであるgive me、 青色は空欄の後ろ1単語を組み合わせたme a、 緑色は空欄前後の1単語を組み合わせたgive me aのスコアです。 AにはI aが少しありますが、圧倒的にDの使用頻度が高くなっています。 右がコロケーション問題の例です。 同じく青色は空欄の後ろ1単語を組み合わせたagainst the、 緑色は空欄を跨いだ3単語の並びであるleaning against the、 紫色は空欄の後ろ側2単語と組み合わせたagainst the wallです。 青色に注目しますと、空欄の後ろ1単語を見ただけでは、 against theは他の選択肢よりスコアが低くなっていますが、 参照する文字列の範囲を広げることで、 againstが最も自然な単語の並びであることを認識しています。 (100秒)
• #7: 次に結果と考察です。 TOEICの本番の試験と全く同じ問題が掲載されている 公式問題集の問題120問を用いて評価を行いました。 その結果、正答率65～88%と目標を超える点数であることが分かりました。 下のVol6の問題集が、最新の問題ですので、 最近の問題は品詞問題やコロケーション問題の割合が少ないため、 正答率が低いことが分かりました。 さらなる改善アイデアとしては、こちらの様な方法を考えています。 面白いところですと、機械学習を用いて最新問題の傾向に、要素スコアの重みをチューニングする方法です。ユーザが最新の問題を入力すると、自動的に賢くなっていくので、仕組みとしてカッコよいかなと考えています。 (59秒) (時間があれば下記) 処理のノイズとなる副詞、固有名詞を除去して処理する方法、 選択肢のみから問題のパターンを判定し、そのパターンに特化したアルゴリズムを適用する方法 今回要素スコアの重みは、平等に扱ったのですが最新の問題の傾向に合わせるために、重みを機械学習により導き出す方法 TOEIC頻出の語彙とマッチングする方法 最後に、既存の自然言語処理のソフトウェアがありますで、そのソフトウェアが出すスコアを活用する方法です。
• #8: 最後に今後やりたいことして、 ワトソンの力を借りてリスニング問題に挑戦したいと考えています。 実装イメージをNode-REDを使って書いてみました。 Part1の写真描写問題は、写真を見て適切な解答の音声を選択する問題です。 本問題は、写真に写っていない名詞を含む選択肢は解答にならないという 有名な法則があります。 この法則を活用しまして、Watsonの画像認識と音声認識の結果を同義語も含めて比較することで、解答が導き出せるのではないかと考えています。 Part2の会話問題は1人目が話した内容に対する適切な応答を選択する問題です。 本問題は、最初の発言と似た発音を含む選択肢は、解答にならないという法則があります。 例えば、コピー機の話をしているのに、コーヒーを含む選択肢が登場する、引っかけ問題が存在します。 この問題に対しては、Watsonの音声認識で得た単語を発音記号に変換し、 文字列の類似度を計算することで答えが導き出せると考えています。 以上です。ご清聴ありがとうございました。 (85秒)