JP5523405B2 - 要約作成装置及び方法 - Google Patents

Description

本発明は、言語処理技術に関する。

近年、ウェブページ（本出願において単に「ページ」とも呼ぶ）の普及増大や処理技術の発達に伴い、ニュース記事などの要約を自動で作成する技術が登場している。例えば、ウェブ検索結果で表示されるページごとの要約（「スニペット」などと呼ばれる）として、検索キーワードの前後所定文字数を抜き出す例が見られ、また、ページなどのドキュメントを先頭から所定文字数取り出して要約とするなどの単純な手法が普及している。

特開２００９−１４０４１１号

ところで、上記のような従来技術は、簡易な処理で負荷は少ないが、要約の基とする文書やページ（「原文」と呼ぶこととする）のみに基づいて要約を作成するため、作成された要約については、原文のなかで多くの人が実際に興味を持つ部分が含まれているとは限らず、有用性に問題があった。

なお、要約としての網羅性と読みやすさの両立のために、要約対象文章中の文と類似した類似文をウェブ上の文章から抽出し、この類似文の出現頻度と、類似文同士の連結パターンの出現頻度とを利用して要約文章を作成する工夫も提案されている（例えば、特許文献１参照）。しかし、この提案は、ある程度の長さとなる複数の文を基に、複雑かつ機械的な処理の結果を出力するもので、短い原文には不向きで用途が限られ、処理負荷も大きいうえ、ユーザの実際の興味に基づくものではない点でも、従来技術の課題を解決するものではなかった。

上記の課題に対し、本発明の目的は、簡易な処理で、多くのユーザが実際に興味を持つ部分を基に有用な要約を作成することである。

上記の目的をふまえ、本発明の一態様（１）である要約作成装置は、要約作成の基となるページのＵＲＬを取得するＵＲＬ取得手段と、前記ＵＲＬに係る前記ページ内の文字列を原文として取得する原文取得手段と、取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出する引用先ページ抽出手段と、抽出された前記引用先ページ内の文字列を引用先テキストとして取得する引用先テキスト取得手段と、取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定する照合特定手段と、特定された前記引用部分に基づいて要約を作成する要約作成手段と、を有し、前記要約作成手段は、特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成することを特徴とする。

本発明の他の態様（４）である要約作成方法は、上記態様を方法のカテゴリで捉えたもので、要約作成の基となるページのＵＲＬを取得するＵＲＬ取得処理と、前記ＵＲＬに係る前記ページ内の文字列を原文として取得する原文取得処理と、取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出する引用先ページ抽出処理と、抽出された前記引用先ページ内の文字列を引用先テキストとして取得する引用先テキスト取得処理と、取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定する照合特定処理と、特定された前記引用部分に基づいて要約を作成する要約作成処理と、をコンピュータが実行し、前記要約作成処理において、特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成することを特徴とする。

本発明の他の態様（５）である要約作成プログラムは、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、コンピュータを制御することにより、要約作成の基となるページのＵＲＬを取得させ、前記ＵＲＬに係る前記ページ内の文字列を原文として取得させ、取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出させ、抽出された前記引用先ページ内の文字列を引用先テキストとして取得させ、取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定させ、特定された前記引用部分に基づいて要約を作成させ、特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成させることを特徴とする。

このように、要約の基となるページのＵＲＬを含むリンク側ページから引用部分を特定して要約を作成する簡単な処理を行うことにより、引用部分は実際に引用者が関心を惹かれた部分であることから、多くのユーザが実際に興味を持つ部分に基づく要約を作成できるうえ、原文の長さや文章の数にも依存せず要約が作成できるので用途も限られることなく様々なページで適用できる。

本発明の他の態様（２）は、上記いずれかの態様において、前記照合特定手段は、前記引用先テキストのうち前記ＵＲＬの前後所定量を前記照合の対象とすることを特徴とする。

このように、引用先テキストのうちＵＲＬの前後所定量を照合の対象とすることにより、ＵＲＬから所定量離れた位置にある原文の内容と関係の薄いと思われるテキスト部分は対象から省くことが可能となり、照合負荷を軽減し要約の精度も改善できる。

本発明の他の態様（３）は、上記いずれかの態様において、前記照合特定手段は、前記引用先テキストのうち所定の引用符号に係る部分については他の部分より優先して前記引用部分として特定することを特徴とする。

このように、引用先テキストのうち、カギ括弧や引用符、ＨＴＭＬの強調タグなど所定の引用符号に係る部分については、選択基準のスコアを大きくするなど、他の部分より優先して要約に用いることにより、ブログなどを書いた人が特に引用符号で強調した部分に基づいて、より印象的な部分を含んだ的確で高精度な優れた要約が得られる。

なお、上記の各態様と異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。上記の各態様と異なるカテゴリについては、「手段」を「処理」又は「ステップ」のように適宜読み替えるものとする。また、処理やステップの実行順序は上記のものに限定されず、適宜変更したりまとめて処理するなど、変更可能である。さらに、方法やプログラムのカテゴリにおいて、個々の処理を実行する「コンピュータ」は共通でもよいし処理ごとに異なってもよい。

本発明によれば、簡易な処理で、多くのユーザが実際に興味を持つ部分を基に有用な要約を作成することができる。

本発明の実施形態の構成を示す機能ブロック図。 本発明の実施形態における引用先ページ（ブログなど）を例示する図。 本発明の実施形態における処理手順を示すフローチャート。 本発明の実施形態の作用例を示す概念図。 本発明の実施形態における引用先ページの他の例を示す図。

次に、本発明の一例として、本発明を実施するための形態（「実施形態」と呼ぶ）について図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。

〔１．構成〕
本実施形態は、図１（構成図）に示す要約作成装置１（「本装置」又は「本装置１」とも呼ぶ）に関するもので、本装置１は、対象とするページの要約を、そのページの引用先（例えば図２）を活用して作成するものである。本実施形態では、端末Ｔを用いるウェブサイト管理者が、ニュースサーバＮＳ内の記事の要約を本装置１に要求するものとする。図１に示すように本装置１は、コンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、主メモリや補助記憶装置等の記憶装置７と、通信ネットワークＮ（例えば、インターネット、携帯電話網、ＰＨＳ網など）との通信手段８（通信ゲートウェイ装置、携帯電話網やＰＨＳ網との通信回路、無線ＬＡＮアダプタなど）と、を有する。

また、端末Ｔは、据置型ＰＣ、モバイルＰＣ、タブレットＰＣ、スマートフォン、携帯電話端末などの電子情報機器で、上記のようなコンピュータの構成に加え、図示は省略するが、液晶表示パネルやタッチパネル、押しボタンなどを用いた入出力部を有する。図１に示す端末Ｔは、要約の作成をさせるウェブサイト管理者が用いるもので、一般のウェブサイト閲覧者などエンドユーザが用いる端末については図示を省略する。

また、本装置１では、記憶装置７に記憶（インストール）した所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（２０，３０など）を実現する。それら各要素のうち、情報の記憶手段は、記憶装置７において各種のデータベース（「ＤＢ」とも表す）やファイル、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現でき、図示はしないが、各手段による処理の素材や結果を記憶する。

なお、図中の矢印は、データや制御などの流れについて主要な方向を補助的に示すもので、方向の限定を意味するものではない。例えばウェブデータをある方向に取得するには、先立って逆方向のページリクエスト送信がある。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段であるが、これらは説明のために整理した機能単位であり、実際のハードウェア要素やソフトウェアモジュールとの一致は問わない。

〔２．主な作用と効果〕
図３のフローチャートは、上記のように構成した本実施形態において、要求を受けて本装置１が要約を作成する処理手順を示すもので、破線及び破線矢印は、前の処理ステップに基づく情報を後の処理ステップで利用する利用関係を表す。この処理手順では、まず、ＵＲＬ取得手段２０が、要約作成の基となるページ（以下「原ページ」と呼ぶ）のＵＲＬを取得する（ステップＳ２）。

取得するＵＲＬについては、例えば、端末Ｔからの作成要求において、ニュースサーバＮＳ上の記事であって要約作成の対象とする記事のＵＲＬを個別に指定してもよいし、予め作成対象として設定されている所定範囲（例えば所定ディレクトリ内など）の記事ごとに、ＵＲＬ取得手段２０がニュースサーバＮＳから取得してもよい。それら以外でも、何らかの条件（所定以上の閲覧数など）を満たした記事のＵＲＬを自動検出して対象とするなど、任意の取得の態様でよい。また、本出願において「ＵＲＬ」とは、狭義のＵＲＬに限らず、ＷＷＷ（ワールド・ワイド・ウェブ）などのデータ群中でページを特定する識別情報を意味し、ＩＰアドレスなどでもよい。

続いて、原文取得手段３０が、上記のように取得されたＵＲＬに係る原ページ内の文字列（例えば、ニュース記事のタイトルと本文など）を、ニュースサーバＮＳから原文として取得する（ステップＳ３）。また、引用先ページ抽出手段４０が、取得されたＵＲＬを含むページを引用先ページとして、典型的にはウェブ上から抽出する（ステップＳ４）。引用先ページの例は、ブログサーバＢＳなどの提供するブログ記事やコメント、ミニブログの投稿メッセージ（いわゆる「つぶやき」など）などを表するウェブページであるが、そのＵＲＬを含む商業記事などのページでもよい。

また、「ページ」とは、図４に例示するページＤＡ，ＤＢ，ＤＣのような個々のページ全体に限らず、図５に例示するように、電子掲示板やミニブログなどの単一のウェブページＰ内に記事やコメントといった要素が複数含まれる場合における個々の要素、すなわちページの部分でもよい。図５の例では、ウェブページＰにはＡさん、Ｂさん、Ｃさん、Ｄさん、といった複数のユーザが投稿した記事があり、それらの中から、原ページの記事のＵＲＬを含む記事Ｃ１とＣ３（破線の楕円で示す）のみを引用先ページとして抽出している。

また、それら引用先ページを抽出する手法も自由であるが、典型的には、ＵＲＬを検索キーとしてウェブ検索要求を検索サーバＳＳへ送信し、その検索結果を利用することが考えられる。そして、引用先テキスト取得手段５０が、抽出された引用先ページ内の文字列を引用先テキストとして取得する（ステップＳ５）。抽出する文字列について、ブログサイトなどのページのうち、定型的要素（広告欄、会社概要、ヘルプへのリンクなど）を除き、ブログ記事やコメントなど正味の部分を選択的に抽出すれば要約の精度が高まる。

そして、照合特定手段６０が、取得された原文と引用先テキストとを照合することにより、引用部分を特定する（ステップＳ６）。引用部分を特定する基準も自由であるが、典型的には、原文内の文字列で、かつ、所定割合以上の引用先テキストに含まれる部分を引用部分として特定する。例えば、図４の例では、原ページＤ１内の原文に含まれる「テレビ離れ」という文字列が（図中、破線の楕円で示す）、原ページＤ１のＵＲＬ（図中、破線の下線で示す）を含む引用先ページＤＡ，ＤＢ，ＤＣにも存在するので（図中、破線矢印の先に破線の楕円で示す）、引用部分として特定できる。

また、要約作成手段７０が、特定された引用部分に基づいて要約を作成する（ステップＳ７）。引用部分に「基づいて」とは、図４において一点鎖線で示すように、特定した引用部分をそのまま要約（図中、破線の矩形で示す）とするものでもよいし、特定した複数の引用部分をつなぎ合わせるなど加工するものでもよく、また、引用部分のうち原文との一致部分の量（例えば連続して一致している文字数やバイト数など）の多いものを採用するなども含む趣旨である。要約の「作成」は、引用部分をそのまま要約として出力装置や処理の後工程、機能の呼び出し元であるプロセスやルーチンなどに出力する処理でもよい。

以上のように、要約の基となるページのＵＲＬを含むリンク側ページから引用部分を特定して要約を作成する簡単な処理を行うことにより、引用部分は実際に引用者が関心を惹かれた部分であることから、多くのユーザが実際に興味を持つ部分に基づく要約を作成できるうえ、原文の長さや文章の数にも依存せず要約が作成できる。

〔３．引用部分の特定〕
特に、照合特定手段６０は、引用先テキストのうちＵＲＬの前後所定量を照合の対象とすることが望ましい。例えば、図２に例示するブログ記事では、引用されている記事のＵＲＬ（図中、破線の楕円で示す）の直前１００文字と直後１００文字は記事内容に関連あるテレビの話題であるが、それよりもさらに前や後は、野良猫対策や同窓会など無関係な話題となっている。

このように、引用されているＵＲＬに関する内容はそのＵＲＬの直前や直後に記載されることが一般的であることから、引用先テキストのうちＵＲＬの前後所定量を照合の対象とすることにより、ＵＲＬから所定量離れた位置にある原文の内容と関係の薄いと思われるテキスト部分は対象から省くことが可能となり、照合負荷を軽減し要約の精度も改善できる。もちろん、ＵＲＬの前後所定量は、１００文字に限らず、他の文字数や行数、データのバイト数、空行までなど、自由に定めてよい。直前又は直後の少なくとも一方でもよいし、直前と直後で量が互いに異なってもよい（例えば、直前１００文字、直後は２００文字など）。

図５に例示したように単一のページ内の複数個所に同一のＵＲＬが存在する場合は、個々のＵＲＬを基準に前記所定量を照合の対象とする。この場合、照合の対象とする文字列の「所定量」は、単一のページ内にＵＲＬが一カ所のみの場合（上記の例では１００文字）と同じでもよいが、より少ない量（例えば２０文字など）としてもよい。このようにすれば、複数の投稿の一部ずつが抜粋として単一のページに含まれるため１００文字も前後にずれれば他の投稿となる場合や、そもそも個々の投稿文字数に限りがある場合（例えば１４０文字など）など、話題が短いスパンで切り替わるような投稿やページの構成である場合にも、原文の内容と関係が薄いと思われるテキスト部分を対象から確実に省けるので、要約の優れた精度が維持できる。

また、照合特定手段６０は、引用先テキストのうち所定の引用符号（例えば、カギ括弧や引用符、ＨＴＭＬの強調タグなど）に係る部分については、選択基準のスコアを大きくするなど、他の部分より優先して引用部分として特定し、要約に用いることが望ましい。例えば、図４の例では、引用先ページＤＡでは、原文を引用している引用部分に「テレビ離れのきっかけ」とカギ括弧が附され、同様に、引用先ページＤＢでは引用部分の行頭に引用符「>>」が、引用先ページＤＣでも引用符であるダブルクオート「"」が附されている。

このような引用符号に係る部分について、他の部分より優先して引用部分として特定する基準や態様は自由であるが、原文のうち、引用先ページの何割以上に含まれる部分を引用部分とする、などの選択基準の場合に、引用符号に係る部分については２件や３件分など通常の１件より重みを増してカウントするようにすれば演算負荷が軽減される。

このように、引用先テキストのうち所定の引用符号に係る部分について他の部分より優先して引用部分として特定し、要約に用いることにより、ブログなどを書いた人が特に引用符号で強調した部分に基づいて、より印象的な部分を含んだ的確で高精度な優れた要約が得られる。

〔４．他の実施形態〕
なお、上記実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、本出願における構成図、データの図、フローチャートなどは例示に過ぎず、各要素の有無、その配置や処理実行などの順序、具体的内容などは適宜変更可能である。

一例として、上記実施形態では、要約作成の基礎となる引用先ページとして、インターネット上において、ブログサーバＢＳなどに記憶されているブログなどのＳＮＳ（ソーシャル・ネットワーキング・サービス）のページを例示したが、引用先ページについては、イントラネット上のページや、単なる電子掲示板に代表されるソーシャルメディアなど自由である。

また、上記実施形態で作成された要約は、端末Ｔを用いるウェブサイト管理者が、例えばニュースサーバＮＳが提供するニュースのウェブサイトのトピックス一覧表示などに利用できるが、本発明で作成する要約の用途はそのような業務に限られない。例えば、一般のエンドユーザが各記事の概要把握のため、個人のパーソナルコンピュータ（ＰＣ）のブラウザから本装置１へアクセスして本発明による要約を利用したり、ＰＣに本発明に係るプログラムをインストールして要約を得るなどしてもよい。

また、図１などに示した個々の手段を、相互に別個独立の設備で実現する構成も一般的であるし、サーバでも端末でも機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。例えば、図１に示した本装置や各サーバは、適宜一体化してもよい。さらに、本発明に関する手段などの各要素は、コンピュータの演算制御部に限らず物理的な電子回路など他の情報処理機構で実現してもよい。

１ 要約作成装置（本装置）
６ 演算制御部
７ 記憶装置
８ 通信手段
２０ ＵＲＬ取得手段
３０ 原文取得手段
４０ 引用先ページ抽出手段
５０ 引用先テキスト取得手段
６０ 照合特定手段
７０ 要約作成手段
ＢＳ ブログサーバ
Ｄ１ 原ページ
ＤＡ，ＤＢ，ＤＣ 引用先ページ
Ｎ 通信ネットワーク
ＮＳ ニュースサーバ
ＳＳ 検索サーバ
Ｔ 端末

Claims (5)

1. 要約作成の基となるページのＵＲＬを取得するＵＲＬ取得手段と、
   前記ＵＲＬに係る前記ページ内の文字列を原文として取得する原文取得手段と、
   取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出する引用先ページ抽出手段と、
   抽出された前記引用先ページ内の文字列を引用先テキストとして取得する引用先テキスト取得手段と、
   取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定する照合特定手段と、
   特定された前記引用部分に基づいて要約を作成する要約作成手段と、
   を有し、
   前記要約作成手段は、特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成する
   ことを特徴とする要約作成装置。
2. 前記照合特定手段は、前記引用先テキストのうち前記ＵＲＬの前後所定量を前記照合の対象とすることを特徴とする請求項１記載の要約作成装置。
3. 前記照合特定手段は、前記引用先テキストのうち所定の引用符号に係る部分については他の部分より優先して前記引用部分として特定することを特徴とする請求項１又は２記載の要約作成装置。
4. 要約作成の基となるページのＵＲＬを取得するＵＲＬ取得処理と、
   前記ＵＲＬに係る前記ページ内の文字列を原文として取得する原文取得処理と、
   取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出する引用先ページ抽出処理と、
   抽出された前記引用先ページ内の文字列を引用先テキストとして取得する引用先テキスト取得処理と、
   取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定する照合特定処理と、
   特定された前記引用部分に基づいて要約を作成する要約作成処理と、
   をコンピュータが実行し、
   前記要約作成処理において、特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成する
   ことを特徴とする要約作成方法。
5. コンピュータを制御することにより、
   要約作成の基となるページのＵＲＬを取得させ、
   前記ＵＲＬに係る前記ページ内の文字列を原文として取得させ、
   取得された前記ＵＲＬを含む複数のページを複数のユーザが投稿した引用先ページとして抽出させ、
   抽出された前記引用先ページ内の文字列を引用先テキストとして取得させ、
   取得された前記原文と前記引用先テキストとを照合することにより、同一ＵＲＬについて投稿している複数のユーザの投稿情報から引用部分を特定させ、
   特定された前記引用部分に基づいて要約を作成させ、
   特定された前記引用部分をそのまま要約とすること、特定された複数の引用部分をつなぎ合わせること、又は、特定された引用部分のうち前記原文との一致部分の量の多いものを採用することによって、要約を作成させる
   ことを特徴とする要約作成プログラム。

Images