先日、「ぎゃくたいかも？」サイトに新たにNEWS機能を追加しました。

こちらは、弊社のPLUS ONE制度を用いてPMの方達と協力しながら開発したものです。

（※PLUS ONE制度とは、普段の業務とは別に会社に寄与する取り組みを行い、その成果によって手当や基本給アップが行われるという制度です）

今回はそんなNEWS機能の開発についてブログに書こうと思います。

機能の概要について

児童虐待関連のニュース記事の内容を要約したものを表示する機能となります。

表示しているニュース記事については、RSSから児童虐待等のキーワードに引っかかるニュースを取得し、スクレイピングしたのちOpenAIのAPIを用いて内容を要約しDB保存するバッチにより取り込んでいます。

このバッチは1日に4回実行されており、日々最新のニュース記事を取得し表示しています。

（取得バッチとは別で、2週間以上前の記事は削除するバッチも用意しています）

OpenAIのAPIについて

ニュース記事内容の要約については、

「以下の内容を〇〇文字以内に要約してください」といったテキストとともにRSSで取得した記事内容をリクエストボディにセットし、OpenAIのAPIを呼び出して行なっているのですが、

OpenAIの仕様上、プロンプトに指定できる文字数（token）制限があるため、複数ページにまたがり一定の文字数を超える記事に関しては、ページ単位で要約を行い、それらをつなぎ合わせて更に要約するというような処理を行うことで対応しました。

また、開発とは関係ないところでは、検証環境での確認が終わった後に、今年3月にOpenAIの支払い方式が後払いからクレジット方式に変わったことにより、本番反映の際にエラーが出て焦ったりということもありました。

今後の課題

現状、児童虐待に関連しない記事も含めて取得されていることがあります。

対策として、RSSから取得する際の検索URLを工夫するのか、取得した記事内容に特定の文字列が存在しなければ対象外とみなすか等の対応によりそういった記事を排除し、表示するニュース記事の質を高めていく必要があるので、こちらについてはまた追加で対応していきたいと思います。