1. はじめに
プラットフォーム開発本部 ユーザーレビューグループの松井です。
前回の記事「生成AIから行動するAIへ レビュー自動承認化と精度100%への挑戦」では、生成AIを活用したレビュー承認システムの開発背景や、その高い精度について詳しく解説しました。
その後、本格運用が開始され、初期の成果が出揃いました。
果たして「本当に生成AIでレビュー承認を自動化できるのか？」
その答えを、具体的なデータをもとにご紹介します。
2. 前回のおさらい
従来レビュー承認業務は、年間数十万件のレビュー投稿に対し、オペレーターが手作業で確認していたため、毎月150時間以上の作業負担が発生してました。 また場合によっては承認待ちが最長1週間に及ぶこともありました。
こうした課題を受け、生成AIの導入によって自動承認の仕組みを構築しました。
しかし、自然言語の曖昧さに起因する不適切なレビューの判定は非常に困難であり、誤った承認がブランドの信頼性に直結する恐れがあるため、導入には慎重な対応が求められました。
3. 自動化の範囲
そこで今回の導入では、「人とAIの判断が完全に一致する範囲」 に絞って自動承認を実施しました。具体的な自動化条件は以下の通りです。
- AIスコア0.15以下のレビューのみ対象
- 特定のサービス（例：電子書籍、動画配信 など）に限定
- それ以外のレビューは従来通り、オペレーターが承認
まずはこれらの条件で自動化を開始し、安全性を確認したうえで適用範囲を拡大する方針です。(AIスコアとは、レビューの信頼性を自動評価した数値指標で、低い方が安全なレビューです)
4. 導入の成果
AIの承認数
生成AIの導入により、全レビューの約6割が自動で承認され、オペレーターの作業負担が大幅に削減され、レビュー公開速度が劇的に向上しました。以下に、数値データと視覚的なグラフによる成果の概要を示します。
レビュー承認状況
- 期間: 14日間
- レビュー投稿数: 15,992件
- 人承認数: 6,691件
- AI承認数: 9,301件
- AI承認率: 58.2%（約6割）
赤が人による承認数、青がAIによる承認数を示す。灰は集計時点の人の未承認数。
AI vs 人の承認速度
生成AIによる高速承認の効果は一目瞭然です。AIは投稿から10分以内に承認を完了するのに対し、人は1〜3日で完了するケースが多いことを示しています。承認待ち時間は99.5%削減されました。
レビュー承認速度
- AI: 投稿から 10分以内 に100%承認
- 人: 通常1〜3日、最長1週間 かかることも（営業時間が決まっているため）
赤が人承認、青がAI承認。横軸は承認速度、縦軸は承認数の割合。
5. 今後の展望 – 8割以上の自動化 –
生成AIの導入により、レビュー承認業務の効率化は大きく進展しました。
今後はさらに精度を向上させ、より多くのレビューを自動化することを目指します。
| ステップ | 自動化対象 | 自動化率 |
|---|---|---|
| STEP 1 | AIスコア0.15以下の特定のサービス | 6割 |
| STEP 2 | AIスコア0.15以下の全サービス | 7割 |
| STEP 3 | AIがOKと判定したエリア全体 | 8割〜 |
なお現時点でSTEP3まで導入を検討してますが、技術的に難しい領域はなく、プロンプトの調整で充分に可能な想定です。
また、別途ユーザーが不適切なレビューを迅速に管理者へ報告できるよう、レビュー報告機能の強化も計画しています。
6. 当初の懸念
オペレーターの負担を大幅に軽減する一方で、「人の仕事がなくなるのでは？」という不安も一部で指摘されました。
約150時間以上の業務削減
従来の業務内容や役割が大幅に変わる可能性が指摘されました。完全な代替への恐れ
従来のシステム化と異なり、AIが「完全な代替」となるリスクを懸念しました。「人の判断」が不要になる未来
人の判断自体を完全に代替する時代が来るのではという懸念もしました。
従来のシステムは「人を支援する仕組み」に留まっていましたが、AIによる自動化は、まさに「人の判断そのものを代替する仕組み」として機能します。
こうした懸念を踏まえ、単に業務を削減するだけでなく、新たな役割の創出と業務の再構築が必要です。そのため、たとえば従来の承認作業の削減に伴い、オペレーターと共にAI判定ルールの見直しや、ユーザーから報告されたレビューを精査し、改善措置を講じるといった新しいタスクを導入することを意識しました。
7. 現場のリアルな反応
実際には、今回承認業務が自動化されたとしても、オペレーターの部門でレビュー承認以外の他の業務を担う体制がすでに整っていたことから、その不安は杞憂に終わりました。
そのため運用開始後、現場から多くの ポジティブな意見 が寄せられました。
- 作業負担の大幅な軽減
- 承認件数の減少により、作業が大幅に楽になりました。
- 全体の作業量が大幅に削減される見込みです。
- 余裕時間の創出
- 余剰の時間を他の対応や総務関連業務に充てられるようになりました。
- 他のチームで人手が不足していた業務を補完できる体制が整いました。
- 驚きと実感
- 最初は『正直無理では？』と思っていたが、実際にできて驚きました。
- 効率化を実感しました。今後さらに拡大すると感じています。
- 今後の改善点
- レビュー報告機能の導入には、運用ルールの策定が必要です。
- 人が承認する部分の精度向上にも引き続き取り組みたいです。
全体としては
「正直無理と思っていたが、意外とうまくいっている！」という感想でした。
これを受け、自動化をさらに推進する方針となりました。
8. まとめ
生成AIの導入により、従来の課題が解消され、明確な成果を確認できました。
14日間でAI承認率60%を実現
わずか14日間で、全レビューの約60%をAIが自動承認し、従来の手動承認プロセスに比べ圧倒的な効率化を達成しました。公開速度の大幅向上
従来は最長1週間かかっていた承認が、AIの導入によりわずか10分以内に完了し、ユーザーへの迅速な情報提供が可能となりました。（*DMMのページ内にキャッシュがある場合、別途反映に時間はかかります）負担を大幅に軽減
AIが自動でレビュー処理を行うことで、オペレーターは煩雑な確認作業から解放され、他の業務にも着手できるようになりました。
今後、レビューグループはさらなる自動化を目指し、最終的には全体の約80%以上のレビューをAIが自動承認する体制の構築を目指しています。
これまでご協力いただいた皆様、そして本ブログをご覧いただいた皆様に、心より感謝申し上げます。
*今回の取り組みは、スライド形式でも詳しくご紹介しています。ぜひご覧ください。
求人とお問いわせ
ユーザーレビューグループでは、生成AIを活用した開発や大規模プラットフォームの構築に取り組んでいます。興味のある方は、以下よりご応募ください。
またレビュー承認の自動化について、どのようにお感じでしょうか？
ぜひ皆様のご意見をお聞かせください。
下記リンクよりご意見をお寄せいただければ幸いです。
ユーザーレビューグループのチームリーダー兼テックリードとして、月間数十万件の投稿を処理するレビュープラットフォームの開発・運用を担当。 DMMでの9年以上の経験を活かし、最新AI技術を駆使して顧客体験向上に取り組んでいる。
