SIGIR 2025に参加しました! DMMデータサイエンスグループ

はじめに

皆さん、こんにちは！データサイエンスグループの平野と田代です。 私たちはDMM.comに新卒入社し、現在はデータサイエンスグループで検索・レコメンド機能に機械学習技術を掛け合わせ、性能改善や新規プロダクト開発に取り組んでいます。

本記事は弊社DMM.comが昨年度より参加している『SIGIR 2025（The 48th ACM SIGIR Conference on Research and Development in Information Retrieval）』の参加レポートをお届けします。

SIGIR 2025の概要

SIGIRは情報検索技術の最前線に立つ国際会議であり、世界の研究機関による最先端の研究結果に加え、DMMのサービスに類似する企業の最新かつ先進的なアルゴリズムやユーザーインターフェースの改善策が共有されます。

開催概要は以下のとおりで、期間中は論文発表からデモ・ワークショップまで多彩なプログラムが６日間にわたって行われます。

日程・構成:

• 7月13日(日)： チュートリアル, ドクトラルコンソーシアム, ウェルカムレセプション
• 7月14–16日(月～水)： メインカンファレンス
• 7月17日(木)： ワークショップ, システムデモ
• 7月18日(金)： ICTIR（情報検索理論）併設会議

会場: イタリア パドヴァコンベンションセンター（Padova Congress）

公式サイト: SIGIR 2025, Padua, 13-18 July

各自が印象に残ったセッション・発表

3日掛けて行われるメインカンファレンスの各日の流れは、基本的には以下のような共通の流れとなっていました。

時間	セッション
09:00–10:00	基調講演（Keynotes） 日ごとにドメインの有識者が登壇
10:00–10:30	休憩 コーヒー・ドリンク＋クッキーなど軽食
10:30–12:30	午前テーマ別セッション・発表 15分枠×複数トラック（例：NLP, RecSys, マルチモーダル…）
12:30–14:00	昼食（ビュッフェ形式） この時間で午前のセッションについての意見交換などが可能
14:00–15:30	ポスターセッション（2・3日目のみ） 学生・研究者によるポスター発表・討論
15:30–17:30	午後テーマ別セッション・発表

基調講演は全体共通ですが、テーマ別セッション・発表とポスターセッションは、複数の発表が同時並行かつ異なる場所で開催されるため現実的に全てを網羅することは難しいです。 今回弊社からは2名がカンファレンスに参加しており、より多くのセッション・発表を聞いて回るために事前に各自の予定を擦り合わせるようにしました。

この章では、上記で聴講したセッション・発表の中で基調講演と各自が特に印象に残ったものについて解説します。

基調講演（Keynotes）

day1| BM25 and All That - A Look Back（Stephen Robertson）

初日の基調講演に登壇されたのは、情報検索（IR）の世界で50年以上にわたり研究を続け、我々が今も使うBM25の開発者の一人であるStephen Robertson教授でした。講演は、教授自身の研究者人生を振り返りながら情報検索という分野がどのように生まれ発展してきたかを辿る、生きた歴史の物語でした。当時はコンピュータがまだ一般的でなく計算は手回し計算機、プログラムはパンチカードでオペレーターに渡していた1960年代末の話から始まりました。驚くべきことに、初期の情報検索研究は、関連度評価やランキング計算がすべて手作業で行われていたといいます。まさに情報検索の黎明期であり、現代の我々からすると想像もつかない環境です。

BM25の核となるTF（Term Frequency）の扱いや文書長正規化のアイデアがどのようにして生まれたか、という核心部分についても、自身の試行錯誤の過程が語られました。「ある単語が文書中に何度も出現することは、関連性の強い証拠だが、その効果はどこかで飽和するはずだ」という直感から、TFの重みを対数的に扱うモデルを考案した過程は、理論だけでなく「現実の言語がどう機能するか」という深い洞察に基づいています。また、「論文のアブストラクトのような短い文書と本文全体のような長い文書では、同じ単語が出現してもその重要度は異なるはずだ」という発想が文書長正規化につながった、というエピソードも紹介されました。この話は、BM25がなぜこれほどまでに長く、広く使われ続けているのか、その根源的な強さをあらためて理解させてくれるものでした。

講演の最後は、現在のLLMや生成AIの時代における情報検索の未来にも言及されました。Robertson教授は、これらの技術が持つ可能性を認めつつも、その振る舞いの不透明さやハルシネーションといった課題を指摘しています。そして、50年前に提唱された古典的なアイデア「Relevance Feedback」に言及しました。これはユーザーとの対話を通じて検索結果を改善していく手法であり、これこそがAI時代に再び重要になるだろうという、示唆に富んだメッセージで締めくくられました。

DMMの検索システムでもBM25は現役で利用されており、非常に強力なベースラインとして今も強い存在感を放っています。そんなアルゴリズムの発案者から当時の話を生で聞くことができるのはカンファレンスの幕開けに相応しい基調講演でした。

day2| Digital Health（Ophir Frieder）

2日目の基調講演は、Georgetown大学のOphir Frieder教授による「Digital Health」と題した講演で、情報検索やAIの技術が深刻な課題を抱える医療の世界をどう変革できるか、という実践的なテーマが語られました。

講演の冒頭でまず示されたのは、米国のみならず欧州や日本を含む世界中で進行する、衝撃的なまでの医療人材不足の実態です。コールセンターのオペレーターは高い離職率に悩み、看護師や医師の数は需要に全く追いついていない。「多くの病院はもはや生命維持装置につながれている状態だ」という主張は疑う余地もないでしょう。この避けようがない未来を前に、テクノロジーは「代替」ではなく「補助」として何ができるのかというのが本講演の核心でした。

具体的な事例として、まずコールセンター業務を自動化する対話型AI ChatbotのInaraのデモが紹介されました。Inaraは100以上の言語と方言に対応しており、患者からの薬の服用頻度に関する問い合わせに対し、本人確認から回答までをスムーズに行うことでオペレーターの負担を軽減し、より緊急性の高い業務に集中することを可能にしてくれるでしょう。

次に紹介されたのは、COVID-19の経験から生まれた、スマートフォンアプリによるセルフチェックシステムです。咳の音や睡眠パターン、さらには「玉ねぎの匂いを嗅いでみて」といった対話を通じて嗅覚・味覚の変化を検知するなど、非侵襲的で手軽な方法で重症化リスクをスコアリングします。これはまさに、テクノロジーが患者一人ひとりの緊急度を判断し、限られた医療リソースを本当に必要な人に届ける仕組みであり、テクノロジーが人々の命を直接的に救う可能性を示す好例でした。

そしてもっとも印象的だったのが、電子カルテデータから患者のデジタルツイン（現実世界の人やシステムをサイバー空間上に再現したもの）を構築し治療効果を予測する研究です。特に、年間で1,000万人もの命を奪う癌の早期発見に焦点を当てた話は印象的でした。膵臓癌のような発見が難しい癌でも、過去の膨大な患者データから学習した基盤モデルを用いることで、非侵襲的かつ非常に少ないコストでの早期発見が可能になったそうです。報告によると、その性能は99%以上の特異度（陰性の人をただしく陰性と判断する確率）と60-70%の感度（陽性の人をただしく陽性と判断する確率）を達成していました。

本講演で一貫して語られたのは、テクノロジーは決して人間の医師に取って代わるものではなく、あくまで「補助」であり、より良い医療を、より多くの人に届けるための強力な手段であるという思想です。

弊社もDMMオンラインクリニックというサービスを展開しており、場所や時間にとらわれずに医療アクセスを提供するというミッションを掲げています。Frieder教授が示したデジタルヘルスの未来像は、我々の目指す方向と完全に一致するものでした。Web問診やオンライン診療プラットフォームに本講演で紹介されたAIアシストや予後予測の技術を組み込めば、患者さん一人ひとりにより質の高いケアを提供し、同時に医療現場の負担も軽減できるでしょう。これは、より大きな社会貢献の実現につながるという大きな示唆を得ました。

day3| Please meet AI, our dear new colleague. In other words: can scientists and machines truly cooperate?（Iryna Gurevych）

3日目の基調講演はIryna Gurevych氏が登壇されました。そして、演題にもあるとおり「AIと科学者は真に協力できるのか？」というテーマで、研究プロセスにおけるAIとの協働について語られました。

講演は、以下の3つの構成で進められました。

1. AIの登場によって研究の世界に生じている変化
2. 研究ワークフロー、特に論文執筆におけるAIの活用
3. AI時代における人間の役割

AIが科学研究にもたらす変化の例は多岐にわたります。例えば、自然言語処理の国際会議「ACL」では論文投稿数が急増しています。さらに、Sakana AIは全自動の科学発見システム「AI Scientist」を開発し、AIが執筆とレビューを担当する会議「AI Agents for Science 2025」も開催される予定です。

「研究ワークフロー、特に論文執筆におけるAIの活用」のパートでは、研究のプロセスを「アイデア生成」「実験」「論文執筆・出版」の3段階に分類したうえで、講演者の研究分野である論文執筆と出版におけるAI活用事例が紹介されました。論文執筆の取り組みとしては、ACLコミュニティにおける論文執筆関連データの収集活動や、執筆・査読を支援する引用文生成、レビューコメント分類といった研究が進められているとのことです。

最後のまとめでは、科学研究におけるLLMの現状の課題として、ソースの混同や支離滅裂な議論の生成、また人間からの指示に対する過度な編集などが挙げられました。AIの性能が限定的である現状において、私たち人間は事実確認や批判的思考のスキルを持ってAIと協働することが重要であり、AIの出力を吟味してその正確性と妥当性を保証する役割へとシフトしていくべきだと主張されました。

本講演は主に科学研究におけるAIとの協働がテーマでしたが、私たちデータサイエンスの業務にも通じる点があると感じました。LLMに分析のアドバイスを求めると、一見もっともらしい答えが返ってくるものの、内容を精査すると不正確な場合があります。その真偽を見抜くには、専門知識やドメイン経験が不可欠です。LLMの登場により、私たちデータに関わる専門家には、分析の正確性を担保し、より深い仮説を探求することの重要性がましていると痛感しました。

基調講演2日目の様子

セッション・発表

1. Hypencoder: Hypernetworks for Information Retrieval (平野)

本研究は、従来のベクトル検索が用いる内積計算の「線形性」に起因する表現力の限界を指摘し、この課題を解決するために「Hyper-Encoder」という全く新しい検索パラダイムを提案した論文です。多くの検索モデルはクエリと文書をベクトル化し、その内積で関連度を計算しますが、この線形的な操作では複雑な関連性のパターンを捉えきれない可能性があります。本研究ではこの内積計算を、クエリテキストから動的に生成される「クエリ専用ニューラルネットワーク（Q-net: Query-specific Neural Network）」に置き換えます。このQNNを生成するモデルが「Hyper-Encoder」です。文書ベクトルを入力すると、そのクエリに特化した関連度スコアを直接出力する非線形な関数として機能します。実験では、MS MARCOなどの標準データセットにおいて、同規模のパラメータを持つ密ベクトル検索モデルを上回る性能を示しました。それだけでなく、はるかに巨大なモデル（例: Dragon）や、リランカーを用いた多段パイプラインの性能さえも凌駕する結果が報告されています。

DMMの検索システムでも1st-stageのランキングとして、内積ベースのハイブリッド検索（ベクトル検索+全文検索）の導入を検討しています。その一方で、業界ではより多段なマルチステージ・ランキングが提案されています。DMMですでに稼働している3rd-stageランキングと、検討中の1st-stageとの間で速度と精度のトレードオフを担う2nd-stageランキングには、大きなポテンシャルを感じました。

特に興味深いのは、難しいクエリ（hard queries）ほど、既存手法に対する性能改善の幅が大きくなるという点です。これは、Hyper-Encoderの持つ非線形な表現力が、単純なキーワードマッチでは捉えられない、より複雑でニュアンスに富んだユーザー意図をモデル化できていることを示唆しています。また、全文書とのスコア計算がボトルネックになる課題に対して、グラフベースの効率的な探索アルゴリズムを提案し、実用性も担保している点も大きな魅力でした。この「クエリごとに思考する検索エンジン」というアイデアは、将来の検索・推薦システムのアーキテクチャに大きな影響を与える可能性を秘めており、今後の発展が非常に楽しみな研究分野だと感じました。

2. QDER: Query-Specific Document and Entity Representations for Multi-Vector Document Re-Ranking (平野)

本研究は、検索クエリに応じて文書の表現を動的に再構築する新しいリランキング手法「QDER（Query-Dependent Entity Representation）」を提案した論文です。従来の検索システムが苦手としていた「文脈」と「エンティティ」の関係性を同時に捉えることを目的としています。テキスト情報とエンティティ情報を個別のチャネルで処理し、クエリとの関連性に基づいて文書内の要素の重要度を動的に計算、さらに両チャネル間の複雑な相互作用を双線形モデルで学習することで、高精度なマッチングを実現します。実験では、5つの標準データセットにおいて既存の先端モデルを大幅に上回る性能を示しました。特に、TREC Robust04データセットではnDCG@20で従来比+36%というSOTA（State-of-the-Art）を達成しています。さらに、もっとも難易度の高いクエリ群においては、ベースラインのスコアが0.1に満たない状況から、QDERは0.7を超える驚異的な改善を記録したことも報告されました。

検索システムにおいて、ユーザーが入力したキーワードを含むだけでなく、その意図、すなわち「何と何がどういう関係にある情報」を求めているかを理解することは非常に重要です。例えば「スティーブ・ジョブズのiPhone開発における役割」というクエリに対し、単にキーワードが一致するだけの文書では、文脈がずれていたり（Pixarの話）、重要なエンティティが欠けていたり（ジョブズが出てこない）することが頻繁に起こります。本研究の「クエリに応じて文書の表現を動的に変える」というアプローチは、この根源的な課題に対する非常に強力な解決策だと感じました。

DMMでもQuery UnderstandingやQuery Expansionといった技術を用いて検索体験の向上に取り組んでいますが、本研究のアプローチはこれらの取り組みと強いシナジーを生む可能性があります。例えば、QDERの「クエリと文書の相互作用をモデル化する仕組み」は、クエリからユーザーが求める商品の属性やカテゴリを推定するQuery Understandingタスクにおいて、非常に強力な特徴量となり得ます。また、クエリ内のどのトークンやエンティティが文書との関連性において重要かを動的に判断するAttention機構は、効果的なQuery Expansion（クエリ拡張）のヒントを与えてくれるでしょう。巨大なLLMを直接利用するよりも軽量なモデル構成で、特に性能向上が難しいとされる複雑なクエリで圧倒的な結果を出している点は実務的にも非常に魅力的です。単なるリランキング精度の向上に留まらず、検索システム全体のインテリジェンスを高めるうえで多くの示唆を与えてくれる研究であり、大変興味深く感じました。

3. Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets (平野)

本研究は、大規模な検索システムにおいて、計算コストの高い高精度なリランカー（Expensive Ranker）を、限られた計算予算内でいかに効率的かつ効果的に活用するかに焦点を当てた論文です。従来のリトリーブ＆ランク方式では、最初の高速な検索（1st-stage）で取りこぼした関連文書は二度とリランキングされず、また、どの文書をリランキングにかけるかの選択も最適ではありませんでした。本研究ではこの課題に対し、リランキング対象の選択を「多腕バンディット問題」として捉え直す「ORE (Online Relevance Estimation)」という新しいフレームワークを提案しました。OREは、安価な特徴量（BM25スコアや文書間類似度など）を用いたシンプルな線形モデルで高コストなリランカーの挙動をオンラインで近似・学習し、その予測スコアに基づいて次にリランキングすべき文書を動的に選択します。実験では、TREC DLデータセットにおいて、既存の適応的検索手法と比較してRecall@50で最大+30%という大幅な改善を達成し、リランカーの呼び出し回数を抑えながら検索品質を最大化できることを示しました。

DMMの検索・推薦においても、複数のモデルを組み合わせたマルチステージ・ランキングは一般的な構成です。特に近年、業界的にLLMベースのモデルなど、より高精度だが計算コストも非常に高いリランカーを導入する動きが加速しており、「限られたリソース（時間・計算機）をどのアイテムのスコアリングに割り振るか」は極めて重要な経営・技術課題となっています。本研究が提案するアプローチは、このリソース配分問題をバンディットアルゴリズムで最適化するという、非常に賢い解決策です。

特に興味深いのは、クエリごとにオンラインでリランカーの近似モデルを学習する点です。これにより、クエリの性質に応じた戦略を動的に調整できます。例えば、語彙的なマッチングを重視すべきか、意味的な類似度を優先すべきか、あるいはすでに見つかった関連アイテムの周辺を探すべきか、といった判断をクエリごとに行えるようになります。これは、画一的なルールでリランキング候補を選択する従来手法に比べて、遥かに柔軟で効率的です。計算コストの高いモデルを本番環境に導入する際の「賢い使い方」を示すものであり、DMMのランキングシステムのROIを最大化するうえでも非常に示唆に富む研究だと感じました。

トラック: Search and Reranking1セッションの様子

4. Negative Exclusion Filtering: Optimizing Ad Delivery Efficiency for Large-Scale Social Media Platforms (田代)

本論文は、広告配信におけるマルチステージ・ランキングのうち、特に計算負荷の大きい第3ステージを効率化する研究です。具体的には、ユーザーの興味を引きにくいと判断された広告の情報をキャッシュとして保存・再利用する「Negative Exclusion Filtering」という手法を提案。これにより、CPU使用量を3.7〜7.4%、GPU使用量を4.0〜7.9%、レイテンシーを0.5〜2.0%削減したと報告しています。

今年のSIGIRでは、昨年に引き続きLLMのような計算負荷の大きいモデルをいかに効率良くシステムに組み込むかという研究が増加傾向にあると感じました。私たちが運用するDMMの検索・推薦のリランキングにおいても、性能向上のために計算量の多いモデルを、レイテンシーやコストを抑制しつつ導入することが課題となっています。そのため、本研究のようなシンプルなアイデアで計算負荷を削減するアプローチは、実務への応用可能性が高く、非常に興味深く感じました。

5. Defining & Optimizing Quality of LinkedIn’s Content Search (田代)

本論文はLinkedIn社による発表で、検索結果の品質を再定義し、最適化した事例を報告しています。従来の単純なトピック関連度だけでなく、文書の品質、オリジナリティ、情報の深さ、新しさといった多様な観点を含む新たな指標"Graded Relevance" (GR)を定義し、検索品質を向上させました。

一般的に、DMMを含む多くの検索システムでは、主に「ユーザーエンゲージメント」と「クエリとアイテムの関連度」という2軸で検索結果をランク付けします。エンゲージメント指標だけを最適化しようとするとユーザーが興味を引きやすいセール商品やサムネイルが目を引く商品が上位に集まりやすくなります。その結果、一時的にCTRやカート追加率を押し上げても実はユーザーが欲しかった商品と違ったというギャップを生むことで、UXの悪化、長期的な利益の毀損につながる恐れがあります。逆に関連度のみを厳格に追求するとユーザーが興味を示しやすいセール品や新作が下位に押し下げられ、短期的な売上機会を逃す可能性があります。そのため「短期的なエンゲージメント」と「中長期的な顧客満足を含む関連度」をバランスよく両立させることが重要なのです。 そして、このうちの「関連度」は自社データで評価するために明確な定義とラベリングが必要ですが、ある検索語を含む複数の商品の関連性の度合いをどう定義し、評価するかは難しい課題です。

そこで本研究では、自社ログを基にクエリ種別ごとのGRを定義し、その定義に基づいてGPT-4でラベリングしたデータを用いて検索モデルをチューニングしています。例えば、会社名クエリの場合、個人の投稿と公式ニュースとでは後者の関連性が高いと定義します。具体的には、会社自身が発表した公式ニュースは、その会社に所属する個人の投稿よりも関連性が高い、といった具合です。

本研究は「自社の検索における"関連性"とは何か」という根源的な問いに取り組んでおり、検索技術を自社サービスに適用するうえで極めて重要な課題を扱っていると感じました。DMMにおいても、検索の関連度を再定義するうえで大変参考になる、示唆に富んだ論文でした。

6. Towards More Relevant Product Search Ranking with Fulfillment Intent Understanding (田代)

本論文はWalmart社による発表で、ユーザーが好む配送オプション（例：即日配送、店舗受け取りなど）を予測し、その好みを検索ランキングに反映させることで、カート追加率を0.389%向上させた(p値0.0004)と報告しています。

具体的には、BERTでクエリから直接予測した情報に加え、LLMを用いて推定したクエリの具体性やカテゴリ、さらにはユーザーのカート内商品の配送オプション履歴などを特徴量としてXGBoostに入力し、AUC 0.962という高い精度での予測を実現しています。

DMMのQuery Understandingでも、クエリから商品属性を予測することで売上向上を実現していますが、本研究のアプローチを用いることで、さらに詳細なユーザー意図の分析が可能になると感じました。また、本稿では特徴量の重要度やダウンサンプリングの工夫といった実践的な知見も共有されており、Query Understandingを実装するうえで非常に有用な情報だと感じました。

参加した感想

今回の学会に参加した感想と学びについてまとめます。

まずは、学会全体を通しての感想です。 DMMとしては昨年に引き続き2回目の参加となりましたが、今年はメインカンファレンスに加えて初日のウェルカムレセプションから参加したことで、より一層現地の熱気や雰囲気を肌で感じることができました。 特に印象的だったのは、ラジョーネ館という歴史的な建造物で行われたウェルカムレセプションです。荘厳な雰囲気の中、他社の検索・推薦システム開発者の方々と論文に関する議論だけでなく、それぞれの現場が抱えるリアルな課題や成功体験について情報交換でき、大きな刺激となりました。

ウェルカムレセプションの様子

次にポスターセッションでは、学生や若手研究者が自身の研究内容を熱っぽく語る姿が数多く見られ、アカデミアの最前線の活気を直接感じ取ることができました。こうした公式・非公式な場でのコミュニケーションを通して、論文を読むだけでは得られない行間の知識や新たな研究の萌芽に触れられたことが、現地参加ならではの最大の収穫だったと感じています。

ポスターセッションの様子

また昨年度は、LLM（大規模言語モデル）を情報検索にどう活用するか、特にRAG（Retrieval-Augmented Generation）が大きな潮流でした。今年は、その流れがさらに深化・成熟した一年だったと言えます。単にLLMを使うという段階から、「LLMをいかに賢く、効率的に、そして本質的に活用するか」という、より実践的で踏み込んだ議論へとシフトしていました。

具体的には、以下の3つの大きな動向が見られました。

1. 検索アーキテクチャの再発明: HypencoderやQDERのように、従来の内積計算ベースの検索の限界を問い直し、クエリに応じて動的に振る舞う非線形なモデルを提案する研究が注目を集めました。これは、LLMを単なる部品として組み込むのではなく、検索アーキテクチャそのものを根本から見直そうという、より野心的な動きです。
2. コストとパフォーマンスの最適化: OREやNegative Exclusion Filteringといった研究は、計算コストの高いLLMベースのモデルを、限られたリソースの中でいかに効果的に運用するかという、ビジネス現場の切実な課題に応えるものでした。アカデミックな精度追求だけでなく、実用性やROIを重視する視点が強く打ち出されていたのが印象的です。
3. 古典的理論とユーザー理解への回帰: LLMという最新技術の時代だからこそ、原点に立ち返る動きも顕著でした。WalmartやLinkedInによるユーザー意図の深い分析や、Stephen Robertson教授がKeynoteで語った"Relevance Feedback"の重要性などがその好例です。これらは、BM25のような古典的アルゴリズムの思想や、「ユーザーにとっての良い検索とは何か」という根源的な問いを再評価する動きと言えるでしょう。

これらのトレンドを理解しておくことは、DMMが今後、検索・推薦システムを改善させ続けていくうえで非常に重要な指針となります。私たちは、単に流行りの技術を追うだけでなく、その本質を理解し、事業課題と照らし合わせながら、真にユーザー体験と売上の向上に寄与できるシステムを設計・実装していく必要があります。今回の学会で得た最先端の知見とグローバルな視点を武器に、今後もDMMのサービス価値向上に貢献していきたいと思います。

おわりに

DMM データサイエンスグループでは、本記事でご紹介したような内容に興味を持ち、一緒に働きたいと考えてくださるMLエンジニアの方を積極的に募集しています！ また私たちデータサイエンスグループは、エンジニアが常に最先端の知識を吸収し、それをサービス開発に活かせる環境を重視しています。今回のSIGIR 2025への参加もその一環であり、今後も国内外のトップカンファレンスへの参加を積極的に支援していきます。

DMMのカルチャーを肌で感じながら、ご自身の専門性を存分に発揮できる環境で一緒に成長しませんか？

ご興味のある方は、下記の採用募集ページよりぜひご応募ください！

最後までお読みいただき、ありがとうございました！

dmm-corp.com