ビッグデータ

DEIM2026(第18回データ工学と情報マネジメントに関するフォーラム)に参加しました!

はじめに DEIM2026の概要 参加レポート 一般発表(技術報告) スポンサーブース インタラクティブセッション [1F-04] ターゲットベクトルを用いた SPLADE への明示的な知識注入による概念マッピング効果検証 [5G-01] マルチドメイン推薦のための協調知識グラ…

BigQueryで毎月数十TB増えるセキュリティログのストレージコストを60%削減した方法

はじめに DMMのプラットフォーム全体像 本記事の概要 API Gatewayの大規模トラフィックログの長期保管と分析体制の構築 BigQueryによるログ蓄積と加工 ログの保存先としてのBigQueryのメリット ログの分析フロー ストレージコストの問題 ストレージ料金の問…

DMMデータサイエンスグループがRecSys 2025に参加しました!

はじめに RecSys 2025 概要 開催概要 印象に残ったセッション・発表 菊谷パート LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders 概要 グローバルトークン トークンマージ Hybrid Attention 推論時のKVキャッシュ 実験 感想 寺井パー…

DMM TVにおけるマイクロバッチを用いたニアリアルタイムレコメンドシステムの導入事例

はじめに 背景 提案手法 構成とアーキテクチャ選定 マイクロバッチの選定理由 1. 秒単位のリアルタイム性が不要だった 2. 実装・運用保守・コストのバランスを重視した 実験 結果 履歴i2i棚経由の指標 サービス全体の指標 考察 改善点 履歴i2i棚に関すること…

DMMデータサイエンスグループがGoogle Cloud Next 2025に参加しました!

はじめに Google Cloud Nextとは 会場の様子 ラスベガスの様子 Keynoteの様子 EXPOの様子 日本人向けセッションの様子 気になったセッション 土屋パート Solve real-time AI challenges: Bigtable and BigQuery in Spotify’s music recommendation engine Sc…

DEIM2025(第17回データ工学と情報マネジメントに関するフォーラム)に参加しました!

はじめに DEIM2025の概要 参加レポート 一般発表(技術報告) インタラクティブセッション スポンサー賞 おわりに はじめに 皆さん、こんにちは!データサイエンスグループの平野と菊谷です。 私達は2024年にDMM.comに新卒入社し、現在はデータサイエンスグ…

Google Analytics 4 / Google Tag Managerを活用したエンドユーザー行動ログ取得の取り組み

はじめに CDPグループについて CDPシステム基盤の全体 なぜ GA4 GTMを選定したのか 全体としての選定理由 GTM 選定理由 Google Analytics4 選定理由 CDPシステム基盤の詳細 i3-CDP-Tracking-Tag-API 実際の配信タグ 既存システム Server Container なぜサー…

DMMデータサイエンスグループがRecSys2024に参加しました!

こんにちは!DMMデータサイエンスグループの土屋です。本記事では先日データサイエンスグループのレコメンドチームで参加したRecSys2024の参加記録を共有します。 RecSysの概要 印象に残ったセッションと発表 土屋パート Biased User History Synthesis for …

生成AIを活用したユーザーレビューの自動承認対応

ユーザーレビューの自動承認システムに生成AIを活用する取り組みについて説明します。従来の人手による承認プロセスの課題を解決し、効率化を図るための新たなアプローチを紹介します。 1. はじめに 2. 現状と課題 2. 不適切なレビュー 3. 生成AIの現状と可…

DEIM2024(第16回データ工学と情報マネジメントに関するフォーラム)に参加しました!

はじめに DEIM2024の概要 参加レポート 一般発表(技術報告) インタラクティブセッション スポンサー賞 おわりに はじめに こんにちは!データサイエンスグループの森雅也です。2022年にDMM.comに新卒入社し、現在はレコメンドチームにて、機械学習を用いた…

LightweightMMMを実践データで使ってみた感想

はじめに モデリング概要 サービスの特徴 データセット 使ってみた感想 良かった点 気を付けるべき点 まとめ 終わりに 参考文献 はじめに はじめまして。マーケティング本部データ戦略部事業アナリシスグループ所属の大浦と申します。データアナリストとして…

BigQuery Remote Functionsによる形態素解析

はじめに Remote Functionsについて Cloud RunによるAPIの実装 Remote Functionsの作成 実行 まとめ はじめに はじめまして!DMMのML基盤チームの上田亮です。 2023年に新卒として入社し、検索やレコメンドのインフラ基盤の開発に携わっています。 私たちの…

DEIM2023(第15回データ工学と情報マネジメントに関するフォーラム)に参加しました!

はじめに DEIM2023の概要 参加レポート Day1(3/5) Day3(3/7) Day4(3/8) “株価分析のための時系列データクラスタリング入門” “グラフ深層学習のすゝめ。” “平均値の差の検定と効果量: 実験結果の適切な報告の仕方” Day5(3/9) おわりに はじめに こんに…

DMMのデータサイエンスグループによる検索UI改善の取り組み

はじめに 施策の概要 背景・課題 背景 課題 施策の詳細 施策案 施策の実装 施策の効果 まとめ はじめに こんにちは、データサイエンスグループ検索Growthチームの田代真生です。 昨年の4月に22年新卒でDMMに入社し、8月から検索Growthチームに加わり、データ…

ベイジアンABテストのためにARPUのモデリングに挑戦してみた

はじめに 記事を書いたモチベーション なぜベイジアンABテスト? ARPUの統計モデルを考える 課題設定 ゼロが多いデータに対するモデリング CVRのモデリング ARPPUのモデリング ARPUの差分の事後分布 まとめ さいごに 参考文献 はじめに この記事は、DMMグルー…

検索システムをEKSに移行した話

はじめに 既存のシステム構成について 検索チームで管理できないサーバ 複数バージョンのSolrの管理 テスト環境がなく、スケールもしない SolrのバックアップがDBにしか存在しない 手動デプロイ 最新のシステム構成について StatefulSetとは Solrのコンテナ…

DMMのビッグデータ基盤の裏側を大公開!CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは?

イベント概要 DMM.comのビッグデータ基盤を支える技術 登壇資料 補足 所感 さいごに こんにちは!DMM.com Labo ビッグデータ部の 吉田 ( @ryysud ) です。 2017年8月25日(金) に開催されたパーソルキャリア株式会社主催の TECH PLAY Conference 2017 で 鈴木…

DMMにおけるビッグデータ活用の事例紹介!Presto x Golang x Docker を用いたセグメントバナー施策とは?

はじめに こんにちは! DMM.com Labo ビッグデータ部の 吉田 です。 2017年3月28日(火) に開催されたレバレジーズ株式会社主催の ヒカ☆ラボ で登壇してきました。 今回は、そこで発表した内容を資料公開も含めて報告させて頂ければと思います! どんな内容だ…