• 階層的関心表現はメタ広告の研究分野です. 私たちは、広告エンティティ、つまりユーザーの世界の上流の表現層を調査しています。, 広告主, 製品, サービス – ユーザーの推測された興味と広告主がディープファネル広告で提供する幅広い内容を結び付ける統合されたエンベディングを学習します.
• 階層的利益表現のイノベーションは、バイアスを意識した注意力と自己監視型クロスビュー蒸留を備えた社内トランスフォーマーベースのグラフ学習です。, 大規模なグラフ全体にわたる多階層の関心表現の学習.
• 階層型インタレスト リプレゼンテーションは、現実世界の知識とエンゲージメント シグナルを融合します。LLM を通じて処理されるマルチモーダルな広告主と製品コンテンツにより、まばらなインタラクションが強化されます。, まれで目に見えないエンティティへの一般化を可能にする.
• 階層型関心表現は、新しいパーソナライゼーションを強化する可能性のある広告エンティティと Bag-of-Meaning 関心トークンのユニバーサル埋め込みを出力します, 検索, 監督, 広告スタック全体にわたる特殊なランキング アーキテクチャ.
• 数十億のインタラクション規模で実際のメタ広告データに基づいてエンドツーエンドでトレーニング.

階層的利益表現は、 上流の表現層 Meta のディープファネルランキングの最適化を改善するように設計されています. 最も本物のものを運ぶ当社のプラットフォーム上の人々と企業を結び付けることを目的としています。, 彼らが提供するものに対する潜在的な関心. このシステムは、Meta の広範なレコメンデーション エコシステム全体で機能することを目的としています。, メタのような ジェネレーティブ広告モデル (宝石), アンドロメダ, そして 適応型ランキングモデル, ディープファネルの最適化を進めるため.

人々は、人々やコンテンツとつながるために、Meta のアプリやプラットフォームにアクセスします。, スクロールするたびに好みを表現する. エンゲージメントシグナルは、推定された関心と明示的な関心の両方を理解し、プラットフォーム全体でのコンテンツの関連性を向上させるために使用されます。. フロンティア AI を利用して、まばらなエンゲージメント シグナルから潜在的な関心をマッピングし、それらを広告主が提供する広大な状況と調整することは、シグナル不足の課題に対処し、ディープ ファネルの広告パフォーマンスを向上させるための革新的なアプローチです.

使命は、ユーザーにまたがる広告エンティティの全体像全体にわたる推論関係を強化することです。, ビジネス, と製品 – モデルが安定した状態と安定した状態の間を移動できるようにする多階層の粒度を利用します。, ハイレベルのインタレストアンカーと専門的な, ディープファネルの意図を示すまばらなシグナル.

階層的な関心の表現がディープファネルの最適化をどのように強化するか

階層的関心表現は、長距離グラフ トポロジをナビゲートし、まばらなエンゲージメント シグナルをさまざまな粒度で統一された関心クラスターに抽出することにより、表現モデリングの構造的変化の先駆けとなります。. 現実世界の知識と宣伝されている製品の意味的把握を融合することによって, 広告とユーザーの意図のつながりを効果的に強化します。.

階層型インタレスト リプレゼンテーションは、大規模なエンゲージメント データセットから安定したインタレスト アンカーを抽出し、それらをマルチモーダルな世界の知識強化に基づいて構築することで、発見指向の広告エクスペリエンスを促進します。. これは、より関連性の高い広告コンテンツを配信してディープファネル広告を最適化できるようにすることを目的としています。.

技術的な課題

広告エンティティに対するユーザーのエンゲージメントは自然にグラフ構造化されます: ユーザーと広告エンティティ (広告主, 製品, サービス, キャンペーンなど) ノードです, そしてそれらをつなぐアクティビティやイベントがエッジです. メタの規模で, これは業界最大のグラフ ネットワークの 1 つです. 利益表現の学習には次のような課題があります:

ユーザー推定信号ダイナミクス

Meta はユーザーのエクスペリエンスを調整するためのツールを提供します, 見た投稿に対して「興味がある/興味がない」というフィードバックを提供するなど. 加えて, エンゲージメントシグナルに基づいて推測される興味関心は、ディープファネル広告の改善に引き続き重要な役割を果たします.

接続がまばらな大規模ネットワーク:

毎月, Meta の広告ネットワークは何百万もの広告を配信しています, 何百万もの広告主から, 私たちのプラットフォーム全体で何十億人もの人々に. この「語彙」は膨大ですが、, 広告インプレッションの機会は限られており、深い目標到達プロセスのユーザーからのフィードバックはほとんどありません.

長距離, グローバルな関係

深いファネル内の個々の接続がまばらであることを考慮すると、, 共通のパターンを長距離から観察するのに役立ちます, 接続されたエンティティとユーザーをグラフ化し、表現にエンコードする. 大規模なグラフ ネットワーク内の長距離関係をキャプチャするには、計算量が多くなります. ハードウェアの機能が拡張されても, モデリングの精度を追求するには、メモリ効率の高いアテンション カーネルと高性能の学習アルゴリズムの設計が必要です.

階層的利益表現の導入

私たちの最新の研究領域は、普遍的な学習のための上流表現層です。, ユーザーと広告エンティティのリレーショナル知識表現. 表現はユーザーの広告エンゲージメント パターンを捉えます, 現実世界のセマンティクスを吸収する, 複数の階層粒度を介して各レベルの潜在空間投影にカスケードします。. グラフデータ構造に基づく, 4 つの設計プロパティがシステムをエンドツーエンドで推進します:

次元の縮小

階層的関心表現は、生のグラフを構成可能なスーパーグラフに投影します。各スーパーノードは学習された潜在的関心プリミティブです。. 生のグラフではまばらだったユーザー広告エッジが、プリミティブ インタレスト グラフでは意味のある密度になります。. 本質的に, 原始的な関心グラフはより静止しており、語彙が安定しています。, 広告ビジネスはよりダイナミックになっているにもかかわらず、.

知識の充実

階層的な利益表現により異種エンティティを強化, 特に広告主と商品の種類, テキストなどのマルチモーダルコンテンツ機能を使用, 画像, そしてビデオ. これらの機能は、構造化されたページのメタデータと広告主のカタログ属性から抽出され、ビジョンまたは言語モデルを通じて処理されます。. この追加情報は既存のエンゲージメント データを補完します. ただ知るだけではなく ユーザーがどのように対話するか 何かで, それは捕らえます それは実際何ですか. 基礎となるビジネスや製品を理解するまでは見たことのないエンティティであっても.

統合リレー表現

階層的利益表現の学習 徹底した知識の表現 ユーザーとエンティティにとって, 単一の計量空間での潜在的な関心のプリミティブ表現とともに. エンティティの相互関係を推測できます 関係と相性 型間または型内で. 埋め込み操作の使用, 階層的関心表現により、プリミティブ間およびクラスター間の関係を決定できます。. また、関心のあるプリミティブへのユーザーの近接性を推定することもできます。; 広告/広告主が特定の関心プリミティブにどの程度密接に対応しているか; 類似ユーザーとは何ですか, 広告, および最も近い隣の製品.

多階層の粒度

ディープファネル情報が全体的にまばらであることを考慮すると、, 原始的な利益にどのように投影するかについてはトレードオフがあります. 密で安定した関係は、通常、より粗くてより高いレベルの抽象化を意味します。, 一方、スパースで特定の接続は、より細かいレベルの抽象化を検討します。. 階層的関心表現はスーパーグラフを学習します, 複数のカスケードを介して 階層的な この柔軟性を実現するレイヤー, ランキングモデリングアーキテクチャに対応, パーソナライゼーション, または検索アプリケーション.

階層的な利益表現アーキテクチャ

階層的利益表現は、広告主や商品に関する世界の知識とユーザーの直接的な時間的エンゲージメント データを組み合わせて表現を構築します。. LLM からインスピレーションを得たトランスフォーマー アーキテクチャが大規模なグラフに適用されます, まばらな注意力を使って長距離関係を捉える. このシステムは、検索から最終段階のランキングまで、広告プラットフォーム全体のさまざまなアプリケーションを強化するように設計されています。.

次のセクションでは、階層的利益表現システム内の各コンポーネントのアーキテクチャ設計について詳しく説明します。.

充実したエンゲージメントグラフ

異種グラフ構造

階層的利益表現は型付けされたものに基づいて構築されています, 重み付けされた, 複数のエンティティ タイプ (ユーザー) を統合する時間経過グラフ, 広告, 広告主, キャンペーン, 製品, とピクセル. これらのエンティティは、広告アーティファクトを作成する企業やユーザーと広告のインタラクションの過程など、型付きのエンゲージメント エッジによって接続されています。. 各エッジには、最新の意図と長期的な関心のバランスを取るアクション タイプとタイムスタンプが含まれます。. これは入力した, 異質な構造により、単一の下流表現が誰かのライフスタイルについて推論できるようになります, 広告主のカタログリーチ, とそれらを接続する製品 – すべてが 1 つの統一されたスペースに.

メタ実稼働データへのスケーリング

グラフは数十億人のユーザーにまたがる, 月ごとのエンティティとその相互作用, 実稼働の鮮度を保つためにオンラインで提供され、評価と迅速な反復のためにオフラインで提供される. 各ノードには、事前トレーニングされたセマンティック機能と行動統計を融合した豊富な初期埋め込みが含まれています. 頻繁なノードはディープハッシュ埋め込みを介して学習可能な ID 埋め込みを追加します, ノード ID のハッシュのベクトルに適用される小さな共有ニューラル ネットワーク, 語彙が数百億にスケールアップしても ID メモリを制限したままにする.

階層型エンコーダ

トランスフォーマーベースの階層エンコーダーは、この巨大なグラフ サイズで表現学習をスケールするためのモデリング設計です。. いくつかの重要な技術的設計を検討しました.

世界の知識

世界の知識は、与えられた点と点を結ぶ手段として機能します, 比較的静止した物体に多く存在する, 広告主など, 製品, 等. 概要テキスト内のマルチモーダル情報を取得します, 画像, カスタマイズされた LLM 推論エンジンを通じてビデオを処理し、表現学習用のエンコードされた特徴入力を生成します。.

構造エンコーダ

階層型エンコーダーの入力層は、豊富な相補エンコーダーを組み合わせます. ノードエンコーダがノードタイプを融合, ディープハッシュ制御されたノードID, 世界の知識の特徴, およびタイプごとのメタデータ/機能により、各ノードはセマンティック ID と現実世界のコンテンツの両方を備えた学習モデルに入力されます。. 位置エンコーダは、グラフからサンプリングされたビューに位置エンコードを適用して、ランダム ウォークを使用してローカル トポロジを挿入します。, 重要性を優先した戦略. エッジエンコーダはエッジタイプを用意, 注意学習メカニズムに流入するエッジの重みと時間信号.

バイアス合成

トランスフォーマーは、注意を通じてトークン間のペア関係を測定します. グラフ, 建設によって, ノード間のペア関係をエンコードする. これら 2 つのアイデアは自然に相互補完します. グラフ構造シグナル (イベントエッジに沿ったノードタイプの遷移やローカル接続の最短パス距離など) すべての層でクエリキーのドット積を増大させる注意バイアスとしてモデルを入力します。.

これにより、モデルがトポロジを認識するようになります。. サブグラフをノードのバッグとして扱うのではなく, 階層エンコーダは、ノードが構造的にどのように関連しているかについての明確な知識を持って対応します。, 標準的なメッセージパッシングでは過度にスムーズになりがちな長距離関係を捉える.

アテンションカーネル

グラフ構造の偏りに注意を向けることは通常、コストがかかります: 標準実装では、完全なペアワイズ バイアス マトリックスが具体化されます。, メモリ効率の高いアテンションからのフォールバックを強制する. FlexAttentionを採用, 各バイアス項をオンザフライで計算するため、ペアごとの行列は決して実現されません。. 可変長のサブグラフは単一のブロックでマスクされたシーケンスにパックされます, パディングの無駄とクロスグラフのリークを回避. 新しいバイアス条件が小さなスコアリング ルールとして組み込まれます, 低レベルのカーネル作業は必要ありません. その結果、完全なグラフ構造認識によるメモリ効率の高い注意力が得られます。.

階層型エンコーダーのトレーニング

クロスビュー蒸留

階層型エンコーダーは、教師と生徒のペア スキームによる自己監視でトレーニングされます。. 各アンカーノードについて, 私たちは教師の広い視点と狭い生徒の視点をサンプリングします, どちらも階層エンコーダーを通過します. 生徒は教師と同じ興味のクラスターを予測するように訓練されています. 教師はグラフをより広い視野で見ることができるため, その予測はより確実です, 学生に一致する明確な目標を与える. これにより、ディープファネルのコンバージョンを生成する少数のユーザーをはるかに超えて監視が拡張されます。, 階層的利益代表の動機となったエンゲージメントの希薄性の多くに対処する. Sinkhorn-Knopp のバランスのとれた割り当てにより、単一クラスターの崩壊を防止します, 自己教師ありメソッドの既知の故障モード.

エンゲージメント予測

自己蒸留は、同じノードの異なるビューが一緒にクラスター化されるべきであることをモデルに教えることによって、グラフの潜在的な関心のあるプリミティブを発見します。. エンゲージメント予測は補完的な教師付き目標に追加されます – 2 つのノード表現が与えられた場合, エンゲージメントタイプ, そして時間, その時点で実際のエンゲージメントエッジが存在するかどうかを予測する. 一緒に, これらは、階層的関心表現にビュー不変の構造的事前条件と、観察されたユーザーの行動の直接的な基礎の両方を与えます。, それを配信スタック全体にわたる汎用スコアリング関数に変える.

オンライングラフインフラストラクチャ

生の異種グラフは Meta のオンライン グラフ エンジン上に存在します. 同じデータ ソースでトレーニングとオンライン サービスの両方を強化, 両方で同じ分布を確保する. トレーニング用, サブグラフのフェッチとノード機能の読み取りは GPU コンピューティングでパイプライン化されます. モデルが現在のバッチでトレーニングしている間、複数のワーカーが今後のバッチを並行して準備します。, 前方パスと後方パスの背後にあるデータ読み込みレイテンシを隠す. テスト段階中, これにより、同期ベースラインと比べて 30 倍の実時間の高速化が達成され、GPU モデルの FLOP 使用率が高く維持されました。. ビット正確な再現性がエンドツーエンドで維持されます, そのため、インフラストラクチャの移行とチェックポイントの回復によってモデルの動作が暗黙的に変更されることはありません。.

因果関係

情報漏洩を防ぐために, トレーニングと評価はイベントの時間的順序を厳密に尊重します. グラフ エンジンは各呼び出しにカットオフ タイムスタンプを適用し、その時点以降のノードまたはエッジをマスクします。.

エッジは時系列に分割されてトレインになります, 検証, およびテストウィンドウ. バッチは固定時間チャンク内でのみシャッフルされます, 時間的境界を越えることなく、オプティマイザに勾配の多様性を与える. モデルは、その時点で入手可能だった情報からのみ学習します, したがって、精度の向上は将来の漏洩ではなく実際の学習を反映します。.

トークン化

意味の袋トークン

継続的なユニバーサル埋め込みはランキングに強力です, ただし、本来は転置インデックス検索には適していません。, 集計を設定する, あるいは人間の解釈か. それらを Bag-of-Meaning に離散化します (BoM) トークン – コンパクト, 複合量子化によって生成される興味のある概念の順序付けされていない語彙. ユーザーは、興味のあることを説明する BoM トークンによって表されます。. 広告または広告主は、それらが提供する興味の BoM トークンによって表されます。.

デリバリースタック全体での階層的利益表現のアクティブ化

階層型インタレスト リプレゼンテーションは、学習したインタレスト リプレゼンテーションを広告配信スタックに組み込んで、最終的に GEM などの既存のコンポーネント全体にわたるディープ ファネル ランキングを向上させるように設計されています。, アンドロメダ, と適応型ランキングモデル. 例えば, BoM トークンは、ユーザーの潜在的な関心に基づいたエンゲージメントベースのパーソナライゼーションと監視を強化します。, 素早く有効化, 逆索引検索による検索のためのコンパクトなリコール. Hierarchical Interest Representation の多階層構造は特殊なアーキテクチャをサポートします, スーパーインタレストカテゴリによってルーティングされた専門家の混合生成分布学習など, ユーザーと広告のアフィニティに対する安定したインタレストアンカーを介した階層的推論が可能になります。.

階層的利益表現の将来

今後もトレーニングのスケーリング効率を向上させていきます, 埋め込まれた鮮度, 知識の圧縮, メモリ効率の高いアテンション カーネルにより、表現力が向上します。. パラメータ効率の調査も行っています, 上流の階層的利益表現の客観的な条件付き微調整, 共有エンコーダ上で異種のディープファネル最適化目標に向けたセグメントレベルの特化を可能にする.

謝辞

感謝いたします サミー・ボールド, 袁紹慶, チュアン・フー, クリス・ヘイダック, 徐文帆, 梁徐, ピユシュ・ダック, 井原一朗, アシッシュ・カルバー, マンジャリ・ジャ, プリヤ・クリシュナムルシー, リュウ・シュレイ, JC リュー, ユキ・ビ, ヴィヴェク・ビトラ, ポーランド, 嘉陰格, サンタヌ・コライ, マット・スタイナー, サンディープ・パンディ, グンジット・シン, マービン・キム および階層的利益表現プロジェクトの開発と制作を支えるチーム全体.