• Wir geben Einblicke in das Capacity Efficiency Program von Meta, Dort haben wir eine KI-Agentenplattform entwickelt, die dabei hilft, Leistungsprobleme in unserer gesamten Infrastruktur automatisch zu finden und zu lösen.
• Durch die Nutzung verschlüsselter Domänenkompetenz durch eine einheitliche, standardisierte Tool-Schnittstelle, Diese Agenten tragen dazu bei, Strom zu sparen und geben Ingenieuren mehr Zeit für die Behebung von Leistungsproblemen und die Entwicklung neuer Produktinnovationen.

---

Wir haben eine einheitliche KI-Agentenplattform aufgebaut, die das Fachwissen erfahrener Effizienzingenieure in wiederverwendbare Lösungen umwandelt, zusammensetzbare Fähigkeiten. Diese Agenten automatisieren nun sowohl die Suche als auch die Lösung von Leistungsproblemen, Wiederherstellung von Hunderten Megawatt (MW) von Leistung und die Verdichtung von Stunden manueller Regressionsuntersuchungen in Minuten, Dadurch kann das Programm den MW-Einsatz auf eine wachsende Zahl von Produktbereichen ausweiten, ohne die Mitarbeiterzahl proportional zu erhöhen.

Zur Verteidigung, FBDetectMetas hauseigenes Tool zur Regressionserkennung, erfasst wöchentlich Tausende von Regressionen; Eine schnellere automatisierte Lösung bedeutet, dass weniger Megawatt für die Akkumulation in der gesamten Flotte verschwendet werden. Auf der offensiven Seite, Die KI-gestützte Opportunity-Lösung wird halbjährlich in weitere Produktbereiche ausgeweitet, Bearbeitung eines wachsenden Auftragsvolumens, das Ingenieure niemals manuell erledigen könnten. Zusammengenommen, Auf diese Weise steigert das Kapazitätseffizienzprogramm von Meta die MW-Auslieferung weiter, ohne das Team proportional zu vergrößern. Das Endziel ist ein sich selbst tragender Effizienzmotor, bei dem die KI den langen Schwanz übernimmt.

Hier erfahren Sie, wie es funktioniert und wohin wir gehen:

• Hyperscale-Effizienz erfordert beide Angriffe (proaktiv nach Optimierungen suchen) und Verteidigung (Abfangen und Abmildern von Regressionen, die in die Produktion gelangen); KI kann beides beschleunigen.
• Wir haben eine einheitliche Plattform aufgebaut, die standardisierte Tool-Schnittstellen mit verschlüsseltem Fachwissen kombiniert, um Untersuchungen auf beiden Seiten zu automatisieren.
• Diese KI-Systeme bilden nun die Infrastruktur für das Capacity Efficiency-Programm, das Hunderte Megawatt Strom zurückgewonnen hat, genug, um Hunderttausende amerikanische Haushalte ein Jahr lang mit Strom zu versorgen.
• Die Automatisierung der Diagnose kann etwa komprimieren 10 Stunden der manuellen Untersuchung von etwa 30 Minuten, während KI-Agenten den Weg von der Effizienzmöglichkeit bis zur überprüfungsbereiten Pull-Anfrage vollständig automatisieren.

Vorstellung des Kapazitätseffizienzprogramms

Wenn der von Ihnen bereitgestellte Code mehr als dient 3 Milliarden Menschen, sogar ein 0.1% Leistungseinbußen können zu einem erheblichen zusätzlichen Stromverbrauch führen.

In der Capacity Efficiency-Organisation von Meta, Wir betrachten Effizienz als eine wechselseitige Anstrengung:

1. Angriff: Chancen finden und nutzen (proaktive Codeänderungen) um unsere bestehenden Systeme effizienter zu machen.
2. Verteidigung: Überwachen Sie die Ressourcennutzung in der Produktion, um Regressionen zu erkennen, Verfolgen Sie sie auf eine Pull-Anfrage, und für Abhilfe sorgen.

Diese Systeme funktionierten gut und spielten jahrelang eine wichtige Rolle bei Metas Effizienzbemühungen. Jedoch, Die tatsächliche Lösung der aufgetretenen Probleme führt zu einem neuen Engpass: menschliche Ingenieurzeit.

Diese Human-Engineering-Zeit kann für jede der folgenden Aktivitäten aufgewendet werden:

• Fragen Sie Profilierungsdaten ab, um Möglichkeiten zur Optimierung wichtiger Funktionen zu finden.
• Überprüfen Sie die Beschreibung, Dokumentation, und frühere Beispiele einer Effizienzmöglichkeit, um den besten Ansatz zur Umsetzung einer Optimierung zu verstehen.
• Überprüfen Sie aktuelle Code- und Konfigurationsbereitstellungen, die möglicherweise zu einer drastischen Änderung der Ressourcennutzung geführt haben.
• Sehen Sie sich aktuelle interne Diskussionen über Markteinführungen an, die möglicherweise mit einer Regression zusammenhängen.

Viele Ingenieure bei Meta nutzen unsere Effizienztools, um täglich an diesen Problemen zu arbeiten. Aber egal wie hochwertig die Werkzeuge sind, Ingenieure haben nur begrenzte Zeit, sich mit Leistungsproblemen zu befassen, wenn die Innovation neuer Produkte für uns oberste Priorität hat.

Wir begannen zu fragen: Was wäre, wenn KI die Untersuchung und Lösung übernehmen könnte??

Angriff und Verteidigung haben die gleiche Struktur

Der Durchbruch war die Erkenntnis, dass beide Probleme die gleiche Struktur haben:

Das bedeutete, dass wir keine zwei separaten KI-Systeme brauchten. Wir brauchten eine Plattform, die beides bedienen konnte.

Wir haben es auf zwei Ebenen gebaut:

1. MCP-Tools: Hierbei handelt es sich um standardisierte Schnittstellen für LLMs zum Aufrufen von Code. Jedes Werkzeug erledigt eine Aufgabe: Profilierungsdaten abfragen, Experimentergebnisse abrufen, Konfigurationsverlauf abrufen, Suchcode, oder Dokumentation extrahieren.
2. Fähigkeiten: Diese kodieren Fachwissen über Leistungseffizienz. Eine Fertigkeit kann einem LLM mitteilen, welche Tools verwendet werden sollen und wie die Ergebnisse zu interpretieren sind. Es erfasst Denkmuster, die erfahrene Ingenieure im Laufe der Jahre entwickelt haben, wie zum Beispiel „Informationen zu Regressionen der Endpunktlatenz finden Sie bei den Top-GraphQL-Endpunkten“ oder „Suchen Sie nach aktuellen Schemaänderungen, wenn die betroffene Funktion die Serialisierung übernimmt.“

Zusammen, Tools und Funktionen entwickeln ein verallgemeinertes Sprachmodell zu etwas, das die Fachkenntnisse anwenden kann, über die leitende Ingenieure normalerweise verfügen. Das gleiche Werkzeuge kann sowohl Angriff als auch Verteidigung stärken. Lediglich die Fähigkeiten unterscheiden sich.

Verteidigung: Erkennen Sie Regressionen, bevor sie sich verschlimmern

FBDetect ist Metas hauseigenes Regressionserkennungstool, das Leistungseinbußen bereits im kleinsten Ausmaß erkennen kann 0.005% in lauten Produktionsumgebungen. Es analysiert Zeitreihendaten wie folgt:

Wenn FBDetect eine Regression findet, Wir versuchen sofort, es auf eine Code- oder Konfigurationsänderung zurückzuführen. Dies ist ein wichtiger erster Schritt, um zu verstehen, was passiert ist. Dies geschieht hauptsächlich mithilfe traditioneller Techniken wie der Korrelation von Regressionsfunktionen mit aktuellen Pull-Anfragen. Nachdem eine Grundursache identifiziert wurde, Ingenieure werden in der Regel benachrichtigt und müssen Maßnahmen ergreifen, wie zum Beispiel die Optimierung der letzten Codeänderung. Um das zu beschleunigen, Wir haben eine zusätzliche Funktion hinzugefügt:

KI-Regressionslöser

Unser AI Regression Solver ist die neueste und vielversprechendste Komponente von FBDetect, die eine Pull-Anfrage generiert, um die Regression automatisch weiterzuleiten. Traditionell, Grundursachen (Pull-Anfragen) die zu Leistungseinbußen führten, wurden entweder zurückgesetzt (Dadurch wird die Entwicklungsgeschwindigkeit verlangsamt) oder ignoriert (Dadurch wird die Nutzung von Infrastrukturressourcen unnötig erhöht).

Jetzt ist unser hauseigener Codierungsagent aktiviert, um Folgendes zu tun:

1. Sammeln Sie Kontext mit Tools: Finden Sie die Symptome einer Regression, z.B. B. die Funktionen, die sich zurückgebildet haben. Finden Sie die Grundursache (eine Pull-Anfrage) der Regression, einschließlich der genauen Dateien und Zeilen, die geändert wurden.
2. Wenden Sie Fachwissen mit den folgenden Fähigkeiten an: Nutzen Sie das Wissen zur Regressionsminderung für die spezifische Codebasis, Sprache, oder Regressionstyp. Zum Beispiel, Rückschritte bei der Protokollierung können durch eine erhöhte Probensammlung abgemildert werden.
3. Erstellen Sie eine Lösung: Erstellen Sie eine neue Pull-Anfrage und senden Sie sie zur Überprüfung an den ursprünglichen Ursachenautor.

Verbrechen: Chancen in bereitgestellten Code umwandeln

Auf der offensiven Seite, „Effizienzmöglichkeiten“ sind vorgeschlagene konzeptionelle Codeänderungen, von denen angenommen wird, dass sie die Leistung des vorhandenen Codes verbessern. Wir haben ein System entwickelt, das es Ingenieuren ermöglicht, eine Chance anzuzeigen und einen von der KI generierten Pull-Request anzufordern, der sie umsetzt. Was früher stundenlange Untersuchungen erforderte, dauert heute nur noch wenige Minuten, um es zu überprüfen und bereitzustellen.

Die Pipeline spiegelt den defensiven AI Regression Solver wider:

1. Sammeln Sie Kontext mit Tools: Der KI-Agent sucht nach:
   1. Opportunity-Metadaten.
   2. Dokumentation zur Erläuterung des Optimierungsmusters.
   3. Beispiele, die zeigen, wie ähnliche Chancen gelöst wurden.
   4. Die spezifischen beteiligten Dateien und Funktionen.
   5. Validierungskriterien zur Bestätigung, dass der Fix funktioniert.
2. Wenden Sie Fachwissen mit den folgenden Fähigkeiten an: Nutzen Sie das Wissen erfahrener Ingenieure zu einer bestimmten Art von Effizienzmöglichkeit, in einem Skill kodiert. Zum Beispiel, Speichern einer bestimmten Funktion, um die CPU-Auslastung zu reduzieren.
3. Schaffen Sie eine Lösung: Erstellen Sie einen Kandidaten-Fix mit Leitplanken, Überprüfen Sie Syntax und Stil, und bestätigen Sie, dass das richtige Problem behoben wird. Sehen Sie sich den generierten Code im Editor des Ingenieurs an und wenden Sie ihn mit einem Klick an.

Wichtig ist, dass wir das Gleiche nutzen Werkzeuge als Verteidigung: Profilierungsdaten, Dokumentation, Codesuche. Was anders ist, ist das Fähigkeiten.

Eine Plattform, steigende Renditen

Unsere einheitliche Architektur mit gemeinsamen Tools und Datenquellen war eine saubere Abstraktion. Jeder bestehende und neue Agent hat mit den von uns erstellten Schnittstellen eine einfache Möglichkeit, den Leistungskontext zu erfassen, ohne das Rad neu erfinden zu müssen.

Dieser Beitrag konzentrierte sich auf unsere ersten Anwendungsfälle: Leistungseinbußen und Chancen. Innerhalb eines Jahres, Dieselbe Stiftung unterstützte weitere Anträge: Assistenten für Gesprächseffizienz, Kapazitätsplanungsagenten, personalisierte Opportunity-Empfehlungen, geführte Untersuchungsabläufe, und KI-gestützte Validierung. Jede neue Funktion erfordert kaum oder gar keine neuen Datenintegrationen, da bestehende Tools einfach mit neuen Funktionen kombiniert werden können.

Effekte

Die Ergebnisse des Capacity Efficiency Program sind bemerkenswert: Wir haben Hunderte Megawatt Strom zurückgewonnen. Die KI-Systeme für Angriff und Verteidigung unterstützen diese Bemühungen.

Die tiefgreifendere Veränderung besteht jedoch darin, wie Angriff und Verteidigung sich gegenseitig verstärken: Ingenieure, die den Vormittag mit defensiver Triage verbracht haben, überprüfen jetzt KI-generierte Analysen innerhalb von Minuten. Ingenieure, die unsere Effizienztools nutzen, können jetzt KI-gestützten Code erhalten, anstatt bei Null anzufangen. Die entmutigende Frage: „Wo soll ich überhaupt anfangen??„wurde durch die Überprüfung und Bereitstellung von Korrekturen mit großer Auswirkung ersetzt.