Zum Hauptinhalt springen
POST
Die Content-Moderations-API wurde entwickelt, um Entwicklern zu helfen, potenziell schädliche oder unangemessene Textinhalte zu identifizieren. Dieser Endpunkt analysiert Texteingaben und kategorisiert sie nach verschiedenen Arten bedenklicher Inhalte.

Hauptfunktionen

  • Automatische Erkennung schädlicher Inhalte.
  • Mehrere Kategorien problematischer Texte.
  • Einfache Integration für die Inhaltsfilterung.

Funktionsweise

Wenn Sie Text an den Moderations-Endpunkt senden, analysiert dieser den Inhalt mithilfe von OpenAI-Modellen. Die API gibt anschließend Ergebnisse zurück, die anzeigen, ob der Text in eine der definierten problematischen Kategorien fällt.

Kategorien schädlicher Inhalte

Die API klassifiziert Texte in die folgenden Kategorien:
KATEGORIEBESCHREIBUNG
hateInhalte, die Hass aufgrund von Rasse, Geschlecht, Ethnizität, Religion, Nationalität, sexueller Orientierung, Behinderungsstatus oder Kaste ausdrücken, dazu anstacheln oder fördern. Hassinhalte, die sich gegen nicht geschützte Gruppen richten (z. B. Schachspieler), gelten als Belästigung.
hate/threateningHassinhalte, die zusätzlich Gewalt oder schweren Schaden gegenüber der betroffenen Gruppe aufgrund von Rasse, Geschlecht, Ethnizität, Religion, Nationalität, sexueller Orientierung, Behinderungsstatus oder Kaste beinhalten.
harassmentInhalte, die belästigende Sprache gegenüber einem Ziel ausdrücken, dazu anstacheln oder fördern.
harassment/threateningBelästigungsinhalte, die zusätzlich Gewalt oder schweren Schaden gegenüber einem Ziel beinhalten.
self-harmInhalte, die Selbstverletzung – etwa Suizid, Ritzen und Essstörungen – fördern, dazu ermutigen oder darstellen.
self-harm/intentInhalte, in denen der Sprecher ausdrückt, dass er sich selbst verletzt oder dies vorhat, z. B. Suizid, Ritzen und Essstörungen.
self-harm/instructionsInhalte, die zur Selbstverletzung ermutigen – etwa Suizid, Ritzen und Essstörungen – oder Anleitungen bzw. Ratschläge zur Durchführung solcher Handlungen geben.
sexualInhalte, die sexuelle Erregung hervorrufen sollen, wie die Beschreibung sexueller Aktivitäten, oder die sexuelle Dienstleistungen bewerben (ausgenommen Sexualaufklärung und Wellness).
sexual/minorsSexuelle Inhalte, die eine Person unter 18 Jahren einbeziehen.
violenceInhalte, die Tod, Gewalt oder körperliche Verletzungen darstellen.
violence/graphicInhalte, die Tod, Gewalt oder körperliche Verletzungen in grafischer Ausführlichkeit darstellen.

Nutzung und Best Practices

  1. Optimale Textlänge: Für die besten Ergebnisse empfehlen wir, langen Text in kleinere Abschnitte aufzuteilen. Streben Sie Segmente von weniger als 2.000 Zeichen pro Abschnitt an.
  2. Integration: Verwenden Sie diese API, um potenziell problematische Inhalte in Ihren Anwendungen, Foren oder Plattformen für nutzergenerierte Inhalte automatisch zu markieren.
  3. Reaktion auf Ergebnisse: Basierend auf der Ausgabe der API können Sie geeignete Maßnahmen wie Inhaltsfilterung, Nutzerwarnungen oder weitergehende Prüfprozesse implementieren.

Header-Parameter

Body-Parameter

text
string
Der zu moderierende Text.
imageUrl
string
Die URL des Bildes. Muss mit https:// beginnen.