// KI-Sicherheitscheck – Kinder & Jugendliche
Sicherheitsprüfung für KI-Angebote für Kinder und Jugendliche
Pilotprüfungen nach individueller Abstimmung und technischer Vorprüfung.
Chatbots, Lern-Assistenten und digitale Begleiter werden zunehmend von Kindern und Jugendlichen genutzt. Solche Systeme verhalten sich in längeren Gesprächen, unter Druck und bei wechselndem Kontext anders als eine klassische Anwendung. Wir prüfen dieses Verhalten strukturiert und autorisiert – ausschließlich in einem vorab klar abgegrenzten Prüfbereich. Diese Prüfung ist eine spezialisierte Erweiterung des SKOPION KI-Sicherheitschecks.
Worum es geht
Ein kinder- oder jugendgerichtetes KI-Angebot folgt natürlicher Sprache und passt sich dem Gespräch an. Dabei können altersunangemessene Antworten, unbeabsichtigte Datenpreisgabe, unsichere Empfehlungen oder ein Nachgeben unter Gesprächsdruck entstehen – auch ohne klassische Sicherheitslücke im Code. Wir betrachten, wie sich das Angebot gegenüber jungen Nutzerinnen und Nutzern verhält.
Für wen
- Anbieter von Chatbots und digitalen Begleitern
- Entwickler von Lern- und EdTech-Anwendungen
- Anbieter von KI-Funktionen in Apps für Kinder
- Betreiber und Integratoren von Systemen, die von Kindern oder Jugendlichen genutzt werden
- Schulen, Bildungsplattformen und Organisationen, die solche Lösungen einsetzen
- Product-, Safety-, Compliance-, Datenschutz- und Governance-Teams
Ob und welche rechtlichen Pflichten im Einzelfall gelten, hängt von Rolle, Zweck und Einsatzkontext ab und ist gesondert zu prüfen.
Was wir prüfen
- Ein- und mehrstufige Gesprächsszenarien
- Reaktionen auf Druck, Eskalation und Kontextwechsel
- Muster von Ablehnung, Umlenkung und sicherer Reaktion
- Konsistenz des Verhaltens über ein längeres Gespräch
- altersbezogene Angemessenheit der Antworten
- Umgang mit sensiblen Themen und Weiterleitung an Hilfsangebote
- Szenarien, die auf das konkrete Produkt und die Nutzergruppe zugeschnitten sind
Bewertungsebenen: deterministische Regeln und Kriterien, Analyse der Antwortstruktur, semantische Plausibilisierung sowie verpflichtende menschliche Bewertung kritischer Befunde. Kein kritischer Befund gilt automatisch als abgeschlossen.
Wie die Prüfung abläuft
- schriftlich vereinbarter Umfang
- eindeutig benanntes Produkt bzw. Umgebung
- kontrollierte, isolierte Testumgebung
- technische Vorprüfung vor Beginn
- menschliche Bewertung kritischer Befunde (human-in-the-loop)
Der konkrete Prüfumfang wird vorab technisch und organisatorisch abgegrenzt. Bestimmte hochsensible Szenarien sind nicht Bestandteil des derzeit verfügbaren Pilotumfangs.
Was Sie erhalten
- nachvollziehbarer Bericht mit Befunden und Schweregrad
- priorisierte Risiken
- konkrete Empfehlungen zur Absicherung
- strukturiertes Evidenzpaket mit Integritäts- und Artefaktprüfung
- System- und Governance-Kurzprofil
- Beschreibung der Grenzen der Bewertung
- Liste offener Punkte für weitere Prüfung
- Material zur Unterstützung interner Dokumentation und Governance
Optional · gesondert abzustimmen
Zusätzlich: externe Marken- und Produktexposition
Auf Wunsch und mit eigenem Scope werten wir ausschließlich öffentlich sichtbare und legal zugängliche Signale aus – etwa ähnliche Domains und mögliche Markenimitation, öffentlich sichtbare Infrastruktur, Hinweise auf externe Daten- oder Zugangsdaten-Exposition sowie relevante Veränderungen über die Zeit. Dieses Modul ist nicht Teil jeder Prüfung, erfordert einen eigenen Scope und umfasst keine unautorisierten Tests fremder Systeme.
Regulierung und Dokumentation
Je nach Rolle, Verwendungszweck und Einsatzkontext können unterschiedliche regulatorische und dokumentarische Themen relevant werden. SKOPION ordnet technische Beobachtungen strukturiert ein und kennzeichnet offene Fragen für eine weitere Governance- oder Rechtsprüfung. Dies ist keine Rechtsberatung und keine Konformitätsbestätigung.
Grenzen und verantwortungsvoller Einsatz
- keine Zertifizierung oder Konformitätsbestätigung
- keine Rechtsberatung oder Sicherheitsgarantie
- Tests nur im schriftlich vereinbarten Umfang
- keine automatische Meldung an Institutionen
- Ergebnisse beziehen sich auf den vereinbarten Zeitpunkt, Umfang und Systemstand
Häufige Fragen
Für welche Produkte ist die Prüfung gedacht?
Für KI-Angebote, die von Kindern oder Jugendlichen genutzt werden: Chatbots, digitale Begleiter, Lern- und EdTech-Anwendungen, KI-Funktionen in Kinder-Apps.
Ist das eine Rechtsprüfung oder Zertifizierung?
Nein. Es ist eine technische und Governance-orientierte Sicherheitsprüfung. Keine Rechtsberatung, keine Zertifizierung, keine Konformitätsbestätigung.
Testet SKOPION Systeme ohne Zustimmung?
Nein. Aktive Prüfungen erfolgen ausschließlich mit schriftlicher Freigabe und nur im vereinbarten Prüfbereich.
Was umfasst der Pilot?
Eine autorisierte, im Umfang abgegrenzte Verhaltensprüfung in einer kontrollierten Umgebung, mit menschlicher Bewertung kritischer Befunde.
Welche Szenarien sind derzeit ausgeschlossen?
Bestimmte hochsensible Szenarien sind nicht Bestandteil des derzeit verfügbaren Pilotumfangs. Der genaue Umfang wird vorab abgestimmt.
Bestätigt das Ergebnis Konformität mit AI Act oder DSA?
Nein. Wir ordnen relevante regulatorische Themen strukturiert ein und kennzeichnen offene Fragen; das ist keine Konformitätsbestätigung.
Wie lange bleiben die Ergebnisse aktuell?
Sie beschreiben einen bestimmten Zeitpunkt und Umfang. Nach Änderungen an Modell, Prompts, Richtlinien oder Integrationen kann eine erneute Prüfung sinnvoll sein.
Welche Materialien erhalte ich?
Bericht mit Befunden und Schweregrad, priorisierte Empfehlungen, strukturiertes Evidenzpaket, System- und Governance-Kurzprofil und Beschreibung der Grenzen.
Kann ein External-Exposure-Assessment ergänzt werden?
Ja, als gesondert abgestimmter Scope, ausschließlich auf Basis öffentlich sichtbarer, legal zugänglicher Signale.
Wie beginnt die Zusammenarbeit?
Mit einer kurzen Beschreibung Ihres Angebots. Umfang und Freigabe klären wir gemeinsam, gefolgt von einer technischen Vorprüfung.
Pilotprüfung anfragen
Beschreiben Sie kurz Ihr KI-Angebot für Kinder oder Jugendliche. Umfang und Freigabe klären wir gemeinsam – diskret und unverbindlich, mit vorheriger technischer Vorprüfung.
Pilotprüfung anfragenAutorisierte Prüfung, ausschließlich im vereinbarten Prüfbereich. Keine Zertifizierung, keine Rechtsberatung, keine Konformitätsbestätigung.