Fraunhofer-Institut für
Entwurfstechnik Mechatronik
Fraunhofer-Institut für
Entwurfstechnik Mechatronik

Sichere KI-Systeme entwickeln und betreiben

KI-Systeme sicher entwerfen, Gegenmaßnahmen implementieren und den Betrieb absichern

Die Anforderungen an die Sicherheit von KI-Systemen steigen kontinuierlich. Regulatorische Vorgaben wie der AI-Act und der Cyber Resilience Act (CRA) verpflichten Hersteller, Risiken frühzeitig zu berücksichtigen. KI-Systeme greifen häufig auf Daten und weitere Anwendungen zu. Unsichere Eingaben, fehlerhafte Berechtigungen oder unzureichend geschützte Schnittstellen können dabei zu Datenabflüssen, unerwünschten Aktionen oder Ausfällen führen.

Dieses 2-tägige Training richtet sich an alle, deren eigenes Produkt bereits eine KI-Komponente enthält, betreibt oder eine solche Integration in naher Zukunft plant. Sie lernen, KI-Systeme von Anfang an strukturiert abzusichern: Sie erstellen Bedrohungsmodelle, bewerten Risiken und leiten passende Schutzmaßnahmen ab. Mit Methoden wie STRIDE und den OWASP LLM Top 10 analysieren Sie typische Schwachstellen und setzen ausgewählte Maßnahmen direkt in praxisnahen Übungen um. Darüber hinaus lernen Sie, Deployment-Konfigurationen zu härten, die Überwachung im Betrieb sinnvoll aufzusetzen und auf Sicherheitsvorfälle angemessen zu reagieren.

Ihr Nutzen

  • Sie können mit KI-Unterstützung eine Bedrohungs- und Risikoanalyse für ein KI-System.
  • Sie kennen die wichtigsten Angriffsklassen für KI-Systeme und können passende Gegenmaßnahmen zuordnen.
  • Sie können Gegenmaßnahmen direkt im Code Ihrer KI-Anwendungen umsetzen. 
  • Sie wissen, wie Sie die Konfiguration eines ausgelieferten KI-Systems gezielt härten.
  • Sie können Leitplanken für den Betrieb eines KI-Systems definieren und Anzeichen für Angriffe erkennen.
  • Sie wissen, wie Sie bei einem Sicherheitsvorfall strukturiert vorgehen, diesen eindämmen, bei Bedarf zurückrollen, eskalieren und nachbereiten.
  • Sie können Anforderungen aus AI-Act, CRA und Datenschutz auf Ihre eigene Tätigkeit beziehen und kennen die zuständigen Eskalationswege.

     

Inhalte

Modul 1: Bedrohungsmodelle für KI-Systeme

  • Angelehnt an OWASP GenAI LLM Top 10: Spezifischen Bedrohungen und Angriffsszenarien für KI-Systeme
  • Threat Modeling für agentische KI-Systeme mittels STRIDE und MITRE ATLAS
  • Bewertung und Priorisierung von Bedrohungen und Risiken

Modul 2: Gegenmaßnahmen entwerfen und implementieren

  • Ermitteln von Security-Anforderungen für KI-Systeme mittels Prinzipien sicherer Softwaredesigns
  • Wirksame Gegenmaßnahmen für KI-relevante Angriffsszenarien in die Systemarchitektur integrieren
  • Umsetzung und Überprüfung von Gegenmaßnahmen im Code

Modul 3: Auslieferung und Betrieb absichern

  • Leitplanken für die sichere Nutzung und den Betrieb von KI-Systemen
  • Absicherung und Härtung von Ressourcen des Produktivbetriebs: Endpunkte, Datenspeicher, Konfiguration, Secrets
  • Change- und Supply-Chain-Risiken: Versionierung, Rollback, Herkunft von Modellen und Abhängigkeiten

Modul 4: Erkennen, reagieren, verantworten

  • Überwachung und Erkennung von Missbrauch, Kostenspitzen und Qualitätsabweichungen
  • Incident Response für KI-Systeme: Erkennen, Eindämmen, Zurückrollen, Eskalieren und Nachbereiten
  • Relevante Security-Gesetze und Normen für KI-Systeme, z.B. EU AI-Act

Teilnehmerkreis

Das Training richtet sich an alle, die KI in ein eigenes Produkt einbauen, ein ausgeliefertes KI-System betreiben oder eine solche Integration planen und dafür Sicherheitsverantwortung tragen, insbesondere an:

  • Software-Entwickler:innen mit KI-Features im Produkt (bestehend oder geplant)
  • Software-Architekt:innen sowie Tech Leads
  • Security Champions und Security Engineers
  • Verantwortliche für den Betrieb KI-gestützter Anwendungen

Es werden Grundkenntnisse in der sicheren Softwareentwicklung und der Funktionsweise von KI-Systemen (LLMs, Agenten) vorausgesetzt.

Ihre Trainer:innen

Termine & Formate

Alle ausklappen Alle einklappen

Lerneinheit

Bearbeitungszeitraum

Ort

Schulungstag 1

Mi., 28.04.27 I  9:00 - 17:00 Uhr  

Fraunhofer IEM

Schulungstag 2

Do., 29.04.27 I  9:00 - 17:00 Uhr  

 Fraunhofer IEM
 
Veranstaltungsort: Fraunhofer IEM, Zukunftsmeile 1, 33102 Paderborn

Individuelles Inhouse-Training

Alle ausklappen Alle einklappen

Die Inhalte dieses Trainings sind Teil des größeren Themenbereichs „KI & Software Security“.

Für Inhouse-Trainings stellen wir Ihnen gerne ein individuelles Training von einem bis vier Tagen zusammen, das zu Ihrem Technologie-Stack, Ihrem Reifegrad und Ihren Produkten passt. Die Themen lassen sich dabei frei kombinieren, von einem bis zu vier Tagen. Auf Wunsch erarbeiten wir die praktischen Übungen des Trainings mit Blick auf die Produkte der Teilnehmenden.

Kontakt aufnehmen

Fundament

  • Begriffserklärung und Abgrenzung: Schutzziele, Bedrohung, Schwachstelle, Risiko
  • Funktionsweise und Grenzen von KI-Assistenten und Agenten
  • Sensibilisierung für Security-Risiken KI-gestützter Entwicklung
  • Überblick der wichtigsten Angriffsklassen auf KI-Anwendungen wie z.B. Prompt Injection oder Datenexfiltration

KI-Werkzeuge sicher und effektiv nutzen

  • Absicherung der Arbeitsumgebung: Isolierung, Umgang mit Zugangsdaten, minimale Rechte, etc.
  • Prüfung KI-generierten Codes auf sicherheitsrelevante Schwachstellen
  • Qualität und Sicherheit der KI-Ergebnisse beeinflussen: Kontext, Vorgaben, Modellwahl
  • Leitplanken für die KI-Nutzung im Team

Security-Methoden mit KI

  • Security im Software Development Lifecycle und Ansatzpunkte für KI
  • Bedrohungsanalysen mit KI-Unterstützung erstellen und kritisch prüfen
  • Schwachstellen in einer Trainingsanwendung automatisiert finden, bewerten und priorisieren und beheben
  • Abhängigkeits- und Secret-Analysen sowie Security-Dokumentation

Sichere KI-Systeme entwerfen

  • Architekturbausteine sicherer KI-Systeme: RAG-Pipelines, Werkzeug- und MCP-Anbindungen
  • Trust Boundaries und Defense-in-Depth-Schichten im Systementwurf
  • Angriffswege und Auswirkungen am realen KI-System
  • Wirksame Gegenmaßnahmen zu den KI-Angriffsklassen identifizieren
  • Defensive Patterns: Filter, Isolierung, minimale Rechte

Sichere KI-Systeme betreiben

  • Relevante Regulierung: AI-Act und CRA im Bezug zum eigenen System
  • Überwachung und Erkennung von Missbrauch, Kostenspitzen und Qualitätsabweichungen am eigenen System

Anmeldung

Alle ausklappen Alle einklappen

FAQ

Wenn Sie hier keine Antwort auf Ihre Frage finden, dann schreiben Sie uns bitte eine E-Mail an academy@iem.fraunhofer.de oder setzen Sie sich telefonisch mit uns in Verbindung. 

Alle ausklappen Alle einklappen

  • Wie melde ich mich zu den Schulungen an? 

    Sie können sich online über unsere Website anmelden (Link finden Sie auf der Website, der entsprechenden Schulung). Bitte nutzen Sie für Ihre Anmeldung das entsprechende Anmeldeformular. Alternativ besteht auch die Möglichkeit, sich per E-Mail an academy@iem.fraunhofer.de anzumelden. Bitte geben Sie uns dabei unbedingt den Namen und die E-Mail-Adresse des Teilnehmers oder der Teilnehmerin und die vollständige Firmenanschrift bzw. Rechnungsanschrift mit Telefonnummer sowie E-Mail-Adresse an. 
     

    Bekomme ich sofort nach meiner Online-Anmeldung eine Anmeldebestätigung per Mail?

    Nach Eingang Ihrer Anmeldung prüfen wir, ob noch Plätze in der gewünschten Schulung verfügbar sind und ob wir alle notwendigen Informationen von Ihnen erhalten haben. Die Anmeldungen werden in der Reihenfolge ihres Eingangs bearbeitet. Im Anschluss erhalten Sie Ihre Anmeldebestätigung mit weiteren Informationen per E-Mail. Dieser Vorgang kann einige Tage in Anspruch nehmen. 
     

    Ich habe mich angemeldet und kann leider nicht teilnehmen.

    Falls Sie einen Ersatzteilnehmenden stellen können, entstehen für Sie keine Kosten. Ansonsten gelten unsere Stornierungs- und Teilnahmebedingungen.
     

    Was passiert, wenn die Mindestteilnehmeranzahl nicht erreicht wird?

    Zwei Wochen vor Durchführung teilen wir Ihnen mit, ob der Kurs verbindlich stattfindet. Falls die Mindestteilnehmeranzahl nicht erreicht wird, werden Sie kostenlos auf einen Alternativtermin umgebucht. Alternativ können Sie kostenfrei von der Anmeldung zurücktreten.  

    Bis wann kann ich die Schulung stornieren? 

    Falls Sie einen Ersatzteilnehmenden stellen können, entstehen für Sie keine Kosten. Andernfalls lesen Sie sich bitte unseren Stornierungs- und Teilnahmebedingungen durch.
     

    Ist es möglich, eine Benachrichtigung zu bekommen, wenn neue Schulungen oder Schulungstermine verfügbar sind? 

    Über unsere Webseite und unter Aktuelles finden Sie alle neuen Informationen über die IEM Academy. Zudem können Sie sich auch bequem über unseren Newsletter auf dem Laufenden halten. Melden Sie sich gerne an!  

  • Bekomme ich eine Teilnahmebestätigung oder ein Zertifikat nach erfolgreichem Abschluss der Schulung? Wo finde ich die Teilnahmebestätigung? 

    Nach erfolgreichem Abschluss des Trainings bekommen Sie von uns eine Teilnahmebestätigung bereitgestellt. Ein Zertifikat können Sie nur in Schulungen erhalten, die mit einer Prüfung abschließen.

  • Wann wird die Rechnung ausgestellt?

    Von unserer Abteilung Rechnungswesen erhalten Sie im Anschluss an die Schulung eine offizielle Rechnung (steuerfrei gem. § 4 Nr. 22a UStG) an die uns genannte Adresse. 
     

    Ich möchte für mehrere Teilnehmer eine Gruppenanmeldung tätigen. Kann ich alle gemeinsam anmelden und eine Sammelrechnung bekommen? 
     

    Bitte geben Sie bei der Anmeldung den Namen und die E-Mail-Adressen aller Teilnehmerinnen und Teilnehmer an. Für die Sammelrechnung geben Sie bitte die vollständige Firmen- bzw. Rechnungsanschrift mit Telefonnummer sowie E-Mail-Adresse an.    
     

    Kann ich einen Bildungsgutschein oder einen Bildungsscheck für eine Schulung anrechnen lassen?

    Für unser Schulungsprogramm akzeptieren wir Bildungsschecks, nicht jedoch Bildungsgutscheine. In unserem Blogbeitrag können Sie erfahren, welche Kosten übernommen werden und welche Voraussetzungen Sie erfüllen müssen.  

  • Anmeldung: Wie logge ich mich ein?

    Sie erhalten von uns zwei Wochen vor Schulungsbeginn Ihre Zugangsdaten per Mail. Nach der Anmeldung werden Sie gebeten ein neues Passwort zu vergeben. Ihr gebuchter Kurs erscheint direkt auf der Startseite. 
     

    Wie lange kann ich auf die Lernwelt zugreifen?

    Sie haben nach Abschluss der Schulung mindestens zwei Wochen Zugriff auf die IEM Lernwelt. So können Sie in Ruhe alles nachträglich vertiefen, wiederholen oder sich die Materialien bequem herunterladen. 
     

    Welche Systemvoraussetzungen gibt es? 

    Für einen optimalen und reibungslosen Ablauf Ihres E-Learnings empfehlen wir folgende technische Hinweise zu beachten:

    • Windows-PC oder Mac (Achten Sie darauf, Ihre Programme regelmäßig zu aktualisieren!)
    • stabile Internetverbindung
    • Browser bevorzugt Chrome, sonst auch Windows Edge, Mozilla Firefox, Apple Safari
    • funktionsfähige Webcam und Headset oder Lautsprecher (aufgrund von Rückkopplung nicht empfohlen)

    Werden die Online-Schulungen aufgezeichnet? 

    Nein, die Live-Online-Veranstaltungen werden nicht aufgezeichnet. 

     
    Ich habe ein Problem

    Bei auftretenden Problemen kontaktieren Sie uns bitte unter academy@iem.fraunhofer.de und geben Sie an, wie wir sie am besten erreichen können. Jemand aus dem Team wird versuchen, sich umgehend um Ihr Anliegen zu kümmern. 

     
    Wie erreiche ich meine Trainerin / meinen Trainer? 

    Die Kontaktdaten der Trainerinnen und Trainer finden Sie auf der Infoseite der IEM Lernwelt. 

    Tipp: Machen Sie vorab einen Screenshot von den Kontaktdaten oder notieren Sie sich diese. So können Sie auch bei einem plötzlichen Internetausfall Ihre Trainer kontaktieren.

Das könnte Sie auch interessieren: