Fraunhofer-Institut für
Entwurfstechnik Mechatronik
Fraunhofer-Institut für
Entwurfstechnik Mechatronik
Three people are looking at a computer screen with a blue background. Concept of collaboration and teamwork as the individuals work together to analyze the data displayed on the screen Three people are looking at a computer screen with a blue background

© Adobe Stock / WrightStudio

Sichere Softwareentwicklung mit KI

KI-Werkzeuge sicher nutzen und Entwicklungsprozesse stärken

Mit KI-Werkzeugen entstehen Features schneller als je zuvor. Security hält mit diesem Tempo oft nicht Schritt: Bedrohungsanalysen, gründliche Reviews und systematische Sicherheitstests kosten Zeit und Spezialwissen, die im Projektalltag selten verfügbar sind. Gleichzeitig verpflichten Regulierungen wie der Cyber Resilience Act (CRA) Unternehmen zunehmend dazu, genau diese Schritte nachweisbar umzusetzen.

Dieses Training richtet sich an alle, die KI-Assistenten und Coding-Agenten (z. B. Claude, Copilot, ChatGPT) für die Entwicklung regulärer Software einsetzen – unabhängig davon, ob diese Software selbst KI-Funktionen enthält. Sie lernen, KI-Assistenten selbst sicher zu betreiben, denn auch Coding-Agenten sind ein Angriffsziel: Manipulierte Dateien oder Repository-Inhalte können ihn zu unerwünschten Aktionen verleiten oder Zugangsdaten exfiltrieren. Gleichzeitig nutzen Sie KI gezielt, um Bedrohungsanalysen, Code-Reviews und Sicherheitstests zu automatisieren und so Security-Methoden anzuwenden, die bisher Expertenteams vorbehalten waren.

In ausführlichen Praxisphasen bauen Sie ein automatisiertes Test-Setup auf, das Sie direkt in Ihren Projekten weiterverwenden können. 

Ihr Nutzen

  • Sie setzen KI-Assistenten gezielt ein, um Bedrohungsanalysen, Code-Reviews und Sicherheitstests in Ihren Projekten zu verankern, ohne dafür ein Spezialistenteam zu brauchen.
  • Sie betreiben Ihren KI-Assistenten und Coding-Agenten selbst sicher und kennen die Risiken, die von ihm als Werkzeug ausgehen (z. B. Zugriff auf Zugangsdaten, manipulierbare Eingaben).
  • Sie können ein automatisierte Sicherheitstests durchführen.
  • Sie erkennen Bedrohungen und Schwachstellen in KI-generiertem Code, bevor sie in Produktion landen.
  • Sie kennen die wichtigsten Angriffe auf KI-Anwendungen und wissen, woran Sie sie erkennen.
  • Sie nehmen ein automatisiertes Test-Setup mit, das Sie direkt in Ihren Projekten weiterverwenden können.
  • Sie können sichere Leitplanken für die Nutzung von KI-Assistenten und Coding-Agenten in Ihrem Team definieren.

Inhalte

Modul 1: Einführung

  • Begriffserklärung und Abgrenzung: Schutzziele, Bedrohung, Schwachstelle, Risiko
  • Funktionsweise und Grenzen von KI-Assistenten und Coding-Agenten
  • Sensibilisierung für Security-Risiken beim Einsatz von KI-Assistenten in der eigenen Entwicklungsumgebung
  • Angelehnt an OWASP GenAI LLM Top 10: Angriffe auf den Assistenten selbst, z. B. Prompt Injection über manipulierte Dateien/Repositories, Datenexfiltration durch den Agenten

Modul 2: KI-Assistenten sicher und effektiv betreiben

  • Absicherung der Arbeitsumgebung: Isolierung, Umgang mit Zugangsdaten, minimale Rechte, etc.
  • Qualität und Sicherheit der KI-Ergebnisse beeinflussen: Kontext, Vorgaben, Modellwahl
  • Leitplanken für die KI-Nutzung von KI-Assistenten und Coding-Agenten im Team

Modul 3: Security Methoden mit KI in der Praxis

  • Security im Software Development Lifecycle und Ansatzpunkte für KI
  • Bedrohungsanalysen mit KI-Unterstützung erstellen und kritisch prüfen
  • Sicheren Code mit KI-Werkzeugen generieren  
  • Schwachstellen in einer Trainingsanwendung automatisiert finden, bewerten und beheben
  • Abhängigkeits- und Secret-Analysen sowie Security-Dokumentation mit KI

Teilnehmerkreis

Das Training richtet sich an Entwicklerinnen und Entwickler, die KI-Assistenten oder Coding-Agenten wie beispielsweise Claude, ChatGPT oder Copilot nutzen oder einführen wollen – unabhängig davon, ob das entstehende Produkt selbst KI-Funktionen enthält. Security-Vorwissen ist nicht erforderlich. Angesprochen sind unter anderem:

Voraussetzungen

Erste Berührung mit KI-Coding-Werkzeugen ist hilfreich, aber nicht notwendig. Für die Übungen bringen Sie bitte Ihren eigenen Laptop mit.

 

Ihre Trainer:innen

Termine

Alle ausklappen Alle einklappen

Lerneinheit

Bearbeitungszeitraum

Ort

Schulungstag 1

Mi., 10.03.27 I  9:00 - 17:00 Uhr  

Fraunhofer IEM

Schulungstag 2

Do., 11.03.27 I  9:00 - 17:00 Uhr  

 Fraunhofer IEM
 
Veranstaltungsort: Fraunhofer IEM, Zukunftsmeile 1, 33102 Paderborn

Lerneinheit

Bearbeitungszeitraum

Ort

Schulungstag 1

Di., 30.11.27 I  9:00 - 17:00 Uhr  

Fraunhofer IEM

Schulungstag 2

Mi., 01.12.27 I  9:00 - 17:00 Uhr  

 Fraunhofer IEM
 
Veranstaltungsort: Fraunhofer IEM, Zukunftsmeile 1, 33102 Paderborn

Individuelles Inhouse-Training

Alle ausklappen Alle einklappen

Die Inhalte dieses Trainings sind Teil des größeren Themenbereichs „KI & Software Security“.

Für Inhouse-Trainings stellen wir Ihnen gerne ein individuelles Training von einem bis vier Tagen zusammen, das zu Ihrem Technologie-Stack, Ihrem Reifegrad und Ihren Produkten passt. Die Themen lassen sich dabei frei kombinieren, von einem bis zu vier Tagen. Auf Wunsch erarbeiten wir die praktischen Übungen des Trainings mit Blick auf die Produkte der Teilnehmenden.

Sichere KI-Systeme entwerfen

  • Architekturbausteine sicherer KI-Systeme: RAG-Pipelines, Werkzeug- und MCP-Anbindungen
  • Trust Boundaries und Defense-in-Depth-Schichten im Systementwurf
  • Strukturierte Bedrohungsanalyse von KI-Systemen mit STRIDE und MITRE ATLAS
  • Angriffswege und Auswirkungen am realen KI-System
  • Wirksame Gegenmaßnahmen zu den KI-Angriffsklassen identifizieren
  • Defensive Patterns: Filter, Isolierung, minimale Rechte

Sichere KI-Systeme betreiben

  • Relevante Regulierung: AI-Act und CRA im Bezug zum eigenen System
  • Absicherung und Härtung von Ressourcen des Produktivbetriebs: Endpunkte, Datenspeicher, Konfiguration, Secrets
  • Leitplanken für den Betrieb: Limits, erlaubte Nutzung, Zuständigkeiten
  • Change- und Supply-Chain-Risiken: Versionierung, Rollback, Herkunft von Modellen und Abhängigkeiten
  • Überwachung und Erkennung von Missbrauch, Kostenspitzen und Qualitätsabweichungen
  • Incident Response für KI-Systeme: Erkennen, Eindämmen, Zurückrollen, Eskalieren und Nachbereiten

 

Kontakt aufnehmen

Anmeldung

Alle ausklappen Alle einklappen

FAQ

Wenn Sie hier keine Antwort auf Ihre Frage finden, dann schreiben Sie uns bitte eine E-Mail an academy@iem.fraunhofer.de oder setzen Sie sich telefonisch mit uns in Verbindung. 

Alle ausklappen Alle einklappen

  • Wie melde ich mich zu den Schulungen an? 

    Sie können sich online über unsere Website anmelden (Link finden Sie auf der Website, der entsprechenden Schulung). Bitte nutzen Sie für Ihre Anmeldung das entsprechende Anmeldeformular. Alternativ besteht auch die Möglichkeit, sich per E-Mail an academy@iem.fraunhofer.de anzumelden. Bitte geben Sie uns dabei unbedingt den Namen und die E-Mail-Adresse des Teilnehmers oder der Teilnehmerin und die vollständige Firmenanschrift bzw. Rechnungsanschrift mit Telefonnummer sowie E-Mail-Adresse an. 
     

    Bekomme ich sofort nach meiner Online-Anmeldung eine Anmeldebestätigung per Mail?

    Nach Eingang Ihrer Anmeldung prüfen wir, ob noch Plätze in der gewünschten Schulung verfügbar sind und ob wir alle notwendigen Informationen von Ihnen erhalten haben. Die Anmeldungen werden in der Reihenfolge ihres Eingangs bearbeitet. Im Anschluss erhalten Sie Ihre Anmeldebestätigung mit weiteren Informationen per E-Mail. Dieser Vorgang kann einige Tage in Anspruch nehmen. 
     

    Ich habe mich angemeldet und kann leider nicht teilnehmen.

    Falls Sie einen Ersatzteilnehmenden stellen können, entstehen für Sie keine Kosten. Ansonsten gelten unsere Stornierungs- und Teilnahmebedingungen.
     

    Was passiert, wenn die Mindestteilnehmeranzahl nicht erreicht wird?

    Zwei Wochen vor Durchführung teilen wir Ihnen mit, ob der Kurs verbindlich stattfindet. Falls die Mindestteilnehmeranzahl nicht erreicht wird, werden Sie kostenlos auf einen Alternativtermin umgebucht. Alternativ können Sie kostenfrei von der Anmeldung zurücktreten.  

    Bis wann kann ich die Schulung stornieren? 

    Falls Sie einen Ersatzteilnehmenden stellen können, entstehen für Sie keine Kosten. Andernfalls lesen Sie sich bitte unseren Stornierungs- und Teilnahmebedingungen durch.
     

    Ist es möglich, eine Benachrichtigung zu bekommen, wenn neue Schulungen oder Schulungstermine verfügbar sind? 

    Über unsere Webseite und unter Aktuelles finden Sie alle neuen Informationen über die IEM Academy. Zudem können Sie sich auch bequem über unseren Newsletter auf dem Laufenden halten. Melden Sie sich gerne an!  

  • Bekomme ich eine Teilnahmebestätigung oder ein Zertifikat nach erfolgreichem Abschluss der Schulung? Wo finde ich die Teilnahmebestätigung? 

    Nach erfolgreichem Abschluss des Trainings bekommen Sie von uns eine Teilnahmebestätigung bereitgestellt. Ein Zertifikat können Sie nur in Schulungen erhalten, die mit einer Prüfung abschließen.

  • Wann wird die Rechnung ausgestellt?

    Von unserer Abteilung Rechnungswesen erhalten Sie im Anschluss an die Schulung eine offizielle Rechnung (steuerfrei gem. § 4 Nr. 22a UStG) an die uns genannte Adresse. 
     

    Ich möchte für mehrere Teilnehmer eine Gruppenanmeldung tätigen. Kann ich alle gemeinsam anmelden und eine Sammelrechnung bekommen? 
     

    Bitte geben Sie bei der Anmeldung den Namen und die E-Mail-Adressen aller Teilnehmerinnen und Teilnehmer an. Für die Sammelrechnung geben Sie bitte die vollständige Firmen- bzw. Rechnungsanschrift mit Telefonnummer sowie E-Mail-Adresse an.    
     

    Kann ich einen Bildungsgutschein oder einen Bildungsscheck für eine Schulung anrechnen lassen?

    Für unser Schulungsprogramm akzeptieren wir Bildungsschecks, nicht jedoch Bildungsgutscheine. In unserem Blogbeitrag können Sie erfahren, welche Kosten übernommen werden und welche Voraussetzungen Sie erfüllen müssen.  

  • Anmeldung: Wie logge ich mich ein?

    Sie erhalten von uns zwei Wochen vor Schulungsbeginn Ihre Zugangsdaten per Mail. Nach der Anmeldung werden Sie gebeten ein neues Passwort zu vergeben. Ihr gebuchter Kurs erscheint direkt auf der Startseite. 
     

    Wie lange kann ich auf die Lernwelt zugreifen?

    Sie haben nach Abschluss der Schulung mindestens zwei Wochen Zugriff auf die IEM Lernwelt. So können Sie in Ruhe alles nachträglich vertiefen, wiederholen oder sich die Materialien bequem herunterladen. 
     

    Welche Systemvoraussetzungen gibt es? 

    Für einen optimalen und reibungslosen Ablauf Ihres E-Learnings empfehlen wir folgende technische Hinweise zu beachten:

    • Windows-PC oder Mac (Achten Sie darauf, Ihre Programme regelmäßig zu aktualisieren!)
    • stabile Internetverbindung
    • Browser bevorzugt Chrome, sonst auch Windows Edge, Mozilla Firefox, Apple Safari
    • funktionsfähige Webcam und Headset oder Lautsprecher (aufgrund von Rückkopplung nicht empfohlen)

    Werden die Online-Schulungen aufgezeichnet? 

    Nein, die Live-Online-Veranstaltungen werden nicht aufgezeichnet. 

     
    Ich habe ein Problem

    Bei auftretenden Problemen kontaktieren Sie uns bitte unter academy@iem.fraunhofer.de und geben Sie an, wie wir sie am besten erreichen können. Jemand aus dem Team wird versuchen, sich umgehend um Ihr Anliegen zu kümmern. 

     
    Wie erreiche ich meine Trainerin / meinen Trainer? 

    Die Kontaktdaten der Trainerinnen und Trainer finden Sie auf der Infoseite der IEM Lernwelt. 

    Tipp: Machen Sie vorab einen Screenshot von den Kontaktdaten oder notieren Sie sich diese. So können Sie auch bei einem plötzlichen Internetausfall Ihre Trainer kontaktieren.

Das könnte Sie auch interessieren: