Die KI und das Gift – ein Weckruf für die Forschergemeinde

Allein um den möglichen Missbrauch zu überprüfen, starteten die Forscher ihr Programm mit neuen Suchparametern. Statt möglichst geringe Toxizität und Bioaktivität mit neuen Molekülen zu erzielen, sollte die Maschine nun möglichst giftige und reaktive Substanzen finden. Als Lernbasis für das Programm nutzten die Forscher unter anderem Moleküle aus öffentlichen Datenbanken wie den chemischen Kampfstoff und das Nervengift VX (O-Ethyl-S-2-diisopropylaminoethylmethylphosphonothiolat).

Die Forscher zeigten sich selbst erschrocken, als MegaSyn nach nur sechs Stunden Rechenzeit 40.000 Moleküle errechnet hatte, von denen die meisten nicht nur vollkommen neu, sondern auch noch in der Vorhersage einen höheren LD₅₀-Wert (Letale Dosis, bei der die Hälfte der Versuchstiere stirbt) als VX haben (VX hat einen LD₅₀-Wert von nur 6 Mikrogramm pro Kilo Körpergewicht bei Affen). Diese Moleküle wären also giftiger, wenn sie tatsächlich synthetisiert würden.

Das Labor Spiez hatte die Forschung anlässlich ihrer alle zwei Jahre in der Schweiz stattfindenden Konferenz „Spiez Convergence“ beauftragt, bei der „Entwicklungen in Wissenschaft und Technologie mit potenziellen Auswirkungen auf Aspekte der Rüstungskontrolle“ drei Tage lang diskutiert werden. Im September 2021 fand diese zum vierten Mal statt – und dort berichteten die Softwareentwickler bereits von ihren Ergebnissen. Der Artikel in „Nature Machine Intelligence“ erschien rund ein halbes Jahr später. Die fünfte Ausgabe der Convergence findet vom 11. bis 14. September 2022 in Spiez statt. Teilnehmen können nur geladenen Gäste, die Ergebnisse werden aber im Internet veröffentlicht.

Der Weckruf habe bereits Wirkung gezeigt, sagt er. „Wie der Anzahl Zugriffe sowie der Statistik entnommen werden kann, hat der Artikel sehr schnell ein großes Echo ausgelöst: Die Presse hat den Artikel aufgegriffen, erreichte damit nicht nur Wissenschaftler sowie Laien, sondern fand damit auch Widerhall in Regierungskreisen. Die Reaktionen fielen übers Ganze gesehen positiv aus, das heißt die im Artikel geäußerten Gedanken zu diesem konkreten Beispiel von Dual Use wurden bereitwillig aufgenommen sowie sachbezogen erörtert und weiterdiskutiert. Also ganz im Sinne eines Weckrufs, der eine inhaltliche Diskussion auslösen möchte“, sagt Invernizzi. Und dabei sei es positiverweise nicht nur darum gegangen, ob man diese Ergebnisse überhaupt hätte veröffentlichen sollen – zumal im Fachartikel keine konkreten Moleküle erwähnt werden und die Daten sicherheitshalber nach dem Experiment gelöscht wurden.

„Der frühe Weckruf zeigt im Fachartikel bereits einige Möglichkeiten auf, wie dieses Beispiel nun als lehrreicher Moment für die Dual-Use-Thematik dienen kann und das Momentum hierzu genutzt werden sollte“, sagt der Experte. Das Beispiel möglicher Dual-Use-Anwendung der Pharma-Softwareanwendung solle man nun nutzen, um das Bewusstsein für die Sicherheitsdimension der biowissenschaftlichen Forschung zu schärfen und einen verantwortungsvollen Umgang mit Dual-Use-Aspekten zu fördern, sagt Invernizzi.