Die KI und das Gift – ein Weckruf für die Forschergemeinde

„40.000 Giftstoffe in nur sechs Stunden“, „Giftiger als VX“, „Neues Nowitschok aus dem Computer“ „Künstliche Intelligenz entwirft Bauplan für Chemische Kampfstoffe“ – als Anfang März der Artikel „Dual use of artificial-intelligence-powered drug discovery“ im Fachmagazin „Nature Machine Intelligence“ erschien, überschlugen sich binnen kurzer Zeit die Schlagzeilen.

Einen „Weckruf für die Kollegen in der ,AI in drug discovery‘-Gemeinschaft“ habe man damit starten wollen, schrieben die Autoren des Artikels, Fabio Urbina und Sean Erkins vom US-amerikanischen Pharma-Software-Entwickler Collaborations Pharmaceuticals, Filippa Lentzos vom „Department of War Studies and Department of Global Health & Social Medicine“ am King’s College London und Cédric Invernizzi, Chef der ABC-Rüstungskontrolle des „Labor Spiez“. Letzteres ist das Schweizer Institut für ABC-Schutz (Schutz vor Atomaren, Biologischen und Chemischen Gefahren) und gehört zum Schweizer Bundesamt für Bevölkerungsschutz.

Das Labor Spiez hatte sich an die Pharma-Softwareprogrammierer gewandt, mit der Bitte, zu überprüfen, inwieweit die mittlerweile weit verbreiteten auf Künstlicher Intelligenz und Maschinenlernen basierenden Anwendungen zur Entwicklung neuer pharmazeutischer Wirkstoffe auch missbraucht werden könnten, um etwa neue chemische Waffen zu entwickeln.

MegaSyn heißt dabei das Tool von Collaborations Pharmaceuticals, mit dem sich normalerweise neue „de novo“ Moleküle am Computer („in silico“) entwerfen lassen, um gezielt neue therapeutische Inhibitoren zu entwickeln. Dabei testet das auf Maschinenlernen basierende Programm auch die wahrscheinliche Bioaktivität und Toxizität der neuen Moleküle – die normalerweise möglichst gering sein sollen. Man hätte niemals gedacht, dass das Programm auch ganz anders eingesetzt werden könnte, schreiben die Forscher.

Allein um den möglichen Missbrauch zu überprüfen, starteten die Forscher ihr Programm mit neuen Suchparametern. Statt möglichst geringe Toxizität und Bioaktivität mit neuen Molekülen zu erzielen, sollte die Maschine nun möglichst giftige und reaktive Substanzen finden. Als Lernbasis für das Programm nutzten die Forscher unter anderem Moleküle aus öffentlichen Datenbanken wie den chemischen Kampfstoff und das Nervengift VX (O-Ethyl-S-2-diisopropylaminoethylmethylphosphonothiolat).

Die Forscher zeigten sich selbst erschrocken, als MegaSyn nach nur sechs Stunden Rechenzeit 40.000 Moleküle errechnet hatte, von denen die meisten nicht nur vollkommen neu, sondern auch noch in der Vorhersage einen höheren LD₅₀-Wert (Letale Dosis, bei der die Hälfte der Versuchstiere stirbt) als VX haben (VX hat einen LD₅₀-Wert von nur 6 Mikrogramm pro Kilo Körpergewicht bei Affen). Diese Moleküle wären also giftiger, wenn sie tatsächlich synthetisiert würden.

Das Labor Spiez hatte die Forschung anlässlich ihrer alle zwei Jahre in der Schweiz stattfindenden Konferenz „Spiez Convergence“ beauftragt, bei der „Entwicklungen in Wissenschaft und Technologie mit potenziellen Auswirkungen auf Aspekte der Rüstungskontrolle“ drei Tage lang diskutiert werden. Im September 2021 fand diese zum vierten Mal statt – und dort berichteten die Softwareentwickler bereits von ihren Ergebnissen. Der Artikel in „Nature Machine Intelligence“ erschien rund ein halbes Jahr später. Die fünfte Ausgabe der Convergence findet vom 11. bis 14. September 2022 in Spiez statt. Teilnehmen können nur geladenen Gäste, die Ergebnisse werden aber im Internet veröffentlicht.

Der Weckruf habe bereits Wirkung gezeigt, sagt er. „Wie der Anzahl Zugriffe sowie der Statistik entnommen werden kann, hat der Artikel sehr schnell ein großes Echo ausgelöst: Die Presse hat den Artikel aufgegriffen, erreichte damit nicht nur Wissenschaftler sowie Laien, sondern fand damit auch Widerhall in Regierungskreisen. Die Reaktionen fielen übers Ganze gesehen positiv aus, das heißt die im Artikel geäußerten Gedanken zu diesem konkreten Beispiel von Dual Use wurden bereitwillig aufgenommen sowie sachbezogen erörtert und weiterdiskutiert. Also ganz im Sinne eines Weckrufs, der eine inhaltliche Diskussion auslösen möchte“, sagt Invernizzi. Und dabei sei es positiverweise nicht nur darum gegangen, ob man diese Ergebnisse überhaupt hätte veröffentlichen sollen – zumal im Fachartikel keine konkreten Moleküle erwähnt werden und die Daten sicherheitshalber nach dem Experiment gelöscht wurden.

„Der frühe Weckruf zeigt im Fachartikel bereits einige Möglichkeiten auf, wie dieses Beispiel nun als lehrreicher Moment für die Dual-Use-Thematik dienen kann und das Momentum hierzu genutzt werden sollte“, sagt der Experte. Das Beispiel möglicher Dual-Use-Anwendung der Pharma-Softwareanwendung solle man nun nutzen, um das Bewusstsein für die Sicherheitsdimension der biowissenschaftlichen Forschung zu schärfen und einen verantwortungsvollen Umgang mit Dual-Use-Aspekten zu fördern, sagt Invernizzi.

Der Schweizer Bevölkerungsschutzexperte wertet das Experiment allerdings auch eher als grundsätzlichen Denkanstoß, sich über die Sicherheit von Künstlicher Intelligenz nicht nur in der Pharmaforschung und deren möglicher missbräuchlicher Nutzung klar zu werden. Die tatsächliche Gefahr nun durch die konkreten Ergebnisse der „Kampfstoff-Errechnung“ sieht er geringer an: „Was die künstliche Intelligenz gefunden hat, sind Verbindungen, die nun verifiziert werden müssten – genauso wie in der Arzneimittelentdeckung, dem eigentlichen Zweck dieser generativen KI. Via Retrosynthese müsste zuerst ein praktikabler Syntheseweg gefunden werden. Dann müsste die Synthese in einer Laborinfrastruktur stattfinden, die sehr sicher betreffend Arbeitsschutz ist. Schließlich müsste die Toxizität überprüft werden. Entsprechend erscheint dies einen eher beschwerlichen Weg darzustellen, wenn es doch bereits heute sehr viel zugängliche Informationen über bekannte, sehr toxische Chemikalien gibt, inklusive bekannte chemische Kampfstoffe“, sagt er. 

Abseits von möglichen terroristischen oder sonstigen kriminellen Ambitionen auf nicht staatlicher Ebene könnten sich aber mit entsprechenden Ressourcen ausgestattete Akteure – also etwa sogenannte „Schurkenstaaten“ – dazu entscheiden, Künstliche Intelligenz in dem Sinne einzusetzen, meint er. „Besonders wenn ein Chemiewaffen-Programm möglichst nicht auffallen soll – ein Pfad, der aber einen klaren Verstoß des Völkerrechts darstellt“, sagt er.

Eine Maßnahme, möglichen Missbrauch zu vermeiden, sei etwa Exportkontrolle, die unter anderem zahlreiche Chemikalien einer Bewilligungspflicht unterstellt, sagt Invernizzi. „Ein überaus wichtiges Element ist die Sensibilisierung und Bewusstseinsbildung innerhalb der KI-Community, dass man bei Anfragen die notwendige Sorgfalt und Nachsicht walten lässt, ganz im Sinne von ,know your customer´. Dies bedingt beispielsweise auch eine Registrierungspflicht eines Users, wenn er auf generative KI Zugriff haben und diese verwenden will“, erklärt er.

Allerdings existieren auch etliche frei zugängliche Open-Source-Anwendungen im Bereich des de-novo-Moleküldesigns.

Chancen und Risiken von Künstlicher Intelligenz auf dem Prüfstand

Insofern stellt die Künstliche Intelligenz in der Pharma-Entwicklung auch nur eine Erweiterung der Dinge dar, die Paracelsus in seinem berühmten Zitat meinte: „Alle Dinge sind Gift und nichts ist ohne Gift; allein die Dosis macht, dass ein Ding kein Gift ist.“ Auch wenn der antike griechische Arzt sicher nicht vorhersehen konnte, dass sich sein „Alle Dinge“ tatsächlich so weit fassen lässt – eben auch auf Künstliche Intelligenz.

Unterdessen sind die Schweizer Bevölkerungsschützer nicht die einzigen, die sich mit den möglichen Risiken Künstlicher Intelligenz auseinandersetzen. Das Europäische Parlament setzte bereits im Jahr 2020 einen Sonderausschuss zu den Chancen und Risiken Künstlicher Intelligenz ein. Der „Sonderausschuss zu künstlicher Intelligenz im digitalen Zeitalter (AIDA)“ legte gerade erst im Mai 2022 seinen Abschlussbericht vor. In dem vorgeschlagenen „EU-Fahrplan für KI“ heißt es neben der Forderung nach einem „günstigen regulatorischen Umfeld für KI“ und nach „einer Stärkung der digitalen Infrastruktur“ auch, dass man „militärische und sicherheitspolitische Aspekte der KI“ angehen müsse. Dazu solle die EU „international mit gleichgesinnten Partnern zusammenarbeiten, um ihre auf den Menschen ausgerichtete, auf EU-Werten basierende Vision zu fördern“, heißt es da.

Noch bis zum 6. November 2022 ist im Übrigen auch eine Ausstellung im Deutschen Hygienemuseum in Dresden zu sehen, die sich mit der KI auseinandersetzt. In der Schau „Künstliche Intelligenz: Maschinen – Lernen – Menschheitsträume“ ist informativ und interaktiv dargestellt, wie KI bereits in unserem Alltag integriert ist, welche Chancen sie bietet – und eben auch welche Risiken. Eine Rezension zur Ausstellung gibt es im sozialwissenschaftlichen Nachrichtenportal Soziopolis.