Eine führende KI-Konferenz versucht, die Reproduzierbarkeitskrise des Feldes zu beheben

Kategorie: Künstliche Intelligenz Gesendet 09.04

Letzte Woche haben die Organisatoren der Neural Information Processing Systems Conference (NeurIPS), einer der weltweit größten jährlichen KI-Forschungskonferenzen, Aktualisiert Ihre Richtlinie für Papiereinreichungen verlangt eine so genannte Reproduzierbarkeits-Checkliste. Es ist eine kleine Veränderung in einem größeren Kampf zur Eindämmung der wachsenden Reproduzierbarkeitskrise in der Wissenschaft, in der eine beunruhigende Anzahl von Forschungsergebnissen nicht erfolgreich von anderen Forschern repliziert werden, was Zweifel an der Gültigkeit der ursprünglichen Ergebnisse aufkommen lässt.

Im Februar warnte ein Statistiker der Rice University, dass maschinelle Lerntechniken diese Krise wahrscheinlich anheizen, weil die Ergebnisse, die sie liefern, schwer zu prüfen sind. Dies ist ein besorgniserregendes Problem, da maschinelles Lernen zunehmend in wichtigen Bereichen wie dem Gesundheitswesen und der Arzneimittelforschung eingesetzt wird.

Die Reproduzierbarkeits-Checkliste von NeurIPS versucht, das Problem anzugehen. Unter anderem müssen Forscher ihren Algorithmus klar beschreiben; eine vollständige Beschreibung ihres Datenerhebungsprozesses; einen Link zu jeder Simulationsumgebung, die sie während des Trainings verwendet haben; und eine umfassende Übersicht darüber, welche Daten sie aufbewahrt, weggeworfen und warum. Die Idee ist, einen neuen Transparenzstandard für Forscher zu schaffen, um zu zeigen, wie sie zu ihren Schlussfolgerungen gekommen sind.

Als weltweit bedeutendste KI-Konferenz, schrieb Jack Clark, der politische Direktor der gemeinnützigen OpenAI, in seinem wöchentlichen Newsletter Import AI, wird die NeurIPS 2019-Richtlinie [eine] Dominowirkung auf das breitere KI-Ökosystem haben.

Diese Geschichte erschien ursprünglich in unserem von Webby nominierten KI-Newsletter The Algorithm. Um es direkt in Ihren Posteingang geliefert zu bekommen, melden Sie sich hier kostenlos an.