Zu viele KI-Forscher denken, dass reale Probleme nicht relevant sind

Frau Technik | Getty

Jeder Forscher, der sich auf die Anwendung von maschinellem Lernen auf reale Probleme konzentriert, hat wahrscheinlich eine Antwort wie diese erhalten: Die Autoren präsentieren eine Lösung für ein originelles und hochmotivierendes Problem, aber es ist eine Anwendung und die Bedeutung scheint für das maschinelle Lernen begrenzt zu sein Gemeinschaft.

Diese Worte stammen direkt aus einer Rezension, die ich für eine Arbeit erhalten habe, die ich beim eingereicht habe Konferenz NeurIPS (Neural Information Processing Systems). , ein Top-Veranstaltungsort für Forschung zum maschinellen Lernen. Ich habe den Refrain immer wieder in Rezensionen von Artikeln gesehen, in denen meine Koautoren und ich eine Methode vorgestellt haben, die durch eine Anwendung motiviert war, und ich habe ähnliche Geschichten von unzähligen anderen gehört.

Ich frage mich daher: Wenn die Community der Meinung ist, dass das Bestreben, mit maschinellem Lernen schwerwiegende Probleme in der realen Welt zu lösen, nur von begrenzter Bedeutung ist, was versuchen wir dann zu erreichen?

Der Ziel der künstlichen Intelligenz (pdf) ist es, die Grenzen der maschinellen Intelligenz voranzutreiben. Im Bereich des maschinellen Lernens bedeutet eine neuartige Entwicklung in der Regel einen neuen Algorithmus oder ein neues Verfahren oder – im Fall von Deep Learning – eine neue Netzwerkarchitektur. Wie andere bereits betont haben, führt dieser Hyperfokus auf neuartige Methoden zu einer Flut von Artikeln, die darüber berichten marginale oder inkrementelle Verbesserungen auf Benchmark-Datensätzen und fehlerhaftes Stipendium ausstellen (pdf) als Forscher Rennen um die Spitze Bestenliste .

Inzwischen präsentieren viele Artikel, die neue Anwendungen beschreiben, sowohl neuartige Konzepte als auch hochwirksame Ergebnisse. Aber selbst eine Andeutung des Wortes Anwendung scheint den Gutachtern das Papier zu verderben. Infolgedessen wird diese Forschung auf großen Konferenzen an den Rand gedrängt. Die einzige wirkliche Hoffnung ihrer Autoren besteht darin, dass ihre Arbeiten in Workshops akzeptiert werden, die selten die gleiche Aufmerksamkeit von der Community erhalten.

Dies ist ein Problem, da maschinelles Lernen vielversprechend ist, um Gesundheit, Landwirtschaft, wissenschaftliche Entdeckungen und mehr voranzubringen. Der Erste Bild eines schwarzen Lochs wurde mit maschinellem Lernen erstellt. Der genaueste Vorhersagen von Proteinstrukturen , ein wichtiger Schritt für die Wirkstoffforschung, werden mithilfe von maschinellem Lernen durchgeführt. Wenn andere auf dem Gebiet realen Anwendungen Priorität eingeräumt hätten, welche anderen bahnbrechenden Entdeckungen hätten wir bis jetzt gemacht?

Dies ist keine neue Offenbarung. Um ein klassisches Papier mit dem Titel zu zitieren Maschinelles Lernen, das zählt (pdf) , von NASA-Informatiker Wagstaff verlassen F : Ein Großteil der aktuellen Forschung zum maschinellen Lernen hat seine Verbindung zu Problemen verloren, die für die größere Welt der Wissenschaft und Gesellschaft von Bedeutung sind. Im selben Jahr, in dem Wagstaff ihre Arbeit veröffentlichte, gewann ein konvolutionelles neuronales Netzwerk namens AlexNet einen hochkarätigen Wettbewerb für Bilderkennung, der sich auf die Popularität konzentrierte ImageNet Datensatz, was zu einer Explosion des Interesses an tiefes Lernen . Leider scheint die von ihr beschriebene Trennung seitdem noch schlimmer geworden zu sein.

Die falschen Fragen

Die Marginalisierung der Anwendungsforschung hat reale Konsequenzen. Benchmark-Datensätze, wie ImageNet oder KOKOSNUSS , waren der Schlüssel zur Weiterentwicklung des maschinellen Lernens. Sie ermöglichen es, Algorithmen mit denselben Daten zu trainieren und zu vergleichen. Allerdings sind diese Datensätze Vorurteile enthalten die in die resultierenden Modelle eingebaut werden können.

Mehr als die Hälfte der Bilder in ImageNet (pdf) kommen zum Beispiel aus den USA und Großbritannien. Dieses Ungleichgewicht führt dazu, dass Systeme Bilder ungenau in Kategorien einordnen, die sich durch unterscheiden Geographie (pdf) . Beliebte Gesichtsdatensätze, wie z AT&T-Gesichtsdatenbank , enthalten hauptsächlich hellhäutige männliche Probanden, was zu schwer erkennbaren Systemen führt dunkelhäutige und weibliche Gesichter .

Während Forscher versuchen, sich gegenseitig mit erfundenen Benchmarks zu übertrumpfen, hungert jeder neunte Mensch auf der Welt.

Wenn Studien zu realen Anwendungen des maschinellen Lernens vom Mainstream ausgeschlossen werden, ist es für Forscher schwierig, die Auswirkungen ihrer voreingenommenen Modelle zu erkennen, was es weitaus unwahrscheinlicher macht, dass sie an der Lösung dieser Probleme arbeiten werden.

Ein Grund dafür, dass die Anwendungsforschung minimiert wird, könnte sein, dass andere im maschinellen Lernen denken, dass diese Arbeit einfach darin besteht, bereits vorhandene Methoden anzuwenden. In Wirklichkeit erfordert die Anpassung von Werkzeugen für maschinelles Lernen an spezifische reale Probleme jedoch erhebliche algorithmische und technische Arbeit. Machine-Learning-Forscher, die dies nicht erkennen und erwarten, dass Tools von der Stange funktionieren, enden oft damit, ineffektive Modelle zu erstellen. Entweder bewerten sie die Leistung eines Modells anhand von Metriken, die sich nicht auf die Auswirkungen in der realen Welt übertragen lassen, oder sie wählen insgesamt das falsche Ziel.

Beispielsweise versuchen die meisten Studien, die Deep Learning auf die Echokardiogrammanalyse anwenden, die Fähigkeit eines Arztes zur Vorhersage von Krankheiten zu übertreffen. Aber vorhersagen normal Herzfunktion (pdf) würde Kardiologen tatsächlich mehr Zeit sparen, indem sie Patienten identifizieren, die ihr Fachwissen nicht benötigen. Viele Studien, die maschinelles Lernen im Weinbau anwenden, zielen darauf ab Traubenerträge optimieren (pdf) , aber Winzer wollen die richtigen Mengen an Zucker und Säure, nicht nur viele große wässrige Beeren, sagt Drake Whitcraft von Weingut Whitcraft in Kalifornien.

Mehr Schaden als Gutes

Ein weiterer Grund, warum die Anwendungsforschung für das Mainstream-Machine Learning wichtig sein sollte, ist, dass die Benchmark-Datensätze des Feldes völlig realitätsfern sind.

Neue maschinelle Lernmodelle werden an großen, kuratierten Datensätzen ohne Rauschen gemessen und haben klar definierte, explizit gekennzeichnete Kategorien (Katze, Hund, Vogel). Deep Learning eignet sich gut für diese Probleme, weil es geht von einer weitgehend stabilen Welt aus (pdf) .

In der realen Welt ändern sich diese Kategorien jedoch ständig im Laufe der Zeit oder je nach geografischem und kulturellem Kontext. Leider bestand die Antwort nicht darin, neue Methoden zu entwickeln, die die Schwierigkeiten von Daten aus der realen Welt angehen; Vielmehr wurden Anwendungsforscher dazu gedrängt, ihre eigenen Benchmark-Datensätze zu erstellen.

Das Ziel dieser Bemühungen besteht im Wesentlichen darin, reale Probleme in das Paradigma zu integrieren, das andere Forscher im Bereich des maschinellen Lernens verwenden, um die Leistung zu messen. Aber die domänenspezifischen Datensätze sind wahrscheinlich nicht besser als vorhandene Versionen, wenn es darum geht, Szenarien aus der realen Welt darzustellen. Die Ergebnisse könnten mehr schaden als nützen. Menschen, denen die Arbeit dieser Forscher geholfen haben könnte, werden von diesen Technologien desillusioniert schlecht abschneiden wenn es am wichtigsten ist.

Aufgrund der fehlgeleiteten Prioritäten auf diesem Gebiet profitieren Menschen, die versuchen, die größten Herausforderungen der Welt zu lösen, nicht so sehr, wie sie könnten, von dem sehr realen Versprechen der KI. Während Forscher versuchen, sich gegenseitig mit erfundenen Benchmarks zu übertrumpfen, jeder neunte Mensch auf der Welt ist am verhungern . Die Erde erwärmt sich und Meeresspiegel steigt in alarmierender Geschwindigkeit.

Als Neurowissenschaftler und KI-Vordenker Gary Marcus mal geschrieben (pdf) : Die größten Beiträge der KI für die Gesellschaft … könnten und sollten letztendlich in Bereichen wie der automatisierten wissenschaftlichen Entdeckung erbracht werden, die unter anderem zu wesentlich ausgefeilteren Versionen der Medizin führen, als dies derzeit möglich ist. Aber um dorthin zu gelangen, müssen wir sicherstellen, dass das Feld als Ganzes nicht erst in einem lokalen Minimum stecken bleibt.

Damit die Welt vom maschinellen Lernen profitiert, muss sich die Community erneut fragen, wie Wagstaff es einmal formulierte: Was ist die objektive Funktion des Feldes? Wenn die Antwort eine positive Auswirkung auf die Welt haben soll, müssen wir unsere Denkweise über Anwendungen ändern.

Hannah Kerner ist Assistant Research Professor an der University of Maryland in College Park. Sie forscht im Rahmen des NASA-Ernte Programm.

verbergen