Wir haben KI-Interview-Tools getestet. Hier ist, was wir gefunden haben.

Nach mehr als einem Jahr der Covid-19-Pandemie suchen Millionen von Menschen in den Vereinigten Staaten nach Arbeit. KI-gestützte Interviewsoftware soll Arbeitgebern helfen, Bewerbungen zu sichten, um die besten Leute für den Job zu finden. Unternehmen, die sich auf diese Technologie spezialisiert haben, berichteten ein Aufschwung im Geschäft während der Pandemie.

Aber mit der steigenden Nachfrage nach diesen Technologien steigt auch die Nachfrage Fragen zu ihrer Genauigkeit und Zuverlässigkeit . In der neuesten Folge des Podcasts „In Machines We Trust“ von MIT Technology Review haben wir Software von zwei Firmen getestet, die auf KI-Vorstellungsgespräche spezialisiert sind. Mein Interview und Kurioses Ding . Und wir haben Variationen in den Vorhersagen und Job-Matching-Scores gefunden, die Bedenken darüber aufkommen lassen, was genau diese Algorithmen auswerten.

Dich kennenlernen

MyInterview misst Merkmale, die im Big-Five-Persönlichkeitstest berücksichtigt werden, einer psychometrischen Bewertung, die häufig im Einstellungsprozess verwendet wird. Zu diesen Eigenschaften gehören Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und emotionale Stabilität. Curious Thing misst auch Persönlichkeitsmerkmale, aber statt der Big Five werden die Kandidaten anhand anderer Metriken wie Demut und Belastbarkeit bewertet.

Dieser Screenshot zeigt den Match-Score und die Persönlichkeitsanalyse unseres Kandidaten auf MyInterview, nachdem er alle Interviewfragen auf Deutsch statt auf Englisch beantwortet hat.

HILKE SCHELLMANN

Die Algorithmen analysieren die Antworten der Kandidaten, um Persönlichkeitsmerkmale zu bestimmen. MyInterview stellt auch Bewertungen zusammen, die angeben, wie genau ein Kandidat den Eigenschaften entspricht, die von Personalchefs als ideal für die Position identifiziert wurden.

Um unsere Tests abzuschließen, richten wir zunächst die Software ein. Wir haben sowohl auf MyInterview als auch auf Curious Thing eine gefälschte Stellenanzeige für einen Bürokaufmann/Forscher hochgeladen. Dann konstruierten wir unseren idealen Kandidaten, indem wir auf Aufforderung des Systems persönlichkeitsbezogene Merkmale auswählten.

Auf MyInterview haben wir Eigenschaften wie die Liebe zum Detail ausgewählt und sie nach Wichtigkeit eingestuft. Wir haben auch Interviewfragen ausgewählt, die auf dem Bildschirm angezeigt werden, während der Kandidat Videoantworten aufzeichnet. Bei Curious Thing haben wir Eigenschaften wie Bescheidenheit, Anpassungsfähigkeit und Belastbarkeit ausgewählt.

Eine von uns, Hilke, hat sich dann auf die Stelle beworben und Interviews für die Rolle sowohl auf MyInterview als auch auf Curious Thing geführt.

Unser Kandidat hat ein Telefoninterview mit Curious Thing absolviert. Sie führte zunächst ein reguläres Vorstellungsgespräch und erhielt 8,5 von 9 Punkten für ihre Englischkenntnisse. In einem zweiten Versuch stellte die automatisierte Interviewerin dieselben Fragen, und sie beantwortete jede, indem sie den Wikipedia-Eintrag für Psychometrie auf Deutsch las.

Yet Curious Thing verlieh ihr 6 von 9 Punkten für ihre Englischkenntnisse. Sie beendete das Interview erneut und erhielt die gleiche Punktzahl.

Ein Screenshot zeigt die Englischkompetenz unserer Kandidatin in der Software von Curious Thing, nachdem sie alle Fragen auf Deutsch beantwortet hat.

HILKE SCHELLMANN

Unser Kandidat wandte sich an MyInterview und wiederholte das Experiment. Sie las denselben Wikipedia-Eintrag auf Deutsch laut vor. Der Algorithmus lieferte nicht nur eine Persönlichkeitsbewertung, sondern sagte auch voraus, dass unsere Kandidatin zu 73 % zu dem Scheinjob passt, wodurch sie in der oberen Hälfte aller Bewerberinnen und Bewerber landete, die wir gebeten hatten, sich zu bewerben.

MyInterview stellt Einstellungsmanagern eine Abschrift ihrer Vorstellungsgespräche zur Verfügung. Als wir das Transkript unserer Kandidatin überprüften, stellten wir fest, dass das System ihre deutschen Wörter als englische Wörter interpretierte. Aber das Transkript ergab keinen Sinn. Die ersten Zeilen, die der oben gegebenen Antwort entsprechen, lauten:

|_+_|

Nicht übereinstimmend

Anstatt unsere Kandidatin anhand des Inhalts ihrer Antworten zu bewerten, zog der Algorithmus Persönlichkeitsmerkmale aus ihrer Stimme, sagt sie Clayton Donnelly , ein Arbeits- und Organisationspsychologe, der mit MyInterview arbeitet.

Aber die Intonation ist kein zuverlässiger Indikator für Persönlichkeitsmerkmale, sagt er Fred Oswald , Professor für industrielle Organisationspsychologie an Reis Universität . Wir können die Intonation wirklich nicht als Daten für die Einstellung verwenden, sagt er. Das scheint einfach nicht fair oder zuverlässig oder gültig zu sein.

Die Verwendung offener Fragen zur Bestimmung von Persönlichkeitsmerkmalen stellt ebenfalls erhebliche Herausforderungen dar, selbst wenn – oder vielleicht gerade wenn – dieser Prozess automatisiert ist. Aus diesem Grund bieten viele Persönlichkeitstests, wie die Big Five, den Menschen Optionen, aus denen sie wählen können.

Die Quintessenz ist, dass die Persönlichkeit in diesem offenen Sinne schwer aufzuspüren ist, sagt Oswald. Es gibt Möglichkeiten für KI oder Algorithmen und die Art und Weise, wie die Fragen strukturierter und standardisierter gestellt werden. Aber ich glaube nicht, dass wir in Bezug auf die Daten unbedingt dort sind, in Bezug auf die Designs, die uns die Daten liefern.

Der Mitbegründer und Chief Technology Officer von Curious Thing, Han Xu , antwortete auf unsere Ergebnisse in einer E-Mail und sagte: Dies ist das allererste Mal, dass unser System auf Deutsch getestet wird, daher ein äußerst wertvoller Datenpunkt für uns, den wir untersuchen und sehen können, ob er etwas in unserem System enthüllt.

Das Bias-Paradoxon

Die Leistung bei KI-gestützten Vorstellungsgesprächen ist oft nicht die einzige Metrik, die potenzielle Arbeitgeber verwenden, um einen Kandidaten zu bewerten. Und diese Systeme können tatsächlich Vorurteile reduzieren und bessere Kandidaten finden als menschliche Interviewer. Aber viele dieser Tools werden nicht unabhängig getestet, und die Unternehmen, die sie entwickelt haben, zögern, Details über ihre Funktionsweise zu teilen, was es sowohl für Kandidaten als auch für Arbeitgeber schwierig macht, zu wissen, ob die Algorithmen korrekt sind oder welchen Einfluss sie auf die Einstellung haben sollten Entscheidungen.

Markus Grau , der bei einer dänischen Immobilienverwaltungsplattform namens Richtig , begann während seiner vorherigen Position im Personalwesen des Elektronikunternehmens mit KI-Videointerviews Airtame . Er sagt, er habe ursprünglich die Software eingebaut, die von einer deutschen Firma namens Rhetorik , in Interviews, um die menschliche Voreingenommenheit abzubauen, die sich oft entwickelt, wenn Personalchefs Smalltalk mit Kandidaten führen.

Während Gray Einstellungsentscheidungen nicht ausschließlich auf Retorios Bewertung stützt, die sich auch auf die Big Five-Merkmale stützt, berücksichtigt er sie als einen von vielen Datenpunkten bei der Auswahl von Kandidaten. Ich glaube nicht, dass es eine Wunderwaffe ist, um herauszufinden, wie man die richtige Person einstellt, sagt er.

Grays üblicher Einstellungsprozess umfasst einen Screening-Anruf und ein Retorio-Interview, zu dem er die meisten Kandidaten einlädt, daran teilzunehmen, unabhängig davon, welchen Eindruck sie beim Screening hinterlassen haben. Erfolgreiche Kandidaten werden dann zu einem Job-Skills-Test weitergeleitet, gefolgt von einem Live-Interview mit anderen Mitgliedern des Teams.

Verwandte Geschichte

Die Job-Matching-KI von LinkedIn war voreingenommen. Die Lösung des Unternehmens? Mehr KI.

ZipRecruiter, CareerBuilder, LinkedIn – die meisten der weltweit größten Stellensuchseiten verwenden KI, um Personen mit Stellenangeboten zusammenzubringen. Aber die Algorithmen spielen nicht immer fair.

Mit der Zeit sollten Produkte wie Retorio und Retorio selbst – jedes Unternehmen sollte es verwenden, weil es einem so viele Einblicke gibt, sagt Gray. Während es im KI-Bereich im Allgemeinen einige Fragezeichen und Kontroversen gibt, denke ich, dass die größere Frage lautet: Sind wir ein besserer oder schlechterer Menschenkenner?

Gray erkennt die Kritik an KI-Interview-Tools an. Ein Untersuchung erschienen im Februar im Bayerischen Rundfunk fanden heraus, dass der Algorithmus von Retorio Kandidaten anders bewertete, wenn sie während des Vorstellungsgesprächs unterschiedliche Videohintergründe und Accessoires wie Brillen verwendeten.

Mitbegründer und Geschäftsführer von Retorio, Christoph Hohenberger , sagt, dass er die Einzelheiten hinter den Testmethoden der Journalisten zwar nicht kenne, das Unternehmen aber nicht beabsichtigt, dass seine Software der entscheidende Faktor bei der Einstellung von Kandidaten sei. Wir sind ein unterstützendes Werkzeug, und es wird in der Praxis auch gemeinsam mit Menschen auf der anderen Seite eingesetzt. Es ist kein automatischer Filter, sagt er.

Dennoch steht für Arbeitssuchende, die versuchen, sich mit diesen Tools zurechtzufinden, so viel auf dem Spiel, dass sicherlich mehr Vorsicht geboten ist. Für die meisten geht es bei der Sicherung einer Beschäftigung schließlich nicht nur um eine neue Herausforderung oder ein neues Umfeld – die Suche nach einem Job ist entscheidend für ihr wirtschaftliches Überleben.

verbergen