Studentische Beschäftigung mit 40 Monatsstunden

Das DEEM Lab forscht an der Schnittstelle von Datenengineering und Machine Learning. Unser Ziel ist es, effiziente Datensysteme für KI- und Machine-Learning-Anwendungen zu entwickeln, die einfach zu nutzen sind und gleichzeitig die Grundrechte der Nutzer garantieren (wie z. B. das „Recht auf Vergessenwerden“).

Wir suchen eine studentische Hilfskraft zur Unterstützung bei der Entwicklung eines neuen Benchmarks zur Bewertung von Machine-Learning-Engineering-(MLE)-Agenten mit realistischeren ML-Pipelines. Aktuelle Benchmarks basieren stark auf Aufgaben im Stil von Kaggle, die vermutlich in Trainingsdaten großer Sprachmodelle enthalten sind, was ihre Aussagekraft einschränkt, und zudem oft zu einfach zu lösen sind, was ihre Repräsentativität mindert. Dieses Projekt zielt darauf ab, ein realistischeres Evaluationsframework mit vielfältigen, nicht kontaminierten Aufgaben zu schaffen, die sowohl tabellarische als auch multimodale Daten umfassen und nicht nur die Leistung, sondern auch Qualität, Validität und Neuartigkeit des vom MLE-Agenten erzeugten Codes bewerten.

Unter Anleitung zu erfüllende Aufgaben:

• Sammlung und Aufbereitung von Datensätzen (40 %)
• Entwurf und Implementierung von Evaluationsaufgaben, die Vorhersage, Datenintegration, Fairness und Robustheit abdecken (30 %)
• Bewertung der Leistung von MLE-Agenten und Analyse der Ergebnisse (30 %)

Die studentische Hilfskraft wird als Mitautor:in an den daraus entstehenden wissenschaftlichen Publikationen beteiligt.

Erforderliche Qualifikationen:

• Gute Kenntnisse im Bereich Machine Learning (Konzepte, Modelle und Workflows)
• Erfahrung in der Implementierung von Machine-Learning-Pipelines in Python sowie im Umgang mit Bibliotheken wie scikit-learn, pandas, polars, transformers oder PyTorch
• Erste Erfahrungen mit Data-Science-Wettbewerben (Kaggle), Benchmark-Design, Datensatzaufbereitung oder Beiträge zu ML-Frameworks
• Gute Deutsch- und/oder Englischkenntnisse; Bereitschaft, die jeweils fehlenden Sprachkenntnisse zu erwerben

Wünschenswert:

• Erfahrung mit MLE-Agenten-Frameworks (AIDE, SWE) oder MLE-Benchmark-Suites (MLEBench, MLE-Dojo)
• Erste Erfahrungen mit Open-Source-Entwicklung oder Beiträge zu Open-Source-Projekten

Fachlich verantwortlich / Ansprechpartner:in für die Ausschreibung: Prof. Dr. Sebastian Schelter - sekr@deem.tu-berlin.de
Besetzungszeitraum: sofort - 2 Jahre
Bewerbung an: sekr@deem.tu-berlin.de

Ihre schriftliche Bewerbung mit Anschreiben, Lebenslauf, Immatrikulationsbescheinigung und ggf. aktueller Notenübersicht richten Sie bitte unter Angabe der Kennziffer an die o.g. Beschäftigungsstelle.
Zur Wahrung der Chancengleichheit zwischen Männern und Frauen sind Bewerbungen von Frauen mit der jeweiligen Qualifikation ausdrücklich erwünscht. Schwerbehinderte werden bei gleicher Eignung bevorzugt.