Ekkiden logo

QA Automation Engineer

Ekkiden
2 days ago
Contract
On-site
Berlin, Germany
QA Automation Engineer

Rolle: QA Automation Engineer (m/f/d)

Für ein KI-Plattform Projekt suchen wir erfahrene QA_Unterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist, die Plattform und den Chatbot vor dem Launch automatisiert, reproduzierbar und belastbar abzusichern.
 
Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG, ausgewählten Wissensquellen, Guardrails, APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter Q, Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden, idealerweise mit Azure AI Foundry.
 
Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RAG-/LLM-Evaluation.

Rahmenbedingungen: 

Start: ASAP
Dauer: 5+ Monate
Auslastung: 50-80%
Ort: Remote 

Deine Verantwortungen:

Testautomatisierung

  • Automatisierte Tests für regressionkritische Frontend-, API- und Integrationsflows aufbauen und pfelgen

  • Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als Quality Gate vor Deployments nutzbar machen

  • Automatisierte Testfälle für Chatbot, API und Frontend definieren

RAG-/LLM-Evaluation

  • Automatisierte LLM-/RAG-Evaluationen aufsetzen, inklusive Eval-Datensätzen, Qualitätsmetriken, Schwellenwerten und reproduzierbaren Eval-Runs

  • RAG-Antworten anhand definierter Qualitätskriterien prüfen, z. B. fachliche Korrektheit, Verständlichkeit, Prägnanz, Zielgruppenorientierung und Quellenbezug

Übergreifend

  • QA-Automa_sierungs- und Eval-Prozess für Plattform und Chatbot strukturieren

  • Testdaten, Eval-Sets, Testprotokolle und QA-Statusübersichten pflegen

  • Go-/No-Go-Einschätzung für den Launch vorbereiten

Wir suchen Dich:

  • Mehrjährige Erfahrung als QA (Automation) Engineer für Web-, Plattform- oder digitale Produktumfelder

  • Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests, z. B. mit Playwright, WebdriverIO oder vergleichbaren Frameworks

  • Sicher im Umgang mit Testkonzepten, Testfällen, Bug-Reports und Regressionstests

  • Erfahrung mit CI/CD-Pipelines, idealerweise GitLab, und der Integration automatisierter Tests in Deployment-Prozesse

  • Technisches Verständnis für APIs, Web-Frontends, CMS-basierte Systeme und integrierte Plattformarchitekturen

  • Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement 

  • Strukturierte, analytische und eigenständige Arbeitsweise

  • Sehr gute Deutschkenntnisse, mindestens C1

Wir suchen Dich:

  • Erfahrung mit KI-, Chatbot-, RAG- oder Multi-Agenten-Systemen

  • Erfahrung mit LLM-/RAG-Evaluationen, idealerweise mit Azure AI Foundry / Azure AI Evaluation SDK, Langfuse, RAGAS, DeepEval, Promptfoo, LangSmith, Arize Phoenix oder vergleichbaren Eval-/Observability-Frameworks

  • Verständnis von Qualitätsmetriken wie Groundedness, Relevance, Coherence, Fluency und Completeness

  • Erfahrung mit Eval-Datensätzen, Ground Truth, Golden Sets oder synthetischen Testfällen

  • Erfahrung mit API-Tests, Performance-Tests oder Penetrationstests

  • Erfahrung mit Content-Management-Systemen, idealerweise Strapi

Wie sieht der Rekrutierungsprozess bei Ekkiden aus?

Bei Ekkiden sind wir bestrebt, jedem Kandidaten eine positive Erfahrung zu bieten.

Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen, um Ihre Motivation und Erwartungen zu besprechen.
Interviews: Je nach der Rolle, für die Sie sich bewerben, führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern.
Kundengespräch: Schließlich haben Sie die Möglichkeit, den Kunden kennenzulernen.

Obwohl dies unser Standardprozess ist, können wir Anpassungen vornehmen, die auf spezifischen Umständen basieren.