Technologies & tools
We are looking for a Senior QA Engineer to join our team and contribute to building an AI-powered operating system for healthcare marketing. In this role, you will go beyond traditional end-to-end testing, owning quality, evaluation, and monitoring for complex AI systems. You will work on real-world production-grade products that create monetizable value, ensuring the stability of our full-stack architecture while designing and scaling AI evaluation pipelines and ML drift monitoring systems. If you are passionate about developing robust test and evaluation frameworks for modern systems powered by AI and ML, we want to hear from you.
Your tasks
- Designing, building, and maintaining evaluation frameworks for Large Language Models (LLMs) and custom agentic harnesses
- Developing automated scoring mechanisms, assertions, and test suites to measure agent accuracy, reasoning reliability, hallucination rates, and tool-use correctness
- Simulating complex, multi-step agent workflows to uncover edge cases in autonomous decision-making
- Collaborating with engineering teams to set up robust monitoring frameworks for data drift, concept drift, and model performance degradation in production
- Implementing telemetry and alerting systems to track latency, token usage, cost efficiency, and output quality over time
- Owning the end-to-end testing strategy across our entire stack, ensuring seamless integration between the Angular frontend, Node.js backend services, and Python-based AI microservices
- Writing clean, maintainable, and scalable automated test scripts in Python and JavaScript/TypeScript
- Performing rigorous API testing, integration testing, and performance/load testing for high-throughput microservices
- Integrating AI evaluation and testing harnesses into our CI/CD pipelines to ensure continuous quality gate enforcement before deployment
- Defining and tracking key quality metrics (KPIs) for software reliability and AI model behavior
Requirements
- Minimum 5 years of experience in software testing or quality engineering, with at least 2 years focused on testing or evaluating AI/ML applications, LLM workflows, or agentic systems
- Proficiency in Python for backend/AI testing scripts and familiarity with JavaScript/TypeScript for Node.js and Angular testing ecosystems
- Experience with evaluation frameworks such as LangSmith, Langfuse, EvidentlyAI, Ragas, or MLflow, and the ability to select appropriate metrics for classification or generation-quality problems
- Familiarity with ML drift monitoring concepts, metrics tracking, and observability tools like Datadog or Grafana
- Strong system-level design skills and the ability to build production-grade test and evaluation infrastructure from the ground up
- Advanced level of English
Nice to have
- Understanding of agentic design patterns and their decomposition into testable units
- Experience working under the regulatory conditions of healthcare systems
Job no. JOB-GTXQF
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologie i narzędzia
Szukamy Senior QA Engineera, który dołączy do naszego zespołu i przyczyni się do budowy systemu operacyjnego opartego na AI dla marketingu w służbie zdrowia. W tej roli wykraczysz poza tradycyjne testowanie end-to-end, przejmując odpowiedzialność za jakość, ocenę i monitorowanie złożonych systemów AI. Będziesz pracować nad produktami o rzeczywistej wartości produkcyjnej, zapewniając stabilność naszej architektury full-stack, jednocześnie projektując i skalując pipeline'y oceny AI oraz systemy monitorowania dryfu ML. Jeśli pasjonujesz się opracowywaniem solidnych ram testowych i oceny dla nowoczesnych systemów opartych na AI i ML, chcemy usłyszeć od Ciebie.
Twoje zadania
- Projektowanie, budowanie i utrzymywanie ram oceny dla dużych modeli językowych (LLM) oraz niestandardowych systemów agentowych
- Opracowywanie zautomatyzowanych mechanizmów oceny, asercji i zestawów testowych do pomiaru dokładności agentów, niezawodności rozumowania, wskaźników halucynacji oraz poprawności użycia narzędzi
- Symulowanie złożonych, wieloetapowych przepływów pracy agentów w celu odkrywania przypadków brzegowych w autonomicznym podejmowaniu decyzji
- Współpraca z zespołami inżynieryjnymi w celu ustanowienia solidnych ram monitorowania dla dryfu danych, dryfu koncepcji oraz degradacji wydajności modeli w produkcji
- Implementacja systemów telemetrycznych i alarmowych do śledzenia opóźnień, użycia tokenów, efektywności kosztowej oraz jakości wyników w czasie
- Odpowiedzialność za strategię testowania end-to-end w całym naszym stosie, zapewniając płynne połączenie między frontendem Angular, backendem Node.js oraz mikroserwisami AI opartymi na Pythonie
- Pisanie czystych, łatwych w utrzymaniu i skalowalnych skryptów testowych w Pythonie oraz JavaScript/TypeScript
- Przeprowadzanie rygorystycznych testów API, testów integracyjnych oraz testów wydajności/obciążenia dla mikroserwisów o wysokiej przepustowości
- Integracja systemów oceny i testowania AI w naszych pipeline'ach CI/CD, aby zapewnić ciągłe egzekwowanie jakości przed wdrożeniem
- Definiowanie i śledzenie kluczowych wskaźników jakości (KPI) dla niezawodności oprogramowania i zachowania modeli AI
Wymagania
- Minimum 5-letnie doświadczenie w testowaniu oprogramowania lub inżynierii jakości, z co najmniej 2-letnim doświadczeniem w testowaniu lub ocenie aplikacji AI/ML, przepływów pracy LLM lub systemów agentowych
- Biegłość w Pythonie do skryptów testowych backend/AI oraz znajomość JavaScript/TypeScript w ekosystemach testowych Node.js i Angular
- Doświadczenie z ramami oceny takimi jak LangSmith, Langfuse, EvidentlyAI, Ragas lub MLflow oraz umiejętność wyboru odpowiednich metryk dla problemów klasyfikacji lub jakości generacji
- Znajomość koncepcji monitorowania dryfu ML, śledzenia metryk oraz narzędzi do obserwowalności, takich jak Datadog lub Grafana
- Silne umiejętności projektowania na poziomie systemu oraz zdolność do budowania infrastruktury testowej i oceny opartej na produkcji od podstaw
- Zaawansowany poziom języka angielskiego
Mile widziane
- Znajomość wzorców projektowych agentowych i ich dekompozycji na jednostki testowe
- Doświadczenie w pracy w regulowanych warunkach systemów ochrony zdrowia
Nr oferty JOB-GTXQF
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
