Czy wiecie, że Claude Code potrafi dostarczyć nawet 46% lepsze wyniki, jeśli tylko zmienicie sposób, w jaki wysyła się do niego zapytania? W niemal każdej rozmowie o AI w wytwarzaniu oprogramowania prędzej czy później ktoś pyta: „Jakiego modelu używacie?”.
Według najnowszych danych przestało to być interesującą zmienną w równaniu.
Rzućmy okiem na plan tego wpisu: na początek krótkie przypomnienie, co tak naprawdę mówią benchmarki, a następnie wyniki, które osiągnęliśmy sami na sobie jako klient zero. Następnie przechodzimy do metodologii, dzięki której możemy powtórzyć sukcesy u Was, a na koniec – co to wszystko oznacza dla Waszego biznesu.
Na scenę wchodzi harness
Wspomnianą optymalizację można zrobić sprytniej niż samą zmianą modelu – i właśnie tu na scenę wchodzi harness.
W kontekście agentów kodujących harness to warstwa wokół modelu, która decyduje o tym, jak on działa:
- jaki kontekst dostaje,
- z jakich narzędzi może korzystać,
- jak wchodzi w interakcję z kodem,
- jak wykonuje i weryfikuje zmiany
- oraz jak orkiestrowane jest całe zadanie.
Przegląd systemów agentowych z 2026 roku (arXiv:2606.20683) porównuje te same modele Claude na różnych harnessach, na uznanym benchmarku SWE-bench Verified – i wynik skacze z 33,6% do 49,0% rozwiązanych zadań, czyli o około 46% względnego wzrostu, gdy zmienia się wyłącznie scaffolding wokół modelu. Nawet na samym froncie technologicznym wybór harnessu przesuwa wynik z 76,8% do 80,9%.
I to nie wygląda już jak ciekawostka ograniczona do jednego benchmarku. Kilka miesięcy po publikacji powyższych wyników, w sierpniu 2026 NVIDIA pokazała na innym rodzaju zadań, jak duża potrafi być ta różnica. Ten sam Claude Opus 5 osiągnął 30% na ARC-AGI-3 bez dodatkowego harnessu, ale 100% po dołożeniu własnego środowiska z lepszym zarządzaniem pamięcią i komponentem nadzorującym agenta.
TechCrunch trafnie podsumował tę zmianę akcentu:
W zadaniach długiego horyzontu to nie sam model, lecz właśnie harness coraz częściej decyduje o tym, czy agent rzeczywiście potrafi dowieźć zadanie.
To, czego nauczyliśmy się w produkcji, właśnie potwierdziły zarówno czołówka świata technologii AI, jak i społeczność badawcza. Model, jako legendarny bohater pytania „a Wy na czym w ogóle piszecie”, jest narzędziem ogólnego przeznaczenia, które każdy może zaprząc do pracy w tej samej cenie, przez te same API.
A mimo to na tym samym modelu widzieliśmy wyniki od statystycznego szumu po dziesięciokrotne przyspieszenie. Po dokładniejszym zbadaniu tematu doszliśmy do wniosku, że dużo istotniejszy jest harness i to harness traktujemy jako środowisko inżynierskie, które budujecie wokół projektu tak, żeby działało wewnątrz Waszego SDLC, a nie obok niego.
Coraz mocniejsze podparcie hipotezy
W naszej niedawnej analizie dwóch najnowszych flagowych modeli, Nowe modele AI w praktyce: co Fable 5.1 i GPT-6 Astra mówią nam o AI-native delivery, przejrzeliśmy wszystko, co opublikowano w pierwszych tygodniach od ich premiery i co zawierało faktyczne metryki.
Najtrwalsze wnioski nie dotyczyły żadnego z tych modeli, lecz systemów, które je otaczają:
- ARC Prize podało, że GPT-6 Astra osiągnął 62,7% na ARC-AGI-3 w harnessie neutralnym wobec dostawcy i 98,6% z autorskim Provider Adapterem OpenAI. Różnica polega na tym, że adapter zachowuje stan rozumowania modelu między kolejnymi akcjami i sam zarządza kontekstem.
- Same benchmarki coraz częściej oceniają systemy, a nie model w izolacji. Real-SWE od Specific Labs, zbudowany na prywatnych repozytoriach produkcyjnych, ocenia pary model–harness, a nie same modele: Fable 5.1 w Claude Code prowadzi z wynikiem 38,8%, a Astra w Codex CLI osiąga 33,8%, przy czym żadna konfiguracja nie przekracza 40%. Najczęstszą przyczyną niepowodzeń jest pominięte wymaganie – dokładnie ten rodzaj luki, który mają domykać kontekst specyficzny dla projektu i kroki weryfikacji.
Na tym właśnie polega niuans kryjący się za tytułem tego wpisu. Nie wystarczy wybrać harness, tak samo jak nie wystarczy wybrać model. Liczy się to, jak dobrze konfiguracja harnessu pasuje do Waszego kodu, rodzaju zadań i procesu delivery – oraz to, czy mierzycie ją na własnych zadaniach, a nie na publicznym rankingu.
Byliśmy dla siebie klientem zero
Takie badania są czasochłonne, dlatego jako Sii przychodzimy do Was z tą pracą w dużej mierze już zrobioną. Zwyczajnie przetestowaliśmy to na „własnej skórze”.
Nasz wewnętrzny dział delivery – ponad 115 aplikacji i platform oraz ponad 280 modułów integracyjnych w .NET, Angularze, Microsoft Dynamics 365, WordPressie i całkiem ciężkim middleware integracyjnym – stał się klientem zero.
Każdy zespół wspierany przez AI miał dostęp do tych samych modeli, więc tym, co faktycznie konfigurowaliśmy, był harness:
- organizacyjne paczki developerskie z regułami kontekstowymi specyficznymi dla projektu,
- wyspecjalizowani agenci do implementacji, recenzji i testowania kodu oraz raportowania błędów,
- serwery MCP podpięte pod realną infrastrukturę
- oraz zabezpieczenia, które strzegą kluczy dostępu (secrets) i wymagają akceptacji dewelopera.
Wyniki są już publiczne – znajdziecie je tutaj: Faster software delivery with Claude Code — Sii Poland case study.
| Co mierzyliśmy | Przed | Z harnessem |
| Czas dostarczania dla wybranych projektów wewnętrznych | punkt odniesienia | nawet o 30% szybciej |
| Trafność wygenerowanego kodu za pierwszym razem | ~33% | ~84% |
| Powtarzalne zadania integracyjne (np. wymiary finansowe) | 20-24 h | 3-4 h (minus 80-88%) |
| Tworzenie zestawu testów jednostkowych | 12-16 h | ~2 h |
| Czas code review na pull request | punkt odniesienia | minus 40-55% (≈ 156 tys. zł/rok) |
| Przygotowanie raportu buga (kompletność ~60% → ~95%) | do 15 min | < 2 min |
Metodologia Anthropic przeniesiona do Was
Możecie się zastanawiać, na ile da się to wszystko przenieść gdzie indziej. Okazuje się, że całkiem dobrze, bo trzymamy się metodyki wdrożeniowej, którą Anthropic sam publikuje dla przedsiębiorstw.
- Najpierw stawiamy Foundation na wybranej przez Was platformie – kontrole korporacyjne (SSO i tak dalej), synchronizacja katalogów, logi audytowe, retencja danych – a dopiero potem budujemy pierwszy harness projektowy. To etap, na którym większość organizacji utyka na miesiące, a my redukujemy go do dni, wspierając cały proces naszym frameworkiem SDLC Bootstrap, który kompresuje konfigurację harnessu do prowadzonego, weryfikowalnego przebiegu – takiego, który przeszukuje Wasze repozytorium i łączy kropki między kodem a tym, jak realnie wygląda Wasz delivery.
- Faza Pilot oddaje harness w ręce championów na prawdziwych zadaniach z backlogu na kilka tygodni, z cotygodniowymi check-inami i dwoma twardymi metrykami: zaoszczędzonym czasem cyklu oraz udziałem outputu AI zaakceptowanego bez istotnych poprawek. Faza Scale zamienia to, co zadziałało, w aktywa organizacyjne – skille, pluginy i standardy wdrażane zespół po zespole. Dzięki temu każdy kolejny projekt zaczyna się od wcześniej wypracowanego harnessu, a nie od zera.
Co obejmuje współpraca
W praktyce ta praca jest szersza niż instalacja narzędzia, bo harness to coś więcej niż tylko narzędzie.
- Jeśli chodzi o bezpieczeństwo – zarządzane polityki uprawnień, których nie da się nadpisać lokalną konfiguracją, hooki blokujące sekrety, zanim trafią do repozytorium, i automatyczny security review przy każdym pull requeście (podczas wdrażania zmian do głównej bazy kodu).
- W obszarze governance – SSO i SCIM, logi audytowe, monitoring użycia i kosztów, przypinanie wersji modelu i jedna zasada, która nie podlega negocjacjom: każdą zmianę akceptuje deweloper.
- Poprzez integracje MCP dostarczamy kontrolowane, audytowalne połączenia między Claude a systemami, na których faktycznie działa Wasz delivery – Jirą czy Azure DevOps, bazami danych, logami i observability, wewnętrznymi bibliotekami komponentów – wpięte do repozytorium, a kontrola i audytowalność tych połączeń obejmują cały zespół.
- Dajemy Wam też standardy, umiejętności i knowledge transfer, dzięki którym wdrożenie dziesiątego zespołu przebiega szybciej niż pierwszego.
Artificial Intelligence
Dostarczamy rozwiązania AI dopasowane do Twojego biznesu, które zwiększają efektywność i podnoszą produktywność Twojego zespołu.
Oferta AIDziałamy na Waszej infrastrukturze
Nic nie wymaga, żeby Wasz kod ani prompty opuszczały chmurę, co dla wielu naszych klientów jest, w oczywisty sposób, kluczowe. Claude Code można uruchomić natywnie na Amazon Bedrock na AWS, Google Cloud Agent Platform (dawniej Vertex AI) na GCP, a Microsoft Foundry na Azure.
Oto swoista fuzja tego, co najlepsze w obu światach: modele i wiodące usługi AI, kiedy tego chcecie, i to bez opuszczania Waszego środowiska. Wszystko to jest rozliczane przez istniejące konto chmurowe, uwierzytelniane przez Wasze IAM lub Entra ID oraz audytowane przez CloudTrail, Cloud Audit Logs czy Azure Monitor. W ten sposób wzmacniają się procesy i FinOps w tle.
Dopasowujemy rozwiązanie, dopasowujemy też formę współpracy
Są trzy proste sposoby, żeby zacząć.
- Warsztaty Discovery – na przykład pół dnia, w trakcie których mapujemy SDLC jednego projektu i pokazujemy Wam dokładnie, jak wyglądałby jego harness.
- Pilot – dwa do czterech tygodni, w czasie których stawiamy Foundation na Waszej chmurze i wystawiamy harness jednemu prawdziwemu zespołowi, na prawdziwym backlogu, z metrykami, które to potwierdzają.
- Pełny program – czyli w praktyce od Foundation do Scale w całej Waszej organizacji.
Podsumowanie
Benchmarki jasno pokazują, że harness wpływa na SDLC bardziej niż model. Udowodniliśmy to na sobie jako kliencie zero, co możecie wyczytać z przytoczonych metryk. Powtarzamy to zgodnie z metodologią Anthropic na Waszej chmurze z bezpieczeństwem i governance wbudowanymi od początku, a nie „doklejonymi na siłę lub przypiętymi zszywaczem”.
Możecie dołączyć do nas i pozostałych klientów – zapraszamy do kontaktu w celu dobrania najdogodniejszej formy współpracy.
Zostaw komentarz