Drugi fotel dostawiłem pół roku temu, sprawdzając, w jakich obszarach sztuczna inteligencja może wesprzeć realizację powierzonych mi zadań. W kolejnych miesiącach, widząc przestrzeń do rozwijania asystentów w stronę agentów, kontynuowałem pracę nad nimi.
Jako konsultant Salesforce niepiszący kodu, a konfigurujący na co dzień, sprawdziłem, które z czynności konfiguracyjnych może wspomóc agent AI. Zakres obowiązków, poziom uprawnień oraz konieczność uzyskania akceptacji planowanych działań przypominają warunki pracy zwykłego pracownika.
Przygotowane POC, czyli próba sprawdzenia, czy to działa, a nie od razu rozwiązanie komercyjne, zostało zrealizowane w środowisku, które każdy może bezpłatnie uruchomić, a przedmiotem ćwiczenia było dodawanie nowych uprawnień na podstawie wymagań biznesowych fikcyjnej firmy – APEX Nivorayne Sales. W 8 przebiegach testowałem scenariusz przypisania nowych uprawnień jednemu z profili.
W dalszej części przyjrzymy się, co agentom oddać, co kontrolować i zatwierdzać oraz co bezwzględnie zostawić człowiekowi.
Asystent, agent, zespół agentów. Kogo właściwie zatrudniamy i na co możemy mu pozwolić?
O tym, czy narzędzie AI można uznać za agenta, decyduje raczej zbiór dostępnych zdolności niż spełnienie twardych kryteriów. Zrealizowane w ramach POC agenty działają w pętli obejmującej planowanie, realizację akcji oraz weryfikację wyniku, z możliwością dokonywania zmian w systemach, do których mają dostęp, oraz zależnością wykonania określonego działania od zatwierdzenia człowieka.
Końcową ilustracją takiego zachowania może być przypisanie dostępu do obiektów i ich pól danemu profilowi. Agent po wcześniej uzyskanej zgodzie będzie w stanie przypisać takie uprawnienie w systemie, podczas gdy asystent tylko powie, jak to zrobić.
Sprawdzanie przydatności narzędzi AI rozpocząłem od budowy „Salesforce Story Buildera” w Microsoft Copilot Studio.
Jego zadaniem było wspieranie procesu analizy wymagań klienta oraz przygotowywanie artefaktów potrzebnych do dalszej budowy. Jeden z 3 scenariuszy miał przygotować potwierdzone wymagania biznesowe. Początkowo nazwany agentem, w rzeczywistości nim nie był – był asystentem – poza funkcją konwersacyjną nie zmieniał stanu żadnego systemu zewnętrznego ani nie dokonywał zmian wymagających zatwierdzenia przez człowieka.
Koncepcja i założenia były właściwe, więc zdecydowałem o przeniesieniu go do POC, natomiast dalej nie wprowadzał żadnych zmian; robił to inny agent na podstawie informacji przygotowanej przez Story Buildera.
Na jakim stanowisku pracuje nasz agent?
POC zakładało podział na 3 role:
- Kierownik – odpowiada za komunikację z użytkownikiem, przekazuje i odbiera dane od innych agentów, jako jedyny może wprowadzać zmiany w Salesforce,
- Story Builder – nie ma dostępu do środowiska, przygotowuje historyjki, potwierdzone wymagania oraz kryteria akceptacji,
- Kartograf – przygotowuje analizę środowiska w obszarze, na który wskazuje wymaganie przygotowane przez Story Buildera, może jedynie odczytywać informacje ze środowiska, co jest wymuszane na poziomie narzędzia.
Każdy z nich miał tylko uprawnienia niezbędne do wykonywania powierzonej funkcji.
POC było zbudowane na środowisku zakładającym 3 warstwy bezpieczeństwa:
- Konto systemowe zalogowane do jednego orga (nieprzekraczalna granica),
- Reguły narzędzia (zgoda na wykonanie polecenia w terminalu),
- Prośby w instrukcji modelu, które agent interpretuje według własnego zrozumienia.
Konto systemowe niczym sejf ograniczało dostęp agenta tylko do jednego orga, a reguły i instrukcje hamowały wykonanie do momentu uzyskania zgody.
Zmiany dokonywane w orgu (środowisku Salesforce) wymagały podwójnego potwierdzenia:
- ZATWIERDZAM – wpisanego przez użytkownika, wynikającego z instrukcji agenta, stosowanego w 3. warstwie zabezpieczeń,
- Zgody na wykonanie komendy w terminalu (zgoda narzędzia), stosowanej w 2. warstwie zabezpieczeń.
Pierwszy klucz mówił o podjętej decyzji, a drugi uruchamiał jej wykonanie.

Jak w okresie próbnym poradził sobie agent?
Na początku POC wydarzył się incydent, który pokazał, że agent potrafi zrealizować zadanie, obchodząc regułę w narzędziu. Co ciekawe, agent sam to zgłosił, a jedynym świadkiem tego, co się stało, był jego dziennik. W odpowiedzi dodałem regułę na poziomie narzędzia oraz zakaz w instrukcji. Najważniejsze, że w przypadku incydentu warstwa sejfu, czyli konto z dostępem tylko do jednego orga, stanowiła nieprzekraczalną ochronę, podczas gdy hamulec, czyli ustalone reguły, nie zadziałał, gdy agent postanowił je obejść.
Częścią projektu był zapis, który rejestrował jedynie wykonane komendy narzędzia Salesforce, a nie ich wynik. System odrzucił zmianę, podczas gdy zapis pokazał, że była udana. Dziennik agenta i zapis systemu zgadzały się co do wgrań, przypisań i usunięć, a przy zmianie profilu zrobionej ręcznie poza agentem dopiero zestawienie obu zapisów rozstrzygnęło, że to nie agent.
Okres próbny moich agentów pozwolił na przeprowadzenie 8 pełnych przebiegów od notatek ze spotkania, na którym zapadają decyzje dotyczące zmiany uprawnień, aż do przypisania nowych użytkownikom. Sześć przebiegów miało wynik poprawny: każde uprawnienie faktycznie nadane, sprawdzone zapytaniem do orga, czyli de facto sprawdzeniem wyniku w systemie.
Ocena okresowa, czyli które zadania powierzyć agentowi, a które zostawić pod ścisłą kontrolą człowieka?
Jak zatem stwierdzić, które zadania, w których agent coś zapisuje lub zmienia w orgu, można mu powierzyć?
Na podstawie zrealizowanego POC wymieniłbym:
- odwracalność zmiany,
- możliwość automatycznego sprawdzenia wyniku w systemie,
- wiarygodne źródło faktów (a nie pamięć modelu),
- koszt błędu.
Tam, gdzie jest odwracalny skutek techniczny, ale nieodwracalny skutek biznesowy, tam trudniej oddać pracę agentowi AI. Na przykład wysłanie klientowi projektu rozwiązania jako finalnej opcji nie przechodzi filtra i zostaje przy człowieku. Na podstawie rozwiązania przygotowanego na potrzeby POC nie można odpowiedzieć na pytanie o oszczędność czasu z wykorzystaniem AI. Wyniki w małej próbie przeprowadzonej przez kogoś, kto doskonale wie, czego szuka, nie miałyby sensu.
W całym POC padło 29 ZATWIERDZAM wg dziennika agenta, zatwierdziłem 54 zgody narzędzia, a w serii pięciu przebiegów, ze wszystkich ośmiu, które się odbyły, przeszedłem przez 49 bramek decyzyjnych (każda moja decyzja czy polecenie ma zostać wykonane).
Projekty rozwojowe polegające na budowie i ciągłym udoskonalaniu agentów AI zasługują na uwagę, natomiast będą rentowne tam, gdzie wielokrotne użycie pokryje koszt przygotowania. POC, w którym nie przeprowadzono pomiaru czasu, nie pozwala wskazać najdroższego etapu budowy, natomiast nieustanne poprawki oraz kolejne fazy testów zabierają dużo czasu.
Co przestaje być pracą człowieka, a zaczyna być pracą agenta?
Większość elementów będących konfiguracją agenta jest czytelna dla osoby niepiszącej kodu:
- role,
- reguły,
- zgody,
- bramki decyzyjne,
- umiejętności.
Znamiona kodu widać w skryptach pomocniczych, ale tworzone i objaśnione są one przez agenta. Elementy składające się na budowę agenta sprawiają, że następna osoba w projekcie może prześledzić w repozytorium historię, a więc jakie zmiany na nich zaszły z biegiem czasu i na co się przełożyły. Każdorazowa zmiana na poziomie takiego rozwiązania powinna być traktowana jako zmiana, która zostanie przetestowana oraz sprawdzona pod kątem tego, czy rezultat zmienia się wraz z modelem.
Kompetencje osoby z zespołu delivery robiącej przegląd takiego rozwiązania, powinny zarówno obejmować znajomość Salesforce’a, jak również taka osoba powinna rozumieć, jak agent podejmuje decyzje. Pisanie reguł i instrukcji zamiast ręcznej konfiguracji w systemie, czytanie rekomendacji zamiast jej tworzenia, decyzje w bramce, sprawdzanie zapytaniem, weryfikacja zmian w środowisku mogą zmienić dotychczas znany zakres obowiązków.
To, czego jeszcze nie zrobiono, to rozszerzenie działania Kartografa i budowa kolejnego agenta odpowiedzialnego za projektowanie rozwiązań w przypadku złożonych wymagań. Warunkiem, żeby rozmowy dostawców z klientami w zakresie modelu rozliczeń mogły się zmienić, jest mierzalność pracy agentów AI w powtarzalnych testach oraz zapisy w umowie lub regulacje prawne określające, kto ponosi odpowiedzialność za błędy narzędzi AI.
Kto bierze odpowiedzialność za pracę agenta?
Agent ma określony zakres, nadane uprawnienia, przełożonego i ocenę, ale nie składa podpisu. W ramach POC tym podpisem było moje ZATWIERDZAM oraz dalsza zgoda w terminalu.
Zapis systemu pokazuje, jaka akcja zaszła i kiedy, natomiast dziennik agenta pokazuje, kto o niej zdecydował.
Stanowisko linii lotniczej w sprawie z 14.02.2024, Moffatt vs. Air Canada, w której chatbot podał błędną politykę zniżek, a linia twierdziła, że chatbot to odrębny byt odpowiedzialny za siebie, zostało odrzucone przez trybunał. Linia musiała wypłacić 812,02 CAD. Komunikacja agenta z klientem jest komunikacją firmy z klientem.
Dostawcy powinni potrafić odpowiedzieć na pytania klientów:
- Kto zatwierdza działania agenta?
- Gdzie to można sprawdzić?
- Jakie granice bezpieczeństwa agent ma ustawione poza instrukcjami?
Podsumowanie
O podziale prac w przyszłości zadecyduje mierzalność rezultatów AI, a nie moje wrażenie, że praca wykonana jest dużo szybciej. Można było zauważyć, że następuje przesunięcie czasu z wykonywania zadań na czas potrzebny na czytanie i zatwierdzanie działań agenta.
Pomiar i odpowiedź na pytanie o oszczędność czasu pozostają do sprawdzenia jako kolejny etap POC.
Zostaw komentarz