Netlea

PL EN

Testowanie chatbotów i asystentów AI

Sprawdzam, czy Twój chatbot odpowiada zgodnie z prawdą i z Twoimi zasadami, nie zmyśla, nie daje się zmanipulować i nie ujawnia danych, zanim zrobi to za Ciebie klient.

Chatbot oparty na modelu językowym za każdym razem odpowiada trochę inaczej, więc nie da się go przetestować jak zwykłego formularza. Potrzebne jest połączenie analizy wymagań, przemyślanych przypadków testowych i automatyzacji, z człowiekiem, który decyduje, co jest poprawną odpowiedzią.

Umów bezpłatną konsultację Zobacz warianty i ceny
  • przegląd startowy od 3 500 zł netto
  • konkretna wycena na piśmie przed startem
  • sprawdzanie informacji o AI (art. 50 AI Act)
  • ponad 20 lat w testowaniu oprogramowania
  • niezależnie od dostawcy chatbota
  • zdalnie i w Krakowie

Dla kogo

Dla firm, w których chatbot rozmawia w imieniu firmy

Odbiorcami tej usługi są osoby, które odpowiadają za chatbota: właściciele firm, CTO, product managerowie, kierownicy obsługi klienta i e-commerce.

Komu pomagam

  • Firmy z chatbotem obsługi klienta na stronie: sklepy internetowe, usługi, SaaS.
  • Firmy budujące wewnętrznego asystenta AI na własnych dokumentach: bazach wiedzy, procedurach, regulaminach (tzw. RAG).
  • Software house'y i agencje wdrażające chatboty dla klientów, które potrzebują niezależnej weryfikacji przed oddaniem projektu.
  • Branże, w których błędna odpowiedź ma realne skutki: e-commerce (ceny, promocje, zwroty), usługi prawne, finansowe, medyczne, edukacja.

Typowe sytuacje

  • przed uruchomieniem chatbota dla klientów,
  • po zmianie modelu, promptu systemowego lub bazy wiedzy,
  • gdy pojawiły się skargi na odpowiedzi bota albo niepokojące rozmowy w logach,
  • przed audytem lub przeglądem zgodności.

Obszary testów

Co sprawdzam w chatbocie

Zakres i proporcje dobieram do Twoich priorytetów. Dla jednej firmy najważniejsze będzie bezpieczeństwo i brak wycieków danych, dla innej poprawne ceny i warunki promocji.

  • Poprawność merytoryczna

    Czy bot odpowiada zgodnie z dokumentami firmy: regulaminem, cennikiem, ofertą, procedurami? Czy podaje właściwe kwoty, terminy, progi i wyjątki? Czy w ogóle trafia do właściwego fragmentu bazy wiedzy?

  • Halucynacje i zmyślanie

    Czy bot wymyśla fakty, których nie ma w dokumentach: nieistniejące promocje, produkty, obietnice, przepisy? Czy przyznaje, że czegoś nie wie, zamiast zgadywać?

  • Poprawność językowa

    Gramatyka, odmiana (np. nazw produktów i miejscowości), ortografia i ton zgodny z marką. Do tego reakcja na pytania potoczne, z literówkami, zadane nie wprost lub w innym języku.

  • Bezpieczeństwo

    • odporność na prompt injection i jailbreaki, czyli próby obejścia instrukcji,
    • ochrona promptu systemowego i wewnętrznych instrukcji przed ujawnieniem,
    • ochrona danych osobowych i poufnych,
    • trzymanie się zakresu tematycznego: odmowa rozmów niezwiązanych z firmą, treści obraźliwych, opinii politycznych,
    • nadużycia narzędzi, jeśli bot ma dostęp do systemów, np. zamówień lub kont klientów.

  • Funkcjonalność i scenariusze rozmów

    • typowe ścieżki klienta od pytania do rozwiązania,
    • pamięć kontekstu w dłuższej rozmowie,
    • przekazanie rozmowy do człowieka: kiedy powinno nastąpić i czy działa,
    • integracje: formularze, linki, zbieranie danych kontaktowych, działania wykonywane przez bota.

  • Użyteczność rozmowy

    Czy odpowiedzi są zrozumiałe i mają rozsądną długość? Czy bot dopytuje, gdy pytanie jest niejasne? Czy łatwo z nim dojść do celu? Jak wygląda i działa okno czatu, także na telefonie? Czy jest jasne, jak skontaktować się z człowiekiem?

  • Zgodność z AI Act: wybrane wymogi

    Techniczna weryfikacja tych wymogów, które da się sprawdzić w rozmowie z botem, przede wszystkim obowiązku informowania użytkownika, że rozmawia z systemem AI (art. 50 AI Act, stosowany od 2 sierpnia 2026 r.). Do tego wskazanie zachowań bota, które warto skonsultować z prawnikiem. To weryfikacja techniczna, nie porada prawna.

  • Wydajność: zakres podstawowy

    Pomiar czasu odpowiedzi i jego stabilności w typowych scenariuszach oraz wskazanie odpowiedzi wyraźnie zbyt wolnych. Testy obciążeniowe, czyli zachowanie przy wielu równoczesnych rozmowach, tylko po indywidualnych ustaleniach.

Metoda

Jak pracuję: trzy warstwy testów

Zestaw testów składa się z trzech warstw, które różnią się stopniem dopasowania do konkretnej firmy.

  • Warstwa 1

    Testy uniwersalne

    Sprawdzenia, które dotyczą każdego chatbota niezależnie od branży: bezpieczeństwo, próby wyciągnięcia instrukcji i danych, pytania spoza zakresu, informacja o rozmowie z AI, przekazanie do człowieka, poprawność językowa i ton. Dopasowuję je tylko parametrami (nazwa firmy, zakres tematyczny, kanał kontaktu), dzięki czemu ta część jest szybka i przewidywalna cenowo.

  • Warstwa 2

    Testy branżowe

    Zestawy typowe dla danej branży, na przykład:

    • sklep internetowy: ceny, dostawa, zwroty, reklamacje, promocje, dostępność produktów,
    • salon kosmetyczny i inne usługi z zapisami: cennik zabiegów, wolne terminy, odsyłanie do kalendarza rezerwacji, bez porad zdrowotnych i obiecywania efektów,
    • hotel lub pensjonat: dostępność i ceny pokoi, warunki anulacji, zameldowanie, odpowiedzi dla gości z zagranicy,
    • biuro nieruchomości i deweloper: parametry i ceny ofert, żadnych zmyślonych mieszkań, poprawne zbieranie danych kontaktowych.
  • Warstwa 3

    Testy dopasowane do firmy

    Najważniejsza warstwa, w całości przygotowywana przez człowieka:

    • analiza ryzyka razem z Tobą: jaki błąd bota byłby dla firmy najgorszy,
    • analiza dokumentów: regulaminy, cenniki, procedury, baza wiedzy bota,
    • przypadki testowe z kluczem odpowiedzi: dla każdego pytania jasno określam, jaka odpowiedź jest poprawna, a jaka niedopuszczalna,
    • przypadki brzegowe: zamówienie dokładnie za kwotę progu darmowej dostawy, ostatni dzień promocji, nietypowe kombinacje.

Często już przed testami: analiza dokumentów pozwala wykryć problemy, zanim bot w ogóle zostanie zapytany, np. sprzeczności między regulaminem a FAQ, które potem prowadzą do błędnych odpowiedzi.

Human in the loop

Człowiek decyduje, automatyzacja wykonuje

O tym, co jest poprawną odpowiedzią, decyduje człowiek na podstawie dokumentów i ustaleń z Tobą. To fundament rzetelnych testów.

  • Automatyzacja pozwala uruchamiać setki pytań, także w wielu wariantach sformułowań, i powtarzać je po każdej zmianie bota.
  • Ocena odpowiedzi: odpowiedzi porównuje z kluczem mechanizm złożony z prostych reguł (np. czy podano właściwą kwotę) oraz niezależnego modelu AI z innej rodziny niż model testowanego bota. Jego werdykty kalibruję ręcznie.
  • Modele AI wspierają też analizę dokumentów, ale tylko jako drugi czytelnik: każde ustalenie weryfikuję w źródle.
  • Testy eksploracyjne: oprócz testów automatycznych prowadzę ręczne rozmowy z botem, w których szukam zachowań, których nikt nie przewidział.

Narzędzia: sprawdzone narzędzia open source do testowania aplikacji opartych na modelach językowych, uruchamiane lokalnie, a w razie potrzeby automatyzacja przeglądarki. Z botem łączę się przez API albo przez okno czatu na stronie.

Współpraca krok po kroku

Jak wygląda proces

  1. Konsultacja wstępnaCel, rodzaj bota, model, na którym działa, najważniejsze ryzyka i sposób dostępu. Bezpłatnie.
  2. Warsztat ryzyk i priorytetyCo jest dla firmy najważniejsze: bezpieczeństwo, ceny, wizerunek, zgodność.
  3. Analiza dokumentówPrzygotowanie zestawu testów z kluczem odpowiedzi.
  4. Wykonanie testówAutomatycznych i eksploracyjnych.
  5. RaportWyniki, przykłady błędnych odpowiedzi i rekomendacje.
  6. Retest po poprawkachOpcjonalnie; w wariancie B jeden retest jest w cenie.
  7. Testy regresyjne po kolejnych zmianachTen sam zestaw uruchamiany ponownie, w ramach wariantu C: opieka miesięczna lub pojedyncze rundy.

Warianty i ceny

Ile kosztuje testowanie chatbota

Ceny netto, do których należy doliczyć 23% VAT. Po bezpłatnej konsultacji dostajesz konkretną wycenę na piśmie, zanim rozpoczną się prace.

  • Wariant A

    Przegląd startowy

    od 3 500 złzwykle 3 500 - 5 000 zł netto

    • warstwa 1: bezpieczeństwo, ochrona instrukcji i danych, trzymanie się zakresu, przekazanie do człowieka,
    • sprawdzenie informacji o rozmowie z AI w głównym kanale,
    • podstawowa ocena poprawności językowej,
    • zwięzły raport.
    • 3-5 dni roboczych
    • dobry pierwszy krok

  • Wariant B · pełny audyt

    Audyt jakości chatbota

    9 000 - 16 000 złnetto

    • wszystkie trzy warstwy testów,
    • analiza ryzyk i dokumentów,
    • testy z kluczem odpowiedzi: poprawność merytoryczna, halucynacje, przypadki brzegowe,
    • testy eksploracyjne,
    • raport z rekomendacjami i jeden retest po poprawkach.
    • 2-3 tygodnie
    • retest w cenie

  • Wariant C

    Opieka i testy regresyjne

    1 200 - 2 500 złnetto miesięcznie lub rozliczenie za pojedynczą rundę

    • ponowne uruchomienie zestawu testów po zmianach modelu, promptu lub bazy wiedzy,
    • raport różnic względem poprzedniej rundy,
    • dopisanie kilku nowych testów.
    • według harmonogramu zmian bota
    • dostępne po wariancie B

Moduły dodatkowe do wariantu B

  • użyteczność: UX rozmowy i okna czatu, także na telefonie: +1 500 - 3 000 zł,
  • kolejny język lub kolejny kanał (np. komunikator, aplikacja mobilna): +2 000 - 4 000 zł,
  • podstawowe pomiary wydajności (czasy odpowiedzi): +1 000 - 2 000 zł,
  • warsztat dla Twojego zespołu z omówieniem wyników i dobrych praktyk: wycena indywidualna.

Co wpływa na cenę w widełkach

  • objętość dokumentów,
  • liczba ścieżek rozmowy,
  • sposób dostępu do bota: przez API lub przez okno czatu na stronie,
  • dostęp bota do narzędzi i danych klientów, bo oznacza więcej testów bezpieczeństwa.

Projekty pilotażowe: cena niższa o 25%. Dotyczy trzech pierwszych projektów zrealizowanych w czwartym kwartale 2026 r. Napisz, a sprawdzę, czy możesz jeszcze z tego skorzystać.

Rezultat i wymagania

Co otrzymujesz i czego potrzebuję od Ciebie

Co otrzymujesz

  • raport z wynikami testów, podzielony na obszary, z oceną wagi problemów,
  • konkretne przykłady błędnych lub ryzykownych odpowiedzi: pytanie, odpowiedź bota i wyjaśnienie, dlaczego to problem,
  • rekomendacje poprawek: prompt systemowy, baza wiedzy, ustawienia, procesy,
  • listę niespójności wykrytych w dokumentach źródłowych, jeśli wystąpią.

Czego potrzebuję

  • dostępu do bota, najlepiej w środowisku testowym maksymalnie zbliżonym do produkcyjnego, ewentualnie przez API,
  • informacji, na jakim modelu AI działa bot,
  • dokumentów, na których bot się opiera: regulaminów, cenników, bazy wiedzy, instrukcji,
  • zgody na testy, w tym testy bezpieczeństwa, czyli próby ataków na bota,
  • ustalenia budżetu na wywołania bota, jeśli każda rozmowa generuje koszty po Twojej stronie.

Uczciwie o ograniczeniach.

  • Testy zmniejszają ryzyko, ale nie dają gwarancji. Chatboty AI odpowiadają niedeterministycznie, więc żaden zestaw testów nie wykluczy wszystkich błędów. Dlatego warto powtarzać testy po zmianach.
  • AI Act: sprawdzam wybrane wymogi technicznie, nie udzielam porad prawnych.
  • Testy obciążeniowe: tylko w zakresie ustalonym indywidualnie.

Doświadczenie

Dlaczego Netlea

  • ponad 20 lat w IT, w tym około 10 lat jako tester i około 10 lat jako kierownik zespołu QA i zespołu wytwarzania oprogramowania,
  • certyfikat ISTQB Kierownik Testów na poziomie zaawansowanym (CTAL-TM),
  • analiza ryzyka i projektowanie przypadków testowych to moja codzienna praca, a nie dodatek do automatyzacji,
  • praktyczne doświadczenie w wykorzystaniu AI w testowaniu,
  • niezależność: nie wdrażam chatbotów, więc oceniam je bez konfliktu interesów.

Bezpieczeństwo

Poufność i dane

  • Twoje dokumenty przetwarzam wyłącznie w zakresie potrzebnym do testów.
  • Jeśli w analizie korzystam z narzędzi AI, robię to na warunkach uzgodnionych z Tobą i wyłącznie przez usługi, które nie wykorzystują przesłanych danych do trenowania modeli.
  • Na życzenie podpisuję umowę o zachowaniu poufności (NDA) i umowę powierzenia przetwarzania danych.
  • Jeśli Twoja firma wymaga przetwarzania danych w UE, dobieram narzędzia, które spełniają ten warunek.

FAQ

Najczęstsze pytania o testowanie chatbotów

Czy testujesz chatboty zbudowane na dowolnej platformie?

W większości przypadków tak: przez API platformy albo bezpośrednio przez okno czatu na stronie. Szczegóły ustalamy na konsultacji.

Czy testy mogą zaszkodzić naszemu botowi albo dużo nas kosztować?

Testy bezpieczeństwa i testy automatyczne prowadzę za Twoją zgodą, najlepiej w środowisku testowym. Liczbę wywołań ustalamy z góry, żeby kontrolować koszty po Twojej stronie.

Czym to się różni od testów zrobionych przez dostawcę chatbota?

To niezależna ocena oparta na Twoich dokumentach i ryzykach biznesowych, a nie ogólne testy platformy.

Jak często powtarzać testy?

Po każdej istotnej zmianie: modelu, promptu systemowego, bazy wiedzy, oferty lub regulaminu.

Ile kosztuje testowanie chatbota?

Przegląd startowy kosztuje od 3 500 zł netto, pełny audyt jakości 9 000 - 16 000 zł netto, a opieka po zmianach bota 1 200 - 2 500 zł netto miesięcznie. Po bezpłatnej konsultacji przygotowuję konkretną wycenę na piśmie. Trzy pierwsze projekty zrealizowane w czwartym kwartale 2026 r. są tańsze o 25%.

Czy otrzymamy zestaw testów?

Standardowo otrzymujesz raport z wynikami, przykładami i rekomendacjami. Ponowne uruchamianie testów po zmianach bota realizuję w ramach opieki (wariant C).

Czy pomożesz poprawić bota?

Raport zawiera konkretne rekomendacje. Wdrożenie poprawek leży po stronie Twojego zespołu lub dostawcy bota, a ja mogę potem ponownie przetestować zmiany.

Sprawdźmy Twojego chatbota, zanim zrobi to klient

Opisz w dwóch zdaniach, jaki to bot i co Cię niepokoi. Na bezpłatnej konsultacji ustalimy zakres, a potem dostaniesz konkretną wycenę na piśmie.

Umów bezpłatną konsultację