RozstrzygniętyPrzetarg nieograniczony · PN549049-2026
Projektowanie i wdrożenie aplikacji pozyskiwania pytań testowych – Łódź
Centrum Egzaminów Medycznych0 aktualnych · 23 w archiwum·NIP 7292478202·łódzkie
Rozstrzygnięcie
Kto wygrał, za ile i ilu było chętnych.
Wygrałanazwa nieznana — NIP —
Kwota oferty4 900 000,00 zł
Złożonych ofert1
Przedmiot zamówienia
AIUsługa zaprojektowania, wdrożenia, świadczenia serwisu i nadzoru oraz wsparcia Aplikacji Pozyskiwania Pytań Testowych (APPT) dla Centrum Egzaminów Medycznych w Łodzi, obejmująca:
- analizę przedwdrożeniową i dokumentację projektową (DIP, DAB),
- architekturę hybrydową (strefa on-premise w siedzibie Zamawiającego + strefa chmurowa w EOG),
- moduł wykrywania duplikatów pytań testowych (min. 8 metod detekcji),
- moduł AI generujący propozycje pytań z wykorzystaniem zaindeksowanej bazy źródeł piśmienniczych (min. 150 podręczników z min. 30 dziedzin + 5 czasopism, wolumen do 22 000 wyszukiwań duplikatów i 70 000 wygenerowanych pytań rocznie),
- import danych archiwalnych (~66 000 pytań w plikach xml/doc/docx/csv/jpg),
- środowiska techniczne (deweloperskie, testowe, produkcyjne),
- pełny workflow pozyskiwania pytań, konta funkcyjne i zewnętrzne (Dyrektor, Administrator, Superrecenzent, Autor, Recenzent, Konsultant Krajowy, Konstruktor/Korektor Testu, Księgowy itd.),
- integrację z Węzłem Krajowym (login.gov.pl), NIL/CRL oraz systemem kadrowo-płacowym Zamawiającego,
- moduł rozliczeń i umów z autorami/recenzentami,
- moduł analityki i statystyki egzaminacyjnej,
- moduł eksportu i publikacji pytań,
- moduł konstrukcji testów egzaminacyjnych (Exam Vault) w strefie on-premise z szyfrowaniem kluczem asymetrycznym,
- serwis internetowy APPT,
- szkolenia (min. 40 h dla użytkowników + min. 16 h warsztatów dla administratorów, do 16 osób) z dokumentacją szkoleniową,
- dokumentację powykonawczą (techniczną, użytkownika, administratora),
- serwis gwarancyjny i asystę techniczną (helpdesk 24/7, pule 40 godzin serwisowych miesięcznie, SLA na naprawę błędów).
Zamówienie jednoczęściowe w formule prawo opcji (zamówienie podstawowe + część rozszerzona).
Trudność: wysoka
Złożone technicznie: architektura hybrydowa z rygorystycznym rozdziałem danych, moduł AI na zaindeksowanej bazie źródeł piśmienniczych, wiele modułów funkcjonalnych, integracje z systemami zewnętrznymi, wysokie wymagania bezpieczeństwa (OWASP ASVS 4.0.2 L2, MFA, RODO) oraz wdrożenie w strefie on-premise z mechanizmami kryptograficznymi.
Terminy realizacji
Termin wykonania - część podstawowa
do 08.12.2026 r.
do 08.12.2026 r.
Termin wykonania - część rozszerzona (prawo opcji)
do 08.12.2027 r.
do 08.12.2027 r.
Etap IA (pierwszy okres)
30 dni od dnia zawarcia umowy
30 dni od dnia zawarcia umowy
Etap IIA (część rozszerzona)
180 dni od dnia uruchomienia prawa opcji
180 dni od dnia uruchomienia prawa opcji
Etap IIB (część rozszerzona)
150 dni od zakończenia Etapu IIA
150 dni od zakończenia Etapu IIA
Warunki udziału
AI1Doświadczenie (AI) — Wykonawca wykonał co najmniej 1 usługę lub dostawę obejmującą opracowanie i wdrożenie lub przekazanie licencji do oprogramowania z bazą danych pochodzącą z publikacji książkowych lub innych zaindeksowanych dokumentów zaimportowanych z oznaczonych grup źródeł zewnętrznych wykorzystującego technologię AI o wartości brutto minimum 2000000.00 zł, udokumentowaną jako wykonana należycie w ciągu ostatnich 3 lat, przy czym nie można sumować wartości kilku umów.
2Jednolity dokument — Aktualne na dzień składania ofert oświadczenie w trybie art. 125 ust. 1 PZP w formie Standardowego Formularza Jednolitego Europejskiego Dokumentu Zamówienia (Załącznik nr 3 do SWZ)
Kryteria wyboru oferty
AIWagi punktowe, według których zamawiający oceni oferty.
Cenaoferta całkowita
60%
Okres gwarancjimiesiące
20%
Pakiet godzin RFC (wsparcie powdrożeniowe)liczba godzin
15%
Okres resetowania niewykorzystanych godzinmiesiące
5%
Czerwone flagi
AISygnały, na które warto zwrócić uwagę przed startem.
SWZ zmodyfikowany 25 dni po udostępnieniu dokumentów
Późna modyfikacja specyfikacji może sugerować dostosowanie wymagań pod konkretnego wykonawcę lub celowe utrudnienie konkurencji, która przygotowała ofertę na pierwotną wersję SWZ.
Kary i sankcje
AI- Kary umowne (opóźnienia w ramach gwarancji): 0,02% wynagrodzenia brutto za każdą godzinę roboczą zwłoki (terminy w godzinach roboczych)
- Kary umowne (opóźnienia w ramach gwarancji): 0,05% maksymalnej kwoty wynagrodzenia brutto za każdy dzień roboczy zwłoki (terminy w dniach roboczych)
- Wzmianka o karach umownych i innych sankcjach zawarta jest w projekcie umowy (Załącznik nr 4 do SWZ) — szczegóły w Załączniku
Pytania i odpowiedzi
42Wyodrębnione z wyjaśnień treści SWZ.
1(Brak pytań - dokument informuje o wpłynięciu odwołania i załączeniu kopii odwołania)
(Brak odpowiedzi w dokumencie; dokument informuje, że wpłynęło odwołanie wniesione przez Wykonawcę Asseco Data Systems S.A. oraz wzywa Wykonawców do przystąpienia do postępowania odwoławczego; integralnym załącznikiem jest kopia odwołania.)
1Zakres świadczenia i kryteria odbioru. Pkt 6.9 OPZ wskazuje roczny wolumen wygenerowania 70 000 nowych pytań oraz wolumen przetwarzania danych przez moduł wyszukiwania duplikatów na poziomie do 22 000, natomiast Załącznik nr 1 do OPZ wskazuje około 66 000 pytań archiwalnych. Prosimy o: (1) zdefiniowanie jednostki i sposobu liczenia limitu 22 000 oraz limitu 70 000 pytań; (2) wskazanie, czy początkowy import i jednorazowa analiza zbioru archiwalnego, w tym około 66 000 pytań archiwalnych są wliczane do limitu 22 000; (3) wskazanie początku rocznego okresu rozliczeniowego dla limitu 70 000 pytań; oraz (4) potwierdzenie, że świadczenie ponad jednoznacznie wskazane limity wolumenowe nie jest objęte ceną oferty, będzie wymagało odrębnego uzgodnienia zakresu, wpływu na koszty oraz podstawy zmiany zakresu i wynagrodzenia. Podstawa: art. 99 ust. 1 oraz art. 16 pkt 2 i 3 Pzp.
Zamawiający wyjaśnia strukturę wolumenów oraz zasady działania modułu wyszukiwania duplikatów w następujący sposób: Ad (1) Jednostka i sposób liczenia limitów: Wolumen 70 000 pytań to roczny limit nowo generowanych lub wprowadzanych pytań w systemie bieżącym. Liczony jest jako suma operacji utworzenia nowego pytania w bazie danych w danym roku rozliczeniowym. Wolumen 22 000 pytań odnosi się wyłącznie do liczby operacji wyszukiwania duplikatów realizowanych na bieżąco dla nowo wpływających zapytań (po zakończeniu etapu zasilenia początkowego). Ad (2) Import bazy archiwalnej a limity: Nie. Początkowy import oraz jednorazowa analiza zbioru około 66 000 pytań archiwalnych nie są wliczane do limitu 22 000 pytań. Zasada działania: Podczas początkowego importu bazy archiwalnej (w okresie zasilenia systemu), cały zbiór 66 000 pytań powinien zostać jednorazowo sprawdzony pod kątem występowania duplikatów wewnątrz tego zbioru. Rozdzielenie procesów: Wskazany limit 22 000 operacji dotyczy wyłącznie sprawdzania duplikatów dla nowych pytań, które będą sukcesywnie importowane i przetwarzane już po pełnym wczytaniu i zweryfikowaniu bazy archiwalnej. Ad (3) Początek okresu rozliczeniowego: Roczny okres rozliczeniowy dla limitu 70 000 pytań (oraz powiązanego limitu 22 000 zapytań modułu duplikatów) rozpoczyna się od dnia podpisania protokołu odbioru końcowego części podstawowej. Ad (4) Przekroczenie limitów wolumenowych: Zamawiający potwierdza, że świadczenie usług i przetwarzanie wolumenów ponad jednoznacznie wskazane limity (tj. ponad 70 000 nowych pytań oraz ponad 22 000 operacji wyszukiwania duplikatów w skali roku) nie jest objęte ceną oferty. Przekroczenie tych wartości będzie wymagało odrębnego uzgodnienia przez Strony zakresu technicznego, wpływu na koszty infrastrukturalne/licencyjne oraz zawarcia dodatkowej umowy.
2W związku z tym, że OPZ zawiera wybrane wymagania wydajnościowe, a jednocześnie pkt 6.7 ppkt 12 OPZ przewiduje ich dalsze doprecyzowanie w DAB, prosimy o jednoznaczne wskazanie, które parametry wydajnościowe i eksploatacyjne mają charakter wiążący na etapie składania ofert, a które będą jedynie doprecyzowywane w DAB. Prosimy również o potwierdzenie, że DAB nie może wprowadzić dodatkowych lub bardziej rygorystycznych parametrów cenotwórczych niż wynikające z SWZ, OPZ i załączników do OPZ. Podstawa: art. 99 ust. 1 oraz art. 16 pkt 2 i 3 Pzp.
Zamawiający wyjaśnia i potwierdza co następuje: Na etapie składania ofert jedynymi wiążącymi wykonawców wymaganiami w tym zakresie są parametry o charakterze jakościowym, technologicznym oraz funkcjonalnym, wprost opisane w pkt 6.7 OPZ oraz załączniku nr 4 do OPZ (wymagania pozafunkcjonalne). Zakres doprecyzowania w Dokumentacji Architektury Biznesowej (DAB): Zgodnie z pkt 6.7 ppkt 12 oraz ppkt 15 OPZ, na etapie tworzenia DAB parametry te zostaną jedynie doprecyzowane technicznie i operacyjnie w celu ich przełożenia na konkretną architekturę systemową. Potwierdzenie nienaruszalności warunków cenotwórczych: Zamawiający potwierdza, że Dokumentacja Architektury Biznesowej (DAB) ani żadne inne uzgodnienia analityczno-projektowe nie mogą wprowadzać dodatkowych, nowych lub bardziej rygorystycznych parametrów wydajnościowych i eksploatacyjnych, które generowałyby dodatkowe koszty po stronie Wykonawcy lub wykraczały poza ramy opisane w SWZ, OPZ oraz załącznikach. Wszelkie uszczegółowienia w DAB muszą mieścić się w granicach wymagań określonych w dokumentacji zamówienia i być neutralne dla wyceny ryczałtowej Wykonawcy, o ile wolumeny danych i użytkowników nie przekroczą limitów wskazanych przez Zamawiającego w OPZ.
3Pkt 7.6.2 ppkt 3 OPZ przewiduje testy jakości pytań generowanych przez moduł AI pod kątem zgodności ze standardami CEM, nie określając mierzalnego progu odbiorowego. Prosimy o wskazanie wielkości próby testowej, kryteriów oceny minimalnego progu akceptacji, maksymalnej liczby retestów oraz maksymalnego terminu przekazania wyników testów przez Zamawiającego. Prosimy także o udostępnienie albo opisanie standardów CEM, według których mają być oceniane pytania generowane przez moduł AI w zakresie niezbędnym do przygotowania oferty i oceny ryzyka odbiorowego. Prosimy także o potwierdzenie, że odmowa odbioru może nastąpić wyłącznie na podstawie kryteriów określonych w dokumentach zamówienia przed upływem terminu składania ofert. Podstawa: art. 99 ust. 1, art. 431 oraz art. 433 pkt 3 Pzp.
Zamawiający wyjaśnia procedurę oceny jakości pytań generowanych przez moduł AI oraz zasady odbioru w następujący sposób: Mierzalnym i wiążącym progiem odbiorowym jest uzyskanie pozytywnej opinii i akceptacji merytorycznej ze strony uprawnionych ekspertów Centrum Egzaminów Medycznych (CEM). Ocena jakości generowanych pytań będzie opierać się na standardowych, oficjalnych wytycznych CEM dotyczących konstrukcji zadań egzaminacyjnych (weryfikacja poprawności merytorycznej – pod względem zgodności z wiedzą medyczną, logicznej, językowej oraz struktury wariantów odpowiedzi). Mierzalny próg akceptacji i kryteria oceny: • Na etapie budowy części podstawowej systemu: Wstępnej oceny jakościowej wygenerowanych pytań dokonywać będzie wyznaczony pracownik CEM (korektor testów). • Na etapie końcowym/produkcyjnym: Ostateczną jakość oceniać będą osoby bezpośrednio odpowiedzialne za konstruowanie państwowych egzaminów testowych (tzw. konstruktorzy testu / Konsultanci krajowi w danych dziedzinach medycyny). Wielkość próby, terminy i retesty: • Wielkość próby testowej: Testy zostaną przeprowadzone na losowej próbie wygenerowanych pytań (szczegółowa wielkość próby zostanie określona w DAB, standardowo nie przekraczając 100-200 pytań dla danej dziedziny, maksymalnie w 10 dziedzinach wybranych przez Zamawiającego). • Termin wykonania testów: Proces testowy i przekazanie wyników przez Zamawiającego będą zbieżne z harmonogramem odbioru części podstawowej systemu, tak aby nie powodować opóźnień w realizacji kolejnych etapów projektu. • Liczba retestów: W przypadku zidentyfikowania błędów w algorytmach generowania, Wykonawcy przysługują maksymalnie 3 rundy retestów po wprowadzeniu poprawek (chyba że ogólne warunki umowy stanowią inaczej). Udostępnienie standardów CEM: Standardy tworzenia pytań egzaminacyjnych CEM opierają się na ogólnodostępnych zasadach dydaktyki medycznej oraz tworzenia pytań typu MCQ (Multiple Choice Questions). Przed startem fazy analityczno-projektowej Zamawiający przekaże Wykonawcy wewnętrzne arkusze wytycznych dla autorów pytań i ich recenzentów, w celu odpowiedniego sparametryzowania modułu AI. Potwierdzenie zasad odmowy odbioru: Zamawiający potwierdza, że odmowa odbioru tego elementu zamówienia może nastąpić wyłącznie w przypadku, gdy wygenerowane przez moduł AI pytania będą rażąco naruszały standardy konstrukcji pytań testowych (np. błędy merytoryczne, nielogiczne warianty odpowiedzi, nieprawidłowa struktura), tj. błędy, które uniemożliwią ich dalszą ręczną korektę przez Konsultanta krajowego lub pracowników CEM, lub gdy moduł nie będzie spełniał wymagań technicznych opisanych w OPZ.
4Terminy, odbiory i prawo opcji. Pkt 5.1 OPZ posługuje się datą 14 listopada 2026 r. oraz datą odbioru części podstawowej 8 grudnia 2026 r., natomiast SWZ i § 2 ust. 2 wzoru umowy wskazują termin realizacji zamówienia podstawowego do dnia 8 grudnia 2026 r. Prosimy o jednoznaczne wskazanie zakresu świadczenia przypisanego do każdej z tych dat, charakteru prawnego terminu 14 listopada 2026 r. oraz skutków jego niedotrzymania. Prosimy o wyjaśnienie w jaki sposób Zamawiający zamierza egzekwować zachowanie ww. terminu przy założeniu, że termin związania ofertą upływa w dniu 15.11.20206r., a zatem składając ofertę Wykonawca musi liczyć się z możliwością zawarcia Umowy w ostatnim dniu związania ofertą. Pozostawienie przedmiotowych postanowień może doprowadzić do nieważności Umowy na podstawie art. 387 § 1 kc, zgodnie z którym Umowa o świadczenie niemożliwe jest nieważna. Prosimy również o wskazanie, do którego z ww. terminów odnoszą się poszczególne kary umowne przewidziane w § 11 wzoru umowy, w szczególności kara, o której mowa w § 11 ust. 1. Prosimy także o potwierdzenie, że kara z § 11 ust. 1 wzoru umowy jest naliczana wyłącznie względem terminu 8 grudnia 2026 r., o ile dokumentacja nie zostanie w tym zakresie jednoznacznie zmieniona.
Zamawiający rezygnuje z wymogu uruchomienia produkcyjnego i oddania do używania części podstawowej do dnia 14.11.2026 r. Treść wymogu zawartego w pkt 5.1 OPZ, otrzymuje brzmienie: „Część podstawowa zostaje uruchomiona produkcyjnie i oddana do używania. Odbiór nastąpi nie później niż do dnia 14 listopada 2026 r., odbiór części podstawowej - nie później niż do dnia 8 grudnia 2026 r.”
Historia zmian
07.08.2026 — sprostowanie (5.1.12 Warunki udzielenia zamówienia Termin składania ofert; Data otwarcia)
13.08.2026 — sprostowanie (5.1.12 Warunki udzielenia zamówienia Termin składania ofert; Data otwarcia)
20.08.2026 — sprostowanie (5.1.1. Przeznaczenie - Opcje; 5.1.12 Warunki udzielenia zamówienia Termin składania ofert; Data otwarcia)
03.09.2026 — sprostowanie (5.1.12 Warunki udzielenia zamówienia Termin składania ofert; Data otwarcia)
11.09.2026 — upływ terminu składania ofert
11.09.2026 — modyfikacja dokumentacji (8 modyfikacji dokumentacji)
29.09.2026 — rozstrzygnięcie