Zaprojektowanie i wdrożenie aplikacji pozyskiwania pytań testowych – Łódź

Zamawiający wyjaśnia strukturę wolumenów oraz zasady działania modułu wyszukiwania duplikatów w następujący sposób: Ad (1) Jednostka i sposób liczenia limitów: Wolumen 70 000 pytań to roczny limit nowo generowanych lub wprowadzanych pytań w systemie bieżącym. Liczony jest jako suma operacji utworzenia nowego pytania w bazie danych w danym roku rozliczeniowym. Wolumen 22 000 pytań odnosi się wyłącznie do liczby operacji wyszukiwania duplikatów realizowanych na bieżąco dla nowo wpływających zapytań (po zakończeniu etapu zasilenia początkowego). Ad (2) Import bazy archiwalnej a limity: Nie. Początkowy import oraz jednorazowa analiza zbioru około 66 000 pytań archiwalnych nie są wliczane do limitu 22 000 pytań. Zasada działania: Podczas początkowego importu bazy archiwalnej (w okresie zasilenia systemu), cały zbiór 66 000 pytań powinien zostać jednorazowo sprawdzony pod kątem występowania duplikatów wewnątrz tego zbioru. Rozdzielenie procesów: Wskazany limit 22 000 operacji dotyczy wyłącznie sprawdzania duplikatów dla nowych pytań, które będą sukcesywnie importowane i przetwarzane już po pełnym wczytaniu i zweryfikowaniu bazy archiwalnej. Ad (3) Początek okresu rozliczeniowego: Roczny okres rozliczeniowy dla limitu 70 000 pytań (oraz powiązanego limitu 22 000 zapytań modułu duplikatów) rozpoczyna się od dnia podpisania protokołu odbioru końcowego części podstawowej. Ad (4) Przekroczenie limitów wolumenowych: Zamawiający potwierdza, że świadczenie usług i przetwarzanie wolumenów ponad jednoznacznie wskazane limity (tj. ponad 70 000 nowych pytań oraz ponad 22 000 operacji wyszukiwania duplikatów w skali roku) nie jest objęte ceną oferty. Przekroczenie tych wartości będzie wymagało odrębnego uzgodnienia przez Strony zakresu technicznego, wpływu na koszty infrastrukturalne/licencyjne oraz zawarcia dodatkowej umowy.

Zamawiający wyjaśnia i potwierdza co następuje: Na etapie składania ofert jedynymi wiążącymi wykonawców wymaganiami w tym zakresie są parametry o charakterze jakościowym, technologicznym oraz funkcjonalnym, wprost opisane w pkt 6.7 OPZ oraz załączniku nr 4 do OPZ (wymagania pozafunkcjonalne). Zakres doprecyzowania w Dokumentacji Architektury Biznesowej (DAB): Zgodnie z pkt 6.7 ppkt 12 oraz ppkt 15 OPZ, na etapie tworzenia DAB parametry te zostaną jedynie doprecyzowane technicznie i operacyjnie w celu ich przełożenia na konkretną architekturę systemową. Potwierdzenie nienaruszalności warunków cenotwórczych: Zamawiający potwierdza, że Dokumentacja Architektury Biznesowej (DAB) ani żadne inne uzgodnienia analityczno-projektowe nie mogą wprowadzać dodatkowych, nowych lub bardziej rygorystycznych parametrów wydajnościowych i eksploatacyjnych, które generowałyby dodatkowe koszty po stronie Wykonawcy lub wykraczały poza ramy opisane w SWZ, OPZ oraz załącznikach. Wszelkie uszczegółowienia w DAB muszą mieścić się w granicach wymagań określonych w dokumentacji zamówienia i być neutralne dla wyceny ryczałtowej Wykonawcy, o ile wolumeny danych i użytkowników nie przekroczą limitów wskazanych przez Zamawiającego w OPZ.

Zamawiający wyjaśnia procedurę oceny jakości pytań generowanych przez moduł AI oraz zasady odbioru w następujący sposób: Mierzalnym i wiążącym progiem odbiorowym jest uzyskanie pozytywnej opinii i akceptacji merytorycznej ze strony uprawnionych ekspertów Centrum Egzaminów Medycznych (CEM). Ocena jakości generowanych pytań będzie opierać się na standardowych, oficjalnych wytycznych CEM dotyczących konstrukcji zadań egzaminacyjnych (weryfikacja poprawności merytorycznej – pod względem zgodności z wiedzą medyczną, logicznej, językowej oraz struktury wariantów odpowiedzi). Mierzalny próg akceptacji i kryteria oceny: • Na etapie budowy części podstawowej systemu: Wstępnej oceny jakościowej wygenerowanych pytań dokonywać będzie wyznaczony pracownik CEM (korektor testów). • Na etapie końcowym/produkcyjnym: Ostateczną jakość oceniać będą osoby bezpośrednio odpowiedzialne za konstruowanie państwowych egzaminów testowych (tzw. konstruktorzy testu / Konsultanci krajowi w danych dziedzinach medycyny). Wielkość próby, terminy i retesty: • Wielkość próby testowej: Testy zostaną przeprowadzone na losowej próbie wygenerowanych pytań (szczegółowa wielkość próby zostanie określona w DAB, standardowo nie przekraczając 100-200 pytań dla danej dziedziny, maksymalnie w 10 dziedzinach wybranych przez Zamawiającego). • Termin wykonania testów: Proces testowy i przekazanie wyników przez Zamawiającego będą zbieżne z harmonogramem odbioru części podstawowej systemu, tak aby nie powodować opóźnień w realizacji kolejnych etapów projektu. • Liczba retestów: W przypadku zidentyfikowania błędów w algorytmach generowania, Wykonawcy przysługują maksymalnie 3 rundy retestów po wprowadzeniu poprawek (chyba że ogólne warunki umowy stanowią inaczej). Udostępnienie standardów CEM: Standardy tworzenia pytań egzaminacyjnych CEM opierają się na ogólnodostępnych zasadach dydaktyki medycznej oraz tworzenia pytań typu MCQ (Multiple Choice Questions). Przed startem fazy analityczno-projektowej Zamawiający przekaże Wykonawcy wewnętrzne arkusze wytycznych dla autorów pytań i ich recenzentów, w celu odpowiedniego sparametryzowania modułu AI. Potwierdzenie zasad odmowy odbioru: Zamawiający potwierdza, że odmowa odbioru tego elementu zamówienia może nastąpić wyłącznie w przypadku, gdy wygenerowane przez moduł AI pytania będą rażąco naruszały standardy konstrukcji pytań testowych (np. błędy merytoryczne, nielogiczne warianty odpowiedzi, nieprawidłowa struktura), tj. błędy, które uniemożliwią ich dalszą ręczną korektę przez Konsultanta krajowego lub pracowników CEM, lub gdy moduł nie będzie spełniał wymagań technicznych opisanych w OPZ.

Zamawiający rezygnuje z wymogu uruchomienia produkcyjnego i oddania do używania części podstawowej do dnia 14.11.2026 r. Treść wymogu zawartego w pkt 5.1 OPZ, otrzymuje brzmienie: „Część podstawowa zostaje uruchomiona produkcyjnie i oddana do używania. Odbiór nastąpi nie później niż do dnia 14 listopada 2026 r., odbiór części podstawowej - nie później niż do dnia 8 grudnia 2026 r.”