rodzaj: WYROK
data dokumentu: 2012-12-03
rok: 2012
data dokumentu: 2012-12-03
rok: 2012
Powiązane tematy:
sygnatury akt.:
KIO 2547/12
KIO 2547/12
po rozpoznaniu na rozprawie w dniu 3 grudnia 2012 r. w Warszawie odwołania wniesionego
do Prezesa Krajowej Izby Odwoławczej w dniu 19 listopada 2012 r. przez wykonawcę
COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777 Sopot w postępowaniu
prowadzonym przez
Polską Agencję Rozwoju Przedsiębiorczości, ul. Pańska 81/83, 00-
834 Warszawa,
przy udziale wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut
Edukacji Interaktywnej Estakada.pl Sp. z o.o., Betacom S.A., ul. Grzybowskiej 80/82,
00-844 Warszawa zgłaszających swoje przystąpienie do postępowania odwoławczego po
stronie zamawiającego.
do Prezesa Krajowej Izby Odwoławczej w dniu 19 listopada 2012 r. przez wykonawcę
COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777 Sopot w postępowaniu
prowadzonym przez
Polską Agencję Rozwoju Przedsiębiorczości, ul. Pańska 81/83, 00-
834 Warszawa,
przy udziale wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut
Edukacji Interaktywnej Estakada.pl Sp. z o.o., Betacom S.A., ul. Grzybowskiej 80/82,
00-844 Warszawa zgłaszających swoje przystąpienie do postępowania odwoławczego po
stronie zamawiającego.
orzeka:
1. oddala odwołanie;
2. kosztami postępowania obciąża COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777
Sopot i zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr
(słownie: piętnaście tysięcy złotych zero groszy) uiszczoną przez COMBIDATA Poland Sp.
z o.o., ul. E. Plater 12, 81-777 Sopot tytułem wpisu od odwołania.
Stosownie do art. 198a i 198b ustawy z dnia 29 stycznia 2004 r. - Prawo zamówień
publicznych (t.j. Dz. U. z 2010 r. 113, poz. 759 ze zm.) na niniejszy wyrok - w terminie 7 dni
od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby
Odwoławczej do Sądu Okręgowego w Warszawie.
Przewodniczący: ……………..
Sygn. akt KIO 2547/12
Uzasadnienie
Polska Agencja Rozwoju Przedsiębiorczości ul. Pańska 81/83, 00-834 Warszawa
(dalej „Zamawiający”) prowadzi w trybie dialogu konkurencyjnego postępowanie o udzielenie
zamówienia publicznego na podstawie ustawy z dnia 29 stycznia 2004 r. Prawo zamówień
publicznych (t.j. Dz.U. z 2010 r., Nr 113, poz. 759, z późn. zm.) (dalej „ustawa Pzp”) pn.
"Akademia PARP 2102". Wartość przedmiotowego zamówienia na usługi oszacowano na
kwotę większą niż wyrażona w złotych równowartość kwoty określonej w przepisach
wydanych na podstawie art. 11 ust. 8 ustawy Pzp. Ogłoszenie o zamówieniu zostało
opublikowane w Dzienniku Urzędowym Unii Europejskiej z 12 maja 2011 r. pod numerem
2011/S 91-149238
W dniu 19 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło
odwołanie wykonawcy COMBIDATA Poland sp. z o.o. ul. Emilii Plater 12, 81-777 Sopot
(dalej „Odwołujący”) wobec czynności Zamawiającego polegającej na dokonaniu oceny
oferty Odwołującego niezgodnie z opisanymi zasadami oceny w Specyfikacji Istotnych
Warunków Zamówienia (dalej "SIWZ") skutkującej wyborem jako najkorzystniejszej w
przedmiotowym postępowaniu oferty złożonej przez Wykonawców wspólnie ubiegających
się o udzielenie zamówienia, którymi są: Instytut Edukacji Interaktywnej estakada.pl sp. z
o.o. z siedzibą w Warszawie i Betacom S.A. z siedzibą w Warszawie.
Opisanym wyżej czynnościom Zamawiającego Odwołujący zarzucał naruszenie art.
91 ust. 1 ustawy Pzp poprzez błędną ocenę oferty Odwołującego.
Odwołujący wskazywał, że wiadomość o okolicznościach stanowiących podstawę
złożenia odwołania powziął dnia 12 listopada 2012 roku, to jest w dniu odebrania przesłanej
pocztą elektroniczną informacji o wyborze oferty najkorzystniejszej w przedmiotowym
postępowaniu. Niniejsze odwołanie złożone zostało w dniu 19 listopada 2012 roku.
Uwzględniając powyższe, termin na wniesienie niniejszego odwołania został dochowany.
Odwołujący podnosił, iż ma interes w uzyskaniu zamówienia, albowiem zaskarżona
czynność Zamawiającego poprzez zaniżoną ocenę oferty Odwołującego uniemożliwia
Odwołującemu uzyskanie tego zamówienia. Gdyby Zamawiający nie naruszył przepisów
ustawy Pzp, oferta Odwołującego powinna być wybrana przez Zamawiającego jako oferta
najkorzystniejsza, co oznacza, iż Odwołujący w wyniku naruszenia przez Zamawiającego
przepisów ustawy Pzp może ponieść szkodę.
Mając na uwadze powyższe, Odwołujący wnosił o:
1)
unieważnienie czynności wyboru za najkorzystniejszą oferty złożonej przez
Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są:
Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i
Betacom S.A. z siedzibą w Warszawie;
2)
powtórzenie czynności badania i oceny ofert;
3)
powtórzenie czynności wyboru oferty najkorzystniejszej.
Odwołujący wskazywał, że Zamawiający, prowadząc przedmiotowe postępowanie o
udzielenie zamówienia publicznego „Akademia PARP 2012”, dokonał wyboru oferty
najkorzystniejszej i w myśl dyspozycji art. 92 ust. 1 ustawy Pzp przekazał m.in. wyniki oceny
ofert, które pokazały, iż oferta nr 1 (złożona przez Odwołującego uzyskała 20 punktów w
kryterium „cena”, 43,97 punktu w kryterium „L1” (ocena materiału źródłowego oraz lekcji
demo nr 1) oraz 20,74 punktu w kryterium „L2” (ocena lekcji demo nr 2 - tzw.
zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności), co łącznie daje
84,71 punktu, natomiast uznana za najkorzystniejszą oferta nr 5, złożona przez
Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są: Instytut
Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i Betacom S.A. z
siedzibą w Warszawie, uzyskała 12,50 punktu w kryterium "cena”, 49,67 punktu w kryterium
„L1” oraz 30 punktów w kryterium „L2”, co łącznie daje 92,17 punktu.
W wyniku analizy kart ocen ofert udostępnionych przez Zamawiającego jako fragment
protokołu postępowania o udzielenie zamówienia publicznego Odwołujący ustalił, iż
Zamawiający błędnie ocenił jego ofertę. Błędna ocena dotyczy dwóch punków kryterium
oceny: 4 i 5 w części „L1” podkryterium a). śadna z osób oceniających ofertę Odwołującego
wyniku dokonywania „oceny LI” nie przyznała punktów w podkryterium a) w punktach 4 (czy
prawidłowo zoperacjonalizowano cele - max. 4 punkty) i 5 (czy cele zostały prawidłowo
sformułowane - max. 3 punkty).
Nieprzyznanie punktów oceniający uzasadnili następująco.
Oceniający AS: „Cele poszczególnych zagadnień nie zostały określone - 0 pkt. tym samym
nie są logicznie powiązane - 0 pkt, czy cele zagadnień nie powielają się? - brak celów 0 pkt.
Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom
zawartym w lekcji (w ekranach, ćwiczeniach)? - brak celów 0 pkt. Cele operacyjne nie
zostały sformułowane - 0 pkt, Czy nie są zbyt ogólne ani zbyt szczegółowe? - 0 pkt - brak
celów, Czy są sformułowane w sposób motywujący uczestnika do nauki? - 0 pkt - brak
celów. ”.
Oceniający RM: „Cele poszczególnych zagadnień nie zostały określone. - przyznano
0punktów za pytanie „ Czy prawidłowo zoperacjonalizowano cele? ”. Cele operacyjne nie
zostały sformułowane - przyznano 0 punktów za prawidłowość sformułowania celów. ”
Oceniający ST: „Cele operacyjne nie zostały sformułowane- przyznano 0 punktów za
prawidłowość sformułowania celów. Cele operacyjne nie zostały sformułowane w sposób
motywujący uczestnika do nauki - przyznano 0 punktów. Cele nie zostały określone, więc nie
można ocenić czy nie są zbyt ogólne, ani zbyt szczegółowe - przyznano 0 punktów”.
Z powyżej cytowanych uzasadnień oceniających wynikać miałoby, iż Odwołujący w
swojej ofercie w ogóle nie wskazał celów. Tymczasem na stronie 19 oferty Odwołującego w
punkcie 5.1 przedstawiono cele lekcji, na stronie 20, w punkcie 5.4 przedstawiono informacje
dotyczące prawidłowego zoperacjonalizowania celów, a na stronie 21, w punkcie 5.5
przedstawiono informacje dotyczące prawidłowego sformułowania celów. I dalej, na stronie
25 przedstawiającej ekran 2 scenariusza lekcji potwierdzono przedstawienie celów lekcji w
tekście przekazywanym przez awatarkę/reporterkę.
W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4 podkryterium a)
kryterium oceny ofert „Koncepcja realizacji usługi”, oraz odpowiedzi na 3 pytania kontrolne
punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować przyznaniem
ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów wyższej.
Odwołujący kwestionował także liczbę punków przyznanych za nowatorstwo i
interaktywności lekcji Akademii PARP.
Liczba zaproponowanych i opisanych nowych multimediów i interaktywności,
niewystępujących w innych lekcjach Akademii PARP, przez każdą z osób oceniających
oferty z przedstawionych przez Odwołującego 51 propozycji funkcjonalności i
interaktywności zakwalifikowała 47 nowości, ponieważ funkcjonalności nr 11 oraz nr 12
zostały uznane jako nowość, jednak jednocześnie potraktowano je jako pojedynczą
funkcjonalność, a funkcjonalności o numerach 15, 17 oraz 20 nie zostały uznane jako
nowości, ponieważ występują w lekcjach Akademii PARP.
Tymczasem funkcjonalność nr 11 sterowana przyciskiem SCHOWAJ MENU
umożliwia ukrycie dolnej belki nawigacyjnej z dodatkowymi opcjami, a funkcjonalność nr 12
sterowana przyciskiem POKAś MENU umożliwia ponowne odkrycie dolnej belki
nawigacyjnej z dodatkowymi opcjami. Wszystkie ekrany materiałów demonstracyjnych
posiadają funkcjonalność umożliwiającą ukrywanie przycisków funkcyjnych znajdujących się
na belce nawigacyjnej. W każdej z próbek pasek ten jest domyślnie włączony. Użytkownik
ma możliwość ukrywania i odkrywania belki modyfikując tym samym wygląd ekranu. W
związku z tym należy przyjąć, że są to dwie odrębne interakcje.
Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na
ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik
może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii
PARP nie posiadają przycisku SPRÓBUJ PONOWNIE. W teście Akademii PARP dostępny
jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej
działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści)
odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści
odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności,
które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane
są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE
w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność
poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę
dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu
nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk
SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby
nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w
inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest
elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu
SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie
Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną
przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii
PARP.
Funkcjonalność 17 natomiast to przycisk SPRAWDŹ, który znajduje się na ekranach
z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał
dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz testu w produktach Akademii PARP
nie posiadają przycisku SPRAWDŹ. W teście Akademii PARP użytkownik, po zatwierdzeniu
udzielonej odpowiedzi przechodzi do następnego pytania i nie ma możliwości sprawdzenia,
czy udzielona przez niego odpowiedź do obecnie wyświetlonego pytania jest prawidłowa. W
testach Odwołującego użytkownik przed przejściem do kolejnego pytania może jednocześnie
zatwierdzić i sprawdzić czy udzielił poprawnej czy niepoprawnej odpowiedzi na dane pytanie
przyciskiem SPRAWDŹ, co jest absolutną nowością funkcjonalną testów w stosunku do
produktu Akademia PARP. Użytkownik w trakcie korzystania z testu może na bieżąco
monitorować swoje wyniki, co jest niemożliwe w przypadku testu w Akademii PARP. Sposób
działania przycisku ZATWIERDŹ w testach Akademii PARP jest nadmiarowy - z punktu
widzenia użytkownika przycisk ten, nic nie wnosi, zmuszając do zwiększenia ilości kliknięć w
celu przejścia do kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być
przejście do kolejnego ekranu za pomocą przycisku DALEJ. Tak jak w przypadku testów
Odwołującego, gdzie przycisk DALEJ ma funkcjonalność zatwierdzania pytania i przejścia do
kolejnego bez jego sprawdzania, co można w tej sytuacji uznać jako nową, niewspomnianą
wcześniej funkcjonalność, ale istniejącą w próbce przesłanej Zamawiającemu.
W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku
ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach
Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za
zadanie uchronienie użytkownika przed uzyskaniem statusu „failed” w lekcji. W szkoleniach
Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest
ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze
standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności,
ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed”, pomimo
że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu
produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych
sytuacjach (w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni. W
świetle powyższego oceny przyznane ofercie Odwołującego przez każdego z oceniających
powinny być o cztery punkty wyższe.
Reasumując po zastosowaniu kryteriów oceny ofert zapisanych w SIWZ przez
Zamawiającego oferta Odwołującego powinna uzyskać ocenę w wysokości 92,50 punktu, a
oferta uznana przez Zamawiającego za najkorzystniejszą - ocenę w wysokości 91,56 punktu.
Nadmienić należy, iż gdyby oferta Odwołującego wybrana została najkorzystniejszą w
przedmiotowym postępowaniu, to rozstrzygnięcie takie skutkowałoby oszczędnościami
środków publicznych po stronie zamawiającego w wysokości przekraczającej 7 milionów
złotych.
Skoro zatem Zamawiający ocenił oferty sprzecznie z określonymi w SIWZ kryteriami,
a więc dopuścił się złamania art. 91 ust. 1 ustawy Pzp.
W świetle powyższego Odwołujący wnosił jak w petitum.
Kopia odwołania została przekazana Zamawiającemu 19 listopada 2012 r.
W dniu 19 listopada 2012 r. Zamawiający wezwał do wzięcia udziału w postępowaniu
odwoławczym i przekazał kopię odwołania.
W dniu 22 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło
zgłoszenie przystąpienia do postępowania odwoławczego po stronie Zamawiającego
wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut Edukacji
Interaktywnej estakada.pl sp. z o.o. z siedzibą przy ul. Grzybowskiej 80/82, 00-844
Warszawa oraz Betacom S.A. z siedzibą przy ul. Połczyńskiej 31A, 01-377 Warszawa (dalej
także jako "Przystępujący").
Przystępujący wskazywał, że podmioty, których oferta została uznana za
najkorzystniejszą w niniejszym postępowaniu o udzielenie zamówienia publicznego
posiadają interes w uzyskaniu rozstrzygnięcia na korzyść Zamawiającego. W uzasadnieniu
Przystępujący wskazywał, że pismem z dnia 9 listopada 2012 Wykonawcy biorący udział w
przedmiotowym postępowaniu o udzielenie zamówienia publicznego prowadzonego w trybie
dialogu konkurencyjnego zostali poinformowani przez Zamawiającego o wyborze
najkorzystniejszej oferty. Oferta Przystępującego uzyskała największą liczbę punktów w
kryteriach oceny ofert (92,17) i została uznana za najlepszą ofertę. Oferta Odwołującego
uzyskała 84,71 punktu. Odwołujący zarzuca Zamawiającemu błędną ocenę oferty
Odwołującego i wnosi o unieważnienie czynności wyboru oferty Przystępującego,
powtórzenie czynności badania i oceny ofert oraz czynności wyboru oferty najkorzystniejszej.
Przystępujący wskazywał, że w niniejszej sprawie zgodzić się należy z
Zamawiającym. Odnośnie zarzutów odwołania Przystępujący podnosił, co następuje.
Liczba punktów w kryterium: Koncepcja realizacji usługi - punktacja materiału źródłowego i
lekcji demonstracyjnej nr 1 (ocena L1)
W uzasadnieniu odwołania Odwołujący stwierdza, że ocena lekcji demonstracyjnej nr 1
dokonana przez Zamawiającego w oparciu o punkty 4 i 5 oceny L1 jest błędna.
Odwołujący uzasadnia, iż Zamawiający miał możliwość dokonania oceny według punktów 4 i
5:... na stronie 19 oferty Odwołującego w punkcie 5.1 przedstawiono cele lekcji, na stronie
20, w punkcie 5.4 przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania
celów, a na stronie 21, w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego
sformułowania celów. I dalej, na stronie 25 przedstawiającej ekran 2 scenariusza lekcji
potwierdzono
przedstawienie
celów
lekcji
w
tekście
przekazywanym
przez
awatarkę/reporterkę. W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4
podkryterium a) kryterium oceny ofert „Koncepcja realizacji usługi", oraz odpowiedzi na 3
pytania kontrolne punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować
przyznaniem ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów
wyższej.
Przystępujący zauważał, że jednak ani cele przedstawione na stronie 19 (i 25) oferty
Odwołującego, ani informacje ze strony 20 i 21, nie dawały możliwości oceny wg punktów 4
i 5.
W punkcie 4 Zamawiający napisał, iż ocenie podlegają cele operacyjne zagadnień, a
nie cele lekcji.
Punkt 4. Czy prawidłowo zoperacjonalizowano cele:
-
czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
-
czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
-
czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)
-
czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (w ekranach, ćwiczeniach)
Odwołujący nie przedstawił w żadnym fragmencie swojej oferty (ani w materiale
źródłowym, ani w żadnym z opisów, ani w samej lekcji, w tym w celach przekazywanych
przez awatarkę/reporterkę) celów operacyjnych do zagadnień. Dlatego Zamawiający nie
miał możliwości dokonania ich oceny.
Punkt 5. Czy cele zostały prawidłowo sformułowane.
W tym punkcie, po ocenie prawidłowości celów zagadnień operacyjnych, Zamawiający
oceniał sposób sformułowania tych celów.
Podobnie jak w przypadku punktu 4, Zamawiający nie mógł ocenić, czy cele
operacyjne zagadnień zostały sformułowane prawidłowo, gdyż cele operacyjne do
zagadnień nie zostały przedstawione. Sam Odwołujący przyznaje w cytowanym wyżej
uzasadnieniu odwołania, iż jedynymi celami, jakie zostały przedstawione w ofercie, były cele
lekcji (przedstawione na str. 19 oraz w scenariuszu na str. 25). Cele nie zostały poddane
operacjonalizacji na poziomie zagadnień, co uniemożliwiło dokonanie oceny punktów nr 4 i
5. Cele lekcji były oceniane przez Zamawiającego w Punkcie nr 1. Czy prawidłowo
zostały określone cele lekcji. Zamawiający przyznał Odwołującemu w tym punkcie
maksymalną liczbę punktów (czyli 2 punkty).
Analiza zawartości oferty Odwołującego w odniesieniu do punktów 4 i 5
Zamawiający nie mógł dokonać oceny według punktów 4 i 5, gdyż w materiale
źródłowym (ani w samej lekcji) nie zostały sformułowane i przedstawione cele
poszczególnych zagadnień.
Zagadnienia lekcji demonstracyjnej nr 1 Odwołującego określono w materiale
źródłowym w tabeli:
Tytuł ekranu
Prezentowane zagadnienia
Mentoring jako jeden ze sposobów Ekran
tytułowy.
zarządzania wiedzą w firmie
Cele lekcji
Ekran prezentujący cele lekcji.
Wprowadzenie
Zawiązanie fabuły i wskazanie sytuacji problemowej, na
podstawie której omawiane będą kolejne
zagadnienia poruszane w lekcji
Czym jest mentoring?
Ekran teoretyczny prezentujący definicję mentoringu.
Ćwiczenie 1. Mentoring
Ekran z interaktywnym ćwiczeniem polegającym na
uzupełnieniu
definicji
mentoringu.
Mądrość zawodowa
Ekran teoretyczny z kontynuacją fabuły.
Zaprezentowanie zagadnienia mentoringu jako
rozwiązania sytuacji problemowej wskazanej na ekranie
„Wprowadzenie".
Formy mentoringu
Ekran teoretyczny z interakcją prezentujący wybrane
formy
mentoringu.
Ćwiczenie2. Formy mentoringu
Ekran z interaktywnym ćwiczeniem polegającym na
przeanalizowaniu rysunków przedstawiających
poznane formy mentoringu i dopasowaniu do nich
odpowiednich opisów.
Kompetencje mentora
Ekran teoretyczny prezentujący kompetencje mentora.
Korzyści płynące z
Ekran teoretyczny prezentujący korzyści płynące z
wdrożenia mentoringu
wdrożenia mentoringu w firmie.
Ćwiczenie 3.
Ekran z interaktywnym ćwiczeniem polegającym
Kompetencje mentora
na przeanalizowaniu rysunków i dopasowaniu do
nich odpowiednich kompetencji mentora.
Podsumowanie lekcji
Interaktywny ekran z podsumowaniem wiadomości.
Jak wynika z opisu w tabeli, Odwołujący każdy ekran traktuje jako zagadnienie.
Jednak nigdzie nie zostały sprecyzowane cele do tych zagadnień. Podane są jedynie
ogólnikowe opisy, np. Ekran teoretyczny prezentujący definicję mentoringu. Takiego opisu
nie można traktować jako celu operacyjnego. Nie mając podanych celów do zagadnień,
Zamawiający nie mógł dokonać oceny według punktów 4 i 5.
W uzasadnieniu odwołania Odwołujący przytacza, iż w punkcie 5.4 materiału
źródłowego przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania celów,
a w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego sformułowania celów.
Przeanalizowanie tych zapisów wskazuje jedynie na to, że Odwołujący w ofercie
zadeklarował, jakoby cele były prawidłowo zoperacjonalizowane i sformułowane, ale nie
było możliwe zweryfikowanie tych deklaracji, gdyż cele zagadnień nie zostały przedstawione.
Poniżej odnosimy się do deklaracji dotyczących punktów 4 i 5.
Punkt 4.1 czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych
celów lekcji?
Odwołujący zadeklarował w materiale źródłowym:
Cele poszczególnych zagadnień wynikają z ogólnych celów lekcji, więc tym samym
przyczyniają się doich realizacji.
Jest to jednak deklaracja niemożliwa do weryfikacji, jako że w materiale przedstawiono
jedynie cele lekcji, nie ma natomiast nigdzie celów zagadnień.
Punkt 4.2 czy cele poszczególnych zagadnień są ze sobą logicznie powiązane
Odwołujący zadeklarował w materiale źródłowym:
Cele poszczególnych zagadnień są ze sobą logicznie powiązane.
W lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na
pytaniach:
po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka".
Jest to również deklaracja niemożliwa do zweryfikowania, jako że nigdzie w materiale
nie zaprezentowano celów poszczególnych zagadnień. Jedyne cele określone przez
Odwołującego to cele lekcji.
Warto zauważyć, że nawet cele lekcji nie zostały sformułowane w zadeklarowany sposób.
Nie wskazują odpowiedzi na pytania: po co, kiedy, co, kto, co z tego wynika. Również w
opisie zagadnień z cytowanej tabeli nigdzie nie znalazły się takie sformułowania. Nie
znajdujemy ich także w treściach
lekcji. Można też zadać pytanie, w jaki sposób te pytania mają świadczyć o prawidłowej
operacjonalizacji celu.
Dodatkowo Odwołujący przyznaje niniejszym, iż w formułowaniu celów nie posługiwał
się metodą operacjonalizacji celów, zgodnie z którą Zamawiający dokonywał oceny, a
własnym sposobem, nazywanym "metodą lejka".
Nie jest to metoda stosowana powszechnie w dydaktyce. Można domniemywać, że
pod hasłem metody lejka kryje się sposób zadawania pytań - od ogółu do szczegółu - tzw.
technika lejka. Polega ona na stopniowym formułowaniu pytań od ogólnych do
szczegółowych, aby uzyskać od rozmówcy (kupującego) oczekiwaną odpowiedź. Takie
techniki są stosowane np. w sprzedaży, czy asertywnej komunikacji, ale nie do formułowania
celów dydaktycznych. Co więcej, z analizy treści lekcji Odwołującego nie wynika, aby zostały
one przygotowane w oparciu o tę technikę.
Formułowanie celów operacyjnych jest poszukiwaniem odpowiedzi, jakie są
pożądane efekty kształcenia, co to znaczy, że ktoś osiągnął cel (np. potrafi coś wykonać).
Natomiast cele dydaktyczne nie są pytaniami. Aby formułować efektywne cele należy
zbudować je jako konkretny rezultat, wyrazić precyzyjnie i pojedynczo, bez łączenia kilku
spraw na raz. Nie chodzi tu o zadawanie pytań w sposób naprowadzający na właściwą
odpowiedź.
Punkt 4.3 czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)
Odwołujący zadeklarował w materiale źródłowym:
Cele zagadnień nie powielają się, ponieważ są w pełni realizowane i wyczerpywane na
ekranach oznaczonych w sylabusie jako teoretyczne. Poszczególne zagadnienia przekazują
różne informacje i uczą różnych umiejętności.
Nie można stwierdzić, czy cele zagadnień powielają się, jako że nie zostały nigdzie podane.
Warto też zauważyć, że jeśli jest tak, jak twierdzi Odwołujący, że cele lekcji są w
pełni realizowane i wyczerpywane w ekranach oznaczonych jako teoretyczne, oznacza to,
że pozostałe ekrany zostały umieszczone w lekcji bez żadnego celu. Nie mają zatem sensu
dydaktycznego, nie powinno się ich umieszczać w lekcji.
Punkt 4.4 czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia
dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach)
Odwołujący zadeklarował w materiale źródłowym:
Cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym
w lekcji. Każde z zagadnień jest przedstawione zgodnie z „regułą lejka" - od ogółu do
szczegółu. Zarówno sposób omawiania zagadnień, jak i ćwiczenia skłaniają do praktycznego
zastosowania nabytej wiedzy.
Jest to kolejne twierdzenie niemożliwe do zweryfikowania, jako że cele zagadnień nie
zostały nigdzie sformułowane. Nie można zatem stwierdzić, czy treści zawarte w
zagadnieniach pozwalają osiągnąć te cele.
Jednocześnie można nadmienić, że treści zagadnień nie zostały sformułowane
metodą od ogółu do szczegółu.
Punkt 5.1 czy cele operacyjne zostały sformułowane prawidłowo?
Odwołujący zadeklarował w materiale źródłowym: Cele operacyjne zostały sformułowane
prawidłowo. Cele sformułowane w lekcji są:
- jednoznaczne, gdyż określają, co kursant w jej toku osiągnie: o umiejętność
definiowania, o umiejętność określania kompetencji, o wiedzę w danym zakresie,
- wykonalne, ponieważ uczący się może przyswoić sobie zakładane cele, poprzez
ćwiczenia i interakcje stanowiące integralną część szkolenia,
-
logiczne, ponieważ można określić ich zakres i zawartość,
-
obserwowalne za pomocą wykorzystanych w lekcji mechanizmów weryfikujących
postępykursanta. Z poziomu szkolenia w Spisie treści zamieszczona jest informacja
o zaliczeniu bądźniezaliczeniu ćwiczeń sprawdzających opanowanie omawianych
zagadnień. Ponadto wynikitestu eksportowane są na platformę edukacyjną.
- mierzalne, ponieważ określają, co kursant powinien wiedzieć i rozumieć oraz jak i w
jakichsytuacjach wykorzystać zdobytą wiedzę.
Deklaracja Odwołującego odnosi się jedynie do celów lekcji, a nie celów operacyjnych
zagadnień. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł
dokonać ich oceny.
Nawet jednak gdyby pod tym kątem ocenić sposób sformułowania celów lekcji,
można zastanawiać się na deklaracją Odwołującego. Tak np. cele powinny być
sformułowane jako jednoznaczne zachowania, poprzez stosowanie czasowników
operacyjnych. Powinno się unikać wyrażeń wieloznacznych, np. wiedzieć, umieć, znać,
przedstawić, podać, nauczyć, zapoznać ucznia, ukształtować itp. (B. N………….)
Punkt 5.2 czy cele nie są zbyt ogólne ani zbyt szczegółowe?
Odwołujący zadeklarował w materiale źródłowym:
Cele nie są zbyt ogólne ani zbyt szczegółowe.
Cele przedstawione w lekcji są adekwatne do zawartej w niej treści i wiedzy z zakresu
mentoringu.
Deklaracja Odwołującego odnosi się ogólnikowo do treści i wiedzy z zakresu
mentoringu. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł
dokonać ich oceny.
Należy też zauważyć, że na bazie przygotowanego materiału trudno ocenić stopień
szczegółowości (ogólności) celów, jako że nie przedstawiono żadnej ich hierarchii. Znając
cele ogólne lekcji i szczegółowe cele operacyjne na poziomie zagadnień, można byłoby
weryfikować, czy cele szczegółowe zostały sformułowane prawidłowo. Cele kształcenia
mogą mieć różny stopień szczegółowości, ponieważ odnoszą się do różnych poziomów
planowania szkolenia.
W ocenie Przystępującego warto podkreślić, że cele edukacyjne nie powinny być
adekwatne do treści, czy wiedzy na jakiś temat. Cele edukacyjne powinny być adekwatne
do potrzeb grupy docelowej szkolenia. Natomiast to treści lekcji powinny być adekwatne do
celów, nie odwrotnie.
Punkt 5.3 czy cele są sformułowane w sposób motywujący uczestnika do nauki?
Odwołujący zadeklarował w materiale źródłowym:
Cele są sformułowane w sposób motywujący uczestnika do nauki.
Cele operacyjne wskazują przydatną wiedzę i umiejętności, które kursant po ukończeniu
szkoleniabędzie wiedział, umiał i potrafił wykorzystać w swojej praktyce zawodowej.
Zgodnie z cyklem uczeniasię Kolbe’ a osoby dorosłe uczą się poprzez praktykę i dla
praktyki - w lekcji wykorzystano tę zasadę.
Deklaracja Odwołującego odnosi się ogólnikowo do celów lekcji. Jako że cele
zagadnień nie zostały sformułowane, Zamawiający nie mógł dokonać ich oceny.
Zdaniem Przystępującego warto też zauważyć, że na bazie przedstawionego
wyjaśnienia trudno ocenić, co Odwołujący rozumie przez sposób motywujący do nauki. Cele
lekcji nie zostały sformułowane z punktu widzenia adresata, czyli pracownika małej i
średniej firmy. Dość luźno związane są z zadaną przez Zamawiającego tematyką lekcji, jaką
miało być "zarządzanie wiekiem a zarządzanie wiedzą" (jedynie trzeci z celów lekcji
nawiązuje do tego tematu). Ze względu na sposób sformułowania celów, w którym nie
zawsze zostały zastosowane czasowniki operacyjne, trudno stwierdzić, na ile praktyczna
może okazać się realizacja celów. Zważywszy na to, że sam Odwołujący twierdzi, iż cele
realizowane są jedynie przez ekrany teoretyczne, trudno stwierdzić, w jaki sposób cele
odnoszą się do praktyki.
Wnioski dotyczące punktów 4 i 5
Cele operacyjne oraz problematyka operacjonalizacji to zagadnienia dobrze znane w
dydaktyce. Autorem polskiej wersji taksonomii celów jest prof. dr hab. Bolesław Niemierko.
Jej terminologia jest neutralna, niezwiązana z żadną grupą przedmiotów, stosowana w
uczeniu dzieci, jak i dorosłych. I tak np. taksonomia celów wg Niemierki jest stosowana do
opisu programów kształcenia stosowanych przez Krajowy Ośrodek Wspierania Edukacji
Zawodowej i Ustawicznej (publiczną placówkę doskonalenia nauczycieli, której organem
prowadzącym jest MEN). Poznają ją nauczyciele i pedagodzy, zajmujący się uczeniem
dzieci i młodzieży, jak i zajmujący się kształceniem zawodowym, czy uczeniem osób
dorosłych. Powinna być znana podmiotom zajmującym się zawodowo uczeniem.
Na etapie składania wniosków w postępowaniu, Odwołujący złożył stosowne
oświadczenia dotyczące spełnienia warunku posiadania wiedzy i doświadczenia, w tym
dysponowania osobami mającymi doświadczenie metodyczne. Powoływał się przy tym
głównie na własne doświadczenia, oraz na wiedzę i doświadczenie własnych pracowników
etatowych (5 osób w roli metodyków). Należy zatem oczekiwać, iż zagadnienia dydaktyki, w
tym operacjonalizacji celów, były Odwołującemu znane. Gdyby nawet jednak przyjąć, że
Odwołujący mógł nie znać zasad formułowania celów operacyjnych, to miał przecież
możliwość zadania pytań dotyczących kryteriów oceny po ogłoszeniu treści SIWZ. Jednak
nie pojawiły się żadne pytania wskazujące na jakiekolwiek wątpliwości co do formułowania
celów.
Cele operacyjne można sformułować dla każdej jednostki lekcyjnej i dla każdego z jej
elementów. W ofercie Odwołującego nie dokonano podziału celów na cele wyższego i
niższego rzędu. Zagadnienia i treści uczenia nie mogą być formułowane bez związku z
celami nauczania. Doprowadza to do sytuacji, w której nie ma możliwości jednoznacznego
przyporządkowania treści zagadnień do celów. Materiał nie jest uporządkowany wg logicznej
kolejności. Na przykład ćwiczenie dotyczące kompetencji mentorów zostało umieszczone po
ekranie zatytułowanym "Korzyści płynące z wdrożenia mentoringu", a nie bezpośrednio po
ekranie teoretycznym "Kompetencje mentora".
Sam Odwołujący przyznaje w ofercie, że cele zostały formułowane w taki sposób,
aby były adekwatne do treści (a nie odwrotnie). Świadczy to o tym, że cele, jeśli nawet były
formułowane, to dopiero po przygotowaniu treści lekcji, a zatem niezgodnie z zasadami
operacjonalizacji i formułowania celów. Cele operacyjne należy najpierw określić i
sformułować we właściwy sposób, a dopiero potem przyporządkowywać im treści uczące.
Odwołujący nigdzie w materiale źródłowym nie przedstawia celów operacyjnych na
poziomie zagadnień. Przedstawia wyłącznie deklaracje, iż zostały one sformułowane: "W
lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na
pytaniach: po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka'?
Być może Odwołujący zastosował taką metodę przedstawiania celów zagadnień, ale
zaniedbał tego, aby umieścić je w materiale źródłowym oraz lekcji demonstracyjnej. Nigdzie
bowiem w ofercie Odwołującego nie pojawia się takie przedstawienie. Co więcej,
przywołując taką metodę podejścia do formułowania celu, Odwołujący w żaden sposób nie
odnosi jej do metody operacjonalizacji celów. Nie wiadomo zatem, jak "reguła lejka"
przekłada się na zasady formułowania celów operacyjnych.
Zamawiający nie miał zatem możliwości w żaden sposób, ani bezpośrednio, ani
pośrednio, dokonać oceny celów operacyjnych na poziomie zagadnień. Zadeklarowano
jedynie, iż były one formułowane "metodą lejka", ale nie zostały nigdzie przedstawione.
Podsumowanie dotyczące punktów 4 i 5
Odwołujący nie przedstawił w materiale źródłowym celów do poszczególnych
zagadnień, a jedynie cele lekcji. Cele lekcji były przez Zamawiającego oceniane w punkcie
nr 1.
Zamawiający nie miał możliwości dokonania oceny wg punktów nr 4 oraz 5, w
których ocenie podlegają cele zagadnień. Odwołujący jedynie deklarował, iż cele zagadnień
zostały przygotowane w oparciu o "metodę lejka", ale nigdzie ich nie przedstawił.
Dlatego, w opinii Przystępującego, Zamawiający słusznie nie przyznał Odwołującemu
siedmiu punktów w punktach nr 4 oraz 5.
Liczba punktów w kryterium: Koncepcja realizacji usługi,
punktacja lekcji demonstracyjnej nr 2 (ocena L2)
Funkcjonalność nr 11 i 12
W odniesieniu do liczby punktów przyznanych za nowatorstwo i interaktywności lekcji
zaoferowanej przez Odwołującego, Odwołujący kwestionuje potraktowanie przez
Zamawiającego pozycji numer 11 oraz 12 jako jedną funkcjonalność.
Funkcjonalność zgłoszona pod nr 11 jest sterowana przyciskiem "schowaj menu",
funkcjonalność zgłoszona pod nr 12 jest sterowana przyciskiem "pokaż menu" i jak
podsumowuje sam Odwołujący w odwołaniu "Użytkownik ma możliwość ukrywania i
odkrywania belki modyfikując tym samym wygląd ekranu". Podobnie zostały opisane te
pozycje przez Odwołującego w ofercie (nr 11: "umożliwia ukrycie dolnej belki nawigacyjnej z
dodatkowymi opcjami' oraz nr 12: " umożliwia ponowne odkrycie dolnej belki nawigacyjnej z
dodatkowymi opcjami').
Modyfikacja ekranu dotyczy samej belki, jedyny skutek wspomnianej modyfikacji to
wyświetlenie/ukrycie belki. Przycisk sterujący belką pozostaje w tym samym miejscu, odkryta
belka niczego nie zasłania, a jej ukrycie nie zwiększa obszaru widocznego dla użytkownika.
Należy podkreślić, że ukrycie belki (nr 11) nie zwiększa możliwości funkcjonalnych dla
użytkownika, jest całkowicie zależne od jej wcześniejszego pokazania (nr 12). W załączeniu
dowód nr 1 - wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla belki
ukrytej i odkrytej.
Tym samym modyfikacja wyglądu interfejsu przez użytkownika polegająca na ukryciu
belki nawigacyjnej jest logiczną składową tej samej funkcjonalności uzyskiwanej w związku z
pokazaniem belki nawigacyjnej. Nie stwarza żadnej dodatkowej wartości dla użytkownika.
Ponadto Przystępujący podkreślał, że jak wynika z analizy porównawczej ofert w
postępowaniu jawnych dla Przystępującego - Zamawiający konsekwentnie zastosował takie
podejście w ocenie zaoferowanych funkcjonalności wobec innych oferentów, w tym oferty
Przystępującego.
Funkcjonalność nr 15
"Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na
ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik
może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii
PARP nie posiadają przycisku SPRÓBUJ PONOWNIE . W teście Akademii PARP dostępny
jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej
działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści)
odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści
odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności,
które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane
są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE
w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność
poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę
dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu
nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk
SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby
nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w
inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest
elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu
SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie
Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną
przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii
PARP."
Odwołujący w powyższym fragmencie porównuje ćwiczenia z części teoretycznej
lekcji Odwołującego z testami Akademii PARP. Jednak aby wykazać nowość, Odwołujący
powinien się odnieść nie tylko wybiórczo do testów, ale także do ćwiczeń w lekcjach
Akademii PARP - we wszystkich rodzajach występujących w Akademii PARP. Podkreślić
należy, że dziedziną interaktywności, względem której Zamawiający dopuścił zgłaszanie
nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach.
Ćwiczenia wraz z komentarzami mają funkcję uczącą, nie ma nic niewłaściwego w
tym, że uczestnik może eksperymentować z różnymi odpowiedziami, "odkrywając" ich
znaczenie, powtarzać je. W Akademii PARP stosowane są m.in. ćwiczenia typu
"rozsypanka" w których przycisk "Czyść" oprócz możliwości ponownego podejścia powoduje
losową zmianę kolejności odpowiedzi. Ten rodzaj ćwiczeń Akademii PARP najwyraźniej nie
został przez Odwołującego rozpoznany. Przykładowe wystąpienie ćwiczenia typu
"rozsypanka" w szkoleniach Akademii PARP: Szkolenie "Planowanie własnej kariery
zawodowej" lekcja 1.2 ekran 10 z 21.
W załączeniu przedstawiono dowód nr 2 prezentujący powyższy przykład ćwiczenia
typu "rozsypanka" przed i po naciśnięciu przycisku "Czyść" powodującego nie tylko
wyczyszczenie wyniku do powtórzenia ćwiczenia ale również ponowne wylosowanie
kolejności odpowiedzi. Tym samym, jak zostało wykazane, nie ma żadnej nowości w pozycji
nr 15 zgłoszonej przez Odwołującego.
Funkcjonalność nr 17
Odwołujący przedstawia następujące stanowisko w związku z oceną zadeklarowanej
przez niego funkcjonalności nr 17: "Funkcjonalność 17 natomiast to przycisk SPRAWDŹ,
który znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje
informację, czy poprawnie wykonał dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz
testu w produktach Akademii PARP nie posiadają przycisku SPRAWDŹ. W teście Akademii
PARP użytkownik, po zatwierdzeniu udzielonej odpowiedzi przechodzi do następnego
pytania i nie ma możliwości sprawdzenia, czy udzielona przez niego odpowiedź do obecnie
wyświetlonego pytania jest prawidłowa. W testach Odwołującego użytkownik przed
przejściem do kolejnego pytania może jednocześnie zatwierdzić i sprawdzić czy udzielił
poprawnej czy niepoprawnej odpowiedzi na dane pytanie przyciskiem SPRAWDŹ, co jest
absolutną nowością funkcjonalną testów w stosunku do produktu Akademia PARP.
Użytkownik w trakcie korzystania z testu może na bieżąco monitorować swoje wyniki, co jest
niemożliwe w przypadku testu w Akademii PARP. Sposób działania przycisku ZATWIERDŹ
w testach Akademii PARP jest nadmiarowy -z punktu widzenia użytkownika przycisk ten, nic
nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do kolejnego pytania.
Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do kolejnego ekranu za
pomocą przycisku DALEJ. Tak jak w przypadku testów Odwołującego, gdzie przycisk DALEJ
ma funkcjonalność zatwierdzania pytania i przejścia do kolejnego bez jego sprawdzania, co
można w tej sytuacji uznać jako nową, niewspomnianą wcześniej funkcjonalność, ale
istniejącą w próbce przesłanej Zamawiającemu."
Jeśli chodzi o fakt, że w Akademii PARP w ćwiczeniach pokazują się komentarze, a
w pytaniach testowych komentarze są wyłączone, nie wynika on z tego, że w ramach
Akademii PARP nie stosowano takiej funkcjonalności, tylko z zamierzonej, wymaganej w e-
learningu specjalizacji treści szkolenia. Lekcje z ćwiczeniami służą do uczenia uczestnika,
dlatego niezbędna jest natychmiastowa, doskonaląca informacja zwrotna w formie
komentarza. Testy z pytaniami testowymi służą do sprawdzania wiedzy, dlatego komentarze
nie powinny w nich występować. Przede wszystkim dlatego, że mogą mieć funkcję uczącą
(komentarz do odpowiedzi na jedno pytanie może sugerować odpowiedź na kolejne pytanie
dotyczące tego samego fragmentu lekcji). Poza tym mogą uczestnika rozpraszać, zajmować
odliczany czas itd. Dodać należy, że taka organizacja treści: lekcje oraz testy do każdego
modułu została określona w SIWZ.
Natomiast zdaniem Przystępującego, że nie jest prawdą, że ekrany ćwiczeń w
szkoleniach Akademii PARP nie posiadają przycisku Sprawdź, który wyświetla komentarz.
Wszystkie kategorie ćwiczeń w Akademii PARP wyświetlają komentarze. Większość
ćwiczeń w Akademii PARP wymaga naciśnięcia przycisku WYNIK (wszystkie ćwiczenia z
grafiką) lub SPRAWDŹ (ćwiczenia rodzaju "połącz elementy") po którym następuje
wyświetlenie komentarza z informacją, czy udzielona odpowiedź jest prawidłowa czy nie. W
załączeniu dowód nr 3 pokazujący przykłady takich ćwiczeń. Odwołujący najwyraźniej
przeoczył ten rodzaj ćwiczeń. Jednak, podobnie jak w przypadku pozycji numer 15, aby
wykazać nowość, Odwołujący powinien się odnieść nie tylko wybiórczo do testów, ale także
do ćwiczeń w lekcjach Akademii PARP - we wszystkich rodzajach występujących w
Akademii PARP. Dziedziną interaktywności, względem której Zamawiający dopuścił
zgłaszanie nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach.
Dlatego podobnie jak w przypadku pozycji numer 15, w przypadku pozycji numer 17
Odwołujący w sposób wybiórczy i nieprawidłowy przyjął zawężoną podstawę do porównania
swojej interaktywności ze szkoleniami Akademii PARP. Tym samym nie Odwołujący nie
wykazał żadnej nowości w pozycji nr 17.
Odwołujący wskazuje też na zmniejszenie liczby kliknięć w swoim przycisku
sprawdzania. Pragniemy dodać, że jak wynika z analizy porównawczej ofert w postępowaniu
jawnych dla Przystępującego - Zamawiający konsekwentnie nie uznawał innowacji
polegających na zmniejszeniu liczby kliknięć w ocenie zaoferowanych funkcjonalności
wobec innych oferentów, w tym wobec oferty Przystępującego.
Funkcjonalność nr 20
"W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach
Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za
zadanie uchronienie użytkownika przed uzyskaniem statusu „failed" w lekcji. W szkoleniach
Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest
ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze
standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności,
ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed" pomimo,
że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu
produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych
sytuacjach ( w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni."
W powyższym fragmencie znalazło się kilka stwierdzeń nieprawdziwych:
-
nieprawdą jest, że w testach Akademii PARP samo uruchomienie testu powoduje
zmianę statusu na "niezaliczone" (ang. failed). Samo uruchomienie testu powoduje
zmianę statusu na "nieukończone" (ang. incomplete),
-
w testach Akademii PARP kliknięcie na nawigator WYJŚCIE w trakcie odpowiadania
na pytania testowe wyświetla okienko z pytaniem "czy na pewno chcesz wyjść z
egzaminu?". Kliknięcie na "Anuluj" wraca do testu bez wysłania statusu. Kliknięcie na
"OK" powoduje wyjście z testu z wysłaniem statusu passed/failed w zależności od
uzyskanego wyniku - dopiero wówczas,
-
nieprawdą jest, że ekran w szkoleniach Odwołującego, pokazujący się po kliknięciu
przycisku ZAMKNIJ i potwierdzający chęć wyjścia ze szkolenia w trakcie trwania
testu, stanowi zabezpieczenie przed
wysłaniem
wyniku lekcji. Wykonaliśmy
weryfikację tego stwierdzenia za pomocą publicznie dostępnej aplikacji testującej
komunikację SCORM na lekcji demonstracyjnej Odwołującego, stanowiącej jawną
część jego oferty. Lekcja ustawiła status na "passed" za wejście w ekran nr 16, a
więc jeszcze przed wywołaniem okna rzekomo zabezpieczającego przed wysłaniem
wyniku. W załączeniu dowód nr 4 z odpowiednim fragmentem logu z komunikacji
SCORM.
Przystępujący zauważał, iż stwierdzona przez niego empirycznie sprzeczność ze
stwierdzeniem Odwołującego wynika z samego wywodu Odwołującego. Skoro Odwołujący
pisze, że status jego lekcji pozostaje "incomplete" aż do momentu wejścia na pierwsze
pytanie, to oznacza, że w już w momencie wejścia na pierwsze pytanie pojawia się zmiana
statusu.
Zatem w momencie rozpoczęcia testu, jeszcze przed wywołaniem okienka z
pytaniem, uczestnik uzyskuje status lekcji. Należy też zaznaczyć, że w standardzie SCORM
nie ma nigdzie mowy o "części zadaniowej" lekcji czy testu. Standard SCORM nie określa
jako zgodne lub niezgodne, w którym momencie lekcji czy testu powinien być przekazany
status.
W załączeniu przedstawiał dowód nr 5 - fragment standardu SCORM z odpowiednią
specyfikacją. Specyfikacja nie określa żadnej "części zadaniowej" ani szczegółowego
sposobu uzyskiwania statusu "failed". Przystępujący odnosił się do standardu SCORM dla
porządku, ponieważ wskazał go Odwołujący jako argument za zgodnością, w odróżnieniu od
domniemanej niezgodności testów Akademii PARP. Jednak także w tej kwestii Odwołujący
nie wykazał jakiejkolwiek nowości.
Reasumując, zgłoszona przez Odwołującego "funkcjonalność nr 20" nie jest żadną
nowością względem Akademii PARP, a przedstawiony wywód zawiera stwierdzenia
niezgodne ze stanem faktycznym. Analogiczne okienko w testach Akademii PARP "chroni"
przed uzyskaniem statusu "failed" w trakcie egzaminu, co chciał osiągnąć Odwołujący w
lekcji demonstracyjnej nr 2, natomiast w teście Odwołującego tak się nie dzieje, choć zostało
to podniesione jako rzekoma nowość.
Odwołujący, podsumowując swoje odwołanie, stwierdza "gdyby oferta Odwołującego
wybrana została najkorzystniejszą w przedmiotowym postępowaniu, to rozstrzygnięcie takie
skutkowałoby oszczędnościami środków publicznych po stronie zamawiającego w wysokości
przekraczającej 7 milionów złotych".
Trzy niezależne oferty złożone w postępowaniu przekraczają 90% kwoty, jaką
Zamawiający zamierzał przeznaczyć na zamówienie. Natomiast oferta najniższa - złożona
przez Odwołującego, stanowi 62,35% kwoty, jaką Zamawiający zamierzał przeznaczyć na
zamówienie. Odnosząc się do stwierdzenia Odwołującego, należy stwierdzić, że różnica w
cenie zaoferowanej przez niego i ofercie wybranej przez Zamawiającego jako
najkorzystniejsza w wysokości 6,6 mln zł brutto nie jest oszczędnością, ponieważ różnica ta
wynika z zaoferowania przez Odwołującego ceny rażąco niskiej, która uniemożliwia
zrealizowanie wymagań określonych przez Zamawiającego.
Zgodnie z art. 91 ust. 1 ustawy Pzp, zamawiający wybiera ofertę najkorzystniejszą na
podstawie kryteriów oceny ofert określonych w specyfikacji istotnych warunków zamówienia.
Kryteriami oceny ofert są cena albo cena i inne kryteria odnoszące się do przedmiotu
zamówienia, w szczególności jakość, funkcjonalność, parametry techniczne, zastosowanie
najlepszych dostępnych technologii w zakresie oddziaływania na środowisko, koszty
eksploatacji, serwis oraz termin wykonania zamówienia.
Ponadto, zgodnie z art. 2 pkt 5 ustawy Pzp, ilekroć w ustawie mowa o
najkorzystniejszej ofercie - należy przez to rozumieć ofertę, która przedstawia
najkorzystniejszy bilans ceny i innych kryteriów odnoszących się do przedmiotu zamówienia
publicznego, albo ofertę z najniższą ceną, a w przypadku zamówień publicznych w zakresie
działalności twórczej lub naukowej, których przedmiotu nie można z góry opisać w sposób
jednoznaczny i wyczerpujący - ofertę, która przedstawia najkorzystniejszy bilans ceny i
innych kryteriów odnoszących się do przedmiotu zamówienia publicznego.
Z powyższego wynika, że cena nie zawsze musi być podstawowym miernikiem
wyboru najkorzystniejszej oferty. Zamawiający może uwarunkować wybór najkorzystniejszej
oferty spełnieniem innych kryteriów, poza korzystną ceną, odnoszących się do przedmiotu
zamówienia. Taka sytuacja miała miejsce w niniejszej sprawie, dlatego bezzasadny jest
zarzut, że wybór oferty Odwołującego prowadziłby do oszczędności. Za powyższym
przemawia dodatkowo okoliczność, że, jak zostało podkreślone powyżej, zaoferowana przez
Odwołującego cena jest rażąco niska i uniemożliwia zrealizowanie wymagań określonych
przez Zamawiającego. Ewentualna oszczędność byłaby zatem pozorna.
Wybierając najkorzystniejszą ofertę, Zamawiający może posługiwać się wyłącznie
kryteriami oceny ofert opisanymi w SIWZ, zgodnie z art. 36 ust. 1 pkt 13 ustawy Pzp. Jest to
podstawowe ograniczenie, jakie przepisy prawa stawiają Zamawiającemu w zakresie
wyboru najkorzystniejszej oferty. W niniejszej sprawie Zamawiający dopełnił powyższego
obowiązku, albowiem, uzasadniając ocenę, odniósł się do kryteriów oceny wskazanych w
SIWZ. W wyniku dokonania oceny ofert wybrana została oferta Przystępującego, ponieważ
w sposób najpełniejszy odpowiadała kryteriom wskazanym w SIWZ.
Mając na uwadze powyższe rozważania, uznać należy, że zarzut, jakoby
Zamawiający, dokonując wyboru najkorzystniejszej oferty, naruszył przepis art. 91 ust. 1
ustawy Pzp jest całkowicie bezzasadny, zaś ewentualny ponowny wybór oferty w oparciu o
kryteria oceny wskazane w SIWZ musiałby prowadzić do ponownego wyboru oferty
Przystępującego, jako oferty najkorzystniejszej.
Do zgłoszenia przystąpienia załączono m.in.:
1. Dowód nr 1. Wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla
belki ukrytej i odkrytej. Ukrycie belki (przez przycisk SCHOWAJ MENU) jest całkowicie
zależne od jej wcześniejszego pokazania (przez przycisk POKAś MENU), nie zwiększa
obszaru widocznego dla użytkownika - jest więc częścią tej samej funkcjonalności.
2. Dowód nr 2. Przykłady ćwiczeń w Akademii PARP typu "Rozsypanka" przed i po
naciśnięciu przycisku "Czyść". Przycisk ten powoduje nie tylko wyczyszczenie wyniku do
powtórzenia ćwiczenia ale również ponowne wylosowanie kolejności odpowiedzi.
3. Dowód nr 3. Przykłady ćwiczeń w Akademii PARP z grafiką i "przeciągnij i upuść" które
wyświetlają przycisk (WYNIK i SPRAWDŹ) oraz po jego naciśnięciu komentarz z
informacją, czy udzielona odpowiedź jest prawidłowa czy nieprawidłowa.
4. Dowód nr 4. Fragment logu z komunikacji SCORM generowanej przez lekcję
Odwołującego, uzyskany z oficjalnej aplikacji ADL testującej komunikację SCORM. Z
logu wynika, że wbrew twierdzeniu Odwołującego, po wejściu w ekran 16 (pierwsze
zadanie testu) lekcja wysyła status inny niż "incomplete", czyli działanie okienka
przedstawiane przez Odwołującego jako nowość w rzeczywistości nie zabezpiecza przed
wysłaniem statusu.
5. Dowód nr 5. Fragment standardu SCORM dotyczący sposobu uzyskiwania statusu przez
lekcję e-learning lub test zgodny z w/w standardem (wersja oryginalna oraz
przetłumaczona na język polski). Specyfikacja nie określa żadnej "części zadaniowej" ani
szczegółowego sposobu uzyskiwania statusu.
Zamawiający i Odwołujący potwierdzili otrzymanie kopii zgłoszenia przystąpienia.
W dniu 30 listopada 2012 r. Zamawiający złożył odpowiedź na odwołanie, w której
wnosił o jego oddalenie.
Zamawiający wskazywał, że podtrzymuje prawidłowość dokonanej przez siebie
oceny ofert w całej rozciągłości. Zamawiający podnosił, iż Odwołujący wskazał, iż
Zamawiający ocenił jej ofertę w sposób niezgodny z zasadami określonymi w SIWZ.
Zastrzeżenia dotyczą oceny w ramach kryterium L1 oraz L2, określonych w §11 SIWZ
(Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji; Ocena Lekcji demo nr
2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności).
Zdaniem Zamawiającego należy podnieść, iż w ramach oceny L1 - Ocena materiału
źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), oferta Odwołującego uzyskała 0
punktów w następujących podkryteriach:
- podkryterium a) punkt 4 „Czy prawidłowo zoperacjonałizowano cele?", na które
składają się pytania:
•
czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
•
czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
•
czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)?
•
czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom
zawartym w lekcji (w ekranach, ćwiczeniach)?
- podkryterium a) punkt 5 „Czy cele zostały prawidłowo sformułowane?", na które składają
się pytania:
•
czy cele operacyjne zostały sformułowane prawidłowo? (Prawidłowy cel -
powinien być: jednoznaczny, wykonalny, logiczny, obserwowalny i mierzalny).
•
czy cele nie są zbyt ogólne ani zbyt szczegółowe?
•
czy cele są sformułowane w sposób motywujący uczestnika do nauki?
Za każdą z powyższych pozycji Zamawiający nie przyznał Odwołującemu punktów.
Odwołujący nie zgodził się z przeprowadzoną przez Zamawiającego oceną jego oferty w tym
zakresie i przywołał na potwierdzenie swojego stanowiska następujące fragmenty swojej
oferty:
•
punkt 5.1 (str. 19),
•
punkt 5.4 (str. 20),
•
punkt 5.5 (str.21) oraz
•
„ekran nr 2" na stronie 25 oferty,
- gdzie zdaniem Odwołującego znajdują się niezbędne informacje mające
wystarczyć do przyznania mu punktów w ww. podkryteriach. Na podstawie powyższego
Odwołujący sformułował następującą tezę „Z powyżej cytowanych uzasadnień oceniających
wynikać miałoby, iż Odwołujący w swojej ofercie w ogóle nie wskazał celów".
Powyższe stwierdzenie Odwołującego nie znajduje żadnych podstaw w
przeprowadzonej przez poszczególnych członków komisji przetargowej ocenie. Wskazane
powyżej punkty nr 4 i 5 w ramach oceny LI zawierają także ocenę innych aspektów
związanych z oceną celów. Należy tu przywołać chociażby punkt 1 w tym podkryterium („Czy
prawidłowo zostały określone cele lekcji?"), na które składają się podlegające ocenie pytania:
•
czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego?
•
czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i
nietypowych sytuacjach?
Zdaniem Zamawiającego warto zauważyć, że w wyniku oceny tego punktu
podkryterium Odwołujący uzyskał dwa punkty (maksymalną ilość), ponieważ na każde z
postawionych pytań należało odpowiedzieć twierdząco - cele ogólne lekcji zostały opisane w
punkcie 5.1 „Cele lekcji" (str. 19) oferty.
Dlatego też niczym nieuzasadnione jest twierdzenie Odwołującego, iż z uzasadnień
oceniających wynika, iż w ofercie cele nie zostały wskazane. Zamawiający podczas oceny
uwzględnił zapisy punktu 5.1 oferty Odwołującego, a także informacje z „ekranu nr 2" ze
strony 25, gdzie zacytowano cele określone uprzednio w punkcie 5.1.
W celu dokładnego wyjaśnienia dokonanej przez Zamawiającego oceny, a także
wykazania, iż przeprowadzona ocena nie zawiera błędów czy tez niekonsekwencji, trzeba
zwrócić uwagę, iż Odwołujący w złożonej ofercie nie wziął pod uwagę zasad
operacjonalizacji celów. W treści Specyfikacji Istotnych Warunków Zamówienia (§ 10 ust. 8)
wyraźnie wskazano, że oferta ma zawierać materiał źródłowy, w którym podane zostaną
m.in.:
■ Cele lekcji możliwe do osiągnięcia na bazie materiału, przy założeniu że lekcja
przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych
sytuacjach. Prawidłowość określenia celów lekcji, zgodnie z Opisem kryteriów, którymi
zamawiający będzie się kierował -przy wyborze oferty, wraz z podaniem znaczenia tych
kryteriów i sposobu oceny ofert miała zostać zweryfikowana (i oceniona) przy pomocy 2
pytań:
1)
Czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego?
2)
Czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w
typowych i nietypowych sytuacjach!)
■ Prawidłowo
sformułowane
i
zoperacjonalizowane
cele.
Prawidłowość
sformułowania celów miała zostać zweryfikowana przy pomocy 3 pytań:
1)
Czy cele operacyjne zostały sformułowane -prawidłowo ?
2) Czy cele nie są zbyt ogólne ani zbyt szczegółowe ?
3) Czy cele są sformułowane w sposób motywujący uczestnika do nauki?.
Prawidłowość zoperacjonalizowania celów miała zostać zweryfikowana przy pomocy 4
pytań:
1)
Czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
2)
Czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
3) Czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności) ?
4) Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (iv ekranach, ćwiczeniach)?).
Zamawiający w Specyfikacji Istotnych Warunków Zamówienia poza rozdzieleniem celów
ogólnych (odnoszących się do całej lekcji), od celów poszczególnych zagadnień, podkreślił
także ich hierarchiczność, przy czym wynikała ona:
■ ze sposobu w jaki zgodnie z SIWZ mają powstać cele operacyjne - przez
zoperacjonalizowanie celów ogólnych na cele (jednoznaczne, wykonalne, logiczne,
obserwowalne i mierzalne) dotyczące poszczególnych zagadnień;
■ z przesłanki logicznej wskazanej w SIWZ Czy cele poszczególnych zagadnień
przyczyniają się do realizacji ogólnych celów lekcji? - osiągnięcie celów operacyjnych
jest warunkiem koniecznym do osiągnięcia celu ogólnego lekcji.
Nie budzi zatem wątpliwości, i tak zostało to również zrozumiane przez pozostałych
wykonawców, że w ofercie powinny się znaleźć cele ogólne odnoszące się do lekcji oraz
cele operacyjne odnoszące się do poszczególnych zagadnień.
Podczas oceny oferty Odwołującego stwierdzono, że prawidłowo zostały
przedstawione cele na poziomie ogólnym - czyli na poziomie całej lekcji, brak natomiast w
ofercie Odwołującego celów poszczególnych zagadnień, czyli nie została przeprowadzona
operacjonalizacja celów. W związku z powyższym przyznano punkty związane z celami
ogólnymi lekcji, nie przyznano zaś punktów związanych z celami dotyczącymi
poszczególnych zagadnień.
Należy podkreślić, iż w punkcie 5.4 na stronie 20 oferty Odwołujący parafrazował
zapisy SIWZ przekształcając pytania z (podkryterium a) punkt nr 4 na zdania twierdzące i
dodając pewne deklaracje, np.:
Zapis SIWZ
Zapis z oferty
Czy cele poszczególnych zagadnień
przyczyniają się do realizacji ogólnych celów
lekcji?
Cele
poszczególnych
zagadnień
przyczyniają się do realizacji ogólnych
celów lekcji.
Cele poszczególnych zagadnień wynikają z
ogólnych celów lekcji, więc tym samym
przyczyniają się do ich realizacji
Czy cele poszczególnych zagadnień są ze
sobą logicznie powiązane?
Cele poszczególnych zagadnień są ze
sobą logicznie powiązane.
W
lekcji
zastosowano
metodę
przedstawienia
celów
poszczególnych
zagadnień opartą na pytaniach: po co, kiedy,
co, kto, co z tego wynikał Wynika to z tzw.
„reguły lejka".
Czy nie jest tak, że cele zagadnień nie
powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych
samych umiejętności)?
Cele zagadnień nie powielają się.
Cele zagadnień nie powielają się, ponieważ
są w pełni realizowane i wyczerpywane na
ekranach oznaczonych w sylabusie jako
teoretyczne.
Poszczególne
zagadnienia
przekazują różne informacje i uczą różnych
umiejętności.
Czy cele każdego zagadnienia są
rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (w ekranach,
ćwiczeniach)?
Cele
każdego
zagadnienia
są
rzeczywiście możliwe do osiągnięcia
dzięki treściom zawartym w lekcji.
Każde z zagadnień jest przedstawione
zgodnie z „regułą lejka" - od ogółu do
szczegółu. Zarówno sposób omawiania
zagadnień, jak i ćwiczenia skłaniają do
praktycznego zastosowania nabytej wiedzy.
Zdaniem Zamawiającego koniecznie trzeba podkreślić, iż wbrew twierdzeniom
Odwołującego na stronie 20 oferty nie wskazano jakiegokolwiek celu. Odwołujący się nie
wskazuje produktu (celu), który mógłby zostać oceniony za pomocą pytań sprawdzających.
Daje wyłącznie twierdzącą odpowiedź na postawione pytanie, co uniemożliwia sprawdzenie
przez zamawiającego celu z uwagi na jego de facto brak.
Również w przypadku punktu 5.5 na stronie 21 oferty Odwołujący parafrazował
zapisy SIWZ przekształcając pytania z (podkryterium a) punkt nr 5 i uzasadniając
poprawność sformułowania celów.
Zapis SIWZ
Zapis z oferty
Czy
cele
operacyjne
zostały
Sformułowane prawidłowo
operacyjny cel kształcenia powinien być:
JEDNOZNACZNY - wyraża to wszystko, co
uczący się potrafi zrobić dla wykazania, że
"wie".
WYKONALNY - to, co uczący się powinien
robić musi być wykonalne w określonym
czasie i w dostępnych warunkach
LOGICZNY - cel powinien być logicznie
sprecyzowany
OBSERWOWALNY
-
jeżeli
nie
znamy
sposobu obserwowania postępu w osiąganiu
celu (w sposób bezpośredni lub pośredni), to
nie jest możliwe stwierdzenie, czy cel został
osiągnięty
MIERZALNY
-
cel
musi
określać
wystarczający poziom wykonawstwa ze strony
uczącego się
Cele operacyjne zostały sformułowane
prawidłowo.
Cele sformułowane w lekcji są:
•
jednoznaczne, gdyż określają, co
kursant w jej toku osiągnie:
o umiejętność definiowania,
o umiejętność określania
kompetencji,
o wiedzę w danym zakresie,
•
wykonalne, ponieważ uczący się
może przyswoić sobie zakładane
cele, poprzez ćwiczenia i interakcje
stanowiące
integralną
część
szkolenia,
•
logiczne, ponieważ można określić
ich zakres i zawartość,
•
obserwowalne
za
pomocą
wykorzystanych w
lekcji
mechanizmów weryfikujących postępy
kursanta. Z poziomu szkolenia w
Spisie treści zamieszczona jest
informacja
o
zaliczeniu
bądź
niezaliczeniu
ćwiczeń
sprawdzających opanowanie
omawianych zagadnień. Ponadto
wyniki testu eksportowane są na
platformę edukacyjną.
• mierzalne, ponieważ określają, co
kursant
powinien
wiedzieć
i
rozumieć oraz jak i w jakich
sytuacjach wykorzystać zdobytą
wiedzę.
Czy cele nie są zbyt ogóle ani zbyt
szczegółowe ?
Cele nie są zbyt ogólne ani zbyt
szczegółowe.
Cele przedstawione w lekcji są adekwatne
do zawartej w niej treści i wiedzy z zakresu
mentoringu.
Czy cele są sformułowane w sposób
motywujący uczestnika do nauki?
Cele
są
sformułowane
w
sposób
motywujący do nauki.
Cele
operacyjne
wskazują
przydatną
wiedzę i umiejętności, które kursant po
ukończeniu szkolenia będzie wiedział, umiał
i potrafił wykorzystać w swojej praktyce
zawodowej. Zgodnie z cyklem nauczania
Kolbe'a osoby dorosłe uczą się poprzez
praktykę i dla praktyki - w lekcji wykorzystano
tę zasadę.
Zamawiający zwracał uwagę, że w zapisach tych nie określono, jakie są cele
operacyjne odnoszące się do poszczególnych zagadnień, co uniemożliwiło Zamawiającemu
dokonanie oceny na podstawie przewidzianych kryteriów (podkryteriów) oceny. Należy
kategorycznie podkreślić, iż to do Zamawiającego należy ocena przedstawionych przez
wykonawców celów operacyjnych. Dlatego też dokonanie samooceny Odwołującego, który
parafrazując zapisy SIWZ w zakresie pytań, przy równoczesnym braku przedstawienia
wymaganej operacjonalizacji celów nie może zostać uznane za spełnienie wymogów SIWZ i
skutkować przyznaniem punktów w postulowanym przez Odwołującego zakresie. Podobnie
jak przy wnioskach dotyczących tabeli 20 brak jest wskazania produktu (celu), który mógłby
zostać oceniany. Odwołujący daje jedynie twierdzące odpowiedzi na pytania, które miały
służyć ustaleniu spełnienia kryteriów przez przedstawiony produkt.
Ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny
podkryterium „Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), tzw.
ocena L1".
Również w przypadku kryterium L2 - Oceny Lekcji demo nr 2 (tzw. zaktualizowanej -
zawierającej nowe rodzaje multimediów i funkcjonalności) Zamawiający nie znajduje
podstaw do uznania argumentacji Odwołującego.
Odwołujący w ofercie przedstawił 51 propozycji funkcjonalności i innowacyjności, z
czego jedynie w przypadku 47 Zamawiający mógł przyznać punkty, ponieważ:
•
funkcjonalności nr 11 „Przycisk SCHOWAJ MENU umożliwia ukrycie dolnej belki
nawigacyjnej z dodatkowymi opcjami" oraz nr 12 „Przycisk POKAś MENU umożliwia
ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi opcjami" zostały uznane
za jedną funkcjonalność „schowaj/pokaż menu", mając na uwadze zapis zawarty w
SIWZ „Uwaga: Zamawiający poprzez rodzaje multimediów i funkcjonalności rozumie
niepowtarzalne funkcjonalności, czyli np. dwie różne animacje flash będą liczone
jako jeden rodzaj multimediów/funkcjonalności" (§ 11 ust 3 lit. b SIWZ);
•
Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie" występuje już w Akademii PARP;
•
Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z
komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie
wykonał dane ćwiczenie lub interakcję" występuje już w Akademii PARP;
•
Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu" występuje już w
Akademii PARP.
Innowacyjność funkcjonalności nr 11 i 12 Odwołujący motywuje tym, że wszystkie ekrany
materiałów demonstracyjnych posiadają te funkcjonalności oraz faktem, iż „w każdej z
próbek pasek ten jest domyślnie wyłączony. Użytkownik ma możliwość ukrywania i
odkrywania belki modyfikując tym samym wygląd ekranu". Z punktu widzenia użytkownika
możliwość przełączania (przycisk pokaż/ukryj menu w prawym dolnym rogu) między
widokiem ekranu bez paska/belki nawigacyjnej, a widokiem z takim paskiem to jedna
funkcjonalność. Podobnie jak w przypadku funkcjonalności 11 i 12 Odwołujący dał
możliwość włączenia i wyłączenia funkcjonalności nr 6 (Notatki), 7 (tablica), 8 (Pisak) czy 9
(Lupa) i nie uznał za zasadne sztucznie ich dublować, w celu fikcyjnego stworzenia nowych
funkcjonalności. Znamienny jest także poniższy przykład funkcjonalności nr 28 (Wysoki
kontrast/zwykły kontrast i widoczny na slajdzie w górnym prawym rogu), gdzie mechanizm
jest identyczny, jak w przypadku funkcjonalności 11 i 12, czyli zmienia się opis przycisku, a
funkcjonalność przez Odwołującego ciągle wykazywana jest (słusznie) jako jedna.
Zamawiający przywoływał w odpowiedzi na odwołanie widok ekranu obrazujący
funkcjonalność nr 11 i 12 oraz wysoki/zwykły kontrast.
Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie".
Jak sam Odwołujący wskazuje w odwołaniu, w Akademii PARP funkcjonuje przycisk
„CZYŚĆ", który od funkcjonalności zaproponowanej przez Odwołującego różni się brakiem
możliwości zmiany kolejności odpowiedzi. Zmiana kolejności odpowiedzi realizowana jest
przez funkcjonalność nr 18 „Rotowanie kolejności odpowiedzi w ramach poszczególnych
pytań w ćwiczeniu lub teście". Odwołujący nie może wymagać od Zamawiającego aby ten
przyznał dwa razy punkty za tę samą funkcjonalność - zmianę kolejności odpowiedzi.
Zamawiający zauważał, iż Odwołujący krytykuje poprawność zastosowania przycisku
CZYŚĆ w testach Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „kliknięcie w
inną odpowiedź automatyczne czyści tę dotychczas zaznaczoną". Powyższe zdanie jest
oczywiście słuszne ale tylko w przypadku pytań jednokrotnego wyboru. Akademia PARP
przygotowana jest na stosowanie w testach również pytań wielokrotnego wyboru, gdzie
nadmiarowość przycisku CZYŚĆ nie występuje. Poza powyższym wytłumaczeniem warto
zauważyć, że rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP
rozwiązań, a zaoferowanie innowacyjnych, dotychczas niewystępujących rozwiązań.
Zamawiający przedstawiał przykład slajdu z istniejącego szkolenia Akademii PARP na
potwierdzenie swojego twierdzenia.
Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z komponentami. Po
jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub
interakcję"
Zamawiający zwracał uwagę, że w odwołaniu skupiono uwagę na innowacyjności
działania przycisku SPRAWDŹ w testach, podczas gdy przycisk ten występuje również w
ćwiczeniach stanowiących część lekcji. W lekcjach Akademii PARP w przypadku ćwiczeń
informacja o poprawności odpowiedzi ukazuje się:
- podczas jej udzielania - np. w ćwiczeniu z odpowiedziami wielokrotnego wyboru (w
poniższym przykładzie pierwsza odpowiedź jest nieprawidłowa, trzecia jest prawidłowa, a
druga i czwarta nie zostały jeszcze zaznaczone) (widok na slajdzie),
- po jej udzieleniu - np. w ćwiczeniu z odpowiedziami jednokrotnego wyboru (przykład na
slajdzie),
- po skorzystaniu z przycisku WYNIK (slajd).
Odwołujący krytykuje poprawność zastosowania przycisku ZATWIERDŹ, w testach
Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „z punktu widzenia użytkownika
przycisk ten, nic nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do
kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do
kolejnego ekranu za pomocą przycisku DALEJ". Przycisk ZATWIERDŹ w działającej
Akademii PARP ma zapewnić, że użytkownik przejdzie do kolejnego pytania dopiero po
udzieleniu odpowiedzi, a nie np. po przypadkowym kliknięciu przycisku DALEJ. Kosztem
dodatkowego kliknięcia Akademia PARP podwyższa komfort użytkownika podczas
potencjalnie stresującego testu. Zdaniem Zamawiającego koszt ten nie jest specjalnie
wygórowany, a rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP
rozwiązań, a wskazanie innowacyjności. Zamawiający przedstawiał ekran z testu
egzaminującego Akademii PARP, który zawiera wyżej opisane przyciski (ZATWIERDŹ,
CZYŚĆ oraz DALEJ):
Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu".
Jak sam Odwołujący przyznaje w Akademii PARP już istnieje taka funkcjonalność, w
wyniku której „w analogicznych sytuacjach" (po przyciśnięciu przycisku WYJŚCIE) ukazuje
się następujący ekran: (ekran zawiera m.in. pytanie: Czy na pewno chcesz wyjść z egzaminu
?" z przyciskami "OK" i "Anuluj"). Z punktu widzenia użytkownika jest to taka sama reakcja
wymagająca podjęcia decyzji, jak w przypadku próby wyjścia z testu przygotowanego przez
Odwołującego: - pytanie "Czy na pewno chcesz zamknąć lekcję ?" "TAK", "NIE").
Wprawdzie na załączonym przykładzie widnieje pytanie o chęć zamknięcia lekcji, ale
w materiale przygotowanym przez Odwołującego brak ekranu potwierdzającego ze
szkolenia, co by było zgodne z opisem funkcjonalności, toteż Zamawiający przyjął, że jest to
pomyłka nie mająca wpływu na poprawność działania funkcjonalności.
Jednocześnie warto zauważyć, że niepodlegający zmianie schemat szkoleń Akademii
PARP jest następujący: szkolenie składa się z modułów, moduły zaś składają się z lekcji i
testów (na początku i na końcu modułu). Brak więc testów będących częścią lekcji. W
związku z powyższym status lekcji, o którym była mowa w odwołaniu, nie zależy od statusu
testu, ponieważ są to dwie oddzielne części lekcji. Jeszcze ważniejszy jest fakt, że dla
uczestnika szkoleń nieważne jest czy status lekcji jest „failed" czy „incomplete". Dla
uczestnika ważne jest to czy ma możliwość wycofania się z przypadkowego kliknięcia
powodującego przerwanie testu na zakończenie całego modułu szkoleniowego, a taka
funkcjonalność jest przewidziana zarówno w ofercie Odwołującego, jak i w istniejącej
Akademii PARP.
Mając powyższe na uwadze zdaniem Zamawiającego należy stwierdzić, iż
argumentacja Odwołującego nie znajduje potwierdzenia również w tym przypadku, z czego
wynika, iż ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny
podkryterium „Ocena Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje
multimediów i funkcjonalności), tzw. ocena L2".
W przypadku gdyby argumentacja Zamawiającego nie znalazła uznania w oczach
Izby, Zamawiający z ostrożności procesowej podnosił kwestię, którą zdaje się pomijać
Odwołujący, a która ma nader istotne znaczenie przy orzekaniu przez KIO w niniejszej
sprawie. Uwzględnienie argumentacji Odwołującego w przypadku oceny podkryterium
„Ocena Lekcji demo nr 2 (tzw. zaktualizowanej -zawierającej nowe rodzaje multimediów i
funkcjonalności), tzw. ocena L2" i uznanie, iż:
•
nawet drobne różnice pomiędzy istniejącymi już w Akademii PARP funkcjonalnościami a
oferowanymi przez Odwołującego rozwiązania muszą skutkować, uznaniem ich jako
nowości,
•
możliwość włączenia i wyłączenia jednej funkcjonalności winno skutkować uznaniem ich
za odrębne,
- a tym samym koniecznością przyznania Odwołującemu dodatkowych punktów,
skutkować będzie dodatkowymi konsekwencjami przy ponownej ocenie ofert. Otóż,
zgodnie z art. 7 ust 1 ustawy jedną z naczelnych zasad systemu zamówień publicznych
jest zasada równego traktowania wykonawców, przy czym zasada ta obowiązuje w
sposób nie budzący wątpliwości również w przypadku oceny ofert na podstawie
przewidzianych ofert. W sytuacji gdyby Izba przychyliła się do słuszności przytoczonych
powyżej stwierdzeń Zamawiający zobowiązany będzie do ponownej oceny wszystkich
złożonych w postępowaniu ofert w zakresie tego podkryterium i przyznania
dodatkowych punktów, a w szczególności ofercie Przystępującego, i dokonania
ponownej czynności wyboru jego oferty.
Dlatego też uwzględnienie odwołania nie może doprowadzić do wyboru jego oferty
jako najkorzystniejszej, a podnoszone przez Odwołującego naruszenia w zakresie oceny
złożonej przez niego oferty, nie mogą mieć wpływu na wynik postępowania, co skutkować
winno oddaleniem Odwołania zgodnie z treścią art. 192 ust 2 ustawy Pzp.
Mając powyższe na uwadze, Zamawiający wnosił jak na wstępie.
Uwzględniając dokumentację przedmiotowego postępowania o udzielenie zamówienia
publicznego, jak również biorąc pod uwagę oświadczenia i stanowiska Stron i
Przystępującego złożone podczas rozprawy, Izby ustaliła i zważyła co następuje.
Na wstępie Izba stwierdziła, że nie zachodzi żadna z przesłanek skutkujących
odrzuceniem odwołania opisanych w art. 189 ust. 2 ustawy Pzp, odwołanie nie posiada
braków formalnych oraz został uiszczony od niego wpis.
Izba uznała także, że Odwołujący spełnia przesłanki wniesienia odwołania określone
w art. 179 ust. 1 ustawy Pzp.
Izba stwierdziła skuteczność przystąpienia do postępowania odwoławczego po
stronie Zamawiającego wykonawców wspólnie ubiegających się o udzielenie zamówienia:
Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. oraz Betacom S.A. z uwagi na
spełnienie przez nich przesłanek skuteczności przystąpienia określonych w art. 185 ust. 2 i 3
ustawy Pzp.
W oparciu o zgromadzony w sprawie materiał dowodowy Izba uznała, że odwołanie
nie zasługuje na uwzględnienie. Nie potwierdził się bowiem zarzut wadliwej oceny oferty
Odwołującego i zaniżenia przyznanej punktacji, co z kolei skutkowało nieprawidłowym
wyborem jako najkorzystniejszej oferty Przystępującego.
Izba uznała, iż nie potwierdziły się zarzuty dotyczące wadliwej oceny oferty
Odwołującego w pkt 4 i 5 tzw. oceny L1. Izba nie podziela stanowiska Odwołującego, iż
Zamawiający miał możliwość dokonania takiej oceny w oparciu o informacje zawarte na
stronie 19, 20, 21 i 25 oferty. Odwołujący utożsamiał bowiem cele lekcji z celami
operacyjnymi zagadnień, podnosząc na rozprawie, iż Zamawiający w SIWZ, opisując
elementy, które mają być zawarte w materiale źródłowym podlegającym ocenie w ramach
oceny L1, nie wskazał, iż wykonawca ma określić cele zagadnień. Tym samym nie zapewnił,
aby w treści ofert znalazły się informacje, które następnie poddane były ocenie.
Izba nie zgadza się z powyższym stanowiskiem. Po pierwsze kwestionowanie na
obecnym etapie sposobu sporządzenia SIWZ należy uznać za spóźnione. Po drugie SIWZ w
§ 8 ust. 8 pkt ii) (po modyfikacji) przewidywała:
„Wykonawca przekaże w formie wydruku i na nośniku elektronicznym w formie pliku
zapisanego w formacie .doc lub ,docx, materiał źródłowy w formie zakresu i scenariusza lekcji na
temat: „Zarządzanie wiekiem a zarządzanie wiedzą". Materiał musi zawierać rysunki
objaśniające oraz sylabus (z wyjaśnieniem słów kluczowych i powiązań pomiędzy nimi).
Materiał musi zawierać:
(1) Cele lekcji możliwe do osiągnięcia na bazie materiału, przy założeniu że lekcja
przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych
sytuacjach.
(2) Opis lekcji dopasowanej do adresatów szkolenia (czy lekcja jest przydatna uczestnikowi
szkolenia, czy umiejętności są prezentowane z punktu widzenia małej lub średniej polskiej
firmy, przykłady i studia przypadków adekwatne do grupy adresatów (głównie
przedstawiciele małych i średnich polskich przedsiębiorstw,
(3) Właściwie dobraną treść (czyli kompletną, prawidłową, aktualną, praktyczną wiedzę,
konkretne umiejętności i wiedzę niezbędną do ich opanowania),
(4) Prawidłowo sformułowane i zoperacjonalizowane cele.
(5) Testy weryfikujące stopień realizacji celów".
Ponadto kryteria oceny ofert jednoznacznie odnosiły się w pkt 4 i 5 do zoperacjonalizowanych
celów poszczególnych zagadnień i cel operacyjnych (brzmienie pkt 4 i 5 w pismach powyżej).
Zamawiający jednoznacznie rozróżnił zatem cele lekcji jako cele ogóle oraz cele szczegółowe
(zoperacjonalizowane) rozumiane jako cele poszczególnych zagadnień. Operacjonalizacja celów
miała podlegać ocenie w oparciu o informacje zawarte w materiale źródłowymi i lekcji demo nr 1.
Nie sposób zatem uznać, aby SIWZ nie przewidziała konieczności zhierarchizowania celów,
skoro odrębnej ocenie podlegały cele lekcji (w pkt 1), a odrębnej poszczególnych zagadnień
(cele operacyjne) (pkt 4 i 5). Na str. 19 i 25 oferty Odwołującego przedstawiono cele lekcji.
Strona 20 i 21 zawiera informacje dotyczące elementów punktowanych w ramach pkt 4 i 5, przy
czym należy zauważyć, iż nie zawarto tam żadnych celów zagadnień, lecz jedynie deklaracje
Odwołującego będące w dużej mierze parafrazą zapisów SIWZ, jak na to szczegółowo
wskazywał Zamawiający w odpowiedzi na odwołanie. Odwołujący nie tyle zatem podał
zoperacjonalizowane cele, co dokonał samooceny oferty pod kątem wymagań Zamawiającego.
Odwołujący nie wykazał, w jaki sposób dokonał operacjonalizacji celów. Odwoływał
się jedynie do „reguły lejka”, metody przedstawiania celów poszczególnych zagadnień opartą
na pytaniach: po co, kiedy, co, kto, co z tego wynika ?, przy czym brak w odwołaniu oraz
podczas rozprawy wyjaśnienia, jak metoda ta przełożyła się na skutek w postaci ustalenia
zoperacjonalizowanych celów. Zdaniem Izby słuszne jest stanowisko Przystępującego, iż
także opisów poszczególnych ekranów (gdyby uznać je za zagadnienia) nie można
traktować jako celu operacyjnego, gdyż mają zbyt ogólny charakter. Skoro zatem
Zamawiający nie dysponował ani bezpośrednio ani pośrednio sprecyzowanymi celami
zagadnień (celami operacyjnymi), nie mógł dokonać oceny w zakresie pkt 4 i 5 oceny L1,
jako że nie odnoszą się one do celów lekcji, a celów operacyjnych, celów poszczególnych
zagadnień. Izba nie zgadza się także z poglądem o możliwości oceny tych samych celów
jako celów lekcji oraz celów poszczególnych zagadnień, gdyż w pkt 4 i 5 podlegają one
ocenie z innego punktu widzenia. Powyższe stanowisko jest sprzeczne z treścią SIWZ, a
ponadto niemożliwe do przeprowadzenia, skoro ocena celów operacyjnych (celów
poszczególnych zagadnień) wymaga m.in. ich odniesienia do celów lekcji (np. poprzez
odpowiedź na pytanie, czy cele poszczególnych zagadnień przyczyniają się do realizacji
ogólnych celów lekcji). Izba podziela w pełni obszerne stanowisko prezentowane w tym
zakresie przez Przystępującego w zgłoszeniu przystąpienia i Zamawiającego w odpowiedzi
na odwołanie. Odmienne zapatrywanie Odwołującego nie znajduje oparcia ani w SIWZ ani w
treści złożonej przez niego oferty.
Izba uznała, iż nie potwierdziły się także zarzuty dotyczące naliczenia punktacji za
nowatorstwo i interaktywność lekcji Akademii PARP (tzw. ocena L2).
Zgodnie z § 11 ust. 3 lit. b) SIWZ Zamawiający przewidział, iż w kryterium oceny
ofert "Koncepcja realizacji usługi", iż ocena zostanie dokonana według podkryterium "Ocena
Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i
funkcjonalności), tzw. ocena L2". Zamawiający wskazał, że:
"Kryteria oceny
Lekcja zaktualizowana - Ocena drugiej lekcji demonstracyjnej, opracowanej na podstawie
wskazanej przez Zamawiającego lekcji referencyjnej tzn. z istniejącego szkolenia Akademii
PARP, w której celem do spełnienia przez Wykonawcę jest przedstawienie nowych (nie
występujących w innych lekcjach Akademii PARP i nie zaplanowanych w ZZW) rodzajów
multimediów i interaktywności. (...)
Uwaga: Zamawiający poprzez rodzaje multimediów i funkcjonalności rozumie niepowtarzalne
funkcjonalności, czyli np. dwie różne animacje flash będą liczone jako jeden rodzaj
multimediów/funkcjonalności".
W § 8 Opis sposobu przygotowania ofert ust. 8 ppkt iv i v) oferta miała obejmować:
"iv) Lekcję demonstracyjną nr 2 opracowaną na podstawie szkolenia „Techniki sprzedaży"
dostępnego
na
www.akademiaparp.gov.pl.
Lekcji
towarzyszyć
będzie
opis
zastosowanych w lekcji demo nowych, niewystępujących w szkoleniu „Techniki
sprzedaży" dostępnym na www.akademiaparp.gov.pl multimediów i interaktywności.
(...)
"v) Zestawienie (wraz z opisem funkcji i sposobu weryfikacji działania) zastosowanych w
lekcji demonstracyjnej nr 2 rodzajów multimediów i interaktywności. W powyższym
zestawieniu Wykonawca wskaże także, które multimedia i interaktywności stanowią
nowość w stosunku do multimediów i interaktywności występujących w szkoleniach
"Techniki sprzedaży" dostępnego na stronie www.akademiaparp.gov.pl."
W wyjaśnieniach do SIWZ z 17 sierpnia 2012 r. Zamawiający wskazał:
"Pytanie 1:
Dotyczy:
a.
w SIWZ, §8, Opis sposobu przygotowania ofert pkt iv) str. 5 widnieje zapis: „Lekcji
towarzyszyć będzie opis zastosowanych w lekcji demo nowych, niewystępujących w
szkoleniu
„Techniki
sprzedaży"
dostępnym
na
www.akademiaparp.gov.pl
multimediów i interaktywności",
b.
w SIWZ, §8, Opis sposobu przygotowania ofert pkt v) str. 6 widnieje zapis: „Zestawienie
(wraz z opisem funkcji i sposobu weryfikacji działania) zastosowanych w lekcji
demonstracyjnej nr 2 rodzajów multimediów i interaktywności. W powyższym
zestawieniu Wykonawca wskaże także, które multimedia i interaktywności stanowią
nowość w stosunku do multimediów i interaktywności występujących w szkoleniach
"Techniki sprzedaży" dostępnego na stronie www.akademiaparp.gov.pl."
prosimy o wyjaśnienie, gdyż z treści zapisanej w obu punktach wynika, iż informacje, które
ma przedstawić w ofercie wykonawca w dużej mierze powielają się; czy Zamawiający
wymaga dwóch osobnych dokumentów według powyższych zapisów, czy może tylko jeden.
Jeśli to powinny być dwa dokumenty to prosimy wskazać jakie elementy powinny je
odróżniać.
Odpowiedź 1:
Zamawiający nie wymaga 2 osobnych dokumentów. Wykonawca może przedstawić jeden
dokument, w którym znajdować się będą wszystkie informacje wymagane przywołanymi
powyżej zapisami."
Izba podziela stanowisko Zamawiającego co do oceny funkcjonalności nr 11 i nr 12.
Zgodnie z treścią oferty funkcjonalność nr 11 "przycisk SCHOWAJ MENU umożliwia ukrycie
dolnej belki nawigacyjnej z dodatkowymi opcjami”, z kolei funkcjonalność nr 12 "przycisk
POKAś MENU umożliwia ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi
opcjami" (str. 54 oferty). Celem i efektem obu opisanych funkcjonalności jest zatem zmiana
widoku ekranu w zakresie dolnej belki nawigacyjnej. Izba wskazuje, iż oceniając powyższą
możliwość przełączania widoku ekranu pomiędzy widokiem bez belki nawigacyjnej a
widokiem z taką belką z punktu widzenia użytkownika szkolenia - stanowi ona jedną
funkcjonalność polegającą na zmianie/modyfikacji widoku ekranu w odniesieniu do belki
nawigacyjnej. Odwołujący wskazywał, iż: "Wszystkie ekrany materiałów demonstracyjnych
posiadają funkcjonalność umożliwiającą ukrywanie przycisków funkcyjnych znajdujących się
na belce nawigacyjnej. W każdej z próbek pasek ten jest domyślnie włączony". Skoro zatem
użytkownik uzyskuje możliwość ukrycia przycisków na belce nawigacyjnej, to równocześnie
naturalnym i logicznym elementem tej funkcjonalności jest uzyskanie ponownego widoku
belki nawigacyjnej z przyciskami. Zdaniem Izby rację należy przyznać Zamawiającemu, iż
przyciski SCHOWAJ MENU/POKAś MENU działają na zasadzie włącz/wyłącz, w tym
przypadku w zakresie funkcjonalności określonego widoku ekranu. Według Izby okoliczność,
iż należy wykonać dwie interakcje pozostaje bez znaczenia dla oceny odrębności
powyższych funkcjonalności, skoro podobne interakcje należy wykonać także w przypadku
innych funkcjonalności (np. ustawienie wysokiego kontrastu/zwykłego kontrastu), które
Odwołujący kwalifikuje jako jedną. Mechanizm realizacji funkcjonalności nie ma i nie może
mieć charakteru decydującego dla uznania ich odrębności. W ocenie Izby funkcjonalność nr
11 i 12 to w istocie jedna funkcjonalność (SCHOWAJ MENU/POKAś MENU) polegająca na
możliwości sterowania widokiem ekranu w zakresie widoczności belki nawigacyjnej z
przyciskami. Jej podział na dwie odrębnie punktowane funkcjonalności miałby charakter
sztuczny i istotnie skutkowałby koniecznością ponownej oceny pozostałych ofert, gdyż
Zamawiający według analogicznej zasady oceniał funkcjonalności wykazywane w innych
ofertach.
Funkcjonalność nr 15 SPRÓBUJ PONOWNIE polega na możliwości ponownego
rozwiązania ćwiczenia („Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie”) (str. 54 oferty). Czyści on dotychczasowe odpowiedzi
udzielone przez użytkownika oraz równocześnie ponownie ustala kolejność poszczególnych
odpowiedzi. Odwołujący podnosił, iż dostępny w testach Akademii PARP przycisk CZYŚĆ
ma jedynie zbliżoną funkcjonalność, gdyż tylko odznacza (czyści) udzieloną odpowiedź, ale
nie uruchamia od nowa wszystkich procedur komponentu (np. nie losuje kolejności
odpowiedzi). Zdaniem Izby Odwołujący nie wykazał, aby istotnie funkcjonalność nr 15
stanowiła nowość względem istniejącej w ramach Akademii PARP funkcjonalności CZYŚĆ.
W treści odwołania odniósł się wyłącznie do testów Akademii PARP, pomijając jej
ewentualne zastosowanie w ćwiczeniach Akademii PARP. Tymczasem Przystępujący
przedstawił jako dowód nr 2 zrzut z ekranu przykładowego ćwiczenia Akademii PARP typu
"Rozsypanka" przed i po naciśnięciu przycisku CZYŚĆ. Zgodnie z widokiem ekranu przycisk
ten powoduje nie tylko wyczyszczenie wyniku do powtórzenia ćwiczenia, ale także zmianę
kolejności odpowiedzi. Przycisk ten umożliwia zatem zarówno ponowne rozwiązanie
ćwiczenia, ale także zmienia kolejność odpowiedzi. Odwołujący w żaden sposób nie
zakwestionował powyższego dowodu przedstawionego przez Przystępującego, co więcej nie
prowadził z nim właściwie żadnej polemiki. Ponadto słusznie zauważa Zamawiający, że
zgodnie ze stanowiskiem Odwołującego różnica pomiędzy przyciskiem CZYŚĆ w Akademii
PARP a przyciskiem SPRÓBUJ PONOWNIE sprowadza się do braku możliwości zmiany
kolejności odpowiedzi. Tymczasem taką funkcjonalność Odwołujący podał odrębnie pod
pozycją 18 "Rotowanie kolejności odpowiedzi w ramach poszczególnych pytań w ćwiczeniu
lub w teście", za którą otrzymał punktację. W ocenie Izby Odwołujący nie wykazał w sposób
przekonywający, na czym polega zatem odrębność funkcjonalności nr 15 i nr 18, skoro w
części polegającej na możliwości powtórzenia ćwiczenia jest zbieżna z funkcjonalnością
CZYŚĆ (na taką możliwość wskazuje także zrzut ekranu podany w odpowiedzi na odwołanie
na str. 12 "Możesz sprawdzić swój wynik (korzystając z przycisku wynik) albo rozwiązać
ćwiczenie od nowa po naciśnięciu przycisku czyść"), zaś możliwość zmiany kolejności
odpowiedzi ujęta została odrębnie jako funkcjonalność nr 18 (w ćwiczeniach i testach). W
świetle powyższego uznać należy, iż stanowisko Odwołującego co do charakteru
funkcjonalności nr 15 jako nowej w stosunku do istniejących w Akademii PARP nie zostało
udowodnione. Zamawiający i Przystępujący wskazali bowiem na możliwość zastosowania
przycisku CZYŚĆ także w ćwiczeniach Akademii PARP, umożliwiając powtórzenie ćwiczenia
(ze zmianą kolejności odpowiedzi), a ponadto treść funkcjonalności nr 18 uniemożliwia
przyznanie dodatkowej punktacji za zbieżną funkcjonalność ujętą pod nr 15 (rotowanie
odpowiedzi).
Funkcjonalność nr 17 SPRAWDŹ – „Przycisk SPRAWDŹ znajduje się na ekranach z
komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał
dane ćwiczenie lub interakcję” (str. 54 oferty). Odwołujący wskazywał, że ćwiczenia i testy w
produktach Akademii PARP nie posiadają przycisku "SPRAWDŹ". Odwołujący podkreślał, iż
w testach Akademii PARP nie ma możliwości sprawdzenia poprawności odpowiedzi,
natomiast w jego produkcie przed przejściem do kolejnego pytania możliwość takiego
sprawdzenia istnieje. Równocześnie jednak bezspornym był brak możliwości poprawienia
odpowiedzi w teście w wyniku sprawdzenia. Użytkownik może zatem sprawdzić poprawność
odpowiedzi, ale nie może jej już zmienić. Zdaniem Izby argumentacja Odwołującego nie
zasługuje na uwzględnienie. Po pierwsze Zamawiający i Przystępujący wykazali
(przedstawiając odpowiednie zrzuty z ekranów istniejących szkoleń Akademii PARP), iż w
szkoleniach Akademii PARP istnieje możliwość sprawdzenia poprawności odpowiedzi -
podczas jej udzielenia (np. w ćwiczeniu z odpowiedziami wielokrotnego wyboru), po jej
udzieleniu (np. ćwiczenie z odpowiedziami jednokrotnego wyboru) lub po skorzystaniu z
przycisku WYNIK. Bez znaczenia jest, jakim przyciskiem powyższa funkcjonalność się
realizuje, aczkolwiek Przystępujący załączył dowód nr 3, w którym jednoznacznie wskazano
na obecność przycisku SPRAWDŹ w ćwiczeniach Akademii PARP. Odwołujący również
powyższych dowodów nie kwestionował. Ponadto Przystępujący słusznie zauważał, iż brak
możliwości bieżącego sprawdzania prawidłowości odpowiedzi w teście wynika z zamierzonej
specjalizacji treści szkolenia. Lekcje z ćwiczeniami służą do uczenia, dlatego niezbędna jest
natychmiastowa, doskonaląca informacja zwrotna w formie komentarza. Natomiast testy
służą do sprawdzania wiedzy, dlatego komentarze nie powinny tam występować (mogą mieć
charakter sugerujący, rozpraszać). Zasadną jest także argumentacja, iż Odwołujący
bezzasadnie zawęża podstawę do porównania oferowanej przez siebie interaktywności.
Zamawiający wskazywał bowiem na nowe interaktywności nie występujące w szkoleniach
Akademii
PARP. Wbrew
stanowisku
Odwołującego
funkcjonalność
sprawdzania
prawidłowości udzielonych odpowiedzi występuje w szkoleniu Akademii PARP (ćwiczenia),
natomiast jej brak w teście wynika z odmiennego stanowiska odnośnie charakteru testów.
Tym samym w pozycji nr 17 nie wykazano żadnej nowości i słusznie wykonawca nie
otrzymał za nią punktacji.
Funkcjonalność nr 20 to „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu” (str. 54 oferty). Odwołujący
wskazywał, iż w szkoleniach Odwołującego ma on za zadanie uchronienie użytkownika
przed uzyskaniem statusu „failed” w lekcji. Odwołujący zauważał, że w jego szkoleniu zanim
użytkownik dojdzie do części zadaniowej w teście, status lekcji ustawiony jest jako
"incomplete" aż do momentu wejścia na pierwsze pytanie zgodnie ze standardem SCORM.
W testach Akademii PARP ekran ten nie ma takiej funkcjonalności, gdyż samo uruchomienie
lekcji powoduje zmianę statusu na "failed", pomimo że użytkownik nie przeszedł jeszcze do
części zadaniowej testu. W ocenie Izby Odwołujący nie dowiódł, iż funkcjonalność nr 20 ma
charakter nowości. Przyznał, iż w Akademii PARP istnieje już taka funkcjonalność w wyniku
której w analogicznej sytuacji (po przyciśnięciu przycisku WYJŚCIE) pojawia się ekran "Czy
na pewno chcesz wyjść z egzaminu ?" "OK" i "Anuluj". Słusznie zauważa Zamawiający, iż z
punktu widzenia użytkownika jest to taka sama reakcja wymagająca podjęcia decyzji, jak w
przypadku próby wyjścia z testu przygotowanego przez Odwołującego ("Czy na pewno
chcesz zamknąć lekcję? "TAK" "NIE"). Ponadto Odwołujący pominął okoliczność, iż w
przypadku przyjętego w Akademii PARP schematu szkoleń obejmuje on moduły, które z
kolei składają się z lekcji i testów (na początku i na końcu modułu). Tym samym testy nie
stanowią części lekcji, tak, jak to dzieje się w przypadku szkolenia opracowanego przez
Odwołującego. Odwołujący nie wykazał zatem, w jaki sposób status lekcji jest powiązany ze
statusem testów, skoro stanowią one odrębne jednostki. Ponadto Odwołujący nie wykazał, iż
istotnie w testach Akademii PARP samo uruchomienie testu powoduje zmianę statusu na
"niezaliczone" ("failed"). Twierdzenie w tym zakresie pozostało gołosłowne. Odwołujący nie
przedstawił żadnych dowodów na potwierdzenie swojego stanowiska, podobnie jak i nie
zakwestionował skutecznie stanowiska Przystępującego, że w testach Akademii PARP
kliknięcie na nawigator "WYJŚCIE" w trakcie odpowiadania na pytania testowe wyświetla
okienko z pytaniem "Czy na pewno chcesz wyjść z egzaminu ?" (co zostało potwierdzone
także przez Zamawiającego), zaś kliknięcie na "Anuluj" wraca do testu bez wysłania statusu,
z kolei kliknięcie „OK.” powoduje wyjście z testu z wysłaniem statusu passed/failed w
zależności od uzyskanego wyniku. Co więcej Odwołujący nie przedstawił także żadnych
dowodów ani nie zajął stanowiska odnośnie twierdzeń Przystępującego (i załączonego przez
niego dowodu nr 4 z odpowiednim fragmentem logu w komunikacji SCORM), że
deklarowana przez Odwołującego funkcjonalność w istocie nie jest zapewniona przez ekran
potwierdzający chęć wyjścia z testu, gdyż jeszcze przed wywołaniem okienka z pytaniem,
uczestnik uzyskuje status lekcji. Ponadto słusznie zauważał Zamawiający, a wobec czego
Odwołujący nie przedstawił dowodu przeciwnego, iż dla użytkownika uzyskiwany status
lekcji ("failed" czy "incomplete") jest bez znaczenia. Istotne jest bowiem to, czy istnieje
możliwość wycofania się z przypadkowego kliknięcia powodującego przerwanie testu na
zakończenie całego modułu szkoleniowego. Taka funkcjonalność realizowana jest zarówno
w ofercie Odwołującego, jak i istniejącej Akademii PARP. Nie sposób zatem mówić o nowej
funkcjonalności wobec już istniejącej, niezależnie od braku dowodów po stronie
Odwołującego co do zróżnicowania skutku funkcjonalności nr 20 odnośnie nadawanego
statusu lekcji w produkcie Odwołującego i Akademii PARP.
Tym samym ocena L2 zdaniem Izby została przeprowadzona prawidłowo i
Odwołujący zasadnie nie uzyskał punktacji za dodatkowe funkcjonalności.
Ponadto Izba zauważa, iż nawet potwierdzenie się zarzutów dotyczących
prawidłowości oceny L2 pozostaje bez istotnego wpływu na wynik postępowania, co w
świetle art. 192 ust. 2 ustawy Pzp warunkuje uwzględnienie odwołania. Jak bowiem przyznał
sam Odwołujący, jedynie uwzględnienie zarzutu dotyczącego sposobu oceny L1 pozwala
mu na uzyskanie punktacji umożliwiającej uzyskanie zamówienia. Nawet otrzymanie
kompletu punktów za dodatkowe funkcjonalności w zakresie oceny L2 nie zapewnia takiej
możliwości. Jako że Izba nie potwierdziła zasadności argumentacji Odwołującego dotyczącej
oceny L1, sposób dokonania oceny L2 nie ma zasadniczego znaczenia przy ocenie wpływu
na wynik postępowania.
W świetle powyższego na podstawie art. 192 ust. 1 i 2 ustawy Pzp orzeczono jak w
sentencji.
O kosztach postępowania odwoławczego orzeczono stosownie do jego wyniku,
na podstawie art. 192 ust. 9 i 10 ustawy Pzp oraz w oparciu o przepisy § 3 i 5 ust. 4
rozporządzenia Prezesa Rady Ministrów z dnia 15 marca 2010 r. w sprawie wysokości
i sposobu pobierania wpisu od odwołania oraz rodzajów kosztów w postępowaniu
odwoławczym i sposobu ich rozliczania (Dz. U. Nr 41, poz. 238).
Przewodniczący: .............................
1. oddala odwołanie;
2. kosztami postępowania obciąża COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777
Sopot i zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr
(słownie: piętnaście tysięcy złotych zero groszy) uiszczoną przez COMBIDATA Poland Sp.
z o.o., ul. E. Plater 12, 81-777 Sopot tytułem wpisu od odwołania.
Stosownie do art. 198a i 198b ustawy z dnia 29 stycznia 2004 r. - Prawo zamówień
publicznych (t.j. Dz. U. z 2010 r. 113, poz. 759 ze zm.) na niniejszy wyrok - w terminie 7 dni
od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby
Odwoławczej do Sądu Okręgowego w Warszawie.
Przewodniczący: ……………..
Sygn. akt KIO 2547/12
Uzasadnienie
Polska Agencja Rozwoju Przedsiębiorczości ul. Pańska 81/83, 00-834 Warszawa
(dalej „Zamawiający”) prowadzi w trybie dialogu konkurencyjnego postępowanie o udzielenie
zamówienia publicznego na podstawie ustawy z dnia 29 stycznia 2004 r. Prawo zamówień
publicznych (t.j. Dz.U. z 2010 r., Nr 113, poz. 759, z późn. zm.) (dalej „ustawa Pzp”) pn.
"Akademia PARP 2102". Wartość przedmiotowego zamówienia na usługi oszacowano na
kwotę większą niż wyrażona w złotych równowartość kwoty określonej w przepisach
wydanych na podstawie art. 11 ust. 8 ustawy Pzp. Ogłoszenie o zamówieniu zostało
opublikowane w Dzienniku Urzędowym Unii Europejskiej z 12 maja 2011 r. pod numerem
2011/S 91-149238
W dniu 19 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło
odwołanie wykonawcy COMBIDATA Poland sp. z o.o. ul. Emilii Plater 12, 81-777 Sopot
(dalej „Odwołujący”) wobec czynności Zamawiającego polegającej na dokonaniu oceny
oferty Odwołującego niezgodnie z opisanymi zasadami oceny w Specyfikacji Istotnych
Warunków Zamówienia (dalej "SIWZ") skutkującej wyborem jako najkorzystniejszej w
przedmiotowym postępowaniu oferty złożonej przez Wykonawców wspólnie ubiegających
się o udzielenie zamówienia, którymi są: Instytut Edukacji Interaktywnej estakada.pl sp. z
o.o. z siedzibą w Warszawie i Betacom S.A. z siedzibą w Warszawie.
Opisanym wyżej czynnościom Zamawiającego Odwołujący zarzucał naruszenie art.
91 ust. 1 ustawy Pzp poprzez błędną ocenę oferty Odwołującego.
Odwołujący wskazywał, że wiadomość o okolicznościach stanowiących podstawę
złożenia odwołania powziął dnia 12 listopada 2012 roku, to jest w dniu odebrania przesłanej
pocztą elektroniczną informacji o wyborze oferty najkorzystniejszej w przedmiotowym
postępowaniu. Niniejsze odwołanie złożone zostało w dniu 19 listopada 2012 roku.
Uwzględniając powyższe, termin na wniesienie niniejszego odwołania został dochowany.
Odwołujący podnosił, iż ma interes w uzyskaniu zamówienia, albowiem zaskarżona
czynność Zamawiającego poprzez zaniżoną ocenę oferty Odwołującego uniemożliwia
Odwołującemu uzyskanie tego zamówienia. Gdyby Zamawiający nie naruszył przepisów
ustawy Pzp, oferta Odwołującego powinna być wybrana przez Zamawiającego jako oferta
najkorzystniejsza, co oznacza, iż Odwołujący w wyniku naruszenia przez Zamawiającego
przepisów ustawy Pzp może ponieść szkodę.
Mając na uwadze powyższe, Odwołujący wnosił o:
1)
unieważnienie czynności wyboru za najkorzystniejszą oferty złożonej przez
Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są:
Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i
Betacom S.A. z siedzibą w Warszawie;
2)
powtórzenie czynności badania i oceny ofert;
3)
powtórzenie czynności wyboru oferty najkorzystniejszej.
Odwołujący wskazywał, że Zamawiający, prowadząc przedmiotowe postępowanie o
udzielenie zamówienia publicznego „Akademia PARP 2012”, dokonał wyboru oferty
najkorzystniejszej i w myśl dyspozycji art. 92 ust. 1 ustawy Pzp przekazał m.in. wyniki oceny
ofert, które pokazały, iż oferta nr 1 (złożona przez Odwołującego uzyskała 20 punktów w
kryterium „cena”, 43,97 punktu w kryterium „L1” (ocena materiału źródłowego oraz lekcji
demo nr 1) oraz 20,74 punktu w kryterium „L2” (ocena lekcji demo nr 2 - tzw.
zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności), co łącznie daje
84,71 punktu, natomiast uznana za najkorzystniejszą oferta nr 5, złożona przez
Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są: Instytut
Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i Betacom S.A. z
siedzibą w Warszawie, uzyskała 12,50 punktu w kryterium "cena”, 49,67 punktu w kryterium
„L1” oraz 30 punktów w kryterium „L2”, co łącznie daje 92,17 punktu.
W wyniku analizy kart ocen ofert udostępnionych przez Zamawiającego jako fragment
protokołu postępowania o udzielenie zamówienia publicznego Odwołujący ustalił, iż
Zamawiający błędnie ocenił jego ofertę. Błędna ocena dotyczy dwóch punków kryterium
oceny: 4 i 5 w części „L1” podkryterium a). śadna z osób oceniających ofertę Odwołującego
wyniku dokonywania „oceny LI” nie przyznała punktów w podkryterium a) w punktach 4 (czy
prawidłowo zoperacjonalizowano cele - max. 4 punkty) i 5 (czy cele zostały prawidłowo
sformułowane - max. 3 punkty).
Nieprzyznanie punktów oceniający uzasadnili następująco.
Oceniający AS: „Cele poszczególnych zagadnień nie zostały określone - 0 pkt. tym samym
nie są logicznie powiązane - 0 pkt, czy cele zagadnień nie powielają się? - brak celów 0 pkt.
Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom
zawartym w lekcji (w ekranach, ćwiczeniach)? - brak celów 0 pkt. Cele operacyjne nie
zostały sformułowane - 0 pkt, Czy nie są zbyt ogólne ani zbyt szczegółowe? - 0 pkt - brak
celów, Czy są sformułowane w sposób motywujący uczestnika do nauki? - 0 pkt - brak
celów. ”.
Oceniający RM: „Cele poszczególnych zagadnień nie zostały określone. - przyznano
0punktów za pytanie „ Czy prawidłowo zoperacjonalizowano cele? ”. Cele operacyjne nie
zostały sformułowane - przyznano 0 punktów za prawidłowość sformułowania celów. ”
Oceniający ST: „Cele operacyjne nie zostały sformułowane- przyznano 0 punktów za
prawidłowość sformułowania celów. Cele operacyjne nie zostały sformułowane w sposób
motywujący uczestnika do nauki - przyznano 0 punktów. Cele nie zostały określone, więc nie
można ocenić czy nie są zbyt ogólne, ani zbyt szczegółowe - przyznano 0 punktów”.
Z powyżej cytowanych uzasadnień oceniających wynikać miałoby, iż Odwołujący w
swojej ofercie w ogóle nie wskazał celów. Tymczasem na stronie 19 oferty Odwołującego w
punkcie 5.1 przedstawiono cele lekcji, na stronie 20, w punkcie 5.4 przedstawiono informacje
dotyczące prawidłowego zoperacjonalizowania celów, a na stronie 21, w punkcie 5.5
przedstawiono informacje dotyczące prawidłowego sformułowania celów. I dalej, na stronie
25 przedstawiającej ekran 2 scenariusza lekcji potwierdzono przedstawienie celów lekcji w
tekście przekazywanym przez awatarkę/reporterkę.
W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4 podkryterium a)
kryterium oceny ofert „Koncepcja realizacji usługi”, oraz odpowiedzi na 3 pytania kontrolne
punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować przyznaniem
ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów wyższej.
Odwołujący kwestionował także liczbę punków przyznanych za nowatorstwo i
interaktywności lekcji Akademii PARP.
Liczba zaproponowanych i opisanych nowych multimediów i interaktywności,
niewystępujących w innych lekcjach Akademii PARP, przez każdą z osób oceniających
oferty z przedstawionych przez Odwołującego 51 propozycji funkcjonalności i
interaktywności zakwalifikowała 47 nowości, ponieważ funkcjonalności nr 11 oraz nr 12
zostały uznane jako nowość, jednak jednocześnie potraktowano je jako pojedynczą
funkcjonalność, a funkcjonalności o numerach 15, 17 oraz 20 nie zostały uznane jako
nowości, ponieważ występują w lekcjach Akademii PARP.
Tymczasem funkcjonalność nr 11 sterowana przyciskiem SCHOWAJ MENU
umożliwia ukrycie dolnej belki nawigacyjnej z dodatkowymi opcjami, a funkcjonalność nr 12
sterowana przyciskiem POKAś MENU umożliwia ponowne odkrycie dolnej belki
nawigacyjnej z dodatkowymi opcjami. Wszystkie ekrany materiałów demonstracyjnych
posiadają funkcjonalność umożliwiającą ukrywanie przycisków funkcyjnych znajdujących się
na belce nawigacyjnej. W każdej z próbek pasek ten jest domyślnie włączony. Użytkownik
ma możliwość ukrywania i odkrywania belki modyfikując tym samym wygląd ekranu. W
związku z tym należy przyjąć, że są to dwie odrębne interakcje.
Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na
ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik
może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii
PARP nie posiadają przycisku SPRÓBUJ PONOWNIE. W teście Akademii PARP dostępny
jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej
działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści)
odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści
odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności,
które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane
są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE
w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność
poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę
dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu
nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk
SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby
nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w
inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest
elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu
SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie
Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną
przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii
PARP.
Funkcjonalność 17 natomiast to przycisk SPRAWDŹ, który znajduje się na ekranach
z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał
dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz testu w produktach Akademii PARP
nie posiadają przycisku SPRAWDŹ. W teście Akademii PARP użytkownik, po zatwierdzeniu
udzielonej odpowiedzi przechodzi do następnego pytania i nie ma możliwości sprawdzenia,
czy udzielona przez niego odpowiedź do obecnie wyświetlonego pytania jest prawidłowa. W
testach Odwołującego użytkownik przed przejściem do kolejnego pytania może jednocześnie
zatwierdzić i sprawdzić czy udzielił poprawnej czy niepoprawnej odpowiedzi na dane pytanie
przyciskiem SPRAWDŹ, co jest absolutną nowością funkcjonalną testów w stosunku do
produktu Akademia PARP. Użytkownik w trakcie korzystania z testu może na bieżąco
monitorować swoje wyniki, co jest niemożliwe w przypadku testu w Akademii PARP. Sposób
działania przycisku ZATWIERDŹ w testach Akademii PARP jest nadmiarowy - z punktu
widzenia użytkownika przycisk ten, nic nie wnosi, zmuszając do zwiększenia ilości kliknięć w
celu przejścia do kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być
przejście do kolejnego ekranu za pomocą przycisku DALEJ. Tak jak w przypadku testów
Odwołującego, gdzie przycisk DALEJ ma funkcjonalność zatwierdzania pytania i przejścia do
kolejnego bez jego sprawdzania, co można w tej sytuacji uznać jako nową, niewspomnianą
wcześniej funkcjonalność, ale istniejącą w próbce przesłanej Zamawiającemu.
W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku
ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach
Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za
zadanie uchronienie użytkownika przed uzyskaniem statusu „failed” w lekcji. W szkoleniach
Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest
ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze
standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności,
ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed”, pomimo
że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu
produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych
sytuacjach (w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni. W
świetle powyższego oceny przyznane ofercie Odwołującego przez każdego z oceniających
powinny być o cztery punkty wyższe.
Reasumując po zastosowaniu kryteriów oceny ofert zapisanych w SIWZ przez
Zamawiającego oferta Odwołującego powinna uzyskać ocenę w wysokości 92,50 punktu, a
oferta uznana przez Zamawiającego za najkorzystniejszą - ocenę w wysokości 91,56 punktu.
Nadmienić należy, iż gdyby oferta Odwołującego wybrana została najkorzystniejszą w
przedmiotowym postępowaniu, to rozstrzygnięcie takie skutkowałoby oszczędnościami
środków publicznych po stronie zamawiającego w wysokości przekraczającej 7 milionów
złotych.
Skoro zatem Zamawiający ocenił oferty sprzecznie z określonymi w SIWZ kryteriami,
a więc dopuścił się złamania art. 91 ust. 1 ustawy Pzp.
W świetle powyższego Odwołujący wnosił jak w petitum.
Kopia odwołania została przekazana Zamawiającemu 19 listopada 2012 r.
W dniu 19 listopada 2012 r. Zamawiający wezwał do wzięcia udziału w postępowaniu
odwoławczym i przekazał kopię odwołania.
W dniu 22 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło
zgłoszenie przystąpienia do postępowania odwoławczego po stronie Zamawiającego
wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut Edukacji
Interaktywnej estakada.pl sp. z o.o. z siedzibą przy ul. Grzybowskiej 80/82, 00-844
Warszawa oraz Betacom S.A. z siedzibą przy ul. Połczyńskiej 31A, 01-377 Warszawa (dalej
także jako "Przystępujący").
Przystępujący wskazywał, że podmioty, których oferta została uznana za
najkorzystniejszą w niniejszym postępowaniu o udzielenie zamówienia publicznego
posiadają interes w uzyskaniu rozstrzygnięcia na korzyść Zamawiającego. W uzasadnieniu
Przystępujący wskazywał, że pismem z dnia 9 listopada 2012 Wykonawcy biorący udział w
przedmiotowym postępowaniu o udzielenie zamówienia publicznego prowadzonego w trybie
dialogu konkurencyjnego zostali poinformowani przez Zamawiającego o wyborze
najkorzystniejszej oferty. Oferta Przystępującego uzyskała największą liczbę punktów w
kryteriach oceny ofert (92,17) i została uznana za najlepszą ofertę. Oferta Odwołującego
uzyskała 84,71 punktu. Odwołujący zarzuca Zamawiającemu błędną ocenę oferty
Odwołującego i wnosi o unieważnienie czynności wyboru oferty Przystępującego,
powtórzenie czynności badania i oceny ofert oraz czynności wyboru oferty najkorzystniejszej.
Przystępujący wskazywał, że w niniejszej sprawie zgodzić się należy z
Zamawiającym. Odnośnie zarzutów odwołania Przystępujący podnosił, co następuje.
Liczba punktów w kryterium: Koncepcja realizacji usługi - punktacja materiału źródłowego i
lekcji demonstracyjnej nr 1 (ocena L1)
W uzasadnieniu odwołania Odwołujący stwierdza, że ocena lekcji demonstracyjnej nr 1
dokonana przez Zamawiającego w oparciu o punkty 4 i 5 oceny L1 jest błędna.
Odwołujący uzasadnia, iż Zamawiający miał możliwość dokonania oceny według punktów 4 i
5:... na stronie 19 oferty Odwołującego w punkcie 5.1 przedstawiono cele lekcji, na stronie
20, w punkcie 5.4 przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania
celów, a na stronie 21, w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego
sformułowania celów. I dalej, na stronie 25 przedstawiającej ekran 2 scenariusza lekcji
potwierdzono
przedstawienie
celów
lekcji
w
tekście
przekazywanym
przez
awatarkę/reporterkę. W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4
podkryterium a) kryterium oceny ofert „Koncepcja realizacji usługi", oraz odpowiedzi na 3
pytania kontrolne punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować
przyznaniem ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów
wyższej.
Przystępujący zauważał, że jednak ani cele przedstawione na stronie 19 (i 25) oferty
Odwołującego, ani informacje ze strony 20 i 21, nie dawały możliwości oceny wg punktów 4
i 5.
W punkcie 4 Zamawiający napisał, iż ocenie podlegają cele operacyjne zagadnień, a
nie cele lekcji.
Punkt 4. Czy prawidłowo zoperacjonalizowano cele:
-
czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
-
czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
-
czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)
-
czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (w ekranach, ćwiczeniach)
Odwołujący nie przedstawił w żadnym fragmencie swojej oferty (ani w materiale
źródłowym, ani w żadnym z opisów, ani w samej lekcji, w tym w celach przekazywanych
przez awatarkę/reporterkę) celów operacyjnych do zagadnień. Dlatego Zamawiający nie
miał możliwości dokonania ich oceny.
Punkt 5. Czy cele zostały prawidłowo sformułowane.
W tym punkcie, po ocenie prawidłowości celów zagadnień operacyjnych, Zamawiający
oceniał sposób sformułowania tych celów.
Podobnie jak w przypadku punktu 4, Zamawiający nie mógł ocenić, czy cele
operacyjne zagadnień zostały sformułowane prawidłowo, gdyż cele operacyjne do
zagadnień nie zostały przedstawione. Sam Odwołujący przyznaje w cytowanym wyżej
uzasadnieniu odwołania, iż jedynymi celami, jakie zostały przedstawione w ofercie, były cele
lekcji (przedstawione na str. 19 oraz w scenariuszu na str. 25). Cele nie zostały poddane
operacjonalizacji na poziomie zagadnień, co uniemożliwiło dokonanie oceny punktów nr 4 i
5. Cele lekcji były oceniane przez Zamawiającego w Punkcie nr 1. Czy prawidłowo
zostały określone cele lekcji. Zamawiający przyznał Odwołującemu w tym punkcie
maksymalną liczbę punktów (czyli 2 punkty).
Analiza zawartości oferty Odwołującego w odniesieniu do punktów 4 i 5
Zamawiający nie mógł dokonać oceny według punktów 4 i 5, gdyż w materiale
źródłowym (ani w samej lekcji) nie zostały sformułowane i przedstawione cele
poszczególnych zagadnień.
Zagadnienia lekcji demonstracyjnej nr 1 Odwołującego określono w materiale
źródłowym w tabeli:
Tytuł ekranu
Prezentowane zagadnienia
Mentoring jako jeden ze sposobów Ekran
tytułowy.
zarządzania wiedzą w firmie
Cele lekcji
Ekran prezentujący cele lekcji.
Wprowadzenie
Zawiązanie fabuły i wskazanie sytuacji problemowej, na
podstawie której omawiane będą kolejne
zagadnienia poruszane w lekcji
Czym jest mentoring?
Ekran teoretyczny prezentujący definicję mentoringu.
Ćwiczenie 1. Mentoring
Ekran z interaktywnym ćwiczeniem polegającym na
uzupełnieniu
definicji
mentoringu.
Mądrość zawodowa
Ekran teoretyczny z kontynuacją fabuły.
Zaprezentowanie zagadnienia mentoringu jako
rozwiązania sytuacji problemowej wskazanej na ekranie
„Wprowadzenie".
Formy mentoringu
Ekran teoretyczny z interakcją prezentujący wybrane
formy
mentoringu.
Ćwiczenie2. Formy mentoringu
Ekran z interaktywnym ćwiczeniem polegającym na
przeanalizowaniu rysunków przedstawiających
poznane formy mentoringu i dopasowaniu do nich
odpowiednich opisów.
Kompetencje mentora
Ekran teoretyczny prezentujący kompetencje mentora.
Korzyści płynące z
Ekran teoretyczny prezentujący korzyści płynące z
wdrożenia mentoringu
wdrożenia mentoringu w firmie.
Ćwiczenie 3.
Ekran z interaktywnym ćwiczeniem polegającym
Kompetencje mentora
na przeanalizowaniu rysunków i dopasowaniu do
nich odpowiednich kompetencji mentora.
Podsumowanie lekcji
Interaktywny ekran z podsumowaniem wiadomości.
Jak wynika z opisu w tabeli, Odwołujący każdy ekran traktuje jako zagadnienie.
Jednak nigdzie nie zostały sprecyzowane cele do tych zagadnień. Podane są jedynie
ogólnikowe opisy, np. Ekran teoretyczny prezentujący definicję mentoringu. Takiego opisu
nie można traktować jako celu operacyjnego. Nie mając podanych celów do zagadnień,
Zamawiający nie mógł dokonać oceny według punktów 4 i 5.
W uzasadnieniu odwołania Odwołujący przytacza, iż w punkcie 5.4 materiału
źródłowego przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania celów,
a w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego sformułowania celów.
Przeanalizowanie tych zapisów wskazuje jedynie na to, że Odwołujący w ofercie
zadeklarował, jakoby cele były prawidłowo zoperacjonalizowane i sformułowane, ale nie
było możliwe zweryfikowanie tych deklaracji, gdyż cele zagadnień nie zostały przedstawione.
Poniżej odnosimy się do deklaracji dotyczących punktów 4 i 5.
Punkt 4.1 czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych
celów lekcji?
Odwołujący zadeklarował w materiale źródłowym:
Cele poszczególnych zagadnień wynikają z ogólnych celów lekcji, więc tym samym
przyczyniają się doich realizacji.
Jest to jednak deklaracja niemożliwa do weryfikacji, jako że w materiale przedstawiono
jedynie cele lekcji, nie ma natomiast nigdzie celów zagadnień.
Punkt 4.2 czy cele poszczególnych zagadnień są ze sobą logicznie powiązane
Odwołujący zadeklarował w materiale źródłowym:
Cele poszczególnych zagadnień są ze sobą logicznie powiązane.
W lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na
pytaniach:
po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka".
Jest to również deklaracja niemożliwa do zweryfikowania, jako że nigdzie w materiale
nie zaprezentowano celów poszczególnych zagadnień. Jedyne cele określone przez
Odwołującego to cele lekcji.
Warto zauważyć, że nawet cele lekcji nie zostały sformułowane w zadeklarowany sposób.
Nie wskazują odpowiedzi na pytania: po co, kiedy, co, kto, co z tego wynika. Również w
opisie zagadnień z cytowanej tabeli nigdzie nie znalazły się takie sformułowania. Nie
znajdujemy ich także w treściach
lekcji. Można też zadać pytanie, w jaki sposób te pytania mają świadczyć o prawidłowej
operacjonalizacji celu.
Dodatkowo Odwołujący przyznaje niniejszym, iż w formułowaniu celów nie posługiwał
się metodą operacjonalizacji celów, zgodnie z którą Zamawiający dokonywał oceny, a
własnym sposobem, nazywanym "metodą lejka".
Nie jest to metoda stosowana powszechnie w dydaktyce. Można domniemywać, że
pod hasłem metody lejka kryje się sposób zadawania pytań - od ogółu do szczegółu - tzw.
technika lejka. Polega ona na stopniowym formułowaniu pytań od ogólnych do
szczegółowych, aby uzyskać od rozmówcy (kupującego) oczekiwaną odpowiedź. Takie
techniki są stosowane np. w sprzedaży, czy asertywnej komunikacji, ale nie do formułowania
celów dydaktycznych. Co więcej, z analizy treści lekcji Odwołującego nie wynika, aby zostały
one przygotowane w oparciu o tę technikę.
Formułowanie celów operacyjnych jest poszukiwaniem odpowiedzi, jakie są
pożądane efekty kształcenia, co to znaczy, że ktoś osiągnął cel (np. potrafi coś wykonać).
Natomiast cele dydaktyczne nie są pytaniami. Aby formułować efektywne cele należy
zbudować je jako konkretny rezultat, wyrazić precyzyjnie i pojedynczo, bez łączenia kilku
spraw na raz. Nie chodzi tu o zadawanie pytań w sposób naprowadzający na właściwą
odpowiedź.
Punkt 4.3 czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)
Odwołujący zadeklarował w materiale źródłowym:
Cele zagadnień nie powielają się, ponieważ są w pełni realizowane i wyczerpywane na
ekranach oznaczonych w sylabusie jako teoretyczne. Poszczególne zagadnienia przekazują
różne informacje i uczą różnych umiejętności.
Nie można stwierdzić, czy cele zagadnień powielają się, jako że nie zostały nigdzie podane.
Warto też zauważyć, że jeśli jest tak, jak twierdzi Odwołujący, że cele lekcji są w
pełni realizowane i wyczerpywane w ekranach oznaczonych jako teoretyczne, oznacza to,
że pozostałe ekrany zostały umieszczone w lekcji bez żadnego celu. Nie mają zatem sensu
dydaktycznego, nie powinno się ich umieszczać w lekcji.
Punkt 4.4 czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia
dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach)
Odwołujący zadeklarował w materiale źródłowym:
Cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym
w lekcji. Każde z zagadnień jest przedstawione zgodnie z „regułą lejka" - od ogółu do
szczegółu. Zarówno sposób omawiania zagadnień, jak i ćwiczenia skłaniają do praktycznego
zastosowania nabytej wiedzy.
Jest to kolejne twierdzenie niemożliwe do zweryfikowania, jako że cele zagadnień nie
zostały nigdzie sformułowane. Nie można zatem stwierdzić, czy treści zawarte w
zagadnieniach pozwalają osiągnąć te cele.
Jednocześnie można nadmienić, że treści zagadnień nie zostały sformułowane
metodą od ogółu do szczegółu.
Punkt 5.1 czy cele operacyjne zostały sformułowane prawidłowo?
Odwołujący zadeklarował w materiale źródłowym: Cele operacyjne zostały sformułowane
prawidłowo. Cele sformułowane w lekcji są:
- jednoznaczne, gdyż określają, co kursant w jej toku osiągnie: o umiejętność
definiowania, o umiejętność określania kompetencji, o wiedzę w danym zakresie,
- wykonalne, ponieważ uczący się może przyswoić sobie zakładane cele, poprzez
ćwiczenia i interakcje stanowiące integralną część szkolenia,
-
logiczne, ponieważ można określić ich zakres i zawartość,
-
obserwowalne za pomocą wykorzystanych w lekcji mechanizmów weryfikujących
postępykursanta. Z poziomu szkolenia w Spisie treści zamieszczona jest informacja
o zaliczeniu bądźniezaliczeniu ćwiczeń sprawdzających opanowanie omawianych
zagadnień. Ponadto wynikitestu eksportowane są na platformę edukacyjną.
- mierzalne, ponieważ określają, co kursant powinien wiedzieć i rozumieć oraz jak i w
jakichsytuacjach wykorzystać zdobytą wiedzę.
Deklaracja Odwołującego odnosi się jedynie do celów lekcji, a nie celów operacyjnych
zagadnień. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł
dokonać ich oceny.
Nawet jednak gdyby pod tym kątem ocenić sposób sformułowania celów lekcji,
można zastanawiać się na deklaracją Odwołującego. Tak np. cele powinny być
sformułowane jako jednoznaczne zachowania, poprzez stosowanie czasowników
operacyjnych. Powinno się unikać wyrażeń wieloznacznych, np. wiedzieć, umieć, znać,
przedstawić, podać, nauczyć, zapoznać ucznia, ukształtować itp. (B. N………….)
Punkt 5.2 czy cele nie są zbyt ogólne ani zbyt szczegółowe?
Odwołujący zadeklarował w materiale źródłowym:
Cele nie są zbyt ogólne ani zbyt szczegółowe.
Cele przedstawione w lekcji są adekwatne do zawartej w niej treści i wiedzy z zakresu
mentoringu.
Deklaracja Odwołującego odnosi się ogólnikowo do treści i wiedzy z zakresu
mentoringu. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł
dokonać ich oceny.
Należy też zauważyć, że na bazie przygotowanego materiału trudno ocenić stopień
szczegółowości (ogólności) celów, jako że nie przedstawiono żadnej ich hierarchii. Znając
cele ogólne lekcji i szczegółowe cele operacyjne na poziomie zagadnień, można byłoby
weryfikować, czy cele szczegółowe zostały sformułowane prawidłowo. Cele kształcenia
mogą mieć różny stopień szczegółowości, ponieważ odnoszą się do różnych poziomów
planowania szkolenia.
W ocenie Przystępującego warto podkreślić, że cele edukacyjne nie powinny być
adekwatne do treści, czy wiedzy na jakiś temat. Cele edukacyjne powinny być adekwatne
do potrzeb grupy docelowej szkolenia. Natomiast to treści lekcji powinny być adekwatne do
celów, nie odwrotnie.
Punkt 5.3 czy cele są sformułowane w sposób motywujący uczestnika do nauki?
Odwołujący zadeklarował w materiale źródłowym:
Cele są sformułowane w sposób motywujący uczestnika do nauki.
Cele operacyjne wskazują przydatną wiedzę i umiejętności, które kursant po ukończeniu
szkoleniabędzie wiedział, umiał i potrafił wykorzystać w swojej praktyce zawodowej.
Zgodnie z cyklem uczeniasię Kolbe’ a osoby dorosłe uczą się poprzez praktykę i dla
praktyki - w lekcji wykorzystano tę zasadę.
Deklaracja Odwołującego odnosi się ogólnikowo do celów lekcji. Jako że cele
zagadnień nie zostały sformułowane, Zamawiający nie mógł dokonać ich oceny.
Zdaniem Przystępującego warto też zauważyć, że na bazie przedstawionego
wyjaśnienia trudno ocenić, co Odwołujący rozumie przez sposób motywujący do nauki. Cele
lekcji nie zostały sformułowane z punktu widzenia adresata, czyli pracownika małej i
średniej firmy. Dość luźno związane są z zadaną przez Zamawiającego tematyką lekcji, jaką
miało być "zarządzanie wiekiem a zarządzanie wiedzą" (jedynie trzeci z celów lekcji
nawiązuje do tego tematu). Ze względu na sposób sformułowania celów, w którym nie
zawsze zostały zastosowane czasowniki operacyjne, trudno stwierdzić, na ile praktyczna
może okazać się realizacja celów. Zważywszy na to, że sam Odwołujący twierdzi, iż cele
realizowane są jedynie przez ekrany teoretyczne, trudno stwierdzić, w jaki sposób cele
odnoszą się do praktyki.
Wnioski dotyczące punktów 4 i 5
Cele operacyjne oraz problematyka operacjonalizacji to zagadnienia dobrze znane w
dydaktyce. Autorem polskiej wersji taksonomii celów jest prof. dr hab. Bolesław Niemierko.
Jej terminologia jest neutralna, niezwiązana z żadną grupą przedmiotów, stosowana w
uczeniu dzieci, jak i dorosłych. I tak np. taksonomia celów wg Niemierki jest stosowana do
opisu programów kształcenia stosowanych przez Krajowy Ośrodek Wspierania Edukacji
Zawodowej i Ustawicznej (publiczną placówkę doskonalenia nauczycieli, której organem
prowadzącym jest MEN). Poznają ją nauczyciele i pedagodzy, zajmujący się uczeniem
dzieci i młodzieży, jak i zajmujący się kształceniem zawodowym, czy uczeniem osób
dorosłych. Powinna być znana podmiotom zajmującym się zawodowo uczeniem.
Na etapie składania wniosków w postępowaniu, Odwołujący złożył stosowne
oświadczenia dotyczące spełnienia warunku posiadania wiedzy i doświadczenia, w tym
dysponowania osobami mającymi doświadczenie metodyczne. Powoływał się przy tym
głównie na własne doświadczenia, oraz na wiedzę i doświadczenie własnych pracowników
etatowych (5 osób w roli metodyków). Należy zatem oczekiwać, iż zagadnienia dydaktyki, w
tym operacjonalizacji celów, były Odwołującemu znane. Gdyby nawet jednak przyjąć, że
Odwołujący mógł nie znać zasad formułowania celów operacyjnych, to miał przecież
możliwość zadania pytań dotyczących kryteriów oceny po ogłoszeniu treści SIWZ. Jednak
nie pojawiły się żadne pytania wskazujące na jakiekolwiek wątpliwości co do formułowania
celów.
Cele operacyjne można sformułować dla każdej jednostki lekcyjnej i dla każdego z jej
elementów. W ofercie Odwołującego nie dokonano podziału celów na cele wyższego i
niższego rzędu. Zagadnienia i treści uczenia nie mogą być formułowane bez związku z
celami nauczania. Doprowadza to do sytuacji, w której nie ma możliwości jednoznacznego
przyporządkowania treści zagadnień do celów. Materiał nie jest uporządkowany wg logicznej
kolejności. Na przykład ćwiczenie dotyczące kompetencji mentorów zostało umieszczone po
ekranie zatytułowanym "Korzyści płynące z wdrożenia mentoringu", a nie bezpośrednio po
ekranie teoretycznym "Kompetencje mentora".
Sam Odwołujący przyznaje w ofercie, że cele zostały formułowane w taki sposób,
aby były adekwatne do treści (a nie odwrotnie). Świadczy to o tym, że cele, jeśli nawet były
formułowane, to dopiero po przygotowaniu treści lekcji, a zatem niezgodnie z zasadami
operacjonalizacji i formułowania celów. Cele operacyjne należy najpierw określić i
sformułować we właściwy sposób, a dopiero potem przyporządkowywać im treści uczące.
Odwołujący nigdzie w materiale źródłowym nie przedstawia celów operacyjnych na
poziomie zagadnień. Przedstawia wyłącznie deklaracje, iż zostały one sformułowane: "W
lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na
pytaniach: po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka'?
Być może Odwołujący zastosował taką metodę przedstawiania celów zagadnień, ale
zaniedbał tego, aby umieścić je w materiale źródłowym oraz lekcji demonstracyjnej. Nigdzie
bowiem w ofercie Odwołującego nie pojawia się takie przedstawienie. Co więcej,
przywołując taką metodę podejścia do formułowania celu, Odwołujący w żaden sposób nie
odnosi jej do metody operacjonalizacji celów. Nie wiadomo zatem, jak "reguła lejka"
przekłada się na zasady formułowania celów operacyjnych.
Zamawiający nie miał zatem możliwości w żaden sposób, ani bezpośrednio, ani
pośrednio, dokonać oceny celów operacyjnych na poziomie zagadnień. Zadeklarowano
jedynie, iż były one formułowane "metodą lejka", ale nie zostały nigdzie przedstawione.
Podsumowanie dotyczące punktów 4 i 5
Odwołujący nie przedstawił w materiale źródłowym celów do poszczególnych
zagadnień, a jedynie cele lekcji. Cele lekcji były przez Zamawiającego oceniane w punkcie
nr 1.
Zamawiający nie miał możliwości dokonania oceny wg punktów nr 4 oraz 5, w
których ocenie podlegają cele zagadnień. Odwołujący jedynie deklarował, iż cele zagadnień
zostały przygotowane w oparciu o "metodę lejka", ale nigdzie ich nie przedstawił.
Dlatego, w opinii Przystępującego, Zamawiający słusznie nie przyznał Odwołującemu
siedmiu punktów w punktach nr 4 oraz 5.
Liczba punktów w kryterium: Koncepcja realizacji usługi,
punktacja lekcji demonstracyjnej nr 2 (ocena L2)
Funkcjonalność nr 11 i 12
W odniesieniu do liczby punktów przyznanych za nowatorstwo i interaktywności lekcji
zaoferowanej przez Odwołującego, Odwołujący kwestionuje potraktowanie przez
Zamawiającego pozycji numer 11 oraz 12 jako jedną funkcjonalność.
Funkcjonalność zgłoszona pod nr 11 jest sterowana przyciskiem "schowaj menu",
funkcjonalność zgłoszona pod nr 12 jest sterowana przyciskiem "pokaż menu" i jak
podsumowuje sam Odwołujący w odwołaniu "Użytkownik ma możliwość ukrywania i
odkrywania belki modyfikując tym samym wygląd ekranu". Podobnie zostały opisane te
pozycje przez Odwołującego w ofercie (nr 11: "umożliwia ukrycie dolnej belki nawigacyjnej z
dodatkowymi opcjami' oraz nr 12: " umożliwia ponowne odkrycie dolnej belki nawigacyjnej z
dodatkowymi opcjami').
Modyfikacja ekranu dotyczy samej belki, jedyny skutek wspomnianej modyfikacji to
wyświetlenie/ukrycie belki. Przycisk sterujący belką pozostaje w tym samym miejscu, odkryta
belka niczego nie zasłania, a jej ukrycie nie zwiększa obszaru widocznego dla użytkownika.
Należy podkreślić, że ukrycie belki (nr 11) nie zwiększa możliwości funkcjonalnych dla
użytkownika, jest całkowicie zależne od jej wcześniejszego pokazania (nr 12). W załączeniu
dowód nr 1 - wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla belki
ukrytej i odkrytej.
Tym samym modyfikacja wyglądu interfejsu przez użytkownika polegająca na ukryciu
belki nawigacyjnej jest logiczną składową tej samej funkcjonalności uzyskiwanej w związku z
pokazaniem belki nawigacyjnej. Nie stwarza żadnej dodatkowej wartości dla użytkownika.
Ponadto Przystępujący podkreślał, że jak wynika z analizy porównawczej ofert w
postępowaniu jawnych dla Przystępującego - Zamawiający konsekwentnie zastosował takie
podejście w ocenie zaoferowanych funkcjonalności wobec innych oferentów, w tym oferty
Przystępującego.
Funkcjonalność nr 15
"Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na
ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik
może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii
PARP nie posiadają przycisku SPRÓBUJ PONOWNIE . W teście Akademii PARP dostępny
jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej
działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści)
odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści
odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności,
które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane
są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE
w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność
poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę
dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu
nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk
SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby
nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w
inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest
elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu
SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie
Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną
przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii
PARP."
Odwołujący w powyższym fragmencie porównuje ćwiczenia z części teoretycznej
lekcji Odwołującego z testami Akademii PARP. Jednak aby wykazać nowość, Odwołujący
powinien się odnieść nie tylko wybiórczo do testów, ale także do ćwiczeń w lekcjach
Akademii PARP - we wszystkich rodzajach występujących w Akademii PARP. Podkreślić
należy, że dziedziną interaktywności, względem której Zamawiający dopuścił zgłaszanie
nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach.
Ćwiczenia wraz z komentarzami mają funkcję uczącą, nie ma nic niewłaściwego w
tym, że uczestnik może eksperymentować z różnymi odpowiedziami, "odkrywając" ich
znaczenie, powtarzać je. W Akademii PARP stosowane są m.in. ćwiczenia typu
"rozsypanka" w których przycisk "Czyść" oprócz możliwości ponownego podejścia powoduje
losową zmianę kolejności odpowiedzi. Ten rodzaj ćwiczeń Akademii PARP najwyraźniej nie
został przez Odwołującego rozpoznany. Przykładowe wystąpienie ćwiczenia typu
"rozsypanka" w szkoleniach Akademii PARP: Szkolenie "Planowanie własnej kariery
zawodowej" lekcja 1.2 ekran 10 z 21.
W załączeniu przedstawiono dowód nr 2 prezentujący powyższy przykład ćwiczenia
typu "rozsypanka" przed i po naciśnięciu przycisku "Czyść" powodującego nie tylko
wyczyszczenie wyniku do powtórzenia ćwiczenia ale również ponowne wylosowanie
kolejności odpowiedzi. Tym samym, jak zostało wykazane, nie ma żadnej nowości w pozycji
nr 15 zgłoszonej przez Odwołującego.
Funkcjonalność nr 17
Odwołujący przedstawia następujące stanowisko w związku z oceną zadeklarowanej
przez niego funkcjonalności nr 17: "Funkcjonalność 17 natomiast to przycisk SPRAWDŹ,
który znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje
informację, czy poprawnie wykonał dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz
testu w produktach Akademii PARP nie posiadają przycisku SPRAWDŹ. W teście Akademii
PARP użytkownik, po zatwierdzeniu udzielonej odpowiedzi przechodzi do następnego
pytania i nie ma możliwości sprawdzenia, czy udzielona przez niego odpowiedź do obecnie
wyświetlonego pytania jest prawidłowa. W testach Odwołującego użytkownik przed
przejściem do kolejnego pytania może jednocześnie zatwierdzić i sprawdzić czy udzielił
poprawnej czy niepoprawnej odpowiedzi na dane pytanie przyciskiem SPRAWDŹ, co jest
absolutną nowością funkcjonalną testów w stosunku do produktu Akademia PARP.
Użytkownik w trakcie korzystania z testu może na bieżąco monitorować swoje wyniki, co jest
niemożliwe w przypadku testu w Akademii PARP. Sposób działania przycisku ZATWIERDŹ
w testach Akademii PARP jest nadmiarowy -z punktu widzenia użytkownika przycisk ten, nic
nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do kolejnego pytania.
Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do kolejnego ekranu za
pomocą przycisku DALEJ. Tak jak w przypadku testów Odwołującego, gdzie przycisk DALEJ
ma funkcjonalność zatwierdzania pytania i przejścia do kolejnego bez jego sprawdzania, co
można w tej sytuacji uznać jako nową, niewspomnianą wcześniej funkcjonalność, ale
istniejącą w próbce przesłanej Zamawiającemu."
Jeśli chodzi o fakt, że w Akademii PARP w ćwiczeniach pokazują się komentarze, a
w pytaniach testowych komentarze są wyłączone, nie wynika on z tego, że w ramach
Akademii PARP nie stosowano takiej funkcjonalności, tylko z zamierzonej, wymaganej w e-
learningu specjalizacji treści szkolenia. Lekcje z ćwiczeniami służą do uczenia uczestnika,
dlatego niezbędna jest natychmiastowa, doskonaląca informacja zwrotna w formie
komentarza. Testy z pytaniami testowymi służą do sprawdzania wiedzy, dlatego komentarze
nie powinny w nich występować. Przede wszystkim dlatego, że mogą mieć funkcję uczącą
(komentarz do odpowiedzi na jedno pytanie może sugerować odpowiedź na kolejne pytanie
dotyczące tego samego fragmentu lekcji). Poza tym mogą uczestnika rozpraszać, zajmować
odliczany czas itd. Dodać należy, że taka organizacja treści: lekcje oraz testy do każdego
modułu została określona w SIWZ.
Natomiast zdaniem Przystępującego, że nie jest prawdą, że ekrany ćwiczeń w
szkoleniach Akademii PARP nie posiadają przycisku Sprawdź, który wyświetla komentarz.
Wszystkie kategorie ćwiczeń w Akademii PARP wyświetlają komentarze. Większość
ćwiczeń w Akademii PARP wymaga naciśnięcia przycisku WYNIK (wszystkie ćwiczenia z
grafiką) lub SPRAWDŹ (ćwiczenia rodzaju "połącz elementy") po którym następuje
wyświetlenie komentarza z informacją, czy udzielona odpowiedź jest prawidłowa czy nie. W
załączeniu dowód nr 3 pokazujący przykłady takich ćwiczeń. Odwołujący najwyraźniej
przeoczył ten rodzaj ćwiczeń. Jednak, podobnie jak w przypadku pozycji numer 15, aby
wykazać nowość, Odwołujący powinien się odnieść nie tylko wybiórczo do testów, ale także
do ćwiczeń w lekcjach Akademii PARP - we wszystkich rodzajach występujących w
Akademii PARP. Dziedziną interaktywności, względem której Zamawiający dopuścił
zgłaszanie nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach.
Dlatego podobnie jak w przypadku pozycji numer 15, w przypadku pozycji numer 17
Odwołujący w sposób wybiórczy i nieprawidłowy przyjął zawężoną podstawę do porównania
swojej interaktywności ze szkoleniami Akademii PARP. Tym samym nie Odwołujący nie
wykazał żadnej nowości w pozycji nr 17.
Odwołujący wskazuje też na zmniejszenie liczby kliknięć w swoim przycisku
sprawdzania. Pragniemy dodać, że jak wynika z analizy porównawczej ofert w postępowaniu
jawnych dla Przystępującego - Zamawiający konsekwentnie nie uznawał innowacji
polegających na zmniejszeniu liczby kliknięć w ocenie zaoferowanych funkcjonalności
wobec innych oferentów, w tym wobec oferty Przystępującego.
Funkcjonalność nr 20
"W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach
Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za
zadanie uchronienie użytkownika przed uzyskaniem statusu „failed" w lekcji. W szkoleniach
Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest
ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze
standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności,
ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed" pomimo,
że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu
produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych
sytuacjach ( w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni."
W powyższym fragmencie znalazło się kilka stwierdzeń nieprawdziwych:
-
nieprawdą jest, że w testach Akademii PARP samo uruchomienie testu powoduje
zmianę statusu na "niezaliczone" (ang. failed). Samo uruchomienie testu powoduje
zmianę statusu na "nieukończone" (ang. incomplete),
-
w testach Akademii PARP kliknięcie na nawigator WYJŚCIE w trakcie odpowiadania
na pytania testowe wyświetla okienko z pytaniem "czy na pewno chcesz wyjść z
egzaminu?". Kliknięcie na "Anuluj" wraca do testu bez wysłania statusu. Kliknięcie na
"OK" powoduje wyjście z testu z wysłaniem statusu passed/failed w zależności od
uzyskanego wyniku - dopiero wówczas,
-
nieprawdą jest, że ekran w szkoleniach Odwołującego, pokazujący się po kliknięciu
przycisku ZAMKNIJ i potwierdzający chęć wyjścia ze szkolenia w trakcie trwania
testu, stanowi zabezpieczenie przed
wysłaniem
wyniku lekcji. Wykonaliśmy
weryfikację tego stwierdzenia za pomocą publicznie dostępnej aplikacji testującej
komunikację SCORM na lekcji demonstracyjnej Odwołującego, stanowiącej jawną
część jego oferty. Lekcja ustawiła status na "passed" za wejście w ekran nr 16, a
więc jeszcze przed wywołaniem okna rzekomo zabezpieczającego przed wysłaniem
wyniku. W załączeniu dowód nr 4 z odpowiednim fragmentem logu z komunikacji
SCORM.
Przystępujący zauważał, iż stwierdzona przez niego empirycznie sprzeczność ze
stwierdzeniem Odwołującego wynika z samego wywodu Odwołującego. Skoro Odwołujący
pisze, że status jego lekcji pozostaje "incomplete" aż do momentu wejścia na pierwsze
pytanie, to oznacza, że w już w momencie wejścia na pierwsze pytanie pojawia się zmiana
statusu.
Zatem w momencie rozpoczęcia testu, jeszcze przed wywołaniem okienka z
pytaniem, uczestnik uzyskuje status lekcji. Należy też zaznaczyć, że w standardzie SCORM
nie ma nigdzie mowy o "części zadaniowej" lekcji czy testu. Standard SCORM nie określa
jako zgodne lub niezgodne, w którym momencie lekcji czy testu powinien być przekazany
status.
W załączeniu przedstawiał dowód nr 5 - fragment standardu SCORM z odpowiednią
specyfikacją. Specyfikacja nie określa żadnej "części zadaniowej" ani szczegółowego
sposobu uzyskiwania statusu "failed". Przystępujący odnosił się do standardu SCORM dla
porządku, ponieważ wskazał go Odwołujący jako argument za zgodnością, w odróżnieniu od
domniemanej niezgodności testów Akademii PARP. Jednak także w tej kwestii Odwołujący
nie wykazał jakiejkolwiek nowości.
Reasumując, zgłoszona przez Odwołującego "funkcjonalność nr 20" nie jest żadną
nowością względem Akademii PARP, a przedstawiony wywód zawiera stwierdzenia
niezgodne ze stanem faktycznym. Analogiczne okienko w testach Akademii PARP "chroni"
przed uzyskaniem statusu "failed" w trakcie egzaminu, co chciał osiągnąć Odwołujący w
lekcji demonstracyjnej nr 2, natomiast w teście Odwołującego tak się nie dzieje, choć zostało
to podniesione jako rzekoma nowość.
Odwołujący, podsumowując swoje odwołanie, stwierdza "gdyby oferta Odwołującego
wybrana została najkorzystniejszą w przedmiotowym postępowaniu, to rozstrzygnięcie takie
skutkowałoby oszczędnościami środków publicznych po stronie zamawiającego w wysokości
przekraczającej 7 milionów złotych".
Trzy niezależne oferty złożone w postępowaniu przekraczają 90% kwoty, jaką
Zamawiający zamierzał przeznaczyć na zamówienie. Natomiast oferta najniższa - złożona
przez Odwołującego, stanowi 62,35% kwoty, jaką Zamawiający zamierzał przeznaczyć na
zamówienie. Odnosząc się do stwierdzenia Odwołującego, należy stwierdzić, że różnica w
cenie zaoferowanej przez niego i ofercie wybranej przez Zamawiającego jako
najkorzystniejsza w wysokości 6,6 mln zł brutto nie jest oszczędnością, ponieważ różnica ta
wynika z zaoferowania przez Odwołującego ceny rażąco niskiej, która uniemożliwia
zrealizowanie wymagań określonych przez Zamawiającego.
Zgodnie z art. 91 ust. 1 ustawy Pzp, zamawiający wybiera ofertę najkorzystniejszą na
podstawie kryteriów oceny ofert określonych w specyfikacji istotnych warunków zamówienia.
Kryteriami oceny ofert są cena albo cena i inne kryteria odnoszące się do przedmiotu
zamówienia, w szczególności jakość, funkcjonalność, parametry techniczne, zastosowanie
najlepszych dostępnych technologii w zakresie oddziaływania na środowisko, koszty
eksploatacji, serwis oraz termin wykonania zamówienia.
Ponadto, zgodnie z art. 2 pkt 5 ustawy Pzp, ilekroć w ustawie mowa o
najkorzystniejszej ofercie - należy przez to rozumieć ofertę, która przedstawia
najkorzystniejszy bilans ceny i innych kryteriów odnoszących się do przedmiotu zamówienia
publicznego, albo ofertę z najniższą ceną, a w przypadku zamówień publicznych w zakresie
działalności twórczej lub naukowej, których przedmiotu nie można z góry opisać w sposób
jednoznaczny i wyczerpujący - ofertę, która przedstawia najkorzystniejszy bilans ceny i
innych kryteriów odnoszących się do przedmiotu zamówienia publicznego.
Z powyższego wynika, że cena nie zawsze musi być podstawowym miernikiem
wyboru najkorzystniejszej oferty. Zamawiający może uwarunkować wybór najkorzystniejszej
oferty spełnieniem innych kryteriów, poza korzystną ceną, odnoszących się do przedmiotu
zamówienia. Taka sytuacja miała miejsce w niniejszej sprawie, dlatego bezzasadny jest
zarzut, że wybór oferty Odwołującego prowadziłby do oszczędności. Za powyższym
przemawia dodatkowo okoliczność, że, jak zostało podkreślone powyżej, zaoferowana przez
Odwołującego cena jest rażąco niska i uniemożliwia zrealizowanie wymagań określonych
przez Zamawiającego. Ewentualna oszczędność byłaby zatem pozorna.
Wybierając najkorzystniejszą ofertę, Zamawiający może posługiwać się wyłącznie
kryteriami oceny ofert opisanymi w SIWZ, zgodnie z art. 36 ust. 1 pkt 13 ustawy Pzp. Jest to
podstawowe ograniczenie, jakie przepisy prawa stawiają Zamawiającemu w zakresie
wyboru najkorzystniejszej oferty. W niniejszej sprawie Zamawiający dopełnił powyższego
obowiązku, albowiem, uzasadniając ocenę, odniósł się do kryteriów oceny wskazanych w
SIWZ. W wyniku dokonania oceny ofert wybrana została oferta Przystępującego, ponieważ
w sposób najpełniejszy odpowiadała kryteriom wskazanym w SIWZ.
Mając na uwadze powyższe rozważania, uznać należy, że zarzut, jakoby
Zamawiający, dokonując wyboru najkorzystniejszej oferty, naruszył przepis art. 91 ust. 1
ustawy Pzp jest całkowicie bezzasadny, zaś ewentualny ponowny wybór oferty w oparciu o
kryteria oceny wskazane w SIWZ musiałby prowadzić do ponownego wyboru oferty
Przystępującego, jako oferty najkorzystniejszej.
Do zgłoszenia przystąpienia załączono m.in.:
1. Dowód nr 1. Wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla
belki ukrytej i odkrytej. Ukrycie belki (przez przycisk SCHOWAJ MENU) jest całkowicie
zależne od jej wcześniejszego pokazania (przez przycisk POKAś MENU), nie zwiększa
obszaru widocznego dla użytkownika - jest więc częścią tej samej funkcjonalności.
2. Dowód nr 2. Przykłady ćwiczeń w Akademii PARP typu "Rozsypanka" przed i po
naciśnięciu przycisku "Czyść". Przycisk ten powoduje nie tylko wyczyszczenie wyniku do
powtórzenia ćwiczenia ale również ponowne wylosowanie kolejności odpowiedzi.
3. Dowód nr 3. Przykłady ćwiczeń w Akademii PARP z grafiką i "przeciągnij i upuść" które
wyświetlają przycisk (WYNIK i SPRAWDŹ) oraz po jego naciśnięciu komentarz z
informacją, czy udzielona odpowiedź jest prawidłowa czy nieprawidłowa.
4. Dowód nr 4. Fragment logu z komunikacji SCORM generowanej przez lekcję
Odwołującego, uzyskany z oficjalnej aplikacji ADL testującej komunikację SCORM. Z
logu wynika, że wbrew twierdzeniu Odwołującego, po wejściu w ekran 16 (pierwsze
zadanie testu) lekcja wysyła status inny niż "incomplete", czyli działanie okienka
przedstawiane przez Odwołującego jako nowość w rzeczywistości nie zabezpiecza przed
wysłaniem statusu.
5. Dowód nr 5. Fragment standardu SCORM dotyczący sposobu uzyskiwania statusu przez
lekcję e-learning lub test zgodny z w/w standardem (wersja oryginalna oraz
przetłumaczona na język polski). Specyfikacja nie określa żadnej "części zadaniowej" ani
szczegółowego sposobu uzyskiwania statusu.
Zamawiający i Odwołujący potwierdzili otrzymanie kopii zgłoszenia przystąpienia.
W dniu 30 listopada 2012 r. Zamawiający złożył odpowiedź na odwołanie, w której
wnosił o jego oddalenie.
Zamawiający wskazywał, że podtrzymuje prawidłowość dokonanej przez siebie
oceny ofert w całej rozciągłości. Zamawiający podnosił, iż Odwołujący wskazał, iż
Zamawiający ocenił jej ofertę w sposób niezgodny z zasadami określonymi w SIWZ.
Zastrzeżenia dotyczą oceny w ramach kryterium L1 oraz L2, określonych w §11 SIWZ
(Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji; Ocena Lekcji demo nr
2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności).
Zdaniem Zamawiającego należy podnieść, iż w ramach oceny L1 - Ocena materiału
źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), oferta Odwołującego uzyskała 0
punktów w następujących podkryteriach:
- podkryterium a) punkt 4 „Czy prawidłowo zoperacjonałizowano cele?", na które
składają się pytania:
•
czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
•
czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
•
czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności)?
•
czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom
zawartym w lekcji (w ekranach, ćwiczeniach)?
- podkryterium a) punkt 5 „Czy cele zostały prawidłowo sformułowane?", na które składają
się pytania:
•
czy cele operacyjne zostały sformułowane prawidłowo? (Prawidłowy cel -
powinien być: jednoznaczny, wykonalny, logiczny, obserwowalny i mierzalny).
•
czy cele nie są zbyt ogólne ani zbyt szczegółowe?
•
czy cele są sformułowane w sposób motywujący uczestnika do nauki?
Za każdą z powyższych pozycji Zamawiający nie przyznał Odwołującemu punktów.
Odwołujący nie zgodził się z przeprowadzoną przez Zamawiającego oceną jego oferty w tym
zakresie i przywołał na potwierdzenie swojego stanowiska następujące fragmenty swojej
oferty:
•
punkt 5.1 (str. 19),
•
punkt 5.4 (str. 20),
•
punkt 5.5 (str.21) oraz
•
„ekran nr 2" na stronie 25 oferty,
- gdzie zdaniem Odwołującego znajdują się niezbędne informacje mające
wystarczyć do przyznania mu punktów w ww. podkryteriach. Na podstawie powyższego
Odwołujący sformułował następującą tezę „Z powyżej cytowanych uzasadnień oceniających
wynikać miałoby, iż Odwołujący w swojej ofercie w ogóle nie wskazał celów".
Powyższe stwierdzenie Odwołującego nie znajduje żadnych podstaw w
przeprowadzonej przez poszczególnych członków komisji przetargowej ocenie. Wskazane
powyżej punkty nr 4 i 5 w ramach oceny LI zawierają także ocenę innych aspektów
związanych z oceną celów. Należy tu przywołać chociażby punkt 1 w tym podkryterium („Czy
prawidłowo zostały określone cele lekcji?"), na które składają się podlegające ocenie pytania:
•
czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego?
•
czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i
nietypowych sytuacjach?
Zdaniem Zamawiającego warto zauważyć, że w wyniku oceny tego punktu
podkryterium Odwołujący uzyskał dwa punkty (maksymalną ilość), ponieważ na każde z
postawionych pytań należało odpowiedzieć twierdząco - cele ogólne lekcji zostały opisane w
punkcie 5.1 „Cele lekcji" (str. 19) oferty.
Dlatego też niczym nieuzasadnione jest twierdzenie Odwołującego, iż z uzasadnień
oceniających wynika, iż w ofercie cele nie zostały wskazane. Zamawiający podczas oceny
uwzględnił zapisy punktu 5.1 oferty Odwołującego, a także informacje z „ekranu nr 2" ze
strony 25, gdzie zacytowano cele określone uprzednio w punkcie 5.1.
W celu dokładnego wyjaśnienia dokonanej przez Zamawiającego oceny, a także
wykazania, iż przeprowadzona ocena nie zawiera błędów czy tez niekonsekwencji, trzeba
zwrócić uwagę, iż Odwołujący w złożonej ofercie nie wziął pod uwagę zasad
operacjonalizacji celów. W treści Specyfikacji Istotnych Warunków Zamówienia (§ 10 ust. 8)
wyraźnie wskazano, że oferta ma zawierać materiał źródłowy, w którym podane zostaną
m.in.:
■ Cele lekcji możliwe do osiągnięcia na bazie materiału, przy założeniu że lekcja
przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych
sytuacjach. Prawidłowość określenia celów lekcji, zgodnie z Opisem kryteriów, którymi
zamawiający będzie się kierował -przy wyborze oferty, wraz z podaniem znaczenia tych
kryteriów i sposobu oceny ofert miała zostać zweryfikowana (i oceniona) przy pomocy 2
pytań:
1)
Czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego?
2)
Czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w
typowych i nietypowych sytuacjach!)
■ Prawidłowo
sformułowane
i
zoperacjonalizowane
cele.
Prawidłowość
sformułowania celów miała zostać zweryfikowana przy pomocy 3 pytań:
1)
Czy cele operacyjne zostały sformułowane -prawidłowo ?
2) Czy cele nie są zbyt ogólne ani zbyt szczegółowe ?
3) Czy cele są sformułowane w sposób motywujący uczestnika do nauki?.
Prawidłowość zoperacjonalizowania celów miała zostać zweryfikowana przy pomocy 4
pytań:
1)
Czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów
lekcji?
2)
Czy cele poszczególnych zagadnień są ze sobą logicznie powiązane?
3) Czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych samych umiejętności) ?
4) Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (iv ekranach, ćwiczeniach)?).
Zamawiający w Specyfikacji Istotnych Warunków Zamówienia poza rozdzieleniem celów
ogólnych (odnoszących się do całej lekcji), od celów poszczególnych zagadnień, podkreślił
także ich hierarchiczność, przy czym wynikała ona:
■ ze sposobu w jaki zgodnie z SIWZ mają powstać cele operacyjne - przez
zoperacjonalizowanie celów ogólnych na cele (jednoznaczne, wykonalne, logiczne,
obserwowalne i mierzalne) dotyczące poszczególnych zagadnień;
■ z przesłanki logicznej wskazanej w SIWZ Czy cele poszczególnych zagadnień
przyczyniają się do realizacji ogólnych celów lekcji? - osiągnięcie celów operacyjnych
jest warunkiem koniecznym do osiągnięcia celu ogólnego lekcji.
Nie budzi zatem wątpliwości, i tak zostało to również zrozumiane przez pozostałych
wykonawców, że w ofercie powinny się znaleźć cele ogólne odnoszące się do lekcji oraz
cele operacyjne odnoszące się do poszczególnych zagadnień.
Podczas oceny oferty Odwołującego stwierdzono, że prawidłowo zostały
przedstawione cele na poziomie ogólnym - czyli na poziomie całej lekcji, brak natomiast w
ofercie Odwołującego celów poszczególnych zagadnień, czyli nie została przeprowadzona
operacjonalizacja celów. W związku z powyższym przyznano punkty związane z celami
ogólnymi lekcji, nie przyznano zaś punktów związanych z celami dotyczącymi
poszczególnych zagadnień.
Należy podkreślić, iż w punkcie 5.4 na stronie 20 oferty Odwołujący parafrazował
zapisy SIWZ przekształcając pytania z (podkryterium a) punkt nr 4 na zdania twierdzące i
dodając pewne deklaracje, np.:
Zapis SIWZ
Zapis z oferty
Czy cele poszczególnych zagadnień
przyczyniają się do realizacji ogólnych celów
lekcji?
Cele
poszczególnych
zagadnień
przyczyniają się do realizacji ogólnych
celów lekcji.
Cele poszczególnych zagadnień wynikają z
ogólnych celów lekcji, więc tym samym
przyczyniają się do ich realizacji
Czy cele poszczególnych zagadnień są ze
sobą logicznie powiązane?
Cele poszczególnych zagadnień są ze
sobą logicznie powiązane.
W
lekcji
zastosowano
metodę
przedstawienia
celów
poszczególnych
zagadnień opartą na pytaniach: po co, kiedy,
co, kto, co z tego wynikał Wynika to z tzw.
„reguły lejka".
Czy nie jest tak, że cele zagadnień nie
powielają się (poszczególne zagadnienia
przekazują te same informacje, uczą tych
samych umiejętności)?
Cele zagadnień nie powielają się.
Cele zagadnień nie powielają się, ponieważ
są w pełni realizowane i wyczerpywane na
ekranach oznaczonych w sylabusie jako
teoretyczne.
Poszczególne
zagadnienia
przekazują różne informacje i uczą różnych
umiejętności.
Czy cele każdego zagadnienia są
rzeczywiście możliwe do osiągnięcia dzięki
treściom zawartym w lekcji (w ekranach,
ćwiczeniach)?
Cele
każdego
zagadnienia
są
rzeczywiście możliwe do osiągnięcia
dzięki treściom zawartym w lekcji.
Każde z zagadnień jest przedstawione
zgodnie z „regułą lejka" - od ogółu do
szczegółu. Zarówno sposób omawiania
zagadnień, jak i ćwiczenia skłaniają do
praktycznego zastosowania nabytej wiedzy.
Zdaniem Zamawiającego koniecznie trzeba podkreślić, iż wbrew twierdzeniom
Odwołującego na stronie 20 oferty nie wskazano jakiegokolwiek celu. Odwołujący się nie
wskazuje produktu (celu), który mógłby zostać oceniony za pomocą pytań sprawdzających.
Daje wyłącznie twierdzącą odpowiedź na postawione pytanie, co uniemożliwia sprawdzenie
przez zamawiającego celu z uwagi na jego de facto brak.
Również w przypadku punktu 5.5 na stronie 21 oferty Odwołujący parafrazował
zapisy SIWZ przekształcając pytania z (podkryterium a) punkt nr 5 i uzasadniając
poprawność sformułowania celów.
Zapis SIWZ
Zapis z oferty
Czy
cele
operacyjne
zostały
Sformułowane prawidłowo
operacyjny cel kształcenia powinien być:
JEDNOZNACZNY - wyraża to wszystko, co
uczący się potrafi zrobić dla wykazania, że
"wie".
WYKONALNY - to, co uczący się powinien
robić musi być wykonalne w określonym
czasie i w dostępnych warunkach
LOGICZNY - cel powinien być logicznie
sprecyzowany
OBSERWOWALNY
-
jeżeli
nie
znamy
sposobu obserwowania postępu w osiąganiu
celu (w sposób bezpośredni lub pośredni), to
nie jest możliwe stwierdzenie, czy cel został
osiągnięty
MIERZALNY
-
cel
musi
określać
wystarczający poziom wykonawstwa ze strony
uczącego się
Cele operacyjne zostały sformułowane
prawidłowo.
Cele sformułowane w lekcji są:
•
jednoznaczne, gdyż określają, co
kursant w jej toku osiągnie:
o umiejętność definiowania,
o umiejętność określania
kompetencji,
o wiedzę w danym zakresie,
•
wykonalne, ponieważ uczący się
może przyswoić sobie zakładane
cele, poprzez ćwiczenia i interakcje
stanowiące
integralną
część
szkolenia,
•
logiczne, ponieważ można określić
ich zakres i zawartość,
•
obserwowalne
za
pomocą
wykorzystanych w
lekcji
mechanizmów weryfikujących postępy
kursanta. Z poziomu szkolenia w
Spisie treści zamieszczona jest
informacja
o
zaliczeniu
bądź
niezaliczeniu
ćwiczeń
sprawdzających opanowanie
omawianych zagadnień. Ponadto
wyniki testu eksportowane są na
platformę edukacyjną.
• mierzalne, ponieważ określają, co
kursant
powinien
wiedzieć
i
rozumieć oraz jak i w jakich
sytuacjach wykorzystać zdobytą
wiedzę.
Czy cele nie są zbyt ogóle ani zbyt
szczegółowe ?
Cele nie są zbyt ogólne ani zbyt
szczegółowe.
Cele przedstawione w lekcji są adekwatne
do zawartej w niej treści i wiedzy z zakresu
mentoringu.
Czy cele są sformułowane w sposób
motywujący uczestnika do nauki?
Cele
są
sformułowane
w
sposób
motywujący do nauki.
Cele
operacyjne
wskazują
przydatną
wiedzę i umiejętności, które kursant po
ukończeniu szkolenia będzie wiedział, umiał
i potrafił wykorzystać w swojej praktyce
zawodowej. Zgodnie z cyklem nauczania
Kolbe'a osoby dorosłe uczą się poprzez
praktykę i dla praktyki - w lekcji wykorzystano
tę zasadę.
Zamawiający zwracał uwagę, że w zapisach tych nie określono, jakie są cele
operacyjne odnoszące się do poszczególnych zagadnień, co uniemożliwiło Zamawiającemu
dokonanie oceny na podstawie przewidzianych kryteriów (podkryteriów) oceny. Należy
kategorycznie podkreślić, iż to do Zamawiającego należy ocena przedstawionych przez
wykonawców celów operacyjnych. Dlatego też dokonanie samooceny Odwołującego, który
parafrazując zapisy SIWZ w zakresie pytań, przy równoczesnym braku przedstawienia
wymaganej operacjonalizacji celów nie może zostać uznane za spełnienie wymogów SIWZ i
skutkować przyznaniem punktów w postulowanym przez Odwołującego zakresie. Podobnie
jak przy wnioskach dotyczących tabeli 20 brak jest wskazania produktu (celu), który mógłby
zostać oceniany. Odwołujący daje jedynie twierdzące odpowiedzi na pytania, które miały
służyć ustaleniu spełnienia kryteriów przez przedstawiony produkt.
Ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny
podkryterium „Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), tzw.
ocena L1".
Również w przypadku kryterium L2 - Oceny Lekcji demo nr 2 (tzw. zaktualizowanej -
zawierającej nowe rodzaje multimediów i funkcjonalności) Zamawiający nie znajduje
podstaw do uznania argumentacji Odwołującego.
Odwołujący w ofercie przedstawił 51 propozycji funkcjonalności i innowacyjności, z
czego jedynie w przypadku 47 Zamawiający mógł przyznać punkty, ponieważ:
•
funkcjonalności nr 11 „Przycisk SCHOWAJ MENU umożliwia ukrycie dolnej belki
nawigacyjnej z dodatkowymi opcjami" oraz nr 12 „Przycisk POKAś MENU umożliwia
ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi opcjami" zostały uznane
za jedną funkcjonalność „schowaj/pokaż menu", mając na uwadze zapis zawarty w
SIWZ „Uwaga: Zamawiający poprzez rodzaje multimediów i funkcjonalności rozumie
niepowtarzalne funkcjonalności, czyli np. dwie różne animacje flash będą liczone
jako jeden rodzaj multimediów/funkcjonalności" (§ 11 ust 3 lit. b SIWZ);
•
Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie" występuje już w Akademii PARP;
•
Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z
komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie
wykonał dane ćwiczenie lub interakcję" występuje już w Akademii PARP;
•
Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu" występuje już w
Akademii PARP.
Innowacyjność funkcjonalności nr 11 i 12 Odwołujący motywuje tym, że wszystkie ekrany
materiałów demonstracyjnych posiadają te funkcjonalności oraz faktem, iż „w każdej z
próbek pasek ten jest domyślnie wyłączony. Użytkownik ma możliwość ukrywania i
odkrywania belki modyfikując tym samym wygląd ekranu". Z punktu widzenia użytkownika
możliwość przełączania (przycisk pokaż/ukryj menu w prawym dolnym rogu) między
widokiem ekranu bez paska/belki nawigacyjnej, a widokiem z takim paskiem to jedna
funkcjonalność. Podobnie jak w przypadku funkcjonalności 11 i 12 Odwołujący dał
możliwość włączenia i wyłączenia funkcjonalności nr 6 (Notatki), 7 (tablica), 8 (Pisak) czy 9
(Lupa) i nie uznał za zasadne sztucznie ich dublować, w celu fikcyjnego stworzenia nowych
funkcjonalności. Znamienny jest także poniższy przykład funkcjonalności nr 28 (Wysoki
kontrast/zwykły kontrast i widoczny na slajdzie w górnym prawym rogu), gdzie mechanizm
jest identyczny, jak w przypadku funkcjonalności 11 i 12, czyli zmienia się opis przycisku, a
funkcjonalność przez Odwołującego ciągle wykazywana jest (słusznie) jako jedna.
Zamawiający przywoływał w odpowiedzi na odwołanie widok ekranu obrazujący
funkcjonalność nr 11 i 12 oraz wysoki/zwykły kontrast.
Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie".
Jak sam Odwołujący wskazuje w odwołaniu, w Akademii PARP funkcjonuje przycisk
„CZYŚĆ", który od funkcjonalności zaproponowanej przez Odwołującego różni się brakiem
możliwości zmiany kolejności odpowiedzi. Zmiana kolejności odpowiedzi realizowana jest
przez funkcjonalność nr 18 „Rotowanie kolejności odpowiedzi w ramach poszczególnych
pytań w ćwiczeniu lub teście". Odwołujący nie może wymagać od Zamawiającego aby ten
przyznał dwa razy punkty za tę samą funkcjonalność - zmianę kolejności odpowiedzi.
Zamawiający zauważał, iż Odwołujący krytykuje poprawność zastosowania przycisku
CZYŚĆ w testach Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „kliknięcie w
inną odpowiedź automatyczne czyści tę dotychczas zaznaczoną". Powyższe zdanie jest
oczywiście słuszne ale tylko w przypadku pytań jednokrotnego wyboru. Akademia PARP
przygotowana jest na stosowanie w testach również pytań wielokrotnego wyboru, gdzie
nadmiarowość przycisku CZYŚĆ nie występuje. Poza powyższym wytłumaczeniem warto
zauważyć, że rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP
rozwiązań, a zaoferowanie innowacyjnych, dotychczas niewystępujących rozwiązań.
Zamawiający przedstawiał przykład slajdu z istniejącego szkolenia Akademii PARP na
potwierdzenie swojego twierdzenia.
Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z komponentami. Po
jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub
interakcję"
Zamawiający zwracał uwagę, że w odwołaniu skupiono uwagę na innowacyjności
działania przycisku SPRAWDŹ w testach, podczas gdy przycisk ten występuje również w
ćwiczeniach stanowiących część lekcji. W lekcjach Akademii PARP w przypadku ćwiczeń
informacja o poprawności odpowiedzi ukazuje się:
- podczas jej udzielania - np. w ćwiczeniu z odpowiedziami wielokrotnego wyboru (w
poniższym przykładzie pierwsza odpowiedź jest nieprawidłowa, trzecia jest prawidłowa, a
druga i czwarta nie zostały jeszcze zaznaczone) (widok na slajdzie),
- po jej udzieleniu - np. w ćwiczeniu z odpowiedziami jednokrotnego wyboru (przykład na
slajdzie),
- po skorzystaniu z przycisku WYNIK (slajd).
Odwołujący krytykuje poprawność zastosowania przycisku ZATWIERDŹ, w testach
Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „z punktu widzenia użytkownika
przycisk ten, nic nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do
kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do
kolejnego ekranu za pomocą przycisku DALEJ". Przycisk ZATWIERDŹ w działającej
Akademii PARP ma zapewnić, że użytkownik przejdzie do kolejnego pytania dopiero po
udzieleniu odpowiedzi, a nie np. po przypadkowym kliknięciu przycisku DALEJ. Kosztem
dodatkowego kliknięcia Akademia PARP podwyższa komfort użytkownika podczas
potencjalnie stresującego testu. Zdaniem Zamawiającego koszt ten nie jest specjalnie
wygórowany, a rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP
rozwiązań, a wskazanie innowacyjności. Zamawiający przedstawiał ekran z testu
egzaminującego Akademii PARP, który zawiera wyżej opisane przyciski (ZATWIERDŹ,
CZYŚĆ oraz DALEJ):
Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu".
Jak sam Odwołujący przyznaje w Akademii PARP już istnieje taka funkcjonalność, w
wyniku której „w analogicznych sytuacjach" (po przyciśnięciu przycisku WYJŚCIE) ukazuje
się następujący ekran: (ekran zawiera m.in. pytanie: Czy na pewno chcesz wyjść z egzaminu
?" z przyciskami "OK" i "Anuluj"). Z punktu widzenia użytkownika jest to taka sama reakcja
wymagająca podjęcia decyzji, jak w przypadku próby wyjścia z testu przygotowanego przez
Odwołującego: - pytanie "Czy na pewno chcesz zamknąć lekcję ?" "TAK", "NIE").
Wprawdzie na załączonym przykładzie widnieje pytanie o chęć zamknięcia lekcji, ale
w materiale przygotowanym przez Odwołującego brak ekranu potwierdzającego ze
szkolenia, co by było zgodne z opisem funkcjonalności, toteż Zamawiający przyjął, że jest to
pomyłka nie mająca wpływu na poprawność działania funkcjonalności.
Jednocześnie warto zauważyć, że niepodlegający zmianie schemat szkoleń Akademii
PARP jest następujący: szkolenie składa się z modułów, moduły zaś składają się z lekcji i
testów (na początku i na końcu modułu). Brak więc testów będących częścią lekcji. W
związku z powyższym status lekcji, o którym była mowa w odwołaniu, nie zależy od statusu
testu, ponieważ są to dwie oddzielne części lekcji. Jeszcze ważniejszy jest fakt, że dla
uczestnika szkoleń nieważne jest czy status lekcji jest „failed" czy „incomplete". Dla
uczestnika ważne jest to czy ma możliwość wycofania się z przypadkowego kliknięcia
powodującego przerwanie testu na zakończenie całego modułu szkoleniowego, a taka
funkcjonalność jest przewidziana zarówno w ofercie Odwołującego, jak i w istniejącej
Akademii PARP.
Mając powyższe na uwadze zdaniem Zamawiającego należy stwierdzić, iż
argumentacja Odwołującego nie znajduje potwierdzenia również w tym przypadku, z czego
wynika, iż ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny
podkryterium „Ocena Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje
multimediów i funkcjonalności), tzw. ocena L2".
W przypadku gdyby argumentacja Zamawiającego nie znalazła uznania w oczach
Izby, Zamawiający z ostrożności procesowej podnosił kwestię, którą zdaje się pomijać
Odwołujący, a która ma nader istotne znaczenie przy orzekaniu przez KIO w niniejszej
sprawie. Uwzględnienie argumentacji Odwołującego w przypadku oceny podkryterium
„Ocena Lekcji demo nr 2 (tzw. zaktualizowanej -zawierającej nowe rodzaje multimediów i
funkcjonalności), tzw. ocena L2" i uznanie, iż:
•
nawet drobne różnice pomiędzy istniejącymi już w Akademii PARP funkcjonalnościami a
oferowanymi przez Odwołującego rozwiązania muszą skutkować, uznaniem ich jako
nowości,
•
możliwość włączenia i wyłączenia jednej funkcjonalności winno skutkować uznaniem ich
za odrębne,
- a tym samym koniecznością przyznania Odwołującemu dodatkowych punktów,
skutkować będzie dodatkowymi konsekwencjami przy ponownej ocenie ofert. Otóż,
zgodnie z art. 7 ust 1 ustawy jedną z naczelnych zasad systemu zamówień publicznych
jest zasada równego traktowania wykonawców, przy czym zasada ta obowiązuje w
sposób nie budzący wątpliwości również w przypadku oceny ofert na podstawie
przewidzianych ofert. W sytuacji gdyby Izba przychyliła się do słuszności przytoczonych
powyżej stwierdzeń Zamawiający zobowiązany będzie do ponownej oceny wszystkich
złożonych w postępowaniu ofert w zakresie tego podkryterium i przyznania
dodatkowych punktów, a w szczególności ofercie Przystępującego, i dokonania
ponownej czynności wyboru jego oferty.
Dlatego też uwzględnienie odwołania nie może doprowadzić do wyboru jego oferty
jako najkorzystniejszej, a podnoszone przez Odwołującego naruszenia w zakresie oceny
złożonej przez niego oferty, nie mogą mieć wpływu na wynik postępowania, co skutkować
winno oddaleniem Odwołania zgodnie z treścią art. 192 ust 2 ustawy Pzp.
Mając powyższe na uwadze, Zamawiający wnosił jak na wstępie.
Uwzględniając dokumentację przedmiotowego postępowania o udzielenie zamówienia
publicznego, jak również biorąc pod uwagę oświadczenia i stanowiska Stron i
Przystępującego złożone podczas rozprawy, Izby ustaliła i zważyła co następuje.
Na wstępie Izba stwierdziła, że nie zachodzi żadna z przesłanek skutkujących
odrzuceniem odwołania opisanych w art. 189 ust. 2 ustawy Pzp, odwołanie nie posiada
braków formalnych oraz został uiszczony od niego wpis.
Izba uznała także, że Odwołujący spełnia przesłanki wniesienia odwołania określone
w art. 179 ust. 1 ustawy Pzp.
Izba stwierdziła skuteczność przystąpienia do postępowania odwoławczego po
stronie Zamawiającego wykonawców wspólnie ubiegających się o udzielenie zamówienia:
Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. oraz Betacom S.A. z uwagi na
spełnienie przez nich przesłanek skuteczności przystąpienia określonych w art. 185 ust. 2 i 3
ustawy Pzp.
W oparciu o zgromadzony w sprawie materiał dowodowy Izba uznała, że odwołanie
nie zasługuje na uwzględnienie. Nie potwierdził się bowiem zarzut wadliwej oceny oferty
Odwołującego i zaniżenia przyznanej punktacji, co z kolei skutkowało nieprawidłowym
wyborem jako najkorzystniejszej oferty Przystępującego.
Izba uznała, iż nie potwierdziły się zarzuty dotyczące wadliwej oceny oferty
Odwołującego w pkt 4 i 5 tzw. oceny L1. Izba nie podziela stanowiska Odwołującego, iż
Zamawiający miał możliwość dokonania takiej oceny w oparciu o informacje zawarte na
stronie 19, 20, 21 i 25 oferty. Odwołujący utożsamiał bowiem cele lekcji z celami
operacyjnymi zagadnień, podnosząc na rozprawie, iż Zamawiający w SIWZ, opisując
elementy, które mają być zawarte w materiale źródłowym podlegającym ocenie w ramach
oceny L1, nie wskazał, iż wykonawca ma określić cele zagadnień. Tym samym nie zapewnił,
aby w treści ofert znalazły się informacje, które następnie poddane były ocenie.
Izba nie zgadza się z powyższym stanowiskiem. Po pierwsze kwestionowanie na
obecnym etapie sposobu sporządzenia SIWZ należy uznać za spóźnione. Po drugie SIWZ w
§ 8 ust. 8 pkt ii) (po modyfikacji) przewidywała:
„Wykonawca przekaże w formie wydruku i na nośniku elektronicznym w formie pliku
zapisanego w formacie .doc lub ,docx, materiał źródłowy w formie zakresu i scenariusza lekcji na
temat: „Zarządzanie wiekiem a zarządzanie wiedzą". Materiał musi zawierać rysunki
objaśniające oraz sylabus (z wyjaśnieniem słów kluczowych i powiązań pomiędzy nimi).
Materiał musi zawierać:
(1) Cele lekcji możliwe do osiągnięcia na bazie materiału, przy założeniu że lekcja
przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych
sytuacjach.
(2) Opis lekcji dopasowanej do adresatów szkolenia (czy lekcja jest przydatna uczestnikowi
szkolenia, czy umiejętności są prezentowane z punktu widzenia małej lub średniej polskiej
firmy, przykłady i studia przypadków adekwatne do grupy adresatów (głównie
przedstawiciele małych i średnich polskich przedsiębiorstw,
(3) Właściwie dobraną treść (czyli kompletną, prawidłową, aktualną, praktyczną wiedzę,
konkretne umiejętności i wiedzę niezbędną do ich opanowania),
(4) Prawidłowo sformułowane i zoperacjonalizowane cele.
(5) Testy weryfikujące stopień realizacji celów".
Ponadto kryteria oceny ofert jednoznacznie odnosiły się w pkt 4 i 5 do zoperacjonalizowanych
celów poszczególnych zagadnień i cel operacyjnych (brzmienie pkt 4 i 5 w pismach powyżej).
Zamawiający jednoznacznie rozróżnił zatem cele lekcji jako cele ogóle oraz cele szczegółowe
(zoperacjonalizowane) rozumiane jako cele poszczególnych zagadnień. Operacjonalizacja celów
miała podlegać ocenie w oparciu o informacje zawarte w materiale źródłowymi i lekcji demo nr 1.
Nie sposób zatem uznać, aby SIWZ nie przewidziała konieczności zhierarchizowania celów,
skoro odrębnej ocenie podlegały cele lekcji (w pkt 1), a odrębnej poszczególnych zagadnień
(cele operacyjne) (pkt 4 i 5). Na str. 19 i 25 oferty Odwołującego przedstawiono cele lekcji.
Strona 20 i 21 zawiera informacje dotyczące elementów punktowanych w ramach pkt 4 i 5, przy
czym należy zauważyć, iż nie zawarto tam żadnych celów zagadnień, lecz jedynie deklaracje
Odwołującego będące w dużej mierze parafrazą zapisów SIWZ, jak na to szczegółowo
wskazywał Zamawiający w odpowiedzi na odwołanie. Odwołujący nie tyle zatem podał
zoperacjonalizowane cele, co dokonał samooceny oferty pod kątem wymagań Zamawiającego.
Odwołujący nie wykazał, w jaki sposób dokonał operacjonalizacji celów. Odwoływał
się jedynie do „reguły lejka”, metody przedstawiania celów poszczególnych zagadnień opartą
na pytaniach: po co, kiedy, co, kto, co z tego wynika ?, przy czym brak w odwołaniu oraz
podczas rozprawy wyjaśnienia, jak metoda ta przełożyła się na skutek w postaci ustalenia
zoperacjonalizowanych celów. Zdaniem Izby słuszne jest stanowisko Przystępującego, iż
także opisów poszczególnych ekranów (gdyby uznać je za zagadnienia) nie można
traktować jako celu operacyjnego, gdyż mają zbyt ogólny charakter. Skoro zatem
Zamawiający nie dysponował ani bezpośrednio ani pośrednio sprecyzowanymi celami
zagadnień (celami operacyjnymi), nie mógł dokonać oceny w zakresie pkt 4 i 5 oceny L1,
jako że nie odnoszą się one do celów lekcji, a celów operacyjnych, celów poszczególnych
zagadnień. Izba nie zgadza się także z poglądem o możliwości oceny tych samych celów
jako celów lekcji oraz celów poszczególnych zagadnień, gdyż w pkt 4 i 5 podlegają one
ocenie z innego punktu widzenia. Powyższe stanowisko jest sprzeczne z treścią SIWZ, a
ponadto niemożliwe do przeprowadzenia, skoro ocena celów operacyjnych (celów
poszczególnych zagadnień) wymaga m.in. ich odniesienia do celów lekcji (np. poprzez
odpowiedź na pytanie, czy cele poszczególnych zagadnień przyczyniają się do realizacji
ogólnych celów lekcji). Izba podziela w pełni obszerne stanowisko prezentowane w tym
zakresie przez Przystępującego w zgłoszeniu przystąpienia i Zamawiającego w odpowiedzi
na odwołanie. Odmienne zapatrywanie Odwołującego nie znajduje oparcia ani w SIWZ ani w
treści złożonej przez niego oferty.
Izba uznała, iż nie potwierdziły się także zarzuty dotyczące naliczenia punktacji za
nowatorstwo i interaktywność lekcji Akademii PARP (tzw. ocena L2).
Zgodnie z § 11 ust. 3 lit. b) SIWZ Zamawiający przewidział, iż w kryterium oceny
ofert "Koncepcja realizacji usługi", iż ocena zostanie dokonana według podkryterium "Ocena
Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i
funkcjonalności), tzw. ocena L2". Zamawiający wskazał, że:
"Kryteria oceny
Lekcja zaktualizowana - Ocena drugiej lekcji demonstracyjnej, opracowanej na podstawie
wskazanej przez Zamawiającego lekcji referencyjnej tzn. z istniejącego szkolenia Akademii
PARP, w której celem do spełnienia przez Wykonawcę jest przedstawienie nowych (nie
występujących w innych lekcjach Akademii PARP i nie zaplanowanych w ZZW) rodzajów
multimediów i interaktywności. (...)
Uwaga: Zamawiający poprzez rodzaje multimediów i funkcjonalności rozumie niepowtarzalne
funkcjonalności, czyli np. dwie różne animacje flash będą liczone jako jeden rodzaj
multimediów/funkcjonalności".
W § 8 Opis sposobu przygotowania ofert ust. 8 ppkt iv i v) oferta miała obejmować:
"iv) Lekcję demonstracyjną nr 2 opracowaną na podstawie szkolenia „Techniki sprzedaży"
dostępnego
na
www.akademiaparp.gov.pl.
Lekcji
towarzyszyć
będzie
opis
zastosowanych w lekcji demo nowych, niewystępujących w szkoleniu „Techniki
sprzedaży" dostępnym na www.akademiaparp.gov.pl multimediów i interaktywności.
(...)
"v) Zestawienie (wraz z opisem funkcji i sposobu weryfikacji działania) zastosowanych w
lekcji demonstracyjnej nr 2 rodzajów multimediów i interaktywności. W powyższym
zestawieniu Wykonawca wskaże także, które multimedia i interaktywności stanowią
nowość w stosunku do multimediów i interaktywności występujących w szkoleniach
"Techniki sprzedaży" dostępnego na stronie www.akademiaparp.gov.pl."
W wyjaśnieniach do SIWZ z 17 sierpnia 2012 r. Zamawiający wskazał:
"Pytanie 1:
Dotyczy:
a.
w SIWZ, §8, Opis sposobu przygotowania ofert pkt iv) str. 5 widnieje zapis: „Lekcji
towarzyszyć będzie opis zastosowanych w lekcji demo nowych, niewystępujących w
szkoleniu
„Techniki
sprzedaży"
dostępnym
na
www.akademiaparp.gov.pl
multimediów i interaktywności",
b.
w SIWZ, §8, Opis sposobu przygotowania ofert pkt v) str. 6 widnieje zapis: „Zestawienie
(wraz z opisem funkcji i sposobu weryfikacji działania) zastosowanych w lekcji
demonstracyjnej nr 2 rodzajów multimediów i interaktywności. W powyższym
zestawieniu Wykonawca wskaże także, które multimedia i interaktywności stanowią
nowość w stosunku do multimediów i interaktywności występujących w szkoleniach
"Techniki sprzedaży" dostępnego na stronie www.akademiaparp.gov.pl."
prosimy o wyjaśnienie, gdyż z treści zapisanej w obu punktach wynika, iż informacje, które
ma przedstawić w ofercie wykonawca w dużej mierze powielają się; czy Zamawiający
wymaga dwóch osobnych dokumentów według powyższych zapisów, czy może tylko jeden.
Jeśli to powinny być dwa dokumenty to prosimy wskazać jakie elementy powinny je
odróżniać.
Odpowiedź 1:
Zamawiający nie wymaga 2 osobnych dokumentów. Wykonawca może przedstawić jeden
dokument, w którym znajdować się będą wszystkie informacje wymagane przywołanymi
powyżej zapisami."
Izba podziela stanowisko Zamawiającego co do oceny funkcjonalności nr 11 i nr 12.
Zgodnie z treścią oferty funkcjonalność nr 11 "przycisk SCHOWAJ MENU umożliwia ukrycie
dolnej belki nawigacyjnej z dodatkowymi opcjami”, z kolei funkcjonalność nr 12 "przycisk
POKAś MENU umożliwia ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi
opcjami" (str. 54 oferty). Celem i efektem obu opisanych funkcjonalności jest zatem zmiana
widoku ekranu w zakresie dolnej belki nawigacyjnej. Izba wskazuje, iż oceniając powyższą
możliwość przełączania widoku ekranu pomiędzy widokiem bez belki nawigacyjnej a
widokiem z taką belką z punktu widzenia użytkownika szkolenia - stanowi ona jedną
funkcjonalność polegającą na zmianie/modyfikacji widoku ekranu w odniesieniu do belki
nawigacyjnej. Odwołujący wskazywał, iż: "Wszystkie ekrany materiałów demonstracyjnych
posiadają funkcjonalność umożliwiającą ukrywanie przycisków funkcyjnych znajdujących się
na belce nawigacyjnej. W każdej z próbek pasek ten jest domyślnie włączony". Skoro zatem
użytkownik uzyskuje możliwość ukrycia przycisków na belce nawigacyjnej, to równocześnie
naturalnym i logicznym elementem tej funkcjonalności jest uzyskanie ponownego widoku
belki nawigacyjnej z przyciskami. Zdaniem Izby rację należy przyznać Zamawiającemu, iż
przyciski SCHOWAJ MENU/POKAś MENU działają na zasadzie włącz/wyłącz, w tym
przypadku w zakresie funkcjonalności określonego widoku ekranu. Według Izby okoliczność,
iż należy wykonać dwie interakcje pozostaje bez znaczenia dla oceny odrębności
powyższych funkcjonalności, skoro podobne interakcje należy wykonać także w przypadku
innych funkcjonalności (np. ustawienie wysokiego kontrastu/zwykłego kontrastu), które
Odwołujący kwalifikuje jako jedną. Mechanizm realizacji funkcjonalności nie ma i nie może
mieć charakteru decydującego dla uznania ich odrębności. W ocenie Izby funkcjonalność nr
11 i 12 to w istocie jedna funkcjonalność (SCHOWAJ MENU/POKAś MENU) polegająca na
możliwości sterowania widokiem ekranu w zakresie widoczności belki nawigacyjnej z
przyciskami. Jej podział na dwie odrębnie punktowane funkcjonalności miałby charakter
sztuczny i istotnie skutkowałby koniecznością ponownej oceny pozostałych ofert, gdyż
Zamawiający według analogicznej zasady oceniał funkcjonalności wykazywane w innych
ofertach.
Funkcjonalność nr 15 SPRÓBUJ PONOWNIE polega na możliwości ponownego
rozwiązania ćwiczenia („Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z
komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może
ponownie rozwiązać ćwiczenie”) (str. 54 oferty). Czyści on dotychczasowe odpowiedzi
udzielone przez użytkownika oraz równocześnie ponownie ustala kolejność poszczególnych
odpowiedzi. Odwołujący podnosił, iż dostępny w testach Akademii PARP przycisk CZYŚĆ
ma jedynie zbliżoną funkcjonalność, gdyż tylko odznacza (czyści) udzieloną odpowiedź, ale
nie uruchamia od nowa wszystkich procedur komponentu (np. nie losuje kolejności
odpowiedzi). Zdaniem Izby Odwołujący nie wykazał, aby istotnie funkcjonalność nr 15
stanowiła nowość względem istniejącej w ramach Akademii PARP funkcjonalności CZYŚĆ.
W treści odwołania odniósł się wyłącznie do testów Akademii PARP, pomijając jej
ewentualne zastosowanie w ćwiczeniach Akademii PARP. Tymczasem Przystępujący
przedstawił jako dowód nr 2 zrzut z ekranu przykładowego ćwiczenia Akademii PARP typu
"Rozsypanka" przed i po naciśnięciu przycisku CZYŚĆ. Zgodnie z widokiem ekranu przycisk
ten powoduje nie tylko wyczyszczenie wyniku do powtórzenia ćwiczenia, ale także zmianę
kolejności odpowiedzi. Przycisk ten umożliwia zatem zarówno ponowne rozwiązanie
ćwiczenia, ale także zmienia kolejność odpowiedzi. Odwołujący w żaden sposób nie
zakwestionował powyższego dowodu przedstawionego przez Przystępującego, co więcej nie
prowadził z nim właściwie żadnej polemiki. Ponadto słusznie zauważa Zamawiający, że
zgodnie ze stanowiskiem Odwołującego różnica pomiędzy przyciskiem CZYŚĆ w Akademii
PARP a przyciskiem SPRÓBUJ PONOWNIE sprowadza się do braku możliwości zmiany
kolejności odpowiedzi. Tymczasem taką funkcjonalność Odwołujący podał odrębnie pod
pozycją 18 "Rotowanie kolejności odpowiedzi w ramach poszczególnych pytań w ćwiczeniu
lub w teście", za którą otrzymał punktację. W ocenie Izby Odwołujący nie wykazał w sposób
przekonywający, na czym polega zatem odrębność funkcjonalności nr 15 i nr 18, skoro w
części polegającej na możliwości powtórzenia ćwiczenia jest zbieżna z funkcjonalnością
CZYŚĆ (na taką możliwość wskazuje także zrzut ekranu podany w odpowiedzi na odwołanie
na str. 12 "Możesz sprawdzić swój wynik (korzystając z przycisku wynik) albo rozwiązać
ćwiczenie od nowa po naciśnięciu przycisku czyść"), zaś możliwość zmiany kolejności
odpowiedzi ujęta została odrębnie jako funkcjonalność nr 18 (w ćwiczeniach i testach). W
świetle powyższego uznać należy, iż stanowisko Odwołującego co do charakteru
funkcjonalności nr 15 jako nowej w stosunku do istniejących w Akademii PARP nie zostało
udowodnione. Zamawiający i Przystępujący wskazali bowiem na możliwość zastosowania
przycisku CZYŚĆ także w ćwiczeniach Akademii PARP, umożliwiając powtórzenie ćwiczenia
(ze zmianą kolejności odpowiedzi), a ponadto treść funkcjonalności nr 18 uniemożliwia
przyznanie dodatkowej punktacji za zbieżną funkcjonalność ujętą pod nr 15 (rotowanie
odpowiedzi).
Funkcjonalność nr 17 SPRAWDŹ – „Przycisk SPRAWDŹ znajduje się na ekranach z
komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał
dane ćwiczenie lub interakcję” (str. 54 oferty). Odwołujący wskazywał, że ćwiczenia i testy w
produktach Akademii PARP nie posiadają przycisku "SPRAWDŹ". Odwołujący podkreślał, iż
w testach Akademii PARP nie ma możliwości sprawdzenia poprawności odpowiedzi,
natomiast w jego produkcie przed przejściem do kolejnego pytania możliwość takiego
sprawdzenia istnieje. Równocześnie jednak bezspornym był brak możliwości poprawienia
odpowiedzi w teście w wyniku sprawdzenia. Użytkownik może zatem sprawdzić poprawność
odpowiedzi, ale nie może jej już zmienić. Zdaniem Izby argumentacja Odwołującego nie
zasługuje na uwzględnienie. Po pierwsze Zamawiający i Przystępujący wykazali
(przedstawiając odpowiednie zrzuty z ekranów istniejących szkoleń Akademii PARP), iż w
szkoleniach Akademii PARP istnieje możliwość sprawdzenia poprawności odpowiedzi -
podczas jej udzielenia (np. w ćwiczeniu z odpowiedziami wielokrotnego wyboru), po jej
udzieleniu (np. ćwiczenie z odpowiedziami jednokrotnego wyboru) lub po skorzystaniu z
przycisku WYNIK. Bez znaczenia jest, jakim przyciskiem powyższa funkcjonalność się
realizuje, aczkolwiek Przystępujący załączył dowód nr 3, w którym jednoznacznie wskazano
na obecność przycisku SPRAWDŹ w ćwiczeniach Akademii PARP. Odwołujący również
powyższych dowodów nie kwestionował. Ponadto Przystępujący słusznie zauważał, iż brak
możliwości bieżącego sprawdzania prawidłowości odpowiedzi w teście wynika z zamierzonej
specjalizacji treści szkolenia. Lekcje z ćwiczeniami służą do uczenia, dlatego niezbędna jest
natychmiastowa, doskonaląca informacja zwrotna w formie komentarza. Natomiast testy
służą do sprawdzania wiedzy, dlatego komentarze nie powinny tam występować (mogą mieć
charakter sugerujący, rozpraszać). Zasadną jest także argumentacja, iż Odwołujący
bezzasadnie zawęża podstawę do porównania oferowanej przez siebie interaktywności.
Zamawiający wskazywał bowiem na nowe interaktywności nie występujące w szkoleniach
Akademii
PARP. Wbrew
stanowisku
Odwołującego
funkcjonalność
sprawdzania
prawidłowości udzielonych odpowiedzi występuje w szkoleniu Akademii PARP (ćwiczenia),
natomiast jej brak w teście wynika z odmiennego stanowiska odnośnie charakteru testów.
Tym samym w pozycji nr 17 nie wykazano żadnej nowości i słusznie wykonawca nie
otrzymał za nią punktacji.
Funkcjonalność nr 20 to „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ
potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu” (str. 54 oferty). Odwołujący
wskazywał, iż w szkoleniach Odwołującego ma on za zadanie uchronienie użytkownika
przed uzyskaniem statusu „failed” w lekcji. Odwołujący zauważał, że w jego szkoleniu zanim
użytkownik dojdzie do części zadaniowej w teście, status lekcji ustawiony jest jako
"incomplete" aż do momentu wejścia na pierwsze pytanie zgodnie ze standardem SCORM.
W testach Akademii PARP ekran ten nie ma takiej funkcjonalności, gdyż samo uruchomienie
lekcji powoduje zmianę statusu na "failed", pomimo że użytkownik nie przeszedł jeszcze do
części zadaniowej testu. W ocenie Izby Odwołujący nie dowiódł, iż funkcjonalność nr 20 ma
charakter nowości. Przyznał, iż w Akademii PARP istnieje już taka funkcjonalność w wyniku
której w analogicznej sytuacji (po przyciśnięciu przycisku WYJŚCIE) pojawia się ekran "Czy
na pewno chcesz wyjść z egzaminu ?" "OK" i "Anuluj". Słusznie zauważa Zamawiający, iż z
punktu widzenia użytkownika jest to taka sama reakcja wymagająca podjęcia decyzji, jak w
przypadku próby wyjścia z testu przygotowanego przez Odwołującego ("Czy na pewno
chcesz zamknąć lekcję? "TAK" "NIE"). Ponadto Odwołujący pominął okoliczność, iż w
przypadku przyjętego w Akademii PARP schematu szkoleń obejmuje on moduły, które z
kolei składają się z lekcji i testów (na początku i na końcu modułu). Tym samym testy nie
stanowią części lekcji, tak, jak to dzieje się w przypadku szkolenia opracowanego przez
Odwołującego. Odwołujący nie wykazał zatem, w jaki sposób status lekcji jest powiązany ze
statusem testów, skoro stanowią one odrębne jednostki. Ponadto Odwołujący nie wykazał, iż
istotnie w testach Akademii PARP samo uruchomienie testu powoduje zmianę statusu na
"niezaliczone" ("failed"). Twierdzenie w tym zakresie pozostało gołosłowne. Odwołujący nie
przedstawił żadnych dowodów na potwierdzenie swojego stanowiska, podobnie jak i nie
zakwestionował skutecznie stanowiska Przystępującego, że w testach Akademii PARP
kliknięcie na nawigator "WYJŚCIE" w trakcie odpowiadania na pytania testowe wyświetla
okienko z pytaniem "Czy na pewno chcesz wyjść z egzaminu ?" (co zostało potwierdzone
także przez Zamawiającego), zaś kliknięcie na "Anuluj" wraca do testu bez wysłania statusu,
z kolei kliknięcie „OK.” powoduje wyjście z testu z wysłaniem statusu passed/failed w
zależności od uzyskanego wyniku. Co więcej Odwołujący nie przedstawił także żadnych
dowodów ani nie zajął stanowiska odnośnie twierdzeń Przystępującego (i załączonego przez
niego dowodu nr 4 z odpowiednim fragmentem logu w komunikacji SCORM), że
deklarowana przez Odwołującego funkcjonalność w istocie nie jest zapewniona przez ekran
potwierdzający chęć wyjścia z testu, gdyż jeszcze przed wywołaniem okienka z pytaniem,
uczestnik uzyskuje status lekcji. Ponadto słusznie zauważał Zamawiający, a wobec czego
Odwołujący nie przedstawił dowodu przeciwnego, iż dla użytkownika uzyskiwany status
lekcji ("failed" czy "incomplete") jest bez znaczenia. Istotne jest bowiem to, czy istnieje
możliwość wycofania się z przypadkowego kliknięcia powodującego przerwanie testu na
zakończenie całego modułu szkoleniowego. Taka funkcjonalność realizowana jest zarówno
w ofercie Odwołującego, jak i istniejącej Akademii PARP. Nie sposób zatem mówić o nowej
funkcjonalności wobec już istniejącej, niezależnie od braku dowodów po stronie
Odwołującego co do zróżnicowania skutku funkcjonalności nr 20 odnośnie nadawanego
statusu lekcji w produkcie Odwołującego i Akademii PARP.
Tym samym ocena L2 zdaniem Izby została przeprowadzona prawidłowo i
Odwołujący zasadnie nie uzyskał punktacji za dodatkowe funkcjonalności.
Ponadto Izba zauważa, iż nawet potwierdzenie się zarzutów dotyczących
prawidłowości oceny L2 pozostaje bez istotnego wpływu na wynik postępowania, co w
świetle art. 192 ust. 2 ustawy Pzp warunkuje uwzględnienie odwołania. Jak bowiem przyznał
sam Odwołujący, jedynie uwzględnienie zarzutu dotyczącego sposobu oceny L1 pozwala
mu na uzyskanie punktacji umożliwiającej uzyskanie zamówienia. Nawet otrzymanie
kompletu punktów za dodatkowe funkcjonalności w zakresie oceny L2 nie zapewnia takiej
możliwości. Jako że Izba nie potwierdziła zasadności argumentacji Odwołującego dotyczącej
oceny L1, sposób dokonania oceny L2 nie ma zasadniczego znaczenia przy ocenie wpływu
na wynik postępowania.
W świetle powyższego na podstawie art. 192 ust. 1 i 2 ustawy Pzp orzeczono jak w
sentencji.
O kosztach postępowania odwoławczego orzeczono stosownie do jego wyniku,
na podstawie art. 192 ust. 9 i 10 ustawy Pzp oraz w oparciu o przepisy § 3 i 5 ust. 4
rozporządzenia Prezesa Rady Ministrów z dnia 15 marca 2010 r. w sprawie wysokości
i sposobu pobierania wpisu od odwołania oraz rodzajów kosztów w postępowaniu
odwoławczym i sposobu ich rozliczania (Dz. U. Nr 41, poz. 238).
Przewodniczący: .............................
Wcześniejsze orzeczenia:
- Sygn. akt KIO 263/15 z dnia 2015-12-23
- Sygn. akt KIO 245/15, KIO 305/15 z dnia 2015-03-04
- Sygn. akt KIO 270/15 z dnia 2015-03-03
- Sygn. akt KIO 273/15 z dnia 2015-02-27
- Sygn. akt KIO 267/15 z dnia 2015-02-27
