Tag: ewaluacja

  • Gaming with Science: recenzja książki Emanuela Kulczyckiego z 2023 r.

    Gaming with Science: recenzja książki Emanuela Kulczyckiego z 2023 r.

    Oto moja nowa publikacja, była gotowa w 2023 roku. Ale cykl publikacyjny trwa niestety…

    J. Płuciennik, A. Zatora, Gaming with Science? Review: Kulczycki, E. (2023). Evaluation Game. How Publication Metrics Shape Scholarly Communication. Cambridge: Cambridge University Press, viii+228 pp. w: Perspektywy Kultury nr 48, 2025/1, ss. 371-378, DOI: 10.35765/pk.2025.4801.22.

    Plik znajdziesz tutaj

  • Kultury dyscyplin naukowych są różne

    Kultury dyscyplin naukowych są różne

    Kultura „publikuj i nie patrz na misję” podważa podstawowe wartości szkół biznesu. A co z innymi dyscyplinami akademickimi?

    Ilustracja na lic. Depositphotos

    Właśnie ukazał się 12 czerwca 2024  artykuł Johna Rossa z Times Higher Education, który omawia wpływ kultury „publikacje bez związku z misją” na szkoły biznesu. Carl Rhodes, dziekan szkoły biznesu na University of Technology Sydney, stwierdził, że nadmierne skupienie na publikowaniu w prestiżowych czasopismach zniekształca wartości akademickie, podważając istotne prace nad problemami ekonomicznymi, takimi jak nierówności. Wskazał, że system ten jest głęboko zakorzeniony w kulturze akademickiej i utrudnia rzeczywiste zmiany. Podkreślono także potrzebę integracji zrównoważonego rozwoju w programach nauczania i tworzenia modeli biznesowych, które przynoszą pozytywny wpływ na społeczeństwo.

    Artykuł składa się z omówienia konferencji, na której dyskutowano o problemach związanych z nadmiernym naciskiem na publikowanie w prestiżowych czasopismach w szkołach biznesu. Carl Rhodes krytykuje tę kulturę, podkreślając, że prowadzi ona do marginalizacji istotnych badań nad nierównościami ekonomicznymi. W artykule cytowane są również wypowiedzi innych ekspertów, takich jak Rana Sobh i Stephanie Villemagne, którzy omawiają wyzwania związane z integracją zrównoważonego rozwoju w programach nauczania biznesu. Artykuł jest relacją z konferencji z cytatami jej uczestników.

    W artykule Carl Rhodes argumentuje, że w przeciwieństwie do badaczy ekonomicznych, medycy są przede wszystkim zmotywowani do leczenia chorób, a nie do publikowania artykułów na ten temat. Twierdzi, że w ekonomii nacisk na publikowanie w elitarnych czasopismach przeważa nad faktyczną pracą nad redukcją nierówności materialnych. Podkreśla, że ten nadmierny akcent na publikacje w prestiżowych czasopismach naukowych zakłóca rzeczywiste cele badawcze i utrudnia wprowadzanie rzeczywistych zmian społecznych.

    Warto zauważyć, że wypowiedzi dotykają kwestii różnorodności dyscyplin, że nie ma jednej miary dla wszystkich. Celem nauk medycznych np. jest zrozumienie chorób, opracowanie skutecznych terapii i poprawa zdrowia publicznego. Badania skupiają się na odkrywaniu nowych metod diagnostycznych, terapeutycznych oraz profilaktycznych. Misją historyków natomiast jest badanie przeszłości, zrozumienie kontekstu wydarzeń historycznych i ich wpływu na współczesność. Dążą do odkrycia, dokumentowania i interpretowania faktów historycznych. Taka dokumentacja musi mieć w efekcie publikacje. Choć niekoniecznie w czasopismach, książka jest tutaj formatem czasami znacznie bardziej sensownym z punktu widzenia głównej misji historii.  Celem szkół biznesowych natomiast jest kształcenie liderów, menedżerów i przedsiębiorców, którzy mogą skutecznie zarządzać organizacjami. Badania w tej dziedzinie często koncentrują się na innowacjach, strategii, zarządzaniu i zrównoważonym rozwoju. Czy, tak jak w omawianym artykule Rossa, prace nad istotnymi problemami społecznymi, takimi jak nierówności. 

    W tym kontekście humanistyka związana z literaturą, kulturą i mediami ma także inne misje:  jest nią analiza i interpretacja tekstów literackich, mediów i kultury w celu zrozumienia ludzkiego doświadczenia. Badania te często koncentrują się na krytycznej analizie narracji, reprezentacji kulturowych i ich wpływie na społeczeństwo. Znów: cele determinują konieczność publikowania tych analiz i badań. Zarówno w czasopismach, jak i w innych formach, w tym książkach. Dopuszczałbym także w niektórych subdyscyplinach publikacje tzw. popularnonaukowe. Np. językoznawcy i literaturoznawcy poloniści powinni aktywnie wspierać szeroko rozumiana kulturę narodową, czyli wpływać na jakość języka dyskursu społecznego. Przykładem takich aktywności są np. publikacje członków Rady Języka Polskiego Katarzyny Kłosińskiej i Michała Rusinka na temat języka „dobrej zmiany”. A także wszystkie publikacje analizujące mowę nienawiści, czy fake-newsy.  Przykłady można mnożyć. 

    Zatem: kultury różnych dyscyplin i obszarów wiedzy są różne. Dlatego, kiedy ciągle wymusza się jedną miarę dla wszystkich, gubimy sens. Dobrze byłoby, aby politycy podejmujący decyzję pamiętali o różnorodności i nie stosowali jednego algorytmu. Bo ten algorytm po raz kolejny zmakdonaldyzuje szkolnictwo wyższe i naukę. Uniwersytet to nie są łatwe algorytmy.  

  • Z kim Cię widzą, tak Cię piszą? Niewola bibliometryczna a wolność badań naukowych

    Z kim Cię widzą, tak Cię piszą? Niewola bibliometryczna a wolność badań naukowych

    Symboliczna reprezentacja ekonomii prestiżu (lic. Depositphotos)

    Dzisiaj krótki komentarz wakacyjny na temat publikacji Jacka Grove w Times Higher Education o „niewoli bibliometrycznej”.

    Dwa cytaty:

    „Kiedy w zeszłym miesiącu 350 organizacji z ponad 40 krajów podpisało nowe porozumienie zobowiązujące do oceny badań w oparciu o miary jakościowe, mogli mieć nadzieję, że zamykają rozdział epoki, w której prestiż czasopism, w których publikowani są naukowcy, był postrzegany jako główny arbiter sukcesu. Ale wydaje się, że „ciężko pozbyć się starych nawyków”, jak ujął to Mark Tweddle, starszy konsultant ds. Szkolnictwa wyższego w zespole konsultingowym THEs. Ankieta przeprowadzona wśród 10 000 naukowców wykazała, że większość z nich nadal ocenia się nawzajem na podstawie postrzeganej jakości ich cytowania, […]. Rzeczywiście, jest to najbardziej wpływowy czynnik poza osobistymi interakcjami z danym uczonym, przy czym prawie połowa respondentów twierdzi, że jest to ważne. Wyniki mogą zaskoczyć tych, którzy stoją za ciągłymi wysiłkami na rzecz zmniejszenia tak zwanej „ekonomii prestiżu” w publikacjach akademickich. Ale Tweddle mówi, że może to po prostu pokazywać, że potrzeba więcej czasu, zanim zmiany zaczną przynosić efekty. Na razie, jeśli chodzi o jakość akademicką, pozornie liczy się to, z kim jesteś widziany, a nie to, co robisz.”

    „Reputacja poszczególnych badaczy została wymieniona jako główny czynnik przez 11 procent naukowców, podczas gdy 2 procent wspomniało o ogólnej reputacji uniwersytetu badacza, chociaż odpowiednio 51 procent i 11 procent wymienia te czynniki jako jakoś ważne.”

    Trzeba mieć świadomość, że to badanie zamówiło THE, które stoi też za corocznym rankingiem uczelni wg THE.

    Trudno oczekiwać zmian w świadomości badaczy, jeśli większość naukowców w Europie pewnie nie słyszało o a-bibliometrycznym porozumieniu uczelni .

    Czy władze polskiej edukacji słyszały? Czy wyciągają jakieś wnioski? Póki co opublikowano niewiele znaczące dane z ewaluacji, które będą mieć kolosalne znaczenie dla wielu uczelni i instytutów, jeśli idzie o finanse. I co?

    Na temat ewaluacji polskiej nauki pisałem już tutaj

  • Martwe wykłady i konieczność oceny rozwoju studenta

    Martwe wykłady i konieczność oceny rozwoju studenta

    Martwe wykłady i konieczność oceny rozwoju studenta

    Sen o prawdziwiej uniwersyteckiej edukacji (fot. lic. Depositphotos)

    Dawno uważałem, że wykłady jako forma nauczania są martwe, ostatnio także pisałem o wykładach online i wersji „gadających głów”. Naprawdę jest mnóstwo świetnych materiałów instruktażowych w otwartych zasobach edukacyjnych, coraz więcej wyników badań naukowców także otwiera się na wolny dostęp. 

    Z drugiej strony, coraz więcej znajdziemy głosów tradycjonalistów, którzy — skądinąd słusznie — argumentują, że studiowanie to nie jest tylko uczestnictwo w zajęciach (zwłaszcza tych wykładach z gadającymi głowami), ale także — a może przede wszystkim — uczestnictwo w życiu uczelnianym, studenckim ruchu i studenckim życiu nieformalnym, uprawianie sportu, nawiązywanie kontaktów.

    I wszystkie strony sporu mają częściowo rację: studia to faktycznie bardzo często jeden z najistotniejszych okresów życia młodych (zazwyczaj) ludzi, którzy podczas „wyjazdu na studia” poznają nie tylko przedmioty studiów, ale nade wszystko poznają świat i ludzi. 

    Rację mają także i ci, że trudno jest zastąpić online — obecność w laboratoriach… choć i takie rzeczy na świecie się dzieją, podobnie jak zdarzają się operacje chirurgii mózgu przez Internet. 

    Jednak nie ma chyba żadnej uczelni na świecie, która przyznałaby: nie chodźcie na wykłady, to nie ma sensu, najważniejsze są puby, zabawa i sport.

    Bo przecież nie o to tylko idzie…

    Jednym z elementów nie do zastąpienia przez algorytmy komputerowe jest ocena postępów studenta, programowanie całości kształcenia oraz doradztwo profesjonalne. Takich rzeczy komputery samodzielnie nie potrafią, potrzebny jest człowiek i to zazwyczaj musi być specjalista dużej klasy. 

    Bo — dodać trzeba — nie chodzi o ocenę od 1 do 6, albo od 2 do 5, ale o ocenę opisową, o sprawdzenie radzenia sobie w różnych okolicznościach, o sprawdzenie umiejętności i postaw: np. krytycznego myślenia, umiejętności kooperacji czy kreatywnego rozwiązywania problemów, tudzież tolerancyjnego współżycia społecznego. I od tego są zajęcia i spotkania ze studentami. 

    Ostatnio w Times Higher Education prof. Terry Young z Brunel University w Londynie, skądinąd emerytowany profesor specjalista od systemów opieki zdrowotnej, czyli specjalista od zarządzania opieką zdrowotną, napisał w tekście pt. Content is free: universities should stop producing it, że uniwersytety powinny dawno zacząć bardziej doceniać „projektowanie programów kształcenia” oraz ocenę postępów studenta wraz z tutoringiem. Jego głównym argumentem jest to, że w otwartych zasobach Internetu student może znaleźć dobrej jakości materiały, że wiedza jest wszędzie. Natomiast nikt nie zastąpi człowieka w ocenie rozwoju studenta i jego postępów. 

    Nie sposób się nie zgodzić, jednak potrzebne są pewne zastrzeżenia: istnieją jeszcze ciągle formy wykładów, które są niezastępowalne przez treści online. Stąd największe gwiazdy świata akademickiego zapraszane są przez pozauczelniane platformy dyskusyjne i sowicie opłacane przez nie, bo dobry przekaz bezpośredni jest ciągle w cenie.

    Tutoring może przebiegać w różne strony (fot. lic. Depositphotos)

    Po drugie, ewaluacja jakości kształcenia na uczelniach może przebiegać bardzo dobrze w systemie mieszanym, hybrydowym: częściowo online, przy użyciu narzędzi informatycznych, częściowo w przestrzeniach uczelnianych w kontakcie bezpośrednim. Na przykład: nie sposób wyobrazić sobie dzisiaj nauki pisania oraz występowania publicznego bez sprawdzenia sporej ilości utworów studenta.

    Podsumowując: otwarte zasoby edukacyjne są wszędzie, ale doradztwo, jak z nich korzystać oraz ewaluacja postępów w rozwoju personalnym, to ciągle domena uniwersytecka, którą trudno zastąpić. Dlatego nie popadajmy w skrajności takie jak: „kształcenie online jest do niczego”, albo „kształcenie online jest wyłączną przyszłością edukacji”.

    Napisałem to wszystko i nagle dopadło mnie zwątpienie: anachroniczny system edukacji wprowadzany już od 6 lat przez PiS w Polsce, oraz deformy Gowinowsko-Czarnkowe sprawiły, że coraz bardziej odstajemy od życia społeczeństw opartych na wiedzy. W jakim stopniu minister Czarnek odpowiada swoimi bredniami o „wolności akademickiej” (poprzez wpuszczenie zabobonu i polityki na uczelnie) na prawdziwe wyzwania rzeczywistości? Czarno to widzę, bo wielu rektorów polskich uczelni sekunduje władzy, chcąc się jej przymilać i przypodobać. A rektorzy nie są niestety już autonomiczni. I nie mają bezpieczników na samych uczelniach w postaci społecznej kontroli.

    PS. Wpis ukazał się 08.10.21 w Gazecie Wyborczej pt. „Deforma Przemysława Czarnka. Wielu rektorów sekunduje władzy, by się jej przymilić”

  • Kreatywność naukowa i nienormatywna praca

    Wiele mówiło się niegdyś o atrakcyjności pracy na uczelniach, że nienormowany rytm pracy, że długie wakacje, sporo przerw w dydaktyce, małe grupy studenckie… Wydaje się, że wszystko to należało już dawno między bajki włożyć.

    John Ross, nomen omen, 1 stycznia 2020 (w święto Nowego Roku na całym świecie) w ostatnim Times Higher Education pisze o tym, że po przerwie świątecznej naukowcy prawdopodobnie nie wrócą na uczelnie wypoczęci. Powołuje się na publikacje australijskich badaczy zdrowia (Adrian Barnett, Inger Mewburn, Sara Schroter), którzy w grudniu ubiegłego roku opublikowali wyniki badań nad danymi dotyczącymi godzin (i pory dnia) składania do redakcji czasopism naukowych maszynopisów artykułów i recenzji naukowych. (Było ich odpowiednio prawie 50 tys. i 76 tys.). W konkluzji autorzy badania wskazują, że „kultura nadgodzin (przepracowywania się)” nie jest wcale metaforą w przypadku naukowców.
    Przebadano publikacje w latach 2012-2019, zatem jest to badanie z lat ostatnich, aktualne. Przy czym chodziło o czasopisma medyczne składane w otwartych systemach informatycznych ułatwiających redakcje czasopism. Metody badawcze były statystyczne.

    Jednym z czynników ważnych dla tego badania jest rozwinięta na całym świecie kultura cyfrowa i jej możliwości: już dawno wiadomo, że w świecie korporacji problemem są e-maila od szefa, które przychodzą po godzinach, przed północą, domagające się działania na rzecz firmy.
    W świecie akademickim problemem wynikającym z rozwijającej się kultury cyfrowej mogą być też e-maile od studentów po północy z pracami zaliczeniowymi na już.

    Tired aggressive unsatisfied angry mad crazy colleagues are having scandal at workstation and crumpling papers, they want to fight, women are trying to remain silence. Licencja Depositophotos

    Dodatkowymi obciążeniami są także różne zadania administracyjne. Badacze australijscy wskazują na to, że te obciążenia nie są jakimś czynnikiem iluzorycznym, gdyż to one wskazywane są w różnych ankietach jako przyczyny rezygnacji z kariery naukowej przez młodszych pracowników i doktorantów.

    Jednak naukowcy obciążeni dydaktyką i administracją (ankiety, sprawozdania, kwestionariusze, badania) muszą sobie radzić, no i pracują naukowo nad tekstami głównie po godzinach. Wyobrażam sobie, że w naukach medycznych same badania laboratoryjne lub/i kliniczne wykonywane są w trakcie pracy w miejscu pracy. Jednak robota nad tekstami, to co innego. Autorzy nie piszą o tym, jednak warto od razu zauważyć, że praca nad tekstem naukowym, to także praca humanistyczno-społeczna nad komunikowaniem swojego badania i wyników. Potrzebujemy skupienia w dłuższym czasie, aby napisać artykuł czy recenzję.

    Miałem ostatnio rozmowę z ambitnym niegdyś doktorantem, który zmienił się w sceptyka, jeśli idzie o wartości akademickie. W trakcie tej rozmowy z nim usłyszałem pogardliwą opinię na temat wynagrodzenia za recenzje pracy doktorskiej: ile czasu zajmuje taka recenzja, kilka godzin? Skąd takie koszty przewodu doktorskiego? Trudno jest wyjaśnić ludziom spoza akademii, że ustawowo jest na to dwa miesiące przeznaczone, jednak ile to godzin, trudno jest określić. Potrzeba kilku dobrych wielogodzinnych sesji. 300 stron lektury doktoratu, to nie jest tylko te 300 stron, trzeba posprawdzać źródła, poszperać w notatkach, sięgnąć do literatury. Zatem praca nad recenzją i artykułem naukowym wymaga prawdziwych wielogodzinnych sesji skupienia. Prawdziwego maratonu skupienia.

    Według wspomnianego badania nad publikacjami, naukowcy belgijscy, niemieccy i szwajcarscy okazali największą niechęć do wysyłania e-mailem artykułów i recenzji na święta. Skandynawowie byli jednymi z najmniej skłonnych do przedstawienia wyników swojej działalności poza godzinami pracy.

    Były różnice kulturowe między krajami względem godziny przesyłania artykułów: naukowcy z Chin opublikowali wiele artykułów tuż po północy, a Brazylijczycy wysyłali swoje kontrybucje godzinę lub dwie później.

    Skandynawowie i Amerykanie z Północy (USA i Kanada) preferowali poranne godziny pracy. Australijczycy, Nowozelandczycy, Brytyjczycy i Niemcy — wczesne popołudnie, podczas gdy Francuzi, Włosi i Hiszpanie robili wiele rzeczy na wieczór.

    Warto zauważyć, że badanie to nie dotyczy innych dyscyplin niż medyczne oraz że nie uwzględniono także danych z Polski. Chociaż wyraźnie widać pewne tendencje różnic kulturowych, to autorzy jak i John Ross wskazują na uniwersalizm „pracy twórczej”, to jest pisania artykułu czy recenzji. Praca taka wymaga długiego skupienia. Dlatego kultura cyfrowa, można powiedzieć, daje duże możliwości wykorzystywania nienormatywnego rytmu pracy.

    Pytanie tylko, czy taka praca jest higieniczna? I czy może jeszcze dzisiaj być atrakcyjna?

    Multitasking businesswoman at work with a laptop Licencja Depositphotos

    W tym kontekście warto przypomnieć jedną z dyskusji, które mięliśmy ostatnio na forach społecznościowych. Pierwsza szkoła doktorska na UAM zyskała sławę na tych forach szczególnym wykładem inauguracyjnym, pt. „Globalna nauka: dlaczego jej istotą jest nierówność i co z tego wynika dla młodych naukowców?” (http://cpp.amu.edu.pl/pl/new-amu-doctoral-school-for-600-phds-opened-inaugural-keynote-speech-by-marek-kwiek/?fbclid=IwAR1TaK1Lp_sz_Q6GXQz4GKIfo2gsyD-lDtX9aXcVYrKAHVvZh8nJnh14l1c) ,który wygłosił jeden z głównych inspiratorów reformy Gowina i jeden z jej entuzjastów prof. Marek Kwiek. Zastanawia mnie, jak nasza własna perspektywa badawcza może nas oślepić… Pochwała nierówności zaprezentowana przez prof. Kwieka i akceptacji (entuzjastyczna) nowych reguł gry „publish or perish” są szczególne…

    Czy będziemy mieć jeszcze chętnych do pracy naukowej w takich warunkach? Czy będziemy mieć dobrych kandydatów na studia doktoranckie?

    Jak wskazują badacze australijscy i John Ross praca po godzinach na uczelniach jest koniecznością. Jeśli praca twórcza ma być w centrum uwagi naukowców i doktorantów, to jakie warunki trzeba im stworzyć? Na pewno odpowiedzią nie jest zasada „publish or perish”, ani też odpowiedzialność zbiorowa nałożona na członków dyscyplin naukowych na uczelniach przez algorytmy finansowania uczelni. Kreatywność ludzka i inwencja, a także innowacja nie biorą się z wyścigu szczurów. Kreatywność wymaga indywidualności, czasu, wieloetapowego procesu. Jest jak produkcja wina, albo gotowanie dobrej potrawy.

    Szczęśliwego Nowego Roku!