Chciałabym Ci sprawić przyjemność i napisać, że ten wywiad to porażka, ale jest naprawdę ciekawy.

Dodatkowym, istotnym uwarunkowaniem trafności tego procesu będzie samo przypisanie ponad 34 tysięcy czasopism do 52 dyscyplin. Obecnie wygląda to fatalnie (np. "Biology of Sex Differences" w "stosunkach międzynarodowych"...), a rozporządzenie ten problem zupełnie pomija.
(9/9)

4. Proponowany proces zmian punktacji przez ekspertów i KEN jest źle skalibrowany. Zakłada automatyzm przypisania punktów z nieznanej, arbitralnej dystrybucji w ramach dyscypliny. Łatwo pokazać, że może to skończyć się katastrofą - poważnymi wypaczeniami wyników ewaluacji.
(8/9)

Niezbędne jest wystopniowanie punktacji jak w przypadku czasopism, zwłaszcza, że wartość wskaźnikowa sygnetu wydawniczego jest znacznie słabsza niż marki czasopisma. Wzorce cytowania są w przypadku książek mniej spójne, więc tym ostrożniej trzeba je dzielić na grupy.
(7/9)

3. Wiarygodność i stopień naukowego oddziaływania wydawców monografii nie jest własnością binarną, a empiria nie potwierdza, że np. Routledge należy do całkiem innej jakościowo klasy podmiotów niż np. Springer czy Palgrave.
(6/9)

Wynik ministerialnej ewaluacji nie może być pochodną arbitralnie rozdanych punktów, bo czyni go w pewnym stopniu ekwiwalentem decyzji administracyjnej zamiast bezstronnego pomiaru osiągnięć. Instytucje naukowe stawia to zaś niekiedy w roli sędziów we własnej sprawie.
(5/9)

2. Brak jest rozwiązań prawnych przeciwdziałających konfliktom interesów, w szczególności kwestii "wsobności dorobku", który został już dobrze udokumentowany (zob. sciencedirect.com/science/arti...), brakuje też rozwiązań promujących tansparentność decyzji ekspertów, KEN i MNiSW.
(4/9)

względnie niskiej selektywności procesu recenzyjnego (wysoka liczba publikacji w skali roku, brak informacji o rejection rate), opłat za publikację, a także wysokiej rozbieżności między pozycją centylową określoną na podstawie wskaźników: CiteScore i SCImago Journal Rank
(3/9)

1. Projektowane mechanizmy wyłapywania czasopism drapieżnym będą nieskuteczne - siatka ma po prostu zbyt duże oka, żeby złapać coś więcej niż parę wielorybów. Ze względu na brak ścisłej definicji „drapieżnictwa” należałoby sformułować co najmniej trzy konkretne kryteria:
(2/9)

We show how domestic journals reacted to institutional stimuli (increase in volume, more in-house articles) in 2017-22 period. More generally, it contributed to decreasing stimuli in H&SS to publish internationally. The effect not exactly in line with the official policy goals of the Ministry. 4/4

When evaluated institutions play the role of key publishers and their employees – of gatekeepers, then the evaluation based on discretionarily managed registers is not an unbiased measure of scientific excellence but rather a functional equivalent of arbitrary awarding of entitlements. 3/4

Together with Ł. Zamęcki we decided to document how a partly hand-picked registry of journals burdened evaluation results with publishing endogeny:
t.co/jDpDn2gwUs
In terms of public policy, it is an example of conflict of interest. In terms of measurement, a simple illustration of endogeneity. 2/4