PER UNA SERIA RIFLESSIONE SULLO STATO DELLA SOCIOLOGIA ITALIANA

Riceviamo e volentieri pubblichiamo questo documento di Emilio Reyneri, membro del GEV14, che offre preziose informazioni sullo stato della sociologia nazionale (anche nelle sue partizioni geografiche) a partire da un'analisi dei risultati della VQR. Riteniamo che queste analisi siano cruciali per una corretta lettura dei risultati (ad oggi noti) dell'ASN, su cui il dibattito resta aperto. Cogliamo l'occasione per dire che il blog è aperto e lieto di pubblicare qualunque contributo di analisi e commento che sia firmato e "civile" ovvero non diffamatorio.

***

Partita male (con un’infelice lettera del Direttivo AIS, che rischiava di interferire con i lavori delle commissioni ASN, e con la protesta di alcuni colleghi meridionali, che sembrava rivendicare un bonus ambientale), la riflessione sull’attuale stato della sociologia italiana sta continuando anche peggio con il recente intervento di Bianco e altri, che attacca pesantemente le valutazioni espresse dalla Commissione per l’abilitazione scientifica nei settori SPS/07, SPS/11 SPS/12. Quest’ultimo intervento ha ricevuto una pacata e motivata replica sul blog Per la sociologia (che mi auguro sia ripresa anche dal sito AIS e ROARS).

Il mio intervento intende contribuire alla riflessione fornendo un’analisi dettagliata e concisa dei risultati della VQR per le scienze sociali, tenendo conto dell’estrema difficoltà di districarsi tra le moltissime tabelle allegate al rapporto del GEV 14, di cui ho fatto parte (in posizione del tutto minoritaria secondo alcuni gossip pubblicati anche in Per la sociologia). 

Come premessa alla mia relazione (scritta e solo limitatamente diffusa ai primi di settembre 2013), vorrei riprendere due delle tre critiche avanzate da Bianco e altri. Infatti, quella per cui la commissione ASN di sociologia generale, politica e diritto avrebbe prediletto un approccio hard-quantitativo alla sociologia, risulta priva di fondamento solo se si guarda alle caratteristiche degli abilitati, tra cui sono largamente presenti gli approcci qualitativi, se non addirittura della sociologia critica. Invece, le altre due osservazioni (la differenza della percentuale di abilitati tra sociologia generale e sociologia economica e la scarsa presenza tra gli abilitati di sociologi che insegnano in università centro-meridionali) corrispondono al vero, ma non devono esser considerate il frutto di una perversa distorsione operata da una commissione, perché corrispondono (purtroppo!) alla realtà dei fatti. Almeno quale risulta degli esiti della VQR, alla quale hanno contribuito moltissimi sociologi italiani e parecchi stranieri, tanto da poter escludere, almeno sui grandi numeri, ogni vizio di parzialità. Insomma, anche se tutto è perfettibile, occorre ammettere che nella VQR la comunità dei sociologi italiani si è auto-valutata, così come era accaduto con il CIVR.

Quanto alla differenza tra settori disciplinari (percentuale di abilitati ordinari 19,6% per sociologia generale, politica e diritto contro 30,4% per economica e urbana, percentuale di abilitati associati rispettivamente 16,7% contro 29,0%), avrebbe dovuto essere assolutamente un risultato atteso considerando le forti differenze nella valutazione della VQR (vedi grafici 3 e 11). Inoltre si deve tener conto della diversa selezione delle platee di candidati: nell’ultima tornata di concorsi locali i vincitori di sociologia generale, politica e diritto sono stati 16 tra gli ordinari e 19 tra gli associati contro rispettivamente appena  4 e 6 per sociologia economica e urbana.

Anche la scarsa presenza tra gli abilitati di docenti nelle università centro-meridionali non avrebbe dovuto essere una sorpresa se si fossero considerati gli esiti della VQR e del CIVR, dai quali risulta che sui grandi numeri la gran maggioranza delle università centro-meridionali presenta valutazioni inferiori alla media in tutti i settori e a volte con divari cospicui. Come è stato fatto notare, la sociologia in Italia è rinata nel dopoguerra tra Milano, Torino e Trento e questi sono stati anche i centri di ricerca più inseriti nella comunità scientifica internazionale. Tuttavia, va ricordato come negli anni Settanta e Ottanta il processo di rapida diffusione delle discipline sociologiche nelle università italiane si era accompagnato con un buon inserimento anche dei sociologi centro-meridionali nel circuito della comunità sociologica nazionale. Basti ricordare i casi emblematici dell’Università della Calabria e di Catania. Poi, con l’avvento dei concorsi locali il circuito si è spezzato e gran parte delle università centro-meridionali si sono chiuse su se stesse, con propri corsi di dottorato e il ricorso a carriere interne, mentre le discipline sociologiche si internazionalizzavano. Chi scrive vi ha insegnato (e vissuto) per oltre 10 anni e ricorda le difficoltà incontrate, che però da tempo dovrebbero essersi ridotte, perché internet e la diffusione delle banche dati dovrebbero aver molto ridotto i costi delle comunicazioni e della costruzione delle informazioni sui fatti sociali.  

Is Italian sociology in the doldrums? Una breve nota sulla produzione scientifica dei sociologi italiani nella VQR 2004-2010.

1. Premessa

Venticinque anni or sono in una relazione presentata a un convegno dell’AIS (poi pubblicata in Stato e mercato, agosto 1988) commentavo un articolo dell’American Journal of Sociology (“Is 1980s Sociology in the Doldrums?”) in cui Randall Collins si preoccupava della grave impotenza interpretativa in cui era caduta la più importante comunità di sociologi, quella americana. Con tutto il dovuto rispetto per le proporzioni, ho voluto riprendere questo titolo per commentare la situazione in cui attualmente si trova la sociologia italiana quale è stata messa in luce dalla VQR 2004-2010. Nella relazione finale, si parla di un risultato “non molto brillante”. È un evidente eufemismo che si è voluto adottare per non sfigurare troppo nei confronti di due aree disciplinari contigue, l’economia e la psicologia, che stanno invadendo con successo i campi tradizionali di studio della sociologia grazie a lavori pienamente inseriti nella letteratura internazionale.

In realtà, come si vedrà, la produzione dei sociologi italiani dal 2004 al 2010 presenta gli stessi limiti rilevati dalla relazione finale del CIVR per quella dal 2000 al 2003: in particolare provincialismo e assenza dal dibattito internazionale, come è testimoniato dalle poche pubblicazioni in lingua inglese e dalle ancor minori pubblicazioni in riviste ISI o Scopus. Ovviamente esistono significative differenze tra sedi e tra settori disciplinari. Ed è su queste differenze che si concentrerà questo intervento, che vuole indicare una via da percorrere per far uscire gran parte della sociologia italiana dalle attuali secche, prima che sia troppo tardi.

L’autore è stato membro del gruppo di valutazione dell’area 14, ma qui si esprime a titolo personale e inoltre dichiara esplicitamente di non utilizzare nell’analisi informazioni riservate, ma solo dati disponibili a chiunque perché tratti dalle numerose e dettagliate tabelle allegate al rapporto del GEV 14 e illustrate nella relazione di Brigida Blasi al convegno AIS.

 

2. Il ranking degli atenei: un confronto tra CIVR 2000-2003 e VQR 2004-2010

Il confronto tra i risultati del CIVR 2000-2003 e quelli della VQR 2004-2010 si presenta non poco problematico in particolare per un motivo.

Per il CVR i dipartimenti dovevano segnalare soltanto un limitato numero di prodotti, scelti ovviamente tra i migliori, poiché lo scopo era quello di far emergere gli articoli e i libri eccellenti e di confrontare gli atenei sotto questo punto di vista. Invece, per la VQR i dipartimento dovevano segnalare (di regola) 3 prodotti per ogni docente e ricercatore poiché lo scopo era di valutare non le eccellenze, ma la qualità della produzione scientifica di tutti. Anzi, come si vedrà, il meccanismo dei punteggi assegnati ai prodotti eccellenti, buoni, accettabili o limitati era congegnato in modo tale che l’esito complessivo dipendeva essenzialmente dalla presenza dei prodotti più scadenti. Tra parentesi, va detto come questo netto rovesciamento delle prospettive (dall’enfasi sulle eccellenze a quella sui prodotti scadenti) sia stato quasi ignorato nel dibattito che ha accompagnato questa nuova tappa della valutazione in Italia.

Tuttavia, pur con questo limite, per gli atenei presenti in entrambi i processi di valutazione con prodotti nell’Area 14 è stato possibile confrontare i risultati. I punteggi considerati riguardano l’intera area, cioè sia le scienze politiche sia le scienze sociali, poiché il CIVR non poteva fare distinzioni per il limitato numero di prodotti presi in considerazione per ogni ateneo. Per tentare di “normalizzare” le due graduatore, per ognuna delle due valutazioni si è calcolata la differenza tra il punteggio di ogni ateneo e il punteggio medio.

L’analisi quantitativa mostra che la variabilità nelle due graduatorie è quasi identica (scarto quadratico medio pari a 0,025-0,026) e che la correlazione tra le due graduatore è quasi inesistente (coefficiente pari a 0,33). Tuttavia, un’analisi qualitativa, che distingue gli atenei per grandi gruppi con riferimento alla media delle due classifiche, mostra interessanti risultati, come si può vedere dalla tabella 1.

Il primo gruppo comprende 12 atenei che si sono classificati sopra la media in entrambe le valutazioni. All’interno del gruppo l’ordine è quello della classifica VQR, mentre i simboli indicano limitati movimenti, positivi o negativi, da una valutazione all’altra. Al capo opposto vi è il quarto gruppo di 12 atenei (cui si aggiunge il CNR), che sono risultati sotto la media in entrambe le valutazioni. In questo caso i due simboli indicano una netta caduta, soprattutto per il CNR. il secondo gruppo è costituito dai 7 atenei, che sono passati da sotto a sopra la media. Particolarmente positivo appare il miglioramento di Pavia e Pisa S. Anna; mentre nel terzo gruppo sono compresi i 9 atenei che da una valutazione all’altra hanno peggiorato la propria valutazione.

I movimenti sia positivi che negativi possono essere dovuti al mutamento dei criteri di valutazione. Ad esempio un ateneo che nel CIVR aveva raggiunto buoni risultati grazie a pochi prodotti eccellenti, può aver perso molte posizioni nella VQR quando ha dovuto segnalare anche non pochi prodotti limitati dei docenti o ricercatori più scadenti. Al contrario, un ateneo che, avendo poche eccellenze, aveva ottenuto un cattivo risultato nel CIVR, nella VQR può aver ottenuto un buon risultato se ha anche poche produzioni scadenti. Tuttavia, la gran maggioranza degli atenei mantiene la propria posizione, buona o cattiva, in entrambe le valutazioni. Ciò indica che qualunque sia il criterio di valutazione possiamo dire che vi sono atenei dove i docenti e i ricercatori dell’area 14 raggiungono buoni o anche ottimi risultati scientifici e altri in cui prevalgono i prodotti di cattiva o pessima qualità. Questa stabile collocazione nella fascia alta o in quella bassa della valutazione non sembra dipendere dalla presenza di grandi concentrazioni di docenti e i ricercatori dell’area 14: se tra i 12 atenei di alto livello ve ne sono 7 ove operano oltre 33 docenti e ricercatori, tra gli 11 di basso livello quelli con oltre 33 docenti e ricercatori sono 5 e uno di questi 5 è l’ateneo di Roma La Sapienza, ove opera la più grande concentrazione di sociologi e scienziati politici (oltre 100). Invece, appare rilevante la collocazione territoriale: dei 12 atenei sempre di alto livello nessuno è meridionale e solo 2 sono a Roma, mentre degli 11 atenei sempre di basso livello soltanto Milano IULM e Marche sono sopra la linea gotica.

Questa forte divisione territoriale, che è stata certamente acuita dal sistema dei concorsi locali e dalla facile autorizzazione di dottorati con collegi ben poco qualificati, dovrebbe suscitare grande preoccupazione nella comunità dei sociologi e degli scienziati politici italiani. Vedremo più avanti che, con qualche eccezione, la divisione territoriale interessa tutti i settori disciplinari della sub-area della sociologia, su quali si concentrerà d’ora in poi l’analisi dei risultati della VQR.

3. Nella VQR i risultati complessivi dipendono non dalla presenza dei prodotti eccellenti, ma dall’assenza di quelli limitati o penalizzati

Come è noto, il punteggio finale di un ateneo o di un dipartimento nel complesso o per un singolo settore dipendeva dalla media ponderata delle valutazione assegnate ai singoli prodotti. Il criterio di ponderazione previsto era 1 per i prodotti eccellenti, 0,8 per quelli buoni, 0,5 per quelli accettabili, 0 per quelli limitati e – 1 per quelli mancanti. La scelta di questi pesi ha fatto sì che il punteggio finale dipendesse non dalla percentuale di prodotti eccellenti, ma da quella dei prodotti limitati o penalizzati. Ciò risulta evidente dal confronto tra la correlazione dei punteggi medi di ogni ateneo con la percentuale dei prodotti limitati e penalizzati (Grafico 1) e quella dei punteggi medi con la percentuale dei prodotti eccellenti (Grafico 2).

Nel Grafico 1 l’indice R (cioè il punteggio che indica il livello della qualità dei prodotti di un ateneo) è stato normalizzato adottando la formula: (R_ateneo / R_medio * 100) – 100. Questa procedura, che tende a enfatizzare le differenze, sarà adottata anche in seguito per commentare gli esiti dei diversi SSD. Perciò sull’asse delle ordinate vi sono i punti percentuali degli scarti dalla media dell’indice R della sub-area scienze sociali per ogni ateneo, mentre su quello delle ascisse la percentuale dei prodotti limitati o penalizzati. La correlazione è fortissima. Invece, il Grafico 2 mostra che la correlazione tra gli scarti dell’indice R e la percentuale dei prodotti eccellenti è scarsa, con una debole tendenza a una forma logaritmica. Andamenti simili si ritrovano se si considerano separatamente i principali SSD.

Non è chiaro se questa fosse l’intenzione della VQR, ma il messaggio implicito dei risultati è evidente: per innalzare il proprio punteggio medio, cioè l’indice R, gli atenei o i dipartimenti devono puntare non tanto sull’avere tra i propri docenti e ricercatori molti in grado di scrivere articoli o libri eccellenti, ma piuttosto sull’avere pochi docenti e ricercatori che riescono soltanto a fornire prodotti scadenti. Insomma un invito all’aurea mediocritas, che però per le scienze sociali in parecchi atenei è ancora un miraggio.

4. Le diverse caratteristiche dei prodotti per SSD

 

Nel rapporto CIVR del 2006 si sottolineavano con forza due indicatori dell’arretratezza e del provincialismo delle scienze sociali e politiche italiane: lo scarso numero di pubblicazioni in inglese e la scarsa presenza di articoli e in particolare di articoli pubblicati in riviste internazionali. Anche se è molto difficile fare confronti per i diversi criteri di selezione dei prodotti, nei sei anni successivi non sembra che la situazione sia molto cambiata: come mostra la tabella 2, i prodotti in lingua inglese superano appena il 21%, gli articoli di rivista non raggiungono neppure il 28 % (continuano a prevalere con quasi il 36% le monografie e con oltre il 32% i contributi in volume) e soprattutto gli articoli in riviste indicizzate da ISI o Scopus sfiorano solo il 6%.

Tuttavia le differenze tra i settori sono importanti. Da tutti e tre i punti di vista la sociologia economica (SPS/09) risulta il settore nettamente più internazionalizzato, mentre la sociologia urbana (SPS/10) e la sociologia del diritto sono i settori meno internazionalizzati. Le diverse caratteristiche dei prodotti è molto probabile abbiano influito sulla diversa valutazione dei settori, soprattutto per la presenza di referees che lavorano in università di paesi in cui la sociologia è molto più internazionalizzata. Ecco alcuni dati in proposito.

Innanzitutto nel rapporto del GEV14 si rileva che il voto medio degli articoli indicizzati ISI-Scopus è pari a 0,69 contro una media generale degli articoli pari a 0,51 e che gli autori di articoli indicizzati sono stati promossi di più rispetto agli altri (7% contro 5%). Inoltre nella relazione Blasi si mette in luce sia che l’articolo di rivista è il tipo di prodotto che riceve il punteggio medio più alto (0,51) e il contributo in volume quello più basso (0,38), sia che le pubblicazioni in inglese ricevono una valutazione molto più alta (0,64) di quelli in italiano (0,40). Queste differenze sono in perfetta linea con gli standard di valutazione esistenti nella comunità internazionale anche per la sociologia: tra un articolo pubblicato su una rivista peer reviewed (e quindi quasi sempre in lingua inglese, perché solo pochissime erano quelle italiane che facevano un serio lavoro di referaggio nel periodo considerato) e un capitoletto in un libro collettivo pubblicato pagando uno stampatore locale non può che esservi un abisso di reputazione e di valutazione.

Queste osservazioni dovrebbero spingere anche i giovani sociologi italiani a tentare sempre più spesso l’ardua via di sottoporre un articolo alla severa procedura delle riviste internazionali (che scartano fin oltre il 50% degli articoli pervenuti e comunque li sottopongono a parecchi mesi di revisione) piuttosto che percorrere quella molto più facile delle pubblicazioni “domestiche” senza alcun filtro. Fortunatamente qualcosa sembra stia cambiando verso una produzione più prossima agli standard internazionali perché la relazione Blasi rileva che dal 2004 al 2010 aumentano sia la proporzione dei prodotti in inglese (dal 10% al 22%), sia quella degli articoli di rivista (dall’8% al 21%, per la sociologia economica dal 20% a oltre il 47%). Si deve sperare che gli esiti della VQR incentivino questa tendenza e che i più arretrati criteri seguiti dalle commissioni per l’abilitazione (la richiesta della “monografia” anche stampata sotto-casa) non contribuiscano a rallentarla. 

5. I diversi risultati della valutazione per SSD

Se il risultato della VQR per le scienze sociali nel complesso “non è stato molto brillante”, tuttavia le differenze tra i settori disciplinari sono state importanti e non è certo casuale che abbiano rispecchiato le conclusioni cui era giunto il CIVR per gli anni precedenti. Infatti, il CIVR, pur non potendo fare una classificazione, aveva rilevato come il settore con una migliore valutazione fosse la sociologia economica e quello con la valutazione peggiore la sociologia politica. Questo è anche l’esito della VQR, come mostra il grafico 3, che presenta per i singoli SSD i valori degli scarti dell’indice R dalla media del sub-GEV14 delle scienze sociali. Per mettere meglio in luce qui e d’ora in poi le differenze, la formula adottata è la seguente: indice = (R_settore/R_medio*100) – 100. In questo modo il valore dell’indice calcolato è pari alla differenza (positiva o negativa) in punti percentuali rispetto al valore dell’indice R medio (che per le scienze sociali è pari a 0,43).

Come si vede dal grafico 3, l’indice R (cioè il punteggio medio) del settore SPS/09 è quasi 14 punti percentuali superiore alla media dell’intera area della sociologia. Altri due settori sono sopra la media, la sociologia urbana (più 9 punti percentuali) e la sociologia culturale (più quasi 5 punti), mentre tre settori sono sotto la media: sociologia del diritto (meno 2 punti percentuali), sociologia generale (meno 9 punti) e soprattutto sociologia politica (addirittura meno quasi 19 punti).

Nel grafico non è stato inserito l’indice del CNR (che riguarda l’intero GEV14, ma data la natura dei prodotti di fatto solo il sub-GEV scienze sociali), poiché il suo infimo livello avrebbe oscurato le differenze tra i settori. Infatti, il punteggio dei prodotti dei circa 30 sociologi del CNR è inferiore di oltre 67 punti percentuali alla media dell’area delle scienze sociali. Pur tenendo conto che ai ricercatori, non avendo carichi didattici, erano richiesti 6 prodotti invece di 3, l’altissima percentuale di prodotti mancanti e limitati segnala che la qualità della ricerca dei sociologi del CNR è di pessimo livello, oltre che totalmente avulsa da collaborazioni con i migliori dipartimenti di sociologia italiani e internazionali. La forte caduta dai pur non buoni livelli rilevati dal CIVR indica la presenza di non pochi ricercatori inattivi o scadenti, che non emergeva quando erano presi in esame solo i prodotti migliori.

Tuttavia, le differenze tra gli indici medi dei settori sono il risultato di una variabilità interna ai settori molto diversa. Poiché non sono disponibili i dati degli atenei in cui sono stati presentati meno di 10 prodotti, l’analisi della variabilità all’interno di ogni settore può riguardare soltanto gli atenei con almeno una discreta consistenza di sociologi di un dato settore. Per questi atenei, il grafico 4 presenta i valori minimi e massimi degli scarti dalla media che si sono registrati per ogni SSD. Inoltre, pur tenendo conto del limitato numero di casi, si è calcolato per ogni settore lo scarto quadratico medio.

Si può vedere, pertanto, che al primato di Sociologia economica si associa un’alta variabilità interna al settore (con uno s.q.m. pari a 0,07), seconda solo a sociologia del diritto (s.q.m. di poco inferiore a 0,09), che presenta, insieme a sociologia generale, l’ateneo con l’indice più basso, ben 80 punti percentuali meno dell’indice R medio. Sociologia generale e sociologia culturale presentano una variabilità media, con valori dello s.q.m. intorno a 0,04-0,05, mentre con uno s.q.m. di poco superiore a 0,01 sociologia politica e sociologia del diritto sono i settori in cui la variabilità interna è minore. Ma va segnalato che in nessuno dei 3 atenei in cui è presente in misura consistente sociologia politica ha un indice superiore alla media e che sociologia urbana raggiunge una più che buona valutazione complessiva solo grazie all’assenza di atenei scadenti, poiché quelli eccellenti sono altrettanto assenti.

Da questa analisi della variabilità sono però assenti i sociologi che operano in atenei ove non raggiungono un numero sufficiente perché la loro valutazione sia resa nota. Un approfondimento dell’analisi per ogni settore consente di tener conto anche di loro, sia pure con una valutazione che li considera tutti insieme.     

6. I diversi risultati della valutazione all’interno di ogni SSD

Cominciamo con il settore che ha raggiunto l’indice R più elevato, SPS/09. Il grafico 5 presenta la distribuzione degli scarti dalla media dell’indice R per tutti gli atenei ove la sociologia economica ha conferito almeno 10 prodotti e per l’aggregato di tutti coloro che operano in atenei ove la sociologia economica è meno presente.

Come mostra il grafico 5, soltanto 13 sono gli atenei in cui la sociologia economica ha una presenza di una certa consistenza (almeno 4 docenti e ricercatori), mentre oltre un terzo dei prodotti proviene da docenti e ricercatori che operano in atenei ove la disciplina è poco presente. Si può notare, tuttavia, che il risultato dei sociologi economici “dispersi” è, sia pur di poco, superiore alla media delle scienze sociali. D’altronde la dimensione non sembra legata all’esito della valutazione, come si può vedere sempre dal grafico 5, che presenta tra parentesi il numero dei prodotti attesi. 

   

Molto diversa è la situazione del settore SPS/07, il più diffuso nelle università italiane. Infatti quasi il 90% dei prodotti proviene dalle 33 università ove la sociologia generale ha una certa consistenza. Inoltre, l’esito dei “dispersi” è nettamente inferiore alla media delle scienze sociali (come mostra il grafico 6). Ciò si può comprendere pensando che costoro sono del tutto isolati, in atenei ove non vi sono neppure sociologi di altri settori, contrariamente a quanto accade spesso ai “dispersi” degli altri SSD delle scienze sociali.

Infine, indubbiamente colpisce che in ben 20 atenei su 33 il settore della sociologia generale abbia ricevuto una valutazione inferiore alla media e tra questi atenei vi sia quello con la maggiore presenza di sociologi generali (Roma La Sapienza) e uno di antiche tradizioni quale Firenze.

Anche per il settore SPS/08 accanto a atenei con risultati eccellenti (in particolare Milano Bicocca e un po’ a sorpresa Modena Reggio), ve ne sono non pochi ove la valutazione media è molto negativa, tra cui in particolare Urbino, ove operano almeno 10 docenti e ricercatori (vedi il grafico 7). I prodotti dei dispersi sfiorano il 22% e la loro valutazione si assesta sul livello medio delle scienze sociali.

Gli ultimi tre settori disciplinari si possono considerare minori perché il numero di docenti e ricercatori che vi afferiscono è ridotto, come testimonia il fatto che i prodotti conferiti sono molto meno di 200. Tuttavia, oltre alla ridotta dimensione, presentano un’altra caratteristica comune: la forte concentrazione in pochissimi atenei. Per sociologia urbana oltre il 40% dei prodotti sono stati conferiti da soli 4 atenei, ma la concentrazione non sembra deporre a favore della qualità perché la valutazione media dei prodotti provenienti dai “dispersi” si colloca su un livello superiore a quello di ben 3 dei 4 atenei ove i sociologi urbani hanno una certa consistenza ,come mostra il grafico 8). Colpisce in particolare il pessimo esito dell’ateneo (quello della Calabria), ove i sociologi urbani sono più presenti.

Ancora più concentrata è la presenza della sociologia politica nell’università italiana: quasi il 45% dei prodotti è stato conferito da soli 3 atenei. L’esito è pessimo per tutti e tre così come per i docenti e ricercatori che operano isolati in altri atenei, come mostra il grafico 9.

Anche per la sociologia del diritto oltre il 45% dei prodotti è stato conferito da pochi atenei, soltanto 6, tuttavia il quadro è più differenziato. Infatti, tre atenei presentano un livello medio di valutazione superiore alla media e tre inferiore, come si può vedere dal grafico 10. Inoltre i non pochi “dispersi” presentano una valutazione media in linea con quella media dell’area delle scienze sociali. Colpisce comunque il pessimo esito di un ateneo (Napoli Benincasa) che sembra aver “puntato” molto su questo settore, poiché la presenza di altri settori sociologici è minima.

7. Le differenze per status accademico ed età dei docenti e dei ricercatori

Passiamo ora a considerare non le aree o le sedi dei prodotti conferiti alla VQR, ma l’esito delle valutazioni secondo le caratteristiche dei loro autori.

Il grafico 11 presenta il solito indice R, calcolato in termini percentuali rispetto alla media delle scienze sociali, secondo lo status accademico. Come era possibile attendersi nel complesso della sociologia l’indice è nettamente superiore alla media per gli ordinari, esattamente pari alla media per gli associati e altrettanto nettamente inferiore alla media per gli associati. Tuttavia, tra i settori vi sono significative differenze. Questa gerarchia si ritrova in quattro settori, sia pure con diversi andamenti. In particolare, si può segnalare che in SPS/09 tutti gli indici, anche quello dei ricercatori, sono positivi, mentre in SPS/07 anche l’indice degli associati è negativo. Invece, si può notare che in SPS/10 non vi è differenza tra ordinari e associati. E, infine, del tutto anomala appare la situazione di sociologia del diritto, ove la valutazione dei ricercatori è nettamente superiore a quella degli ordinari e soprattutto a quella pessima degli associati.

Meno scontata è la relazione tra l’esito della valutazione e l’età dei docenti e dei ricercatori. Infatti, come mostra il grafico 12, sia nel complesso delle scienze sociali, sia per i settori ove più elevato è il numero dei docenti e dei ricercatori (SPS/07, SPS/08 a SPS/09) il punteggio medio cresce al diminuire dell’età. Che siano i più giovani (o meglio i meno anziani, perché si tratta di cinquantenni o quarantenni) a conseguire le valutazioni migliori fa sperare per il futuro. Occorre segnalare, in particolare, gli altissimi indici dei cinquantenni e quarantenni di sociologia economica e dei quarantenni di sociologia urbana e, per contro, le cattive o pessime valutazioni dei coetanei di sociologia generale e politica.

La combinazione delle differenze per status accademico e per età fa pensare che le valutazioni migliori siano appannaggio degli ordinari più giovani (o meglio meno anziani) e quelle peggiori degli associati e soprattutto dei ricercatori più anziani. Questo risultato è pienamente confermato dal grafico 13, che presenta i punteggi medi tenendo conto contemporaneamente di età e status accademico. Tra gli ordinari il salto tra i cinquantenni e i sessantenni è netto, benché anche i più anziani presentano valutazioni molto buone. Ben diversa, invece, è la situazione tra gli associati e soprattutto tra i ricercatori. Infatti, sia gli associati sia ancor più i ricercatori ultra-cinquantenni presentano punteggi molto inferiori alla media e il divario con i colleghi più giovani è enorme. Per i meno produttivi tra costoro sarebbero auspicabili norme che consentano un’uscita anticipata (verso la pubblica amministrazione o l’insegnamento nelle scuole secondarie) al fine di favorire l’ingresso di energie fresche e quindi il rinnovo delle ricerca universitaria nelle scienze sociali.

8. Referees italiani ed esteri e valutazione bibliometrica

Poiché i prodotti indicizzati da ISI o Scopus erano un’infima minoranza, come si è visto, il GEV14 ha dovuto ricorrere massicciamente al referaggio. Le procedure seguite sono ben descritte dalla relazione finale, che illustra anche le difficoltà di trovare referees disponibili a valutare un numero adeguato di prodotti. Quel che la relazione lascia soltanto intuire è che, tranne benemerite eccezioni, i rifiuti e le disponibilità limitate sono venuti dai colleghi italiani ed esteri di più elevato livello scientifico e quindi con maggiori impegni. Perciò, soprattutto per alcune aree tematiche, si è dovuto “abbassare l’asticella” nella scelta dei referees sicché, per gli italiani, non si può escludere che abbiano fatto parecchie valutazioni non pochi docenti i cui prodotti sono stati valutati soltanto accettabili o limitati. Approfondire questo aspetto presenta aspetti indubbiamente delicati sotto il profilo della privacy, ma non è escluso che il GEV14 possa farlo in sede di revisione critica della procedura seguita.

Finora sono emerse tre informazioni rilevanti. La prima concerne il confronto tra i referees italiani ed esteri. Come mostra il grafico 14, sembra che i valutatori esteri siano stati decisamente più generosi degli italiani. Analoghe differenze risultano per tutti i settori disciplinari. Tuttavia, questa impressione può essere ingannevole. Quasi tutti i referees esteri sono stati trovati grazie a contatti personali dei membri del GEV, che si può supporre siano stati propensi, consapevolmente o no, ad assegnare loro prodotti che ritenevano mediamente migliori di quelli assegnati ai referees italiani, per evitare di far fare una troppo cattiva figura alla sociologia italiana di fronte a colleghi di prestigiose università estere. 

Quanto alla relazione tra valutazione con referees e analisi bibliometrica, la relazione finale presenta due tentativi di confronto, entrambi su un numero molto limitato di prodotti. Nel primo si confronta il punteggio attribuito dai referees a un articolo italiano con la classificazione delle riviste italiane fatta dal GEV. La relazione è buona, ma statisticamente poco significativa. Ciò non inficia la classificazione operata dal GEV14, ben più restrittiva e solida di quella fatta dall’Anvur per l’abilitazione, perché in realtà anche non poche riviste classificate A, cioè di livello internazionale, hanno iniziato a fare un serio processo di referaggio solo recentemente e quindi almeno per i primi anni del periodo considerato (2004-2010) non hanno fatto da rigoroso filtro agli articoli pubblicati. Se le (poche) migliori riviste italiane di sociologia perfezioneranno le loro procedure, si può pensare di poter adottare in futuro la scelta del GEV11 (storia e filosofia) che ha attribuito un solo referee agli articoli pubblicati nelle riviste eccellenti e quindi più selettive.

Nel secondo tentativo si è confrontato la classificazione dei referees con quella delle riviste ISI e Scopus in cui gli articoli sono stati pubblicati. Le differenze sono evidenti: secondo gli indici delle riviste la percentuale di articoli eccellenti sarebbe maggiore di quella valutata dai referees, ma sarebbe molto maggiore anche la percentuale degli articoli limitati. Va notato come il giudizio dei referees esteri collimi di più con il rating delle riviste. Si può pensare che un sociologo che opera su scala internazionale sia più consapevole del diverso valore delle riviste e ne tenga maggior conto nell’esprimere le sue valutazioni. Tuttavia, la procedura di rating adottata segue pedissequamente quella delle scienze dure e non quella adattata dal GEV13 per le scienze economiche. Si attende quindi un nuovo confronto.

In conclusione, pare difficile anche a medio termine un uso non sperimentale dell’analisi bibliometrica per le scienze sociali. Tranne adottare, come ha già fatto il GEV11, un “pregiudizio positivo” per gli articoli pubblicati da riviste eccellenti, sia italiane sia estere, assegnando loro un solo referee, che sia comunque ben informato sul livello della rivista. Deve, infatti, essere fatto tutto il possibile per ridurre il numero dei referees necessari e quindi per poterli selezionare in modo più rigoroso.

9. Il ruolo delle associazioni scientifiche: l’AIS

Nel processo di valutazione era previsto un ruolo delle associazioni scientifiche per quanto riguardava la classificazione delle riviste non indicizzate e quindi di fatto quelle italiane. Come ho scritto in un contributo scritto per un seminario della stessa AIS, il ruolo svolto dall’AIS in questa fase è stato ininfluente, se non negativo.

Innanzitutto, va rilevato che il direttivo dell’AIS non ha affidato l’attività istruttoria a un gruppo di lavoro, in cui poter includere dei sociologi che si sono misurati con il problema della valutazione della ricerca sociologica in Italia (Quaderni di sociologia vi ha dedicato un numero speciale), ma a un solo membro del direttivo senza alcuna autorevolezza e competenza specifica.

Inoltre, la procedura adottata dall’AIS si è fondata essenzialmente su un questionario, con cui si chiedeva alle direzioni delle riviste di fornire non solo informazioni, ma anche cruciali auto-valutazioni sulla qualità delle loro riviste. In primo luogo, la pubblicazione del questionario sul sito dell’AIS e la scelta di comprendere nel perimetro delle riviste sociologiche solo (e tutte!) le riviste che avevano risposto ha sortito due effetti paradossali. Alcune riviste di buon livello scientifico e rilevanti per la ricerca sociologica sono state ignorate dall’AIS e soltanto il lavoro del GEV14 ha consentito di “ripescarle”. Probabilmente un coinvolgimento delle sezioni dell’AIS, che non risulta esser avvenuto, avrebbe consentito di evitare questo imbarazzante “buco”. Inoltre, sollecitate dall’invito via web, hanno compilato il questionario non poche riviste, per lo più elettroniche, prive di rilievo scientifico e di riferimenti alla sociologia accademica (riviste di varia umanità o di “sociologia fai da te”, provinciali e marginali). Tali riviste non soltanto sono state incluse nel perimetro delle riviste di sociologia, ma alcune sono state persino classificate tra quelle A o B, con il rischio di compromettere ancor più l’immagine della sociologia come disciplina scientifica. Per fortuna il GEV14 ha negato loro l’accreditamento.  

In secondo luogo, è vero che, per classificare le riviste, anche altre associazioni hanno utilizzato i risultati di un’indagine (ad esempio, la Società degli economisti), ma solo molto marginalmente a scopo informativo. Invece, l’AIS ha giustamente dato un peso rilevante al rigore nel referaggio, ma si è fondata sulle dichiarazioni dei direttori o sulle indicazioni presenti nelle note editoriali delle riviste, senza alcuna possibilità di controllo. Insomma, è stato come chiedere all’oste quanto buono è il suo vino. Questa procedura di auto-valutazione, mai adottata e drasticamente sconsigliata dagli esperti di valutazione, ha portato a esiti paradossali, per cui un’ignota rivista on-line non presente neppure in Google Scholar è risultata quella che avrebbe adottato il referaggio più rigoroso.

Alcuni indicatori oggettivi per valutare le riviste italiane di sociologia esistevano, ma, contrariamente a quanto ha poi fatto il GEV14, l’AIS li ha totalmente ignorati.

1.              E’ vero che nessuna rivista sociologica italiana è indicizzata da ISI e che pochissime e solo da poco tempo sono indicizzate in Scopus, ma l’esser state accettate in Scopus può costituire un serio elemento di valutazione.

2.              Non poche sono invece le riviste indicizzate in Sociologial abstracts, SocINDEX o Social service abstracts. Questi archivi non classificano le riviste, ma si limitano a diffondere gli abstracts degli articoli, assicurando loro una visibilità internazionale. Anche l’inclusione in questi archivi può costituire un elemento di valutazione.

3.              Infine, la presenza in Google Scholar, cui si può accedere in modo relativamente agevole, dovrebbe essere considerata una soglia minima per prendere in considerazione una rivista, tranne rarissime eccezioni, da classificare comunque al livello più basso.

4.              Lo stesso si dovrebbe dire per presenza del codice ISSN, anche se il bando VQR non la prevedeva come un requisito. Può costituire un oggettivo indicatore di serietà e di periodicità dell’iniziativa editoriale.

5.              Per le riviste cartacee è molto facile rilevare la loro presenza nelle biblioteche universitarie, poiché si può consultare in rete il Catalogo italiano dei periodici.

6.              L’autorevolezza di un comitato scientifico o editoriale di una rivista può esser valutata sulla base degli indici H di ISI, Scopus e PorP dei suoi membri (che usati non per casi individuali assumono un’ottima consistenza).

7.              Quanto al ricorso a Publish or Perisch, il normale indice H normalizzato è molto più trasparente e controllabile delle oscure elaborazioni fatte dell’AIS. Quanto all’obiezione che sia influenzato dall’anzianità di una rivista (che peraltro dovrebbe costituire di per sé un elemento dell’autorevolezza di una rivista), si può ricorrere a due altri indici, altrettanto trasparenti, che non dipendono dall’anzianità della rivista: il numero medio di citazioni per anno e il numero medio di citazioni per articolo.

Poiché, secondo le indicazioni dell’Anvur, il processo di classificazione è ancora agli inizi per le riviste e successivamente è destinato a estendersi alle case editrici si spera che l’AIS in futuro adotti un approccio più serio e diretto a mettere in rilievo le reali eccellenze della sociologia italiana e non a privilegiare indebitamente alcune piccole o grandi nicchie, avulse dalla comunità scientifica internazionale.   

Ma l’AIS ha fatto anche di peggio, perché nel corso degli ultimi anni ha fatto ben poco per far crescere la sociologia italiana secondo gli standard internazionali, contribuendo a penalizzare i giovani ricercatori che lavorano in sedi periferiche e hanno scarse possibilità di avere rapporti con la comunità internazionale della sociologia. Basti citare due episodi emblematici.

Nel programma elettorale dell’attuale (purtroppo sola!) candidata alla presidenza dell’AIS si legge: “i criteri di valutazione dei prodotti della ricerca sono stati definiti ex- post rispetto alla redazione dei lavori, creando ovviamente spiazzamento tra molti autori che hanno dovuto presentare prodotti redatti secondo altri criteri di qualità (ad es. credendo in buona fede che un buon manuale avesse maggiore o uguale dignità di un articolo in inglese)”. Peccato che l’AIS si sia sempre rifiutata di diffondere le conclusioni del CIVR che già nel 2006 indicava proprio negli articoli in inglese la forma normale di comunicazione del lavoro scientifico anche in sociologia e lamentava l’eccesso di volumi compilativi.

Il secondo eclatante episodio mi riguarda, ma non posso non ricordarlo con grande tristezza. Nell’assemblea del congresso AIS svoltosi a Milano nel 2010 avevo proposto un sub-emendamento a una mozione che invitava a favorire le procedure internazionali di valutazione della produzione scientifica anche per la sociologia italiana. Si alzò a parlare il vice-presidente uscente dell’AIS, ed esclamò: “Quando sento parlare di peer review metto mano alla pistola”. Il guaio fu che non soltanto nessuno rispose a questa affermazione di sapore gobbelsiano, ma i poveri giovani sociologi la accolsero con tripudio, senza pensare quanto diseducativa e nociva per il loro futuro fosse. E il mio sub-emendamento fu respinto a enorme maggioranza, ovviamente. Per carità di patria, non ho mai osato raccontare questo episodio a nessun collega straniero o di altra disciplina.

Emilio Reyneri