Navigazione – Mappa del sito

HomeNumeri35la società italiana / L’universit...Gli indicatori di valutazione del...

la società italiana / L’università valutata

Gli indicatori di valutazione del sistema universitario italiano: un’analisi critica

Claudia Loreti
p. 81-102

Testo integrale

Desidero ringraziare per le precedenti letture e i consigli Alberto Baldissera, Alberto Marradi, Maria Concetta Pitrone, Paolo Parra Saiani e Marco Ranaglia.

1. La vicenda della valutazione universitaria

1Negli ultimi dieci anni la ricerca sociale si sta ponendo il problema di valutare l’efficienza e l’efficacia delle più disparate organizzazioni pubbliche. La diffusione di quella che si può essere tentati di chiamare la moda della valutazione è in parte legata alla necessità e all’obbligo di rendere conto della qualità dei servizi, in particolare quelli erogati dalla Pubblica Amministrazione. Il processo valutativo si pone infatti l’obiettivo di coadiuvare il percorso decisionale degli organi istituzionali al fine di migliorare la qualità dei servizi offerti, il raggiungimento degli obiettivi proposti e quindi, almeno in teoria, soprattutto la soddisfazione degli utenti/fruitori/beneficiari.

2Bezzi sostiene che «la valutazione è un giudizio basato sulla raccolta e sull’interpretazione di informazioni, e si configura pertanto come un processo di ricerca» (2003). In questo modo l’autore esplicita la necessità di distinguere i pareri e le opinioni espresse da soggetti in circostanze varie, seppure qualificati ed esperti, dalla valutazione intesa a tutti gli effetti un’attività di ricerca. Già Palumbo aveva sottolineato quanto fossero numerosi i «punti di contatto tra il processo di valutazione delle policies e la metodologia della ricerca sociale… l’attività di valutazione… è spesso basata su indicatori, la cui definizione, costruzione e analisi è ampiamente trattata nell’ambito della metodologia della ricerca sociale» (1995).

  • 1 Per un’interessante analisi sulla differenza tra attendibilità e affidabilità delle definizioni ope (...)

3Osservandolo da questo punto di vista, il processo valutativo si trova nella condizione di dover rispettare una serie di requisiti ritenuti essenziali all’attività di ricerca: la plausibilità delle proprietà scelte per valutare; la validità di quelle adottate come indicatori; l’affidabilità1 delle definizioni operative; la fedeltà dei dati raccolti; la coerenza delle argomentazioni attraverso le quali questi sono letti e interpretati. In altri termini deve esporre, come ogni altra attività di ricerca scientifica, i suoi risultati alla critica della comunità dei lettori.

4La valutazione dell’attività universitaria in Italia è stata a lungo affidata alla sensibilità dei singoli corsi di laurea e delle facoltà: le ricerche autonomamente promosse hanno mancato purtroppo della sistematicità che l’importanza dell’obiettivo avrebbe richiesto. Le radicali trasformazioni subite dal sistema universitario italiano, cominciate con la riforma che ha sancito il passaggio dalla centralizzazione all’autonomia gestionale ed economica dei singoli atenei, hanno reso sempre più pressante la domanda di programmi di ricerca che costringessero i responsabili a dar conto della qualità dei risultati ottenuti attraverso le attività svolte.

5È necessario tuttavia considerare le difficoltà che si incontrano nell’applicare questo concetto a un’attività così particolare come la formazione. Se infatti intendiamo per qualità la capacità dell’organizzazione di raggiungere gli obiettivi proposti, la definizione appare subito inadeguata al compito di descrivere un «concetto dinamico, che presuppone una disposizione all’apertura, all’autocritica, una coscienza di sé, e una volontà costruttiva di miglioramento» (Gola, Mirandola et al., 2002, 9).

  • 2 Si tratta di un’associazione costituita nel 1963 dai Rettori delle Università statali e libere allo (...)

6Il tema della valutazione interna è apparso, per lo meno formalmente, nelle università per la prima volta nel 1989 (l. 168/89) con l’istituzione del Ministero dell’Università e della Ricerca Scientifica e Tecnologica (Murst); ma per la costituzione di Nuclei di valutazione specifici per le attività universitarie è stato necessario aspettare quattro anni (l. 537/93, art. 5). La normativa ha specificato i compiti principali di questi organi istituzionali, tra i quali redigere una relazione annuale con l’obbligo di trasmetterla al Ministero, al Consiglio Universitario Nazionale (Cun) e alla Conferenza permanente dei Rettori delle Università Italiane (Crui)2. Il coordinamento dell’attività è stato affidato a un organo centralizzato: l’Osservatorio per la Valutazione del Sistema Universitario (nominato il 22 febbraio 1996, tre anni dopo l’istituzione dei Nuclei), a sua volta tenuto a presentare al Ministero una relazione annuale «complessiva» basandosi sulle informazioni tratte da quelle dei singoli Nuclei di ateneo. È stato attribuito allo stesso organo centrale il compito di definire procedure e parametri standard per valutare i risultati in termini di efficienza e di produttività delle attività di ricerca e di formazione, per l’osservazione sistematica dei programmi di sviluppo e di riequilibro del sistema universitario. Tutte queste strutture sono state definitivamente regolamentate dalla legge n. 59/1997 che, nelle disposizioni riguardanti direttamente il sistema universitario, ha previsto la delegificazione delle norme istitutive dell’Osservatorio affidando ai singoli atenei la potestà di ridefinire la disciplina dell’attività valutativa.

  • 3 Disciplinato nel D.M. n. 178/00 e nominato ufficialmente con il D.M. n. 179 del 4 aprile 2000.

7Nel 1999 (l. 370/99) l’Osservatorio è stato sostituito dal Comitato Nazionale per la Valutazione del Sistema Universitario (Cnvsu)3 e il Ministero è stato rinominato dell’Istruzione, Università e Ricerca (Miur). In questo contesto, la valutazione diventa uno strumento strategico finalizzato al controllo del raggiungimento degli obiettivi programmati, procedendo attraverso l’analisi sistematica dei processi e dei prodotti della formazione, della ricerca e della gestione.

2. Cominciamo dai termini

  • 4 Il termine misurazione appare, in questo caso, discutibile se non decisamente inappropriato: nelle (...)

8Fino alla metà degli anni Novanta la maggior parte degli autori, compreso l’allora Presidente dell’Osservatorio ministeriale Luigi Biggeri, hanno definito la valutazione una «tecnica di misurazione» (1997). Effettivamente, la definizione attribuita dal vocabolario al termine è: «dare un valore, un prezzo, misurare» (Zingarelli, 2003). L’etimologia della parola riconduce, però, al verbo latino valere cui corrispondeva il significato «essere valido, stare bene» (in seguito ricondotta all’avere un valore, un prezzo). A parere di chi scrive, questa originaria accezione del termine sembrerebbe più adatta nel momento in cui s’intende stabilire lo stato di salute di un’organizzazione, in questo particolare caso quella del sistema universitario, senza alcun impegno a misurare4.

2.1. La scelta delle proprietà…

9La prima questione da affrontare, come in qualsiasi attività di ricerca, è ovviamente l’individuazione delle proprietà che contribuiscono a definire la qualità, e servono quindi per valutare.

10In Italia la Crui, per prima, ha redatto il documento Organizzazione e metodi dei Nuclei di valutazione nelle università italiane. Le proposte della Conferenza dei Rettori (1995), dove venivano elencate le proprietà la cui rilevazione e analisi era ritenuta indispensabile all’attività valutativa.

11La lista proposta derivava dall’analisi dei dati del primo questionario somministrato alle varie strutture universitarie, nell’anno accademico 1992/93, con lo scopo di fornire un quadro unitario delle caratteristiche e delle prestazioni dei vari livelli del sistema universitario italiano (dal corso di laurea all’ateneo).

  • 5 Nel linguaggio corrente si tendono a usare in forma intercambiabile i termini indicatore e propriet (...)
  • 6 In questo caso si intendono proprietà i cui stati sono correttamente rappresentati da valori numeri (...)

12Il questionario comprendeva 80 «indicatori»5, definiti «quantitativi»6, riferiti a quattro aree: il contesto, le risorse, il processo e il prodotto. Lo scopo era rilevare l’efficacia interna o gestionale del sistema universitario, intesa come la sua capacità di raggiungere obiettivi precedentemente stabiliti – «indipendentemente dal fatto che corrispondano in pieno ai bisogni degli utenti» aggiunge Bezzi (2003).

13Con la redazione, nel 1998, del documento Indicazioni per la preparazione delle relazioni dei Nuclei di valutazione interna e insieme minimo di indicatori, l’Osservatorio Nazionale per la Valutazione del Sistema Universitario ha fissato per ogni Nucleo di ateneo questo «insieme minimo di indicatori» da rilevare e analizzare in modo che, dalle relazioni annuali prodotte, fosse possibile disporre immediatamente di una visione d’insieme (ma purtroppo anche superficiale e incompleta) e procedere agli opportuni confronti tra le condizioni delle diverse università. In pratica, l’organo istituzionale ha recepito le indicazioni della Crui sostenendo l’utilità di valutare il sistema formativo universitario attraverso alcuni «indicatori di risorse, di contesto, di processo e di risultato» ovvero tenendo conto di determinate caratteristiche dell’ambiente in cui ci si trova a operare, delle risorse a disposizione, del modo in cui queste sono trasformate in prodotti e della qualità di questi ultimi.

14Il primo gruppo di proprietà, i cosiddetti «indicatori di risorse», è riferito alle risorse in possesso degli atenei: strutturali (numero di biblioteche e laboratori, posti disponibili, superficie, etc.), umane (numero di immatricolati, di iscritti, di docenti, di tecnici e di amministrativi; etc.) finanziarie ed economiche (quantità, origine e ripartizione dei fondi economici attribuiti per la ricerca, dati del bilancio consuntivo, spese per il personale, etc.) presenti in ogni ateneo/facoltà/corso di laurea. A questi si accompagnano gli «indicatori di contesto» (cioè le proprietà che caratterizzano l’ambiente): numero di studenti in corso, voto di maturità degli immatricolati, studenti con diploma liceale, rilevanza locale (rapporto tra gli iscritti e i 19/25enni presenti nella regione); studenti in corso/totali, etc. Non è difficile notare che si tratta di dati reperibili presso le segreterie senza grandi aggravi di costi.

15Gli «indicatori di processo» secondo il Ministero «dovrebbero fornire informazioni sul modo in cui si passa dalle risorse ai risultati» (1998, 14). L’Osservatorio vi annovera: il tempo medio in eccesso per conseguire il titolo di studio, la quota di studenti che abbandonano dopo il primo anno, la quota di studenti fuori corso, il numero di docenti afferenti ai dipartimenti, la quota di finanziamento esterno della ricerca per docente, l’autosufficienza finanziaria della struttura.

  • 7 Il programma Vps prende spunto dal Research Assessment Exercise (rae) utilizzato nel Regno Unito pe (...)
  • 8 Ogni variabile, infatti, ha un peso positivo o negativo sulla valutazione dei vari livelli del sist (...)

16Infine, quelli denominati «indicatori di risultato» si basano sulle informazioni relative alla didattica e alla ricerca: il numero di laureati/diplomati, il tasso di laureati/diplomati in corso, il tasso di completamento degli studi, il punteggio ottenuto dalla valutazione della didattica, il punteggio medio della valutazione della produzione scientifica (Vps) per docente attivo e per docente afferente7. Le proprietà selezionate in quest’ultimo insieme sembrano voler ricondurre la qualità del risultato dell’attività didattica essenzialmente alla capacità che l’istituto universitario mostra di avere nel portare gli iscritti al completamento degli studi, con particolare merito se fatto nel minor tempo possibile8.

17Queste proprietà saranno alla base del sistema per la valutazione universitaria fino al 2002 — anno in cui il Cnvsu le cambierà e ne ridurrà il numero. Passando dalle intenzioni all’effettiva rilevazione delle 22 variabili che costituivano il prescritto «insieme minimo», infatti, i singoli Nuclei hanno applicato quanto era stato previsto a tavolino alla realtà universitaria che, non di rado, presentava situazioni molto diverse non solo tra i vari atenei ma anche al loro interno. Rilevare tutte le proprietà richieste risultava ancor più difficile ed eccessivamente dispendioso, soprattutto in seguito all’istituzione e di corsi di laurea triennali e alla loro conseguente moltiplicazione.

2.2. … indicatori…

18Considerando, come suggerisce Bezzi, la valutazione un’attività di ricerca empirica (2003) è possibile osservare come gli organi istituzionali sembrino applicare alla lettera il processo di riduzione della complessità che Lazarsfeld indica come necessario per passare dal concetto all’indicatore (1967; Lazarsfeld e Barton, 1955). Infatti, la valutazione (il concetto) viene scomposta in aree (dimensioni) a loro volta ridotte a indicatori.

19È opportuno ricordare che «un concetto non ha dimensioni: esse gli vengono attribuite dal soggetto (layman, ricercatore, o quel che sia). Il numero e le caratteristiche delle dimensioni sono connesse al sistema di interessi e finalità che quell’attore sociale definisce» (Cannavò, 1995, 12). Effettivamente, gli interessi e le finalità degli attori coinvolti nel processo di valutazione del sistema universitario italiano sembrano aver avuto un peso notevole nella scelta delle dimensioni e degli indicatori da rilevare.

  • 9 Occorre notare, fra l’altro, che il termine «dimensione» rinvia a concetti di proprietà che variano (...)

20Riflettendo sul problema generale non lo scomponiamo, come pretenderebbe Lazarsfeld, in dimensioni9. Nel caso della valutazione si tratta più propriamente di individuare gli oggetti d’interesse – come il contesto e il processo – descrivendoli attraverso le opportune proprietà; e fasci di proprietà – come le risorse e il risultato – definiti e indagati mediante una serie di concetti-proprietà. Per alcune delle proprietà individuate disponiamo di robuste definizioni operative (numero di studenti iscritti, numero di laureati in corso, etc.), per le altre ricorreremo agli opportuni indicatori.

21In questa sede appare quanto mai utile sottolineare che parlare di indicatori senza fare riferimento esplicito al concetto (ovvero al significato) con cui sono messi in rapporto di rappresentanza semantica è un’imprecisione – o meglio un «abuso terminologico» (Marradi, 1987, 33) – che può indurre in confusione. Qui come altrove spesso si parla di indicatori intendendo più genericamente proprietà o variabili; quando invece non si incorre nell’errore di confondere l’indicatore con il concetto di definizione operativa (ivi, 34-35; Landucci e Marradi, 1999).

22Statera sottolinea come il processo di individuazione degli indicatori rivesta comunque un «carattere di arbitrarietà» (1990, 109). Con maggiore precisione Marradi sostiene la natura stipulativa del rapporto di indicazione. La stipulazione è basata sulla conoscenza pregressa ma anche tacita del ricercatore. Su queste basi sceglie le proprietà con cui pensa di rappresentare una parte di quei concetti che non suggeriscono immediatamente una definizione operativa (Marradi, 1987, 33-35). In questo modo si sottolinea ulteriormente la responsabilità del ricercatore: dalle sue scelte dipendono tutte le fasi di una ricerca empirica.

23Da questo deriva la necessità di definire operativamente, esplicitare e argomentare ogni decisione presa. Lo scopo è (data l’impossibilità di eliminarla) ridurne l’opinabilità oltre ad aumentare la chiarezza e la correttezza metodologica. Troppo spesso, però, a rimanere tacita non è, come in questo caso, solo la conoscenza.

  • 10 L’Osservatorio per la valutazione universitaria (1998) intende per «efficacia esterna» il raggiungi (...)

24A ciò si aggiunge la circostanza che, usando il termine indicatore nella sua accezione metodologica, si dovrebbero affrontare il problema della validità e quello dell’attendibilità delle relative definizioni operative. Nella scelta degli indicatori il ricercatore si assume delle forti responsabilità sviluppando, in ultima istanza, i significati dei concetti generali. Ad esempio, nel momento in cui si decide che l’efficacia esterna e l’efficienza generale10 della struttura universitaria sono determinate dal numero o dall’incidenza degli studenti o dei laureati in corso sul totale degli iscritti o dei laureati, si può essere indotti ad adottare politiche che aumentino il numero degli esami sostenuti, e di conseguenza il totale dei laureati che l’ateneo riesce a produrre, a scapito della loro preparazione. Se l’ateneo che produce più laureati viene premiato con finanziamenti più ingenti, si può capire che il tanto ipotetico timore di uno scadimento qualitativo a vantaggio di risultati quantificabili non sembra peregrino.

  • 11 Con questo non si vuole affermare che le opinioni degli studenti non vadano rilevate. Si vogliono s (...)

25Particolare cautela va posta allo studio dell’efficacia organizzativa, per così dire locale o meglio parziale, ovvero delle opinioni degli studenti/utenti sulla qualità dei corsi e dei servizi forniti, per la quale si ricorre ai cosiddetti «indicatori qualitativi». In questo caso preoccupa, tra l’altro, il fatto che in molte università italiane non è previsto l’obbligo di frequenza; può succedere quindi che molti studenti diano dei giudizi estemporanei a corsi che hanno frequentato poco o pochissimo11.

2.3. … quantitativi e qualitativi

  • 12 Per una critica dell’abituale distinzione tra approccio qualitativo e quantitativo si rimanda ai sa (...)

26Altro elemento su cui è opportuno richiamare l’attenzione è l’artificiale dicotomizzazione di questi «indicatori» in «qualitativi» e «quantitativi», decisamente ambigua12. Per un verso, la contrapposizione sembrerebbe richiamare la distinzione tra variabili cardinali (ottenute tramite misurazione o conteggio) e variabili categoriali (derivate da una classificazione). Ma, come si desume dall’elenco degli elementi che compongono le diverse aree, ci si riferisce invece al fatto che alcune variabili si limitano a dare indicazioni sulle quantità di servizio prodotte, di risorse a disposizione, etc. (indicatori «quantitativi»); mentre altre (indicatori «qualitativi») rileverebbero la qualità del servizio fornito.

27Se questa è l’intenzione, non si tiene conto del fatto che gli indicatori di quantità del servizio e del prodotto della struttura, in termini di rapporto studenti/laureati, di entità delle risorse per la ricerca, etc., danno chiaramente informazioni anche circa la qualità delle prestazioni degli stessi atenei.

28D’altra parte, quando si parla di indicatori «qualitativi», si fa prevalentemente riferimento a valutazioni espresse dagli studenti circa la qualità dei servizi offerti dalla struttura universitaria. Il questionario del Cnvsu prevede la somministrazione di una scala Likert (vedi Baldissera in questo stesso volume), ma in varie ricerche condotte dalle singole facoltà o corsi di laurea si ricorre ad altre tecniche. In questi casi si chiede il più delle volte ai soggetti di attribuire un punteggio lungo una data scala, ad esempio, alle capacità didattiche (anche relazionali, umane, etc.) del docente; al funzionamento di determinati uffici, etc. Si tratta quindi di quelle tecniche di scaling definite autoancorate che producono «variabili quasi-cardinali» (Marradi, 1993; Pavsic e Pitrone, 2003) paradossalmente, dunque, più «quantitative» che non «qualitative».

29Riflettendo su ciò appare ancora più evidente l’ambiguità di una contrapposizione così netta. Parlare di indicatori di qualità percepita del servizio darebbe più correttamente conto delle scelte da fare e, in particolare, di tutti i problemi e i dubbi legati alle ricerche effettuate per sondaggio (Pitrone, 1984, 1995).

2.4. Andiamo alla sostanza

30Nel nuovo quadro dell’autonomia non solo gli atenei, ma anche le singole facoltà e i corsi di laurea sono inseriti all’interno di un contesto sociale e politico altamente competitivo che richiede loro un doppio compito. Si tratta, anzitutto di attrarre neodiplomati, studenti di altri corsi di laurea e di altre regioni offrendo servizi didattici appetibili. In seconda battuta, le istituzioni accademiche avrebbero inoltre il compito di favorire l’inserimento dei loro laureati nel mondo del lavoro mantenendo, in un certo senso, le promesse fatte loro al momento dell’iscrizione.

  • 13 Come ricorda Baldissera «l’università italiana è… chiaramente underfinanced e understaffed» (1996).

31Il pericolo da evitare è che questi due aspetti, distinti ma complementari, inducano, in un panorama di strutture autonome e in competizione tra loro, politiche di basso rigore didattico e formativo al fine di attirare più studenti e produrre un maggior numero di laureati. La partita si gioca su un campo decisamente più ampio: molto dipende dal collegamento diretto che sussiste tra le valutazioni e l’attribuzione di quote significative delle risorse economiche disponibili che purtroppo, soprattutto nel settore formativo, sono sempre più scarse e, di conseguenza, ancora più ambite13. Analisi di questo tipo potrebbero focalizzare l’attenzione degli organi di gestione su una maggiore efficienza della didattica e di ottimizzazione delle risorse, intese in termini meramente quantificabili. Il livello qualitativo, quello di preparazione degli studenti rischia di essere interamente demandato alla professionalità dei singoli docenti.

  • 14 Non a caso Marradi definisce Il metodo come arte (1996) e Parra Saiani intitola un suo articolo La (...)

32L’esperienza fin qui maturata sarà attentamente esaminata per consentire ai Nuclei di valutazione di migliorare sempre di più il loro metodo, cioè l’insieme delle scelte e delle tecniche più adatte per raggiungere i loro obiettivi cognitivi14. Sembra quindi opportuno che la valutazione sia la combinazione, accuratamente equilibrata, dei due aspetti. Innanzitutto l’efficienza, rilevata prevalentemente attraverso variabili cardinali, la cui analisi non dovrebbe però trascurare la rilevazione dell’efficacia esterna o sociale, ovvero la sua capacità di soddisfare i bisogni e le aspettative del destinatario/fruitore del servizio. Nel nostro caso, quello del sistema universitario, non avrebbe senso analizzare statisticamente le distribuzioni di risorse economiche e umane, il numero di posti in aula e quant’altro prescindendo dal livello di soddisfazione del nostro destinatario: lo studente.

  • 15 In questo caso sarebbe più corretto parlare di opinioni, come fa giustamente notare Bezzi (2003), m (...)

33In ogni caso, sarebbe auspicabile adottare una procedura che abbia i caratteri della massima pubblicità e comprenda, oltre ai dati strutturali e istituzionali, le «valutazioni»15 degli studenti, degli addetti ai lavori (docenti e dipendenti delle università) e, magari, anche quelle di intellettuali e imprenditori, cioè di valutatori esterni.

34Si tratta di mettere a frutto le conoscenze che i vari operatori hanno, per esperienza diretta, del contesto in cui sono immersi gli atenei; capaci tra l’altro di dar conto del credito e del prestigio che ciascuna istituzione ha acquisito negli anni (in alcuni casi nei secoli), e che nessuna procedura «standard» può adeguatamente rilevare. Una completa quantificazione rischia di trascurare lo studio e l’analisi di elementi costitutivi della qualità degli atenei. Come sottolinea Bezzi «la valutazione dei servizi… non può prescindere da una piena assunzione, da parte del valutatore, dei diversi punti di vista (dei decisori, degli operatori, dei beneficiari del servizio), della mutabilità di tali punti di vista, della loro contingenza legata a fattori sociali, cognitivi, di contesto, ecc.» (2000, 21). La ricerca e la didattica in particolare sono servizi e, in quanto tali, intangibili; il processo che li genera è interattivo, legato alle diverse capacità e al diverso profilo valoriale di chi li eroga. Il soggetto e il contesto istituzionale, l’Università, in cui questi servizi sono creati, erogati e fruiti è legato a una serie di orientamenti e vincoli normativi che riguardano anche lo studente che riveste il duplice ruolo di utente e di coproduttore. D’altra parte come in tutta la Pubblica Amministrazione: «il prodotto si realizza mediante il contatto fra operatore e utente» (Bassanini, Giangrande e Oliva, 2000, 11).

35La consapevolezza dell’interattività che genera come risultato il servizio didattico universitario assume un’importanza sostanziale nel contesto formativo in cui servizio (per esempio l’esame), processo (l’atto di fare l’esame) e il prodotto (l’esito dell’esame) sono nella pratica indistinguibili.

2.5. Censis censet…

36Dal 1999, anno di istituzione del Comitato Nazionale per la Valutazione del Sistema Universitario, l’insieme delle proprietà da rilevare e la loro definizione operativa è stata definitivamente regolamentata e uniformata. Questo ha permesso di operare una serie di confronti in senso «verticale» (tra facoltà e corsi di laurea dello stesso ateneo) e «orizzontale» (tra i vari atenei o tra le stesse facoltà – o gruppi di facoltà – o corsi di laurea, laddove siano rimasti gli stessi afferenti a istituti diversi).

  • 16 Con questa espressione il Comitato si riferisce ai dati già raccolti dall’ufficio statistico del Mi (...)

37Nel 2002 il cosiddetto «paniere degli indicatori» che i Nuclei dovevano rilevare, come detto in precedenza, è stato modificato anche alla luce della riforma che ha cambiato profondamente e sostanzialmente il panorama formativo dell’istruzione superiore con l’introduzione dei corsi di laurea triennali e specialistici. Tuttavia tra facoltà e corsi di laurea del «vecchio ordinamento» (quadriennali o quinquennali), un confronto è operabile sulla base di quelli che per il Comitato Nazionale sono gli «indicatori di efficienza e di efficacia e in termini quantitativi» (2002) immutati nel triennio accademico 1998/99-2000/0116.

  • 17 Si tratta di un istituto di ricerca socioeconomica fondato nel 1964 e dal 1973 è stato riconosciuto (...)
  • 18 A chi scrive fa riflettere il fatto che il nome dell’istituto ricordi il verbo latino cens‰re che, (...)

38Sempre dal 1999 il Centro Studi Investimenti Sociali17 (Censis18) ha prodotto ogni anno per il quotidiano “La Repubblica” un rapporto intitolato La grande guida all’Università, in cui le stesse facoltà presenti in atenei diversi sono state valutate e classificate, per stabilire quale fosse la migliore. Anche in questo caso i giudizi si sono basati su proprietà di natura enumerabile o misurabile. Il confronto diacronico – tra un anno accademico e l’altro – operato a volte dall’Istituto appare opinabile dal momento che talvolta si tratta di proprietà e/o di variabili diverse.

  • 19 Per una critica all’uso dei termini macrofamiglia, dimensione, indicatore e quantitativo si veda § (...)
  • 20 Premia le facoltà con almeno un corso finanziato nell’ambito del progetto CampusOne attribuendo un (...)

39L’Istituto ha individuato cinque macrofamiglie19 (che si potrebbero mettere in rapporto a quelle che il Ministero definiva dimensioni) che sono state rilevate, a livello di facoltà, attraverso insiemi di variabili cardinali. Si tratta della produttività (i cui indicatori sono i tassi di sopravviventi tra il 1° ed il 2° anno; di studenti attivi o «equivalenti»; di iscritti e di laureati in corso e gli anni di laurea dei fuori corso); della didattica e standard d’offerta (somma dei corsi di laurea e di diploma universitari attivi; rapporto tra docenti e numero di corsi offerti; rapporto tra totale degli iscritti e docenti; rapporto tra posti aula e studenti; CampusOne20); della ricerca (numero di progetti di ricerca coordinati e partecipati di interesse nazionale finanziati dal Miur; finanziamento medio ottenuto nei progetti e Centri di eccellenza della ricerca cofinanziati dal Ministero); del profilo dei docenti (età media del corpo docente all’anno di rilevazione; indice di invecchiamento del corpo docente; tasso di docenti idonei ai concorsi di ruolo al netto degli ordinari; numero di università ospitanti gli studenti partecipanti al progetto Erasmus per docente). L’ultimo insieme di variabili rilevate si riferisce ai rapporti e alla cooperazione internazionale e comprende: la mobilità studenti (rapporto tra il numero di borse Erasmus assegnate e il numero di studenti esclusi gli immatricolati) e quella dei docenti (opportunità internazionali nel corso di un triennio); il rapporto tra il numero di borse Erasmus assegnate e il numero di docenti della facoltà; la ricerca internazionale (somma delle progetti internazionali partecipati e coordinati attuate sul totale dei docenti). Le fonti dei dati analizzati sono varie: il Comitato Nazionale per la valutazione del Sistema Universitario, il Miur, il Cineca, il CampusOne, la Crui, il Cnr, l’Etf e il Cordis (Uffici statistici e di analisi dell’Unione Europea).

40L’attenzione che un quotidiano a diffusione nazionale e un istituto di ricerca hanno prestato al tema della valutazione conferma come alla fine degli anni Novanta si stesse consolidando – per tutte le organizzazioni pubbliche, e in particolare per quelle educative e formative – il rapporto tra processo valutativo e la distribuzione delle risorse. Incentivi e fondi di riequilibrio sono assegnati ai diversi organi istituzionali in base gli esiti dell’attività valutativa che «…riveste un ruolo fondamentale per riequilibrare e finalizzare in misura maggiore gli investimenti pubblici» (Censis, 1999).

41La valutazione prodotta dall’Istituto non può ovviamente influenzare l’assegnazione dei fondi e la riallocazione di risorse economiche pubbliche; a tal proposito il Censis tiene a precisare che con le rilevazioni svolte nel corso del triennio in esame si propone di «indossare i panni degli studenti e della domanda di formazione universitaria; elaborare indicatori e macrofamiglie che dessero al lettore la possibilità di orientarsi in relazione alle proprie personali scelte o attese (standard di offerta, spinta alla ricerca, grado di internazionalizazione, etc.), usare in modo combinato dati ed informazioni generati da istituzioni o agenzie con una logica che garantisse uniformità, ufficialità e certificazione dei dati; esplicitare con chiarezza e trasparenza gli elementi di criticità e le lacune del modello valutativo, criticità e lacune derivanti molto spesso dalla mancanza di dati, a volte dalla eterogeneità delle fonti informative» (Censis, 2002).

  • 21 Per le considerazioni sul rapporto di indicazione si veda § 2.

42Ogni rapporto annuale è preceduto da una nota metodologica che tuttavia non riesce a dissipare una serie di dubbi. Il primo riguarda il modo in cui si siano potuti uniformare dati prodotti da soggetti istituzionali tanto diversi, raccolti con tecniche e in ambiti spazio-temporali altrettanto differenti; il secondo il modo in cui questi si siano potuti combinare. Se infatti la costruzione dei punteggi delle diverse aree (proposte come indici di produttività, ricerca, etc.) da un punto di vista matematico è esaustivamente spiegata da una serie di algoritmi fedelmente riportati (viene da chiedersi se il lettore medio de «La Repubblica» li avrà effettivamente letti e compresi), non altrettanto ampiamente chiarita da un punto di vista metodologico: perché queste variabili? Di quali concetti sono indicatori? Ammesso e non concesso che lo siano, per quale motivo di questo o dell’altro concetto? Dov’è il riferimento a quel rapporto di indicazione21? Il Cnvsu e i Nuclei di Valutazione seguono indicazioni ministeriali e governative (e guai se non lo facessero) nello svolgimento dell’attività valutativa e i dati prodotti, nonostante tutte le osservazioni già fatte, hanno uno scopo istituzionale: la ridistribuzione di risorse umane ed economiche.

43Il fatto che le graduatorie di facoltà afferenti a diversi atenei prodotte dal Censis fossero pubblicate in uno dei quotidiani più letti in Italia non poteva certo modificare l’allocazione di beni economici pubblici ma poteva forse influenzare un certo numero di neodiplomati — e le loro famiglie — nella scelta dell’ateneo in cui iscriversi; soprattutto quando questi ultimi erano comunque costretti a spostarsi dal luogo di origine per proseguire gli studi. Bisogna ammettere che è molto più probabile che questi leggano «La Repubblica» piuttosto che il Rapporto Annuale del Centro Nazionale di Valutazione del Sistema Universitario Italiano.

3. Valutando la facoltà di Sociologia

44Ogni anno dunque, un istituto di ricerca ha stilato vere e proprie classifiche in base alle quali ha stabilito in quale ateneo fosse presente la migliore facoltà di una determinata classe.

45Per motivi istituzionali il Cnvsu ha lavorato sempre sui tre livelli dell’istruzione universitaria (ateneo, facoltà e corso di laurea) e ha operato confronti tra i tre livelli ma non ha mai paragonato la stessa facoltà all’interno dei diversi atenei; tutt’al più ha prodotto una sorta di graduatoria per gruppi di facoltà.

46Lo scrupolo non mi consente di operare un confronto data la diversità di molte proprietà scelte e delle tecniche di raccolta, di ponderazione, di combinazione e di analisi. Ma la curiosità mi spinge a osservare queste valutazioni generate con procedure e per scopi diversi ma con un’unica comune intenzione: valutare l’Università.

47Tra le numerose facoltà presenti nei nostri atenei occorreva individuarne una che fosse presente nelle università italiane prima che il Ministero dell’Università e della Ricerca Scientifica e Tecnologica introducesse l’obbligo della valutazione. In questo modo si può pensare che, per tradizione e continuità, il corso di studi non avesse cambiato sostanzialmente il rigore e la qualità del suo profilo didattico nonostante l’esigenza di rinnovarsi al passo con l’evoluzione della domanda formativa. L’ambito spazio-temporale doveva permettere un confronto tra facoltà composte da corsi del vecchio ordinamento per cui si disponesse di valutazioni omogenee almeno dalla prospettiva istituzionale; in cui cioè il Ministero avesse adottato lo stesso insieme di proprietà. La scelta è così caduta sulle facoltà di Sociologia presenti nei diversi atenei, anche perché meglio conosciute da chi scrive e si presuppone da chi legge. Ne confronterò le posizioni occupate nelle due classifiche nel periodo che va dall’anno accademico 1998/99 all’a.a. 2000/01.

3.1. Il parere del Comitato…

48Nel 1998/99 il Cnvsu ha ricevuto i dati relativi alla facoltà di Sociologia dalle Università «Bicocca» di Milano, «Federico II» di Napoli, «La Sapienza» di Roma, «Carlo Bo» di Urbino e dall’Università degli Studi di Trento. Nel documento L’evoluzione del sistema universitario nel triennio 1998/99 - 2000/01 il Comitato presenta le elaborazioni relative al livello di facoltà per quattro «indicatori», tutti relativi al rapporto tra studenti e docenti.

49Il primo è il rapporto tra il totale degli studenti e il numero docenti di ruolo. Dalla tab. 1 è possibile osservare come il rapporto tra il numero di iscritti e il numero di docenti inquadrati nella facoltà di Sociologia sia andato progressivamente crescendo, passando dai 95 studenti per docente nell’anno accademico 1998/99 ai 98,4 nell’anno successivo fino a raggiungere quasi i 117 iscritti per docente nell’a.a. 2000/01. I dati degli ultimi due anni sono i più alti rispetto alla media totale delle università e ai valori di tutti gli altri gruppi di facoltà: il secondo è Giurisprudenza con 85,3 studenti per docente. Osservando la serie storica è possibile notare come due anni prima la situazione tra le due fosse esattamente opposta.

Tab. 1 Studenti totali su docenti per gruppi di facoltà – Evoluzione nel triennio

Facoltà

1998/99

1999/00

2000/01

Agraria

14,1

13,1

12,5

Architettura

44,7

39,3

35,6

Farmacia

29,1

26,8

56,1

Ingegneria

31,6

29,1

28,5

Medicina e chirurgia

8,8

8,6

8,4

Medicina Veterinaria

16,9

15,3

14,2

Scienze Matematiche Fisiche e Naturali

15,6

14,0

13,5

Economia

74,7

61,5

56,9

Giurisprudenza

115,0

93,8

85,3

Lettere e Filosofia

40,2

38,3

37,5

Lingue e letterature straniere

40,3

39,4

40,0

Psicologia

89,7

74,5

69,5

Scienze della Formazione

81,6

77,3

74,6

Scienze Politiche

59,3

51,9

49,2

Scienze Statistiche

24,8

20,1

18,9

Sociologia

95,0

98,4

116,8

TOTALE

34,7

31,5

30,0

Fonte: MIUR - CNVSU

  • 22 Dati del CNVSU (1999, 2000, 2001), mia elaborazione.

50Sulla base di questo dato (generato dal rapporto tra due variabili riferite alle risorse) Sociologia è «ultima in classifica» dato che, ovviamente, un alto numero di studenti per docente inficia, per dirla con le parole del Comitato, l’efficienza della didattica e, di conseguenza, ha un peso negativo sulla valutazione complessiva della facoltà. Tuttavia occorre sottolineare il peso positivo attribuito all’alto numero di studenti: nel triennio considerato, infatti, la variazione percentuale ha fatto registrare un incremento degli iscritti a Sociologia del 18,3%22.

51La seconda variabile presentata nello stesso documento (p. 14) è molto simile. A cambiare è il numeratore della frazione che, invece del totale degli studenti, riporta quello degli studenti regolari, ovvero iscritti da un numero di anni inferiore o uguale alla durata legale del corso (tab. 2). Molto simili sono anche gli esiti che la serie storica produce, tranne per il fatto che il primato della facoltà considerata si conferma in tutti e tre gli anni accademici.

Tab. 2 Studenti regolari su docenti per gruppi di facoltà – Evoluzione nel triennio

Facoltà

1998/99

1999/00

2000/01

Agraria

9,8

8,9

8,1

Architettura

19,0

17,7

16,7

Farmacia

19,7

17,9

17,1

Ingegneria

18,4

16,9

16,3

Medicina e chirurgia

6,4

6,4

6,3

Medicina Veterinaria

10,2

9,2

8,2

Scienze Matematiche Fisiche e Naturali

9,2

8,1

7,8

Economia

38,4

32,2

30,1

Giurisprudenza

57,2

43,8

37,8

Lettere e Filosofia

22,2

21,4

20,7

Lingue e letterature straniere

23,9

23,4

23,8

Psicologia

54,9

47,4

43,3

Scienze della Formazione

53,3

49,0

45,6

Scienze Politiche

30,0

26,1

24,6

Scienze Statistiche

11,7

10,2

9,1

Sociologia

63,3

63,8

75,9

TOTALE

19,4

17,6

16,6

Fonte: MIUR - CNVSU

  • 23 Dati del Cnvsu (1999, 2000, 2001), mia elaborazione.

52È possibile rilevare una crescita dai 63 studenti in corso per docente nel 1998/99 ai 76 del 2000/01. Le considerazioni in merito sono le stesse fatte per il precedente caso. Infatti anche gli studenti in corso (conseguentemente all’aumento totale degli studenti) hanno registrato nel corso dei tre anni considerati un incremento nella facoltà, anche se inferiore, del 15,3%23.

  • 24 «Il numero medio di esami per anno viene calcolato considerando il numero totale di esami necessari (...)

53Segue il rapporto tra gli studenti attivi e i docenti. Il Comitato stabilisce che «studente attivo o equivalente è una variabile che viene calcolata sulla base del numero di esami superati dagli studenti iscritti ad un corso di studi rapportato al numero medio di esami per anno previsto dal suo piano degli studi»24 (ivi, 9).

Tab. 3 Studenti attivi su docenti per gruppi di facoltà – Evoluzione nel triennio

Facoltà

1998/99

1999/00

2000/01

Agraria

8,1

7,0

6,5

Architettura

20,9

17,8

16,3

Farmacia

13,5

13,6

13,3

Ingegneria

15,0

14,4

14,2

Medicina e chirurgia

5,6

5,4

5,2

Medicina Veterinaria

7,2

7,5

7,2

Scienze Matematiche Fisiche e Naturali

6,9

6,7

6,3

Economia

32,1

28,7

26,9

Giurisprudenza

42,3

34,3

30,7

Lettere e Filosofia

16,5

16,4

16,1

Lingue e letterature straniere

19,1

17,2

19,0

Psicologia

44,0

42,8

36,5

Scienze della Formazione

34,4

36,1

35,9

Scienze Politiche

22,1

20,7

20,9

Scienze Statistiche

10,3

9,5

9,8

Sociologia

42,7

37,3

49,5

TOTALE

15,2

14,3

13,8

Fonte: MIUR - CNVSU

  • 25 Un indicatore più valido del concetto di «rendimento» potrebbe essere rappresentato dal rapporto tr (...)

54Di solito il numero di studenti attivi è inferiore a quello degli iscritti e il rapporto tra le due variabili rappresenta per il Comitato «un indicatore di rendimento del corso di studi… se in una data facoltà, gli equivalenti rappresentano il 50% degli iscritti significa che uno studente di quella facoltà sostiene mediamente, nel corso di un anno accademico, la metà degli esami previsti dal corso di studi» (ibidem)25.

55Qui il Comitato (ivi, 15) ci presenta la relazione tra studenti attivi e docenti, ovvero il rapporto tra quanti sono «in pari» con gli esami e il numero di professori. Ebbene, per la terza volta nell’anno accademico 2000/01 le facoltà di Sociologia presentano il valore più alto: 49,5 contro una media di 13,8 studenti attivi per docente.

Tab. 4 Laureati/diplomati. su docenti per gruppi di facoltà – Evoluzione nel triennio

Facoltà

1998/99

1999/00

2000/01

Agraria

8,1

7,0

6,5

Architettura

4,4

4,3

4,0

Farmacia

1,9

2,0

2,0

Ingegneria

2,5

2,6

2,7

Medicina e chirurgia

1,0

1,1

1,1

Medicina Veterinaria

1,2

1,3

1,2

Scienze Matematiche Fisiche e Naturali

1,5

1,4

1,3

Economia

7,5

7,0

7,0

Giurisprudenza

7,6

7,2

7,3

Lettere e Filosofia

3,0

3,0

2,9

Lingue e letterature straniere

3,0

3,2

3,2

Psicologia

8,0

7,3

7,5

Scienze della Formazione

4,8

4,6

4,9

Scienze Politiche

4,7

4,5

4,7

Scienze Statistiche

2,6

2,9

2,7

Sociologia

5,2

5,8

7,2

TOTALE

2,8

2,8

2,9

Fonte: MIUR - CNVSU

56Osservando queste tre variabili si può notare come nel periodo considerato la facoltà di Sociologia fosse piuttosto quotata tra gli studenti. A essere del tutto onesti sarebbe opportuno analizzare il dato disaggregato per ateneo, anche qui osservando l’offerta formativa della singola facoltà, ma qualche riflessione è comunque possibile.

57Questi tre valori possono essere considerati in un certo senso indicatori della qualità dell’offerta didattica: un numero più contenuto di studenti (iscritti, regolari o equivalenti che siano) per docente fornisce maggiori opportunità di instaurare contatti diretti tra i due attori del processo. Certo, non si possono adottare politiche che disincentivino gli studenti, altrimenti chiuderebbero le università! Occorre forse ricordare che per ridurre il valore di una frazione, non potendo diminuire quello del numeratore, sarebbe necessario aumentare quello del denominatore.

58Il Cnvsu propone infine l’andamento, nei tre anni accademici considerati, del numero di laureati e diplomati (già esistevano nelle facoltà corsi di laurea triennali, all’epoca definiti brevi) in relazione al numero di professori della facoltà. A sorpresa il gruppo delle facoltà di Sociologia questa volta, pur avendo un valore ogni anno più alto di quello medio, non detiene il primato assoluto collocandosi per tutti e tre gli anni al terzo posto (preceduto da Psicologia e da Giurisprudenza). Occorre però rilevare la netta riduzione della distanza tra questi punteggi nell’a.a. 2000/01: Sociologia ha 7,3 laureati per docente, Giurisprudenza 7,4 e Psicologia 7,5.

  • 26 Dati del Cnvsu (1999, 2000, 2001), mia elaborazione.

59Il numero di quanti hanno terminato il corso di studi in Sociologia in rapporto ai docenti è cresciuto dal 1998 al 2001 con un tasso notevolmente superiore a quello di qualunque altro gruppo di facoltà, passando da 5,2 a 7,2 laureati per professore. Il dato è ancor più sorprendente se si considera che, nel periodo esaminato, gli atenei italiani hanno mantenuto una media totale stabile di poco inferiore a 3. Occorre tuttavia far notare che il numero di laureati e di diplomati delle facoltà di Sociologia è aumentato nello stesso periodo del 35,2%26.

3.2. … e quello del Censis

60Il Censis Servizi – il settore della Fondazione che si è occupato di redigere La grande guida all’università 2000 (in riferimento all’a.a. 1998/99), 2001 (con i dati delll’a.a. 1999/00), 2002 (relativa all’a.a. 2000/01) – ha invece prodotto delle classifiche vere e proprie proclamando alla fine la facoltà vincitrice in base all’analisi delle proprietà illustrate al § 2.3.

61Nel corso del primo anno le facoltà di Sociologia per cui si disponeva di tutti i dati previsti facevano capo a tre atenei: «La Sapienza» di Roma, l’Università degli Studi di Trento e quella di Urbino. L’Università «Bicocca» di Milano e «Federico II» di Napoli erano considerate «matricole» e la definizione operativa fornita dai ricercatori dell’Istituto non consentiva di rilevare alcune proprietà relative alla produttività e ai rapporti internazionali.

Tab. 5 Le Facoltà di Sociologia – punteggi ottenuti sugli indicatori Censis per l’a.a. 1998/99

ATENEI

(facoltà di Sociologia)

Produttività

Capacità di attrazione

Didattica

Ricerca


Relazioni nternazionali

Roma - «La Sapienza»

0

694

40

0

100

Trento

362

1000

1000

1000

972

Urbino «Carlo Bo»

1000

837

176

190

0

Milano - «Bicocca»

n.d.

0

252

401

n.d.

Napoli - «Federico II» di

n.d.

186

0

400

n.d.

Fonte: Censis Servizi – «La Repubblica»

62I punteggi erano indicizzati a 1.000, il valore massimo che si poteva raggiungere in ogni area. L’Università di Trento ha il voto più alto rispetto a tutte le altre tranne che per la produttività dove quella di Urbino raggiunge il massimo. Sarebbe opportuno dire che per dimensioni, ubicazione e altri fattori che non sono qui presi in considerazione, questo ateneo presenta una serie di peculiarità che ne fanno una realtà un po’ particolare. Il mastodontico ateneo romano si colloca al terzo posto.

63Nell’anno successivo, il 2001, Censis e “La Repubblica” presentano i nuovi dati relativi all’a.a. 1999/2000. I valori sono cambiati e, probabilmente per uniformarsi al voto universitario, vengono espressi in centodecimi.

Tab. 6 Le Facoltà di Sociologia - punteggi ottenuti sugli indicatori Censis per l’a.a. 1999/00

ATENEI

(facoltà di Sociologia)

Produttività

Capacità di attrazione

Didattica

Ricerca


Relazioni internazionali

Roma - «La Sapienza»

81

110

73

70

80

Trento

66

110

110

90

110

Urbino «Carlo Bo»

110

106

73

68

66

Milano - «Bicocca»

n.d.

66

66

110

n.d.

Napoli - «Federico II» di

91

66

74

66

91

Fonte: Censis Servizi – «La Repubblica»

64Di nuovo Trento viene consacrata la sede della migliore facoltà di Sociologia per capacità di attrazione, didattica, ricerca e relazioni internazionali, e per la seconda volta la produttività più alta del gruppo viene registrata a Urbino. L’Università «Carlo Bo» presenta lo stesso valore de «La Sapienza» per la didattica ma si fa superare in ricerca e relazioni internazionali. Nel 2001 i dati della facoltà di Sociologia dell’Università di Napoli ci sono tutti, ma questa raggiunge appena la sufficienza (66) per capacità di attrazione e per l’area della ricerca.

65Nell’ultimo anno considerato, Trento conferma il suo primato come ateneo in cui è presente la migliore facoltà di Sociologia, Roma riesce a sorpassare l’ateneo marchigiano (che non molla mai il primato sulla produttività) sottraendogli il secondo gradino del podio e cedendogli il terzo.

66Al terzo anno di primato Carlo Brambilla commenta i risultati della ricerca affermando nel suo articolo su «La Repubblica» dell’8 giugno 2002: « Era l’autunno del ’62 quando… venne fondato l’Istituto superiore di Scienze sociali, il primo in Italia per l’insegnamento della sociologia. Diventato ufficialmente facoltà solo dieci anni dopo. Passano gli anni e quella di Trento continua ad essere la facoltà di Sociologia più amata in Italia da intellettuali, sociologi e studenti. Quasi una facoltà-culto. Per le sue tradizioni, per i grandi nomi che l’hanno attraversata, per l’offerta didattica per il miglior rapporto docenti-studenti rispetto alle altre facoltà italiane di sociologia, per la facilità delle condizioni di studio (per parlare con un docente basta bussare alla sua porta), per i servizi agli studenti (la biblioteca, aperta tutti i giorni dalle 7,30 alle 24, e dalle 14 alle 20 la domenica, è un piccolo gioiello), per la bellezza della città e delle montagne che la circondano». Detto questo… chi non andrebbe a Trento a studiare Sociologia?

Tab. 7 Le Facoltà di Sociologia - punteggi ottenuti sugli indicatori Censis per l’a.a. 2000/01

ATENEI

(facoltà di Sociologia)

Produttività

Capacità di attrazione

Didattica

Ricerca


Relazioni internazionali

Roma - «La Sapienza»

100

68

71

90

92

Trento

89

110

68

110

110

Urbino «Carlo Bo»

110

92

84

68

66

Milano - «Bicocca»

n.d.

86

110

-

n.d.

Napoli - «Federico II» di

65

94

67

100

85

Fonte: Censis Servizi - La Repubblica

4. Valutar non nuoce…

67Occorre accettare il fatto che l’Università deve essere valutata.

68Uno dei principi fondamentali dell’attività di valutazione stabilisce che i soggetti responsabili del giudizio sui risultati devono essere distinti e separati, soprattutto a livello di responsabilità, da quelli che rivestono ruoli chiave nei processi decisionali. Nel caso della valutazione universitaria però, non di rado, questo elemento è venuto meno. Ai Nuclei di valutazione di ateneo è stato chiesto sempre di più in termini di responsabilità – soprattutto in merito alla programmazione formativa e alla congruità dei finanziamenti. Simili richieste rischiano di far passare in secondo piano non solo la funzione originaria questi organi, ma anche quell’esperienza maturata sul campo che li ha resi uno strumento fondamentale su due fronti. Il primo riguarda la gestione delle università e il secondo concerne il dovere di trasparenza che ogni organizzazione pubblica ha nei confronti del cittadino; funzioni che solo una struttura come il Nucleo, che media tra facoltà e Ministero, può garantire.

  • 27 Come sottolinea Marradi, il termine ha un significato mentre il concetto è un significato (1994).

69A conclusione del discorso a chi scrive preme ricordare l’attenzione che andrebbe prestata al contesto in cui determinate parole sono usate, distinguendo opportunamente tra linguaggio corrente e linguaggio scientifico. Questo è particolarmente vero per il termine «indicatore» che troppo spesso, come si è cercato di argomentare in queste pagine, è usato come sinonimo di «proprietà», «variabile», «definizione operativa» se non addirittura di «oggetto». Ciascuno di questi termini, però, nella sua corretta accezione metodologica corrisponde a un concetto (e a un significato27) diverso; essi non possono quindi essere considerati intercambiabili.

Torna su

Bibliografia

Agnoli M.S. e Fasanella A. (1996), La scommessa sociologica. Prove tecniche di valutazione, «Sociologia e ricerca sociale», xvii, n. 51, pp. 115-152.

Baldissera A. (1996), La scuola misurata. Gli indicatori dei sistemi educativi secondo l’Ocse, «Quaderni di Sociologia», xl, n. 12, pp. 113-121.

Bassanini M.C., Giangrande A. e Oliva D. (2000), L’accreditamento di una funzione specialistica in sanità. Presentazione di un metodo, in iii Congresso Nazionale dell’Associazione Italiana di Valutazione: Verso la costruzione dell’identità professionale dei valutatori nel pluralismo disciplinare e metodologico, 23-25 marzo 2000, Torino, Aiv.

Bezzi C. (2000), La valutazione dei servizi alla persona, Perugia, Giada.

Id. (2001), Il disegno della ricerca valutativa, Milano, Franco Angeli.

Id. (2003), La valutazione dei servizi alla persona, edizione fuori commercio, www.valutazione.it

Biggeri L. (1997), La valutazione del sistema universitario: l’organizzazione attuale e le metodologie di lavoro, «Università e Ricerca», viii, n. 4, pp. 5-10.

Cannavò L. (1995), Il primato della pragmatica. Il senso degli indicatori nella ricerca sociale, «Sociologia e ricerca sociale», Pragmatica degli indicatori, xvi, nn. 47/48, pp. 7-25.

Censis – La Repubblica (2000), La grande guida all’università 2000, http://www.repubblica.it/misc/guida/index.html

Censis – La Repubblica (2001), La grande guida all’università 2001, http://www.repubblica.it/speciale/universita/index.html

Censis – La Repubblica (2002), La grande guida all’università 2002, http://www.repubblica.it/speciale/2002/censis/index.html

Cipolla C., De Lillo A. (a cura di) (1996), Il sociologo e le sirene, Milano, Franco Angeli.

Crui (1995), Organizzazione e metodi dei Nuclei di valutazione nelle università italiane. Le proposte della Conferenza dei rettori, Roma, Fondazione Crui.

Gallino L., Baldissera A. e Ceri P., Per una valutazione analitica della qualità del lavoro, in Baldissera A. (a cura di), Indagine sull’organizzazione del lavoro in Italia, fascicolo speciale di «Quaderni di Sociologia», xxv, n. 1, pp. 297-322.

Gola M., Mirandola R., Squarzoni A., Stefani E., Tosi P., Tronci M. (2002), CampusOne – La metodologia di valutazione della qualità dei processi e dei prodotti delle attività universitarie, www.campusone.it

Landucci S. e Marradi A. (1999), Paul Felix Lazarsfeld: quel che direbbe l’avvocato del diavolo, «Sociologia e ricerca sociale», Paul Felix Lazarsfeld:un classico marginale, xx, nn.58/59, pp.150-164.

Lazarsfeld P.F. e Barton A.H. (1955), Some functions of qualitative analysis in social research, «Frankfurter Beiträge zur Sociologie», i, pp. 321-361; tr. it., Alcune funzioni dell’analisi qualitativa nella ricerca sociale, in Lazarsfeld P.F. (1967), Metodologia e ricerca sociologica, Bologna, Il Mulino.

Lombardo C. (1988), Studenti di comunicazione. Indagine empirica su un campione di iscritti al Corso di laurea in Scienze della Comunicazione dell’Università «La Sapienza» di Roma, «Sociologia e ricerca sociale», XIX, n. 56, pp. 76-108.

Marradi A. (1981), Misurazione e scale: qualche riflessione e una proposta, «Quaderni di Sociologia», xxix, n.4, pp. 595-639.

Id. (1984, 1987), Concetti e metodo per la ricerca sociale, Firenze, La Giuntina.

Id. (1990), Fedeltà di un dato, affidabilità di una definizione operativa, «Rassegna italiana di sociologia», xxxi, n.1, pp. 55-96.

Id. (1993), L’analisi monovariata, Milano, Franco Angeli.

Id. (1994), Referenti, pensiero e linguaggio: una questione rilevante per gli indicatori, «Sociologia e ricerca sociale», Pragmatica degli indicatori, xvi, nn. 47/48, pp. 137-207.

Id. (1996), Metodo come arte, «Quaderni di Sociologia», xl, n. 10, pp. 71-92.

Mirandola R., Squarzoni A., Stefani E., Tronci M. et al. (2003), CampusOne - Guida alla valutazione dei corsi di studio, www.campusone.it

Miur – Comitato Nazionale per la Valutazione del Sistema Universitario (2002), L’evoluzione del sistema universitario nel triennio a.a. 1998/99 – a.a. 2000/01, www.cnvsu.it

Murst - Osservatorio Nazionale per la Valutazione del Sistema Universitario (1998), Indicazioni per la preparazione delle relazioni dei Nuclei di valutazione interna e insieme minimo di indicatori, www.cnvsu.it

Palumbo M.(1995), Indicatori e valutazione di efficacia delle policies, «Sociologia e ricerca sociale», Pragmatica degli indicatori, xvi, nn. 47/48, pp.317-341.

Id. (2001), Il processo di valutazione, Milano, Franco Angeli.

Parra Saiani P. (2001), Triangolazione e processi valutativi, «Rassegna italiana di valutazione», n. 24, ottobre-dicembre, pp. 49-65.

Parra Saiani P. (2002), La valutazione tra arte e scienza, «Quaderni di Sociologia», xlvi, n.28, pp. 137 - 146.

Pavsic R., Pitrone M.C. (2003), Come conoscere opinioni e atteggiamenti, Acireale, Bonanno.

Pitrone M.C (1984), Il sondaggio, Milano, Franco Angeli.

Id. (1998), Per una cultura del sondaggio, «Sociologia e ricerca sociale», xix, n.56, pp.141-160.

Stame N. (1998), L’esperienza della valutazione, Roma, Seam.

Statera G. (1990), Metodologia e tecniche della ricerca sociale. Una introduzione sistematica, Palermo, Palombo.

Zingarelli N. (2003), Vocabolario della lingua italiana, Bologna, Zanichelli.

Torna su

Note

1 Per un’interessante analisi sulla differenza tra attendibilità e affidabilità delle definizioni operative e fedeltà dei dati vedi Marradi (1990).

2 Si tratta di un’associazione costituita nel 1963 dai Rettori delle Università statali e libere allo scopo di approfondire i problemi del sistema universitario, esprimere pareri sul piano di sviluppo delle Università e sullo stato dell’istruzione universitaria; promuovere e sostenere le iniziative delle Università nelle sedi nazionali e internazionali mediante rapporti con le analoghe associazioni comunitarie e straniere. Presso la Crui è stato istituito nel 1991 un gruppo di lavoro sulla valutazione che comprendeva anche i delegati rettorali alla valutazione interna. A partire dal 1994 le indicazioni della Crui sono risultate molto utili a numerose sedi universitarie proprio come guida per istituire i Nuclei di valutazione.

3 Disciplinato nel D.M. n. 178/00 e nominato ufficialmente con il D.M. n. 179 del 4 aprile 2000.

4 Il termine misurazione appare, in questo caso, discutibile se non decisamente inappropriato: nelle scienze sociali per la maggior parte delle proprietà, continue o enumerate, ritenute rilevanti e percepite come continue, non si è in grado di stabilire un’unità di misura nel senso proprio del termine (Marradi, 1987 e 1991). Per gli atteggiamenti, ad esempio, Pavsic e Pitrone fanno osservare come attraverso tecniche autoancoranti riusciamo a produrre al massimo variabili quasi-cardinali (2003).

5 Nel linguaggio corrente si tendono a usare in forma intercambiabile i termini indicatore e proprietà. Per una critica vedi § 2.2.

6 In questo caso si intendono proprietà i cui stati sono correttamente rappresentati da valori numerici. Per il commento a queste definizioni si rimanda il lettore oltre (§ 2.3).

7 Il programma Vps prende spunto dal Research Assessment Exercise (rae) utilizzato nel Regno Unito per la valutazione complessiva degli atenei attraverso l’osservazione sistematica della produzione scientifica dei singoli docenti. A ogni pubblicazione si attribuisce un punteggio in base alla valutazione dei mezzi di diffusione attraverso una griglia articolata in 5 fasce, strutturate su due livelli relativi al grado di prestigio loro riconosciuto. Nel caso di più autori il punteggio viene diviso per il loro numero.

8 Ogni variabile, infatti, ha un peso positivo o negativo sulla valutazione dei vari livelli del sistema di istruzione secondaria superiore (corso di laurea, facoltà e ateneo). Ad esempio un ateneo avrà un giudizio migliore se ha un numero di laureati in corso maggiore rispetto a un altro che presenta gli stessi valori per le variabili relative alle risorse e al contesto.

9 Occorre notare, fra l’altro, che il termine «dimensione» rinvia a concetti di proprietà che variano per quantità infinitesimali.

10 L’Osservatorio per la valutazione universitaria (1998) intende per «efficacia esterna» il raggiungimento degli obiettivi degli utenti, il miglioramento della loro condizione; mentre per «efficienza generale» il rapporto tra le risorse a disposizione e i risultati ottenuti.
Per una più precisa definizione di questi e altri termini si rinvia al saggio di Parra Saiani in questo stesso volume e a Gallino, Baldissera e Ceri (1976). Infatti, l’efficacia si riferisce al raggiungimento degli obiettivi organizzativi e non alla soddisfazione dei clienti/utenti: è il rapporto tra risultati (outcomes) ed obiettivi ( o risultati attesi); efficienza è il rapporto tra outputs di ogni tipo e inputs usati per produrli; l’adattamento (in input) è la capacità di trovare le risorse di cui si ha bisogno (es. un docente in farmacologia); l’adattamento in output la capacità di un’organizzazione di soddisfare le attese di clienti o utenti, l’integrazione riguarda invece l’integrazione interna del sistema (Baldissera, 2004).

11 Con questo non si vuole affermare che le opinioni degli studenti non vadano rilevate. Si vogliono solo ricordare alcuni degli innumerevoli problemi di rilevazione che si presentano sempre in questi casi.

12 Per una critica dell’abituale distinzione tra approccio qualitativo e quantitativo si rimanda ai saggi raccolti nel volume a cura di Cipolla e de Lillo, Il sociologo e le sirene (1996).

13 Come ricorda Baldissera «l’università italiana è… chiaramente underfinanced e understaffed» (1996).

14 Non a caso Marradi definisce Il metodo come arte (1996) e Parra Saiani intitola un suo articolo La valutazione tra arte e scienza (2002).

15 In questo caso sarebbe più corretto parlare di opinioni, come fa giustamente notare Bezzi (2003), ma la forzatura intende sottolineare l’importanza del coinvolgimento di tutti gli attori nel processo valutativo della formazione universitaria.

16 Con questa espressione il Comitato si riferisce ai dati già raccolti dall’ufficio statistico del Miur, da vari uffici interministeriali e degli archivi Miur gestiti dal Cineca (2002).

17 Si tratta di un istituto di ricerca socioeconomica fondato nel 1964 e dal 1973 è stato riconosciuto Fondazione (D.P.R. n. 712 11 ottobre 1973). Il lavoro di ricerca viene svolto prevalentemente attraverso incarichi da parte di Ministeri, Amministrazioni regionali, provinciali, comunali, Camere di Commercio, Associazioni imprenditoriali e professionali, Istituti di credito, Aziende private, Gestori di reti, Organismi internazionali nonché nell’ambito dei programmi dell’Unione Europea.

18 A chi scrive fa riflettere il fatto che il nome dell’istituto ricordi il verbo latino cens‰re che, in italiano, si tradurrebbe stimare, valutare.

19 Per una critica all’uso dei termini macrofamiglia, dimensione, indicatore e quantitativo si veda § 2.

20 Premia le facoltà con almeno un corso finanziato nell’ambito del progetto CampusOne attribuendo un bonus del 10% del punteggio medio della «famiglia» della didattica.

21 Per le considerazioni sul rapporto di indicazione si veda § 2.

22 Dati del CNVSU (1999, 2000, 2001), mia elaborazione.

23 Dati del Cnvsu (1999, 2000, 2001), mia elaborazione.

24 «Il numero medio di esami per anno viene calcolato considerando il numero totale di esami necessari per il conseguimento della laurea e dividendo per gli anni previsti per la sua durata legale. Se un corso di laurea della durata legale di cinque anni, prevede il superamento di 30 esami, il numero medio di esami per anno è pari a 6. «Se uno studente sostiene la metà degli esami previsti è contato 0,5 se non ne sostiene alcuno 0, se invece è in «pari» con gli esami è contato 1» (ibidem).

25 Un indicatore più valido del concetto di «rendimento» potrebbe essere rappresentato dal rapporto tra gli studenti attivi e gli iscritti in corso. Il calcolo di tale rapporto permetterebbe, a parere di chi scrive, di stabilire quanti studenti sono effettivamente impegnati a seguire il percorso formativo scelto, rispettandone la durata legale e sostenendo regolarmente gli esami previsti.

26 Dati del Cnvsu (1999, 2000, 2001), mia elaborazione.

27 Come sottolinea Marradi, il termine ha un significato mentre il concetto è un significato (1994).

Torna su

Per citare questo articolo

Notizia bibliografica

Claudia Loreti, «Gli indicatori di valutazione del sistema universitario italiano: un’analisi critica»Quaderni di Sociologia, 35 | 2004, 81-102.

Notizia bibliografica digitale

Claudia Loreti, «Gli indicatori di valutazione del sistema universitario italiano: un’analisi critica»Quaderni di Sociologia [Online], 35 | 2004, online dal 30 novembre 2015, consultato il 29 mars 2024. URL: http://journals.openedition.org/qds/1112; DOI: https://doi.org/10.4000/qds.1112

Torna su

Autore

Claudia Loreti

Università «La Sapienza», Roma

Torna su

Diritti d'autore

CC-BY-NC-ND-4.0

Solamente il testo è utilizzabile con licenza CC BY-NC-ND 4.0. Salvo diversa indicazione, per tutti agli altri elementi (illustrazioni, allegati importati) la copia non è autorizzata ("Tutti i diritti riservati").

Torna su
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search