Navigazione – Mappa del sito

HomeNumeri20la società italiana / la politica...Valutazione dei programmi pubblic...

la società italiana / la politica della scienza e della tecnologia tra università, industria e stato

Valutazione dei programmi pubblici di ricerca: le metodologie della nuova «micro-economia» della scienza

Fabrizio Cesaroni e Alfonso Gambardella
p. 66-94

Testo integrale

1. Introduzione

1In un momento storico in cui la necessità di un sostegno pubblico alla ricerca scientifica viene messo in discussione ed in cui la maggior parte dei paesi sta riducendo l’ammontare dei fondi a disposizione, la valutazione dei risultati dei programmi pubblici della ricerca scientifica e tecnologica sta diventando un elemento essenziale per garantire efficacia alla politica della scienza. Mentre la maggior parte degli studi considera l’allocazione delle risorse in r&s come un problema di scelta delle imprese, occorre tenere presente che una quota rilevante di questo capitolo di spesa, sia per le istituzioni scientifiche che per le imprese, è finanziata con fondi pubblici. Nei maggiori paesi industrializzati, la percentuale delle risorse di provenienza governativa varia tra il 30% ed il 50% del totale della spesa sostenuta per attività di r&s [oecd, 1994]. Spesso la distribuzione delle risorse finanziarie avviene attraverso programmi pubblici come i Progetti Finalizzati gestiti dal cnr in Italia, o i progetti di ricerca che ricadono all’interno del Programma Quadro della Commissione Europea.

2Nella letteratura economica, esistono numerosi studi che hanno valutato l’efficacia e gli effetti della r&s privata. Al contrario, vi sono pochissime analisi che hanno cercato di esaminare l’impatto di questi programmi pubblici e di mettere a punto metodologie «scientifiche» di valutazione. Lo sviluppo di una letteratura economica più sistematica su questo argomento è avvenuta soltanto in tempi molto recenti, anche sotto la spinta di studi come quelli di Dasgupta e David [1994] e di Stephan [1996] che, nel sottolineare l’importanza di questo tema, hanno dato nuova linfa a studi empirici successivi. In effetti, l’analisi di Dasgupta e David [1994] è importante anche perché trae spunto da una tradizione di analisi lunga e consolidata nel campo della sociologia della scienza, che ben prima dell’analisi economica si è posta alcuni problemi sia teorici che empirici legati alle caratteristiche ed alle funzione della comunità scientifica (es. Price [1963], Merton [1973]).

  • 1 Si veda a tale proposito il sito Internet: http://www.atp.nist.gov/ [link non raggiungibile : 02/02 (...)
  • 2 Si fa qui riferimento alla relazione di apertura dell’allora Ministro del Tesoro Azeglio Ciampi, al (...)

3Si consideri, inoltre, che l’impatto della ricerca scientifica e della r&s delle imprese sulla crescita economica dei paesi è ampiamente riconosciuto. La mancanza di metodologie consolidate di valutazione di questi programmi sta spingendo numerosi governi ad affrontarne lo studio. In questa direzione, ad esempio, si sta muovendo una apposita sezione del nuovo Advanced Technology Program (atp) lanciato negli Stati Uniti per il finanziamento pubblico di attività di ricerca scientifica e tecnologica1. L’obiettivo dei manager di questo programma è proprio la predisposizione di metodologie rigorose di valutazione a supporto delle decisioni allocative prese dalle agenzie pubbliche. Anche in Italia, la necessità di sviluppare simili metodologie di valutazione degli investimenti pubblici è stata sottolineata dallo stesso Governo2.

4Alla luce di queste considerazioni, l’obiettivo di questo lavoro è duplice. In primo luogo si vuole descrivere una metodologia che permetta di valutare i risultati dei programmi pubblici di ricerca. Ovvero che riesca a rispondere a domande quali: quanto può aumentare l’output di un programma di ricerca all’aumentare degli input (ammontare complessivo di risorse finanziarie impegnate)? Come si può modificare l’output totale di un programma pubblico, al variare dell’allocazione delle risorse tra i diversi gruppi di ricerca, dotati di caratteristiche differenti?

5La metodologia si fonda sulla predisposizione di un modello statistico basato su sistemi di equazioni che mettono in relazione gli output di un progetto di ricerca con una serie di input, quali le risorse finanziarie a disposizione dei laboratori o dei loro responsabili e le caratteristiche degli stessi (ad esempio, la dimensione dell’unità di ricerca, la localizzazione geografica, le performance passate). Ovviamente la definizione degli output dipende dagli obiettivi «politici» del programma di finanziamento pubblico. Nel caso di programmi di ricerca scientifica, ad esempio, un output tipico si riferisce al numero di pubblicazioni del progetto, solitamente aggiustate mediante un indice qualitativo. Nel caso di ricerca tecnologica, si possono impiegare misure quali i brevetti, anch’essi aggiustati per la qualità attraverso opportuni indici.

6In termini generali, una metodologia di valutazione consiste nella stima della relazione tra una misura di performance tecnica o economica (pubblicazioni scientifiche, brevetti, vendite) ed una serie di misure di input, utilizzate per ottenere quelle performance. Tra gli input si possono considerare sia le risorse finanziarie a disposizione dei gruppi di ricerca, sia le loro caratteristiche scientifiche e strutturali (performance passate, localizzazione, collaborazioni con altre organizzazioni e così via).

7Analizzando questa relazione il policy-maker può stimare, da un lato, il prodotto marginale dell’allocazione delle risorse, ovvero l’aumento dell’output di un certo progetto che si realizza se le risorse finanziarie disponibili vengono incrementate di una unità (una lira). E ciò anche attraverso la simulazione di differenti distribuzioni del budget a disposizione tra i gruppi di ricerca. Dall’altro lato, è possibile stimare l’effetto di altre caratteristiche delle unità di ricerca sulle performance. Si può cioè valutare, ad esempio, se l’agglomerazione geografica influisce sulla produttività della ricerca, se un aumento della dimensione dei gruppi di ricerca influisce in modo più che proporzionale sulla loro produzione (esistenza di economie di scala), se la realizzazione di collaborazioni con altre organizzazioni ha effetti sulla produttività e così via.

8Come secondo obiettivo di questo lavoro, si vuole presentare un’applicazione della stessa metodologia a due esempi di programmi pubblici di finanziamento della ricerca scientifica. Il primo, relativo all’Italia, si riferisce ad un Progetto Finalizzato promosso dal cnr nel periodo 1987 – 1992 per il finanziamento della ricerca scientifica nel settore delle biotecnologie. Il secondo, relativo agli Stati Uniti, riguarda un programma di ricerca finanziato dal National Science Foundation (nsf) nel settore dell’economia, per il periodo 1985-1990. Con questi esempi, l’articolo si propone anche di mostrare il funzionamento di questa metodologia e come essa possa essere utilizzata in pratica dai policy-maker e dai manager dei programmi pubblici di ricerca a supporto delle loro decisioni allocative.

9Per essere precisi, i due esempi riportati rispondono a due problemi distinti. Nel caso della valutazione del Progetto Finalizzato promosso dal cnr, l’obiettivo della metodologia impiegata è di verificare l’effetto delle decisioni allocative sulla produttività complessiva del progetto. In altre parole, i risultati della valutazione consentono di calcolare come sarebbe cambiato l’output totale del Progetto se i finanziamenti fossero stati allocati diversamente tra i gruppi di ricerca, ovvero tra scienziati con caratteristiche differenti (più giovani, meno giovani, localizzati al Sud piuttosto che altrove). In questo senso, l’obiettivo della valutazione è «interno» al programma pubblico, in quanto risponde ad un’esigenza di efficienza allocativa del progetto nel suo complesso. Nel caso del programma lanciato dalla nsf, si è cercato di valutare l’effetto dello stesso sulla produzione scientifica dei ricercatori. In altre parole, si è cercato di verificare se, come e sotto quali condizioni i finanziamenti di ricerca offerti dalla nsf ai ricercatori fossero in grado di modificare la loro produttività scientifica. Si tratta per certi versi di un obiettivo «esterno» al programma, in quanto cerca di rispondere alla domanda se i finanziamenti della nsf sono importanti per accrescere la produttività dei ricercatori rispetto a fonti di finanziamento alternative.

10L’articolo è così organizzato. Nel paragrafo successivo viene esposta una breve rassegna della letteratura su questo tema. In particolare si partirà dagli interrogativi aperti dalla «Nuova Economia della Scienza» e si analizzeranno i primi tentativi di individuare metodologie rigorose e sistematiche di valutazione dei programmi pubblici di ricerca. Nei §§ 3 e 4 si esporranno i due esempi sopra richiamati. Per entrambi si accennerà ai principi di funzionamento della metodologia impiegata, si analizzeranno i risultati ottenuti e si discuterà delle implicazioni pratiche che è possibile trarre dall’uso delle stesse metodologie. Il § 5 conclude l’articolo.

2. La valutazione della ricerca

11Fino a pochi anni fa, la letteratura economica sulla ricerca scientifica è stata limitata e confinata o all’analisi del mercato del lavoro per gli scienziati [Blank and Stigler, 1957; Ehrenberg, 1991 e 1992] o allo studio della produttività degli scienziati lungo il loro ciclo di vita. In merito a quest’ultimo tema, ad esempio, Levin e Stephan [1991] e Stephan e Levin [1992] hanno analizzato la produttività lungo il ciclo di vita dei singoli scienziati negli Stati Uniti, al fine di stimare l’effetto dell’età sulla produzione scientifica, giustificato dal fatto che i programmi pubblici di ricerca americani hanno spesso posto l’enfasi sui ricercatori come individui e non come appartenenti a gruppi di ricerca o ad istituzioni scientifiche (università o altri laboratori privati). Al contrario, negli altri paesi (e in anni recenti anche negli usa) le risorse sono allocate a gruppi di ricerca selezionati, in funzione della natura e degli obiettivi del programma ed in base alla reputazione scientifica sia del gruppo di ricerca, sia dell’istituzione a cui il gruppo appartiene.

  • 3 Questo processo era già noto nell’ambito della sociologia della scienza e ad esso ci si riferiva co (...)

12Questa nuova visione è stata ripresa dagli studi sulla «Nuova Economia della Scienza», in parte basandosi su lavori precedenti intrapresi dalla sociologia [Merton, 1973]. In particolare, David [1994] e Dasgupta e David [1994] hanno enfatizzato l’importanza per l’analisi economica della comprensione dei meccanismi che governano le istituzioni scientifiche e Stephan [1996] ha proposto un approccio alternativo per lo studio degli scienziati, che tenesse conto degli effetti dell’allocazione delle risorse sulla produzione dell’output scientifico. Infatti, nel momento in cui i finanziamenti sono distribuiti in funzione delle performance passate degli scienziati (ovvero della loro reputazione scientifica), si possono innescare processi dinamici di vantaggi cumulativi. I ricercatori (od i gruppi di ricerca) con una migliore reputazione hanno, a parità di altre condizioni, una maggiore probabilità di essere finanziati per progetti di ricerca futuri. Inoltre, consci di ciò, investiranno per presentare progetti di ricerca di ammontare maggiore. Entrambi questi effetti incideranno positivamente sulle loro performance di ricerca, rafforzandone la reputazione e innescando meccanismi di vantaggio cumulativo3. Così, l’osservazione per cui una piccola frazione di ricercatori è responsabile della maggior parte dei lavori scientifici pubblicati [Lotka, 1926; Price, 1963 e 1976], può essere anche il risultato di meccanismi istituzionali di selezione e di allocazione delle risorse che tendono ad amplificare gli effetti dell’eterogeneità delle caratteristiche iniziali degli scienziati o dei gruppi di ricerca.

13Il dibattito su questi temi, tra l’altro, è stato d’impulso per l’analisi dei meccanismi allocativi e per la valutazione delle modalità e degli effetti dei programmi pubblici di finanziamento della ricerca scientifica. La letteratura su questo tema, tuttavia, non è sistematica. In uno dei primi studi [Cole and Cole, 1977] viene preso in considerazione il sistema della «valutazione dei pari» (peer review), come meccanismo di selezione dei progetti di ricerca. Attraverso l’analisi dei progetti finanziati dalla nsf alla fine degli anni ’70, si fa notare come fattori specifici al sistema del peer review abbiano influenzato le decisioni della nsf solo per la frazione di progetti di ricerca di qualità media.

14In studi successivi, sempre relativi al ruolo e all’effetto dell’nsf nel finanziamento dell’attività di ricerca, Tremblay [1992] ha confrontato le modalità di ottenimento di un finanziamento da parte della nsf per il settore dell’economia e della chimica ed ha evidenziato che per il primo la probabilità di ottenere risorse finanziarie è sia minore, sia ristretta ad un numero limitato di istituzioni di ricerca. Nello studio dell’impatto dei finanziamenti sulla produzione scientifica dei ricercatori, Averch [1988] ha provato a stimare le determinanti del numero di citazioni per unità (dollaro) di finanziamento ottenuto dalla nsf per un campione casuale di 93 progetti nella chimica. Pur trovando che le caratteristiche del responsabile dell’unità di ricerca hanno un impatto con la produzione scientifica del gruppo, la relazione tra citazioni per dollaro e caratteristiche dell’istituzione di appartenenza del responsabile appare modesta. Inoltre, nel settore delle scienze comportamentali e neurali, anche le caratteristiche del ricercatore appaiono non correlate con il numero di citazioni per dollaro [Averch, 1987].

  • 4 Per una rassegna sui contributi più recenti in questo campo, si vedano Klette, Moen e Griliches [19 (...)

15In anni più recenti, Adams e Griliches [1998] hanno analizzato le performance in termini di pubblicazioni di un campione di università americane ed hanno trovato che questi finanziamenti hanno effetti sugli output della ricerca, sia diretti che indiretti, attraverso la produzione di studenti laureati. Infine, Klette e Moen [1998] hanno studiato l’impatto dei sussidi pubblici alla r&s delle imprese in Norvegia ed hanno trovato che questi sussidi hanno un certo effetto nell’incoraggiare le spese di r&s delle imprese beneficiarie4.

  • 5 Per un’analisi della letteratura italiana su questo tema, si vadano Stame [1998], Bezzi Palumbo [19 (...)

16Le metodologie di valutazione utilizzate in questi studi sono perlopiù di natura quantitativa, nel senso che si basano su tecniche econometriche per stimare l’impatto di una serie di misure di input con una serie di misure di output, scelte in funzione degli obiettivi del programma pubblico o delle esigenze valutative. Ovviamente le tecniche quantitative non rappresentano l’unico strumento utilizzabile. Numerosi studi5 hanno definito diverse metodologie che possono essere utilizzate dai manager dei programmi pubblici sia in fase di selezione dei progetti di ricerca da finanziare, sia in fase di valutazione ex-post o in itinere dei risultati raggiunti dal programma. Tra queste si ricordano [Silvani, 1998]:

  • le analisi qualitative, in cui l’attività di valutazione è demandata ad un gruppo di esperti che esprimono un parere di merito soggettivo sulla qualità del risultato o sulla capacità del proponente di svolgere l’incarico;

  • le analisi «score and ranking», quando le informazioni raccolte in merito a diversi aspetti sia della ricerca che del soggetto preposto alla sua realizzazione vengono tradotte in un valore unitario (che rappresenta un punteggio) e quindi vengono stilate delle opportune graduatorie;

  • le tecniche econometriche;

  • i metodi quantitativi (in senso stretto), in cui vengono utilizzati pochi indicatori numerici di sintesi, sia in termini di input che in termini di misure di output, non soggetti a interpretazioni discrezionali. Tra questi, ad esempio, un ruolo importante è svolto dalla tecniche bibliometriche;

  • la valutazione degli effetti, spesso utilizzate per valutare grandi progetti o piani di investimento. Tra queste tecniche si considerano le analisi costi-benefici e le analisi costi-efficacia, di cui sono note le difficoltà di quantificazione dei rischi e di risoluzione delle incertezze relative al raggiungimento dei risultati;

  • i modelli normativi, che valutano sia le funzioni obiettivo (ovvero il raggiungimento dei benefici a seguito dell’allocazione delle risorse), sia le funzioni di vincolo (che tengono conto maggiormente dell’ambiente organizzativo in cui devono essere affrontate le scelte decisionali);

  • ed infine, i modelli decisionali, utilizzati in fase di selezione ex-ante dei progetti di ricerca, ricostruiscono la formazione delle decisioni e progettano la metodologia con la quale le decisioni devono essere intraprese.

17Come si può notare gli approcci utilizzabili in sede di selezione dei progetti di ricerca e di valutazione dei risultati dei programmi pubblici di finanziamento si muovono lungo traiettorie analitiche differenziate ed un quadro metodologico sistematico non è ancora ben definito. Quello che si cercherà di mostrare nei paragrafi successivi è l’applicazione di una metodologia quantitativa di valutazione ex-post dei programmi pubblici di finanziamento alla ricerca scientifica. Con una caratteristica particolare: quella di trarre giustificazione teorica dall’analisi dei processi di produzione delle conoscenze scientifiche in seno alla comunità scientifica svolta dalla Nuova Microeconomia della Scienza, nei modi e nel senso sopra richiamato (distribuzione asimmetrica delle competenze di ricerca tra gli scienziati, effetti dinamici dei processi allocativi, e così via).

3. Applicazione: il progetto finalizzato «Biotecnologie e Biostrumentazione»

  • 6 Nel periodo 1989-1991, i ricercatori statunitensi sono stati responsabili del 40% del totale mondia (...)

18Il primo esempio di applicazione della metodologia di valutazione ha come oggetto un programma di finanziamento della ricerca scientifica nel settore delle biotecnologie promosso dal Consiglio Nazionale delle Ricerche in Italia, nel periodo 1989-1993 [Arora, David and Gambardella, 1998]. Il cnr lanciò il programma nel 1987 e ricevette 858 domande di partecipazione, delle quali ne vennero selezionate e finanziate 347. Questo Progetto Finalizzato (pf) ha rappresentato il primo importante intervento pubblico in Italia nel settore delle biotecnologie [Potì, Cesaroni e Cioppi, 1999], tanto che è possibile affermare che, di fatto, ogni gruppo di ricerca italiano operante nel settore della biologia molecolare e dell’ingegneria genetica ha richiesto di parteciparvi. Così l’esercizio di valutazione effettuato su questo progetto assume valore anche perché prende in considerazione una quota significativa (e rappresentativa) della comunità scientifica italiana. E allo stesso tempo può considerarsi anche un esempio rappresentativo della comunità scientifica (biotecnologica) internazionale. Non tanto perché la produzione scientifica degli scienziati italiani in questo settore rappresenta una quota significativa della produzione mondiale6, quanto perché alcune caratteristiche strutturali della comunità scientifica internazionale si ritrovano immutate a livello italiano, indipendentemente dal cambiamento di scala del fenomeno. Come esempio, si può notare che, in Italia come all’estero, la distribuzione delle pubblicazioni tra i ricercatori è altamente asimmetrica, nel senso che una quota relativamente piccola di scienziati è responsabile di una grande frazione del totale delle pubblicazioni generate dall’intera comunità.

19La prima fase della procedura di valutazione consiste nell’individuazione (e nella raccolta) delle variabili rilevanti. La maggior parte di esse sono state ottenute dalle schede di partecipazione che le «unità operative» (nella terminologia utilizzata dal cnr per indicare i gruppi di ricerca) hanno dovuto compilare all’atto di richiesta dei finanziamenti. Al pf hanno preso parte sia laboratori universitari (pari al 62% del campione), sia interni allo stesso cnr (pari al 15%), sia altre istituzioni di ricerca non-profit (come laboratori ospedalieri o fondazioni), sia alcune imprese commerciali (con queste ultime due categorie pari al restante 23% del totale). Così, la prima variabile utilizzata nel modello ha permesso di distinguere le unità operative in base alla loro provenienza istituzionale. Altre variabili relative alle caratteristiche strutturali dei centri di ricerca sono state la dimensione del centro, misurata in termini di numero di ricercatori e tecnici impiegati direttamente nello svolgimento del progetto di ricerca; l’età del primo ricercatore «responsabile» dell’unità operativa; il numero di unità provenienti dalla stessa istituzione di cui quella in oggetto fa parte (ad esempio, se l’unità operativa che si sta considerando fa parte formalmente dell’Università di Roma, allora si intende il numero complessivo di unità operative che provengono dalla stessa Università e che hanno fatto domanda di partecipazione al progetto); la localizzazione geografica dell’unità, distinguendo tra nord, centro e sud Italia, anche in riferimento al fatto che il cnr aveva dichiarato una politica di selezione e finanziamento che avrebbe favorito i centri di ricerca provenienti dal Mezzogiorno; ed, infine, la popolazione della provincia nella quale l’unità operativa è localizzata.

  • 7 L’impact factor (if) viene calcolato come rapporto tra il numero di citazioni che la rivista in ogg (...)

20Oltre a queste variabili strutturali, sono state utilizzate una serie di variabili legate alle caratteristiche del progetto di ricerca e alle competenze scientifiche dell’unità operativa. Poiché un obiettivo esplicito del pf era la promozione della trasferibilità industriale della ricerca scientifica, si è tenuto conto di questo aspetto. In particolare nel progetto presentato al cnr i gruppi di ricerca dovevano dichiarare se ritenevano che il progetto avrebbe avuto degli usi pratici e, in questo caso, dovevano indicare il nome delle imprese che avrebbero potuto utilizzarne i risultati. In questo caso, infatti, si evidenziano concrete opportunità di applicazione del progetto. In merito alla qualità scientifica, invece, sono state considerate due distinte variabili. La prima relativa al numero di collaborazioni di ricerca con istituzioni non-profit straniere promosse dalle unità operative per lo svolgimento del progetto. La seconda relativa alle pubblicazioni scientifiche realizzate dal responsabile del centro di ricerca negli anni precedenti il lancio del pf e relative al tema del progetto presentato. Questa variabile, in particolare, rappresenta le performance di ricerca passate del ricercatore e può essere intesa come una misura delle sue competenze scientifiche e di ricerca. Al fine di tenere conto delle differenze qualitative tra le singole pubblicazioni, il numero di queste ultime è stato «aggiustato» per un indice qualitativo detto «fattore d’impatto» (Impact Factor - if), relativo alla rivista sulla quale la pubblicazione in oggetto è originariamente apparsa7.

21Per quanto riguarda, invece, le variabili finanziarie, dal cnr è stato possibile ottenere, sia l’elenco delle unità operative selezionate, sia l’ammontare dei finanziamenti richiesti dalle stesse e l’ammontare dei finanziamenti accordati.

22Infine, l’ultima variabile utilizzata riguarda la produzione scientifica che le unità operative hanno realizzato grazie alla partecipazione al progetto finalizzato (ovviamente solo per coloro che sono state selezionate dal cnr). Si è così considerato il numero di pubblicazioni scientifiche apparse sulle riviste internazionali, anche in questo caso «aggiustate» dal punto di vista qualitativo, mediante l’uso dell’indice di if. Come accennato precedentemente, la scelta delle variabili di output dipende strettamente dagli obiettivi «politici» del programma di finanziamento. In questo caso, anche se il pf indicava anche la trasferibilità industriale come obiettivo generale del progetto, si è ritenuto che questa variabile entrasse in gioco principalmente nel processo di selezione da parte del cnr. Al contrario, per le unità operative, si è pensato che l’obiettivo della loro attività rimasse sempre la produzione di pubblicazioni scientifiche, come normalmente si ritiene quando si valutano scienziati e centri di ricerca.

23Dopo aver individuato le variabili che entrano in gioco nel processo, si è passati alla metodologia di valutazione. Questa può essere pensata come suddivisa in due fasi. Nella prima vengono stimati i fattori che hanno determinato la selezione della unità operative da parte del cnr. Nella seconda, vengono stimati i fattori che hanno determinato l’ammontare delle risorse finanziarie allocate ai gruppi di ricerca e che hanno permesso a questi ultimi di realizzare l’output scientifico. Per quanto riguarda la prima fase (selezione), si può pensare ad un indice (i) associato ad ogni unità operativa (delle 858 che hanno fatto domanda di partecipazione), che identifica se la stessa unità è stata poi selezionata oppure se la sua proposta è stata rigettata. Ebbene, è possibile stimare un’equazione che metta in relazione il valore di questo indice per ogni unità operativa con le sue caratteristiche strutturali e qualitative e con quelle associate al progetto di ricerca presentato. L’equazione avrà una forma del tipo I = i(z, a). Dove i(z, a) è una funzione delle caratteristiche Z; e dove «a» è l’insieme dei parametri che devono essere stimati. I parametri «a» misurano l’impatto stimato delle caratteristiche z sull’indice i, quindi sulla probabilità o meno di essere selezionato. Nel caso di questo processo di valutazione, l’insieme delle caratteristiche z che sono state utilizzate sono quelle identificate precedentemente (sia strutturali, che scientifiche).

  • 8 I risultati statistici completi delle regressioni, sia per la presente che per le successive analis (...)

24I risultati delle stime di selezione suggeriscono fortemente che il processo di selezione dei progetti di ricerca è stato guidato dagli obiettivi del programma8. In particolare, le variabili associate con il merito scientifico (performance scientifiche passate e collaborazioni internazionali di ricerca) sono quantitativamente e statisticamente significative. Allo stesso modo, la trasferibilità industriale del progetto aumenta la probabilità di essere selezionati. È interessante notare, invece, che al di là delle intenzioni programmatiche e delle finalità esplicitamente dichiarate dal cnr, le unità operative provenienti dalle regioni del Mezzogiorno non sono state particolarmente avvantaggiate.

25Nella seconda fase della valutazione (budget e produzione) si sono considerate solo le unità operative selezionate (ovvero quelle che hanno «superato» la prima fase di selezione). Si è così proceduto a stimare i fattori che hanno determinato l’ammontare dei fondi allocati dal cnr a ciascuna unità operativa e si è potuto poi verificarne l’impatto sulla produzione scientifica. Anche in questo caso si è proceduto con la definizione di un sistema di equazioni: b = b(z, b) e p = p(b, z, c). Nel primo caso, le caratteristiche (z) dei gruppi di ricerca e dei progetti presentati sono stati messi in relazione con l’ammontare (b) del budget accordato. Con il vettore dei parametri «b» che identifica l’impatto delle caratteristiche z sul budget b. Nel secondo caso, l’equazione p = p(z, b, c) rappresenta una «funzione di produzione», dove p indica il numero di pubblicazioni (aggiustate per la qualità, attraverso l’indice if) realizzate dalle singole unità operative; z sono le caratteristiche di queste ultime; b rappresenta l’ammontare del budget offerto dal cnr e il vettore «c» rappresenta la stima dei parametri che misurano l’effetto sia del budget, sia delle altre caratteristiche sulla produzione scientifica.

26Come si può notare da questa formulazione, le caratteristiche delle unità operative (e tra queste le performance realizzate in passato, ovvero le pubblicazioni realizzate prima dello svolgimento del pf) hanno sia un effetto diretto sulla produzione scientifica attuale, sia un effetto indiretto che passa per l’ammontare delle risorse finanziarie ottenute. In altre parole, gli scienziati ed i gruppi di ricerca dalla reputazione scientifica più elevata hanno una maggiore probabilità di ottenere risultati utili futuri, in parte perché dotati di migliori competenze di ricerca, ed in parte perché possono ottenere maggiori risorse finanziarie, aumentando di conseguenza gli sforzi di ricerca. Questa formulazione del problema sintetizza quello che prima è stato definito «Matthew Effect» nella ricerca scientifica, ovvero processi di rafforzamento automatico della reputazione e della produzione scientifica dei ricercatori e delle istituzioni di ricerca.

27I risultati ottenuti da questa seconda fase dell’analisi mostrano due elementi di rilievo. Il primo riguarda il valore del «prodotto marginale» dell’output del pf, ovvero la variazione del numero di pubblicazioni scientifiche (aggiustate per la qualità) che è possibile ottenere aumentando di una unità il budget disponibile. Il valore di questo parametro è risultato pari a 0,6. Per coglierne il senso occorre considerare una unità operativa «media», ovvero una unità le cui caratteristiche scientifiche e strutturali sono di valore pari alla media di quelle di tutte le unità operative che hanno preso parte al pf. Ebbene, se il cnr avesse raddoppiato il budget di questo gruppo di ricerca, la sua produzione scientifica sarebbe aumentata del 60%. Tuttavia, i risultati ottenuti mostrano anche che questa «elasticità» non rimane costante per tutti i gruppi di ricerca. Così, se ci si sposta dalla rappresentazione «media», si può notare che l’effetto dell’incremento del budget è maggiore per quelle unità operative che in passato hanno mostrato una maggiore produttività. Ciò apre un delicato capitolo di efficienza distributiva. Infatti, variando non tanto l’ammontare complessivo delle risorse finanziarie a disposizione del cnr, quanto l’allocazione delle stesse tra le diverse unità operative, si può ottenere un output totale dal pf differente. Come si vedrà più sotto, attraverso questo tipo di analisi è possibile simulare diverse distribuzioni delle risorse tra le unità e stimare i risultati che potenzialmente è possibile ottenere.

28Il secondo risultato interessante emerso dalle analisi riguarda il ruolo della trasferibilità industriale dei progetti di ricerca, intesa nei termini sopra specificati. Il parametro corrispondente a questa variabile è infatti risultato negativo e pari a circa 0,2 (cfr. Tab. in Appendice). Ciò indica che un progetto «trasferibile» ha generato in media il 20% in meno di pubblicazioni scientifiche (aggiustate per la qualità) rispetto ad un progetto «non trasferibile». Di nuovo si apre qui un problema di policy. Le analisi realizzate mostrano, infatti, che pubblicazioni scientifiche e trasferibilità sono sue obiettivi tra loro in parte «alternativi». Perseguire l’obiettivo politico di favorire la trasferibilità industriale dei progetti comporta un costo in termini di pubblicazioni scientifiche totali che si possono ottenere. E ciò evidenzia l’esistenza di un trade-off tra pubblicazioni e trasferibilità industriale.

29Per quanto riguarda gli altri risultati, si è stimato che i progetti provenienti da istituzioni localizzate al Sud hanno un output minore; che l’età del responsabile dell’unità operativa ha un impatto negativo sulle pubblicazioni della stessa; che il numero di collaborazioni scientifiche con istituzioni estere ha un effetto positivo sulla produzione; che la dimensione del gruppo di ricerca non influisce sulla produzione scientifica, ma solo sull’ammontare di risorse finanziarie offerte dal cnr; e che le esternalità da parte dell’istituzione di appartenenza dell’unità operativa o quelle provenienti dall’essere localizzati in grandi aree metropolitane non sembrano giocare un ruolo significativo sulla produzione scientifica dei gruppi di ricerca.

30Come già accennato, attraverso la metodologia di valutazione qui impostata è anche possibile effettuare esercizi di simulazione. I policy-maker cioè possono simulare diverse allocazioni delle risorse finanziarie tra le unità operative e verificare l’effetto prodotto sulla misura di output prescelta (nel caso di questo pf si parla di pubblicazioni). In particolare sono state analizzate due distinte ipotesi allocative.

31Nella prima, ad ogni unità operativa è stato assegnato un ammontare di risorse finanziarie pari alle rispettive produttività marginali (stimate nei modi descritti precedentemente). Questo criterio di allocazione delle risorse risponde ad un principio di massimizzazione economica. Infatti, in termini economici, quando ad ogni agente viene assegnato una retribuzione pari alla produttività marginale del proprio lavoro, il suo output (e, collettivamente, quello dell’intero pf) viene massimizzato. È chiaro che in questa ipotetica situazione si ottiene un «ottimo» solamente di breve periodo e quindi le considerazioni svolte in questa analisi hanno un valore esplicativo parziale. Infatti non si tiene conto né degli effetti di lungo periodo, né degli aspetti dinamici del processo: non si considerano le competenze future di ricerca delle unità operative, la loro capacità di accedere a successive risorse finanziarie, le loro traiettorie di ricerca. Né si considera la necessità di apprendimento delle unità dalle minori competenze attuali e la presenza di spillover di lungo termine, che dipendono dalla presenza di gruppi di ricerca diversificati, compresi coloro che seguono traiettorie di ricerca che devono ancora essere completamente esplorate e che devono ancora iniziare a produrre ritorni in termini di pubblicazioni scientifiche. Allo stesso tempo, questa decisione di breve termine non tiene conto della dinamica futura del processo e della possibilità che nel tempo le aree di ricerca più produttive siano quelle che attualmente mostrano una quota minore di pubblicazioni. Tuttavia, il contributo conoscitivo di analisi di questo tipo non sta nella loro capacità di spiegare i processi di produzione delle conoscenze in modo esaustivo. Anche se la comprensione degli effetti di breve termine dell’allocazione delle risorse può rappresentare un punto di partenza importante per un tentativo di analisi dinamica più completa.

32Il risultato di questo esercizio di simulazione mostra che così facendo una larga percentuale delle risorse finanziarie a disposizione del cnr (pari all’85% circa del budget totale) sarebbe stata distribuita al 25% dei ricercatori maggiormente produttivi, con la quota residuale (pari al 15%) distribuita al restante 75% dei ricercatori. A fronte di una distribuzione così asimmetrica, comunque, l’output totale del pf (in termini di pubblicazioni, aggiustate per la qualità) sarebbe aumentato «solo» del 20% circa.

33Questa prima simulazione è stata poi messa in confronto con un’altra, nella quale sono stati seguiti criteri allocativi opposti. Infatti si è ipotizzato di assegnare le risorse a disposizione in maniera completamente egualitaria e di allocare a ciascun gruppo di ricerca la stessa quota dei finanziamenti, senza tener conto né delle differenze in termini di capacità di ricerca delle unità operative, né delle differenze in termini dei progetti di ricerca presentati. In questo caso, l’output totale del pf (simulato) risulta esattamente pari a quello effettivamente ottenuto dalle unità operative a seguito delle decisioni allocative seguite nella realtà dal cnr.

  • 9 Per un’analisi complessiva degli obiettivi e degli effetti del pf «Biotecnologie e Biostrumentazion (...)

34Le due simulazioni qui presentate, ovviamente, non ci permettono di trarre alcuna implicazione di politica della ricerca. La massimizzazione dell’output scientifico di un programma pubblico può non essere l’unico obiettivo perseguibile e, di fatto, non è stato l’unico obiettivo seguito dal cnr in questo pf9. Ciò che le analisi mostrano è che mediante l’uso dei dati raccolti nella gestione del processo di selezione e allocazione, è possibile per il policy-maker quantificare i trade-off tra diversi obiettivi, ad esempio in termini di produzione di pubblicazioni scientifiche.

4. Applicazione: l’impatto dei finanziamenti del National Science Foundation

35La seconda applicazione della metodologia di valutazione presentata si riferisce ad un programma di ricerca promosso negli usa dal National Science Foundation in economia, nel periodo 1985-1990 [Arora and Gambardella, 1997]. In questo periodo all’nsf sono pervenuti 1473 progetti di ricerca, dei quali circa un terzo (441) sono stati finanziati. Come per il caso precedente, la maggior parte dei dati utilizzati per le analisi sono stati raccolti dalle domande di finanziamento che i responsabili dei progetti hanno presentato.

  • 10 Occorre precisare che la qualità delle riviste è stata valutata tenendo conto di un indice di impat (...)
  • 11 Il punteggio assegnato ai progetti rappresenta la traduzione quantitativa del giudizio espresso da (...)

36Questi dati possono essere classificati in tre categorie. In primo luogo si sono considerate le caratteristiche del progetto di ricerca e quelle del responsabile dell’unità. In particolare, l’istituzione di appartenenza del responsabile (distinguendo tra le università e le altre organizzazioni di ricerca di maggiore prestigio scientifico negli usa – quali Harvard, Berkeley, mit, Stanford, Yale, nber e così via – e tra quelle che prevedono al loro interno un corso di dottorato di ricerca – Ph. D. –; la localizzazione geografica dell’istituzione; il numero di pubblicazioni (aggiustate per la qualità)10 realizzate dal responsabile del progetto nei cinque anni antecedenti quello della richiesta di finanziamento alla nsf; il numero di anni dal momento in cui ha conseguito il Ph. D.; il sesso; il numero di co-responsabili del progetto; ed il punteggio assegnato a quest’ultimo da parte della nsf, volto a valutarne la qualità ed il rigore scientifico11.

37Nella seconda categoria di variabili sono state considerate le scelte operate dalla nsf, ed in particolare si è associato ad ogni progetto di ricerca presentato un indice per identificare se lo stesso era stato finanziato oppure no e si è verificato l’ammontare di risorse accordate. Infine, la terza categoria, ha riguardato la produzione di pubblicazioni da parte delle unità operative selezionate, valutando il numero di pubblicazioni (aggiustate per la qualità) realizzate nei cinque anni seguenti la data della ricezione del finanziamento da parte della nsf.

38Una volta individuate le variabili rilevanti, si è proceduto con il modello di valutazione. Come nel caso dell’analisi del programma di ricerca promosso dal cnr, si è distinta una prima fase di analisi del processo di selezione operato dalla nsf ed una seconda, di stima della produzione di pubblicazioni da parte dei ricercatori, una volta ottenuto il finanziamento. Occorre mettere in evidenza una importante differenza con le analisi svolte nel paragrafo precedente. Mentre in quel caso la metodologia di valutazione era «interna» al progetto, nel senso che l’obiettivo principale era di verificare le modalità in cui è avvenuta l’allocazione delle risorse disponibili tra le unità operative, in questo caso, la valutazione è «esterna». Infatti, quando si sono considerate le pubblicazioni realizzate dai ricercatori, non si è tenuto conto solamente di quelle direttamente associabili al finanziamento ricevuto dalla nsf. Al contrario, si sono considerate tutte quelle realizzate nei cinque anni successivi all’ottenimento del finanziamento, anche se non direttamente imputabili alla ricerca svolta per la nsf. In questo caso la domanda che si è cercato di indirizzare è stata: che rilevanza ha avuto l’ottenimento di finanziamenti da parte di un’agenzia pubblica (la nsf) per la produzione scientifica dei ricercatori? Detto altrimenti, se la nsf non avesse allocato le risorse disponibili, di quanto si sarebbe contratta la produzione di pubblicazioni da parte degli stessi ricercatori?

39Al fine di valutare il processo di selezione dei progetti di ricerca, si è proceduto inizialmente calcolando il valore delle variabili sopra individuate in modo distinto per le unità finanziate e per quelle non finanziate. Ciò ha permesso di avere una prima idea del ruolo svolto da ognuna nel processo, senza tenere conto, però, degli effetti congiunti e delle interazioni sistematiche tra le stesse, la cui analisi è stata svolta successivamente. Da questa prima fase sono emersi due risultati interessanti. In primo luogo, che i progetti presentati da ricercatori provenienti dalle istituzioni scientifiche più prestigiose o localizzate in determinate aree geografiche (West, Mid-West e North-East) sono stati selezionati in misura maggiore rispetto agli altri. In secondo luogo, che esiste una forte correlazione tra il punteggio assegnato ad ogni progetto e la selezione. In particolare, ciò è vero soprattutto per quei progetti a cui è stato assegnato un punteggio all’estremo (o molto alto, o molto basso), mentre maggiore indeterminazione esiste per quei progetti che sono stati giudicati di livello intermedio.

  • 12 Queste definizioni non corrispondono ad una posizione formale dei ricercatori nelle rispettive isti (...)

40Per qualificare meglio quest’ultimo punto, si consideri anche che esiste una forte correlazione sia tra la «qualità» del progetto di ricerca ed il numero di pubblicazioni scientifiche realizzate nel passato dai ricercatori, sia tra la «qualità» del progetto e la posizione del ricercatore all’interno dell’istituzione di appartenenza (assistente, professore associato e professore)12. Sembra, cioè, che per un associato o un professore la valutazione del progetto di ricerca sia stata mitigata dalla sua reputazione scientifica. Al contrario, per un assistente le pubblicazioni passate sembrano contare molto meno e più rilevante appare il punteggio assegnato al progetto di ricerca. Questo comportamento da parte della nsf può essere stato dettato sia dal fatto che un giovane ricercatore potenzialmente mostra un numero di pubblicazioni inferiore rispetto ad un ricercatore più anziano, sia dal fatto che ogni valutazione di un giovane ricercatore si basa su un minor arco temporale e quindi risulta maggiormente soggetta ad errore. Per questi motivi, la valutazione delle performance passate sembra aver pesato in misura minore rispetto al giudizio dato al progetto di ricerca.

  • 13 La regressione di selezione era stata definita come i = i(z, a).

41Tuttavia si tenga presente che le considerazioni precedenti sono state tratte da un semplice confronto tra progetti selezionati e non selezionati, e che non necessariamente riflettono l’esistenza di relazioni strutturali. Un’analisi di questo tipo è stata svolta impostando una regressione del tipo analizzato nel caso del cnr13. Il senso statistico di queste regressioni è di verificare l’effetto congiunto delle variabili individuate, in modo tale da assegnare ad ognuna solamente l’impatto che le compete. In altre parole, quando si confrontano le variabili «a due a due» come si è fatto inizialmente, non si tiene conto di possibili effetti spuri. La correlazione tra una variabile «causa» ed una variabile «effetto», cioè, può essere influenzata e distorta per la presenza di una terza variabile non presa in considerazione, che esercita un ruolo su entrambe le variabili osservate. Così un alto grado di correlazione tra le due variabili iniziali, in realtà può solamente indicare una correlazione tra la terza variabile (non osservata) e la variabile «effetto», per mezzo della variabile «causa». Quando invece si esegue una regressione in cui si includono tutte le variabili che potenzialmente esercitano un peso sulla variabile «effetto» (variabile dipendente), il ruolo di ognuna viene isolato e corretto per l’influenza incrociata delle altre.

  • 14 I risultati di questa e della successiva regressione sono riportati in Appendice.

42Ebbene, eseguendo un’analisi di questo tipo, in cui sono state considerate tutte le variabili individuate ad inizio paragrafo14 come possibili variabili esplicative, le relazioni individuate dallo studio delle correlazioni sono apparse ugualmente rilevanti. Le performance passate dei ricercatori (numero di pubblicazioni scientifiche) hanno un impatto diverso sulla probabilità di essere selezionati a seconda che si tratti di professori o assistenti, pur controllando per la qualità del progetto presentato. Per i ricercatori più anziani le pubblicazioni passate hanno un impatto rilevante sulla selezione, mentre per quelli più giovani questo effetto è molto meno marcato. Inoltre, i ricercatori provenienti dalle istituzioni più prestigiose o da quelle localizzate in certe aree geografiche hanno una probabilità maggiore di essere selezionati. E ciò persino dopo aver «controllato» per altri fattori, quali il punteggio qualitativo assegnato al progetto e le performance scientifiche passate.

43Questo risultato è sorprendente, soprattutto se è lecito ritenere che il punteggio qualitativo del progetto e le pubblicazioni scientifiche passate siano una misura indipendente e non distorta della qualità del ricercatore e del progetto. Anche se l’appartenenza ad una certa istituzione di prestigio può essere essa stessa un segnale qualitativo del ricercatore, non ci si aspetta che questo effetto appaia rilevante dopo aver controllato per altre misure di qualità. Gli stessi esperti chiamati a valutare i progetti di ricerca (e che hanno assegnato i punteggi qualitativi) erano a conoscenza della provenienza istituzionale dei ricercatori. Nonostante ciò, l’analisi mostra che il ruolo dell’appartenenza istituzionale permane. Questo suggerisce che i network sociali, la cui appartenenza è correlata con le caratteristiche in questione, giocano un ruolo significativo nel processo allocativo e, come si vedrà successivamente, giocano un ruolo anche nella produzione di pubblicazioni.

  • 15 Si tenga presente che la nsf rappresenta una istituzione pubblica molto importante in seno alla com (...)

44Quest’ultimo aspetto è l’oggetto della seconda parte dell’analisi. Nel valutare la funzione di produzione delle pubblicazioni realizzate dai ricercatori e l’effetto del finanziamento accordato dall’nsf, occorre affrontare due problemi. Il primo si riferisce al fatto che, nel periodo di riferimento, i ricercatori possono aver ottenuto altre risorse finanziarie oltre a quelle nsf. Così, mentre viene misurato l’output totale dei ricercatori (numero di pubblicazioni complessivamente prodotto), si prende in considerazione solo una quota del sostegno finanziario utilizzato. Si incorre, cioè, in un errore di misurazione, il cui effetto dipenderà dalla relazione esistente tra finanziamento nsf e altre risorse utilizzate. Se tra le due misure non esiste alcuna connessione, allora la stima dell’elasticità delle pubblicazioni in riferimento al finanziamento nsf sarà sottodimensionata. Al contrario, se è lecito supporre che le altre risorse finanziarie risentano dell’ammontare offerto dalla nsf15, allora si potrà generare o un effetto addizionale (leveraging), o un effetto sostitutivo (crowding out), con la conseguenza, rispettivamente, di sovrastimare o sottostimare l’impatto del finanziamento nsf.

45Il secondo problema (econometrico) riguarda la possibilità di essere di fronte ad una «eterogeneità non osservata» nella funzione di produzione delle pubblicazioni. Se il finanziamento accordato dalla nsf alle unità di ricerca dipende positivamente dalla loro capacità di generare risultati scientifici futuri, allora quando si misura l’effetto delle risorse finanziarie sull’output di ricerca, non si è in grado di distinguere nettamente se il risultato ottenuto dipende dal finanziamento offerto o dalle capacità di ricerca dei singoli ricercatori. Questo problema non è di facile soluzione.

46Un metodo che è possibile adottare è di controllare per il maggior numero di dimensioni possibili (caratteristiche dei ricercatori e delle istituzioni di appartenenza) e di eseguire sia un’analisi parametrica che non parametrica. Nel secondo caso, si tratta di suddividere il campione di individui analizzati in sottogruppi il più omogenei possibile (in base ad un certo numero di variabili esplicative) e di confrontare il valore della variabile oggetto di analisi (nel nostro caso, la differenza tra il numero di pubblicazioni realizzate e quelle passate, entrambe corrette per la qualità) tra i singoli sottogruppi. Questi ultimi sono stati individuati incrociando tre dimensioni diverse:

  • il punteggio assegnato ad ogni progetto di ricerca, distinguendo tre classi di valori distinti;

  • il numero di pubblicazioni passate, anche in questo caso individuando tre classi;

  • il ruolo istituzionale del ricercatore, distinguendo tra assistente, associato e professore, nei termini già utilizzati precedentemente.

°

  • 16 Cfr. nota 10.

47A loro volta, questi sottogruppi sono stati ulteriormente suddivisi per distinguere tra soggetti finanziati dalla nsf e soggetti non finanziati. I risultati di questa analisi mostrano che nella maggior parte dei casi, il valore medio della crescita del numero di pubblicazioni (differenza tra pubblicazioni realizzate e pubblicazioni passate) per i ricercatori selezionati è maggiore di quella dei ricercatori non selezionati. Allo stesso tempo si evidenzia che l’effetto della nsf tende ad essere maggiore per i ricercatori più giovani (assistenti o associati) rispetto a quelli più anziani (professori). In particolare, si è stimato che, in media, l’ottenimento di risorse finanziarie da parte della nsf fa sì che un giovane ricercatore produca 15 «unità di pubblicazioni corrette per la qualità» in più rispetto ad un altro giovane ricercatore non selezionato dalla nsf. Ad esempio, ciò significa riuscire a pubblicare, in più, un articolo sull’Economic Journal, che nella classifica delle pubblicazioni di economia più prestigiose si trova al diciannovesimo posto16. Nel caso di ricercatori più anziani, invece, l’effetto del finanziamento offerto dalla nsf è pressoché nullo e ricercatori selezionati e non selezionati mostrano lo stesso incremento di pubblicazioni.

48Gli stessi risultati si ritrovano anche eseguendo un’analisi parametrica, del tipo già visto per il caso del cnr. In riferimento ai soli ricercatori selezionati, si tratta di stimare una equazione del tipo p = p(b, pbef, z, c), dove p indica le pubblicazioni realizzate dalle unità di ricerca dopo l’ottenimento di finanziamenti da parte della nsf, B l’ammontare di risorse finanziarie ottenute, PBEF le pubblicazioni realizzate dalle unità prima dell’ottenimento del finanziamento, z le altre caratteristiche dei ricercatori, dei loro progetti di ricerca e delle istituzioni a cui appartengono e «c» il vettore di parametri da stimare. Tra questi ultimi, quello associato al budget (B) indica l’elasticità delle pubblicazioni prodotte in riferimento alle risorse finanziarie ottenute (ovvero il loro effetto marginale).

49I risultati ottenuti mostrano che il valore di questa elasticità è rilevante e significativa solo per i ricercatori più giovani (assistenti). In altre parole, per questi soggetti non solo è importante l’essere selezionati da parte della nsf, ma è importante anche l’ammontare di risorse ottenute. In particolare, si è stimato che l’elasticità è pari a circa 0,64. In termini di simulazione, ciò significa che un incremento delle risorse offerte di 10.000 dollari determina in questi ricercatori un incremento di circa 11 «unità di pubblicazioni», ovvero ad una pubblicazione aggiuntiva sulla rivista Review of Economics and Statistics (ventiquattresima in graduatoria). Al contrario, per un ricercatore anziano (professore) questo effetto è molto meno marcato, con un valore di elasticità pari a 0,18. Sempre in termini di simulazione, ciò significa che un incremento di 10.000 dollari nei fondi offerti produce un aumento delle pubblicazioni di sole 2 unità, pari ad una pubblicazione sul Journal of Development Economics (cinquantesima in graduatoria). In entrambi i casi l’effetto del finanziamento offerto dalla nsf appare modesto, ad eccezione, forse, del caso dei ricercatori all’inizio della loro carriera. Ciò è vero sia in valore assoluto, sia e particolarmente in termini relativi (al margine), per quei ricercatori che hanno superato il sesto anno della loro vita professionale.

50Chiaramente questi risultati devono essere trattati con cautela. Da un lato i ricercatori si differenziano in termini di qualità per un numero molto alto di aspetti, certamente molti di più di quanti se ne possa prendere in considerazione con analisi econometriche. Dall’altro, esistono effetti dinamici, di apprendimento, di apertura e diversificazione delle traiettorie di ricerca che devono essere presi in considerazione e che non sono esaurientemente esplorati da analisi di questo tipo. Nonostante ciò, la metodologia di valutazione qui esposta può rappresentare un mezzo per definire in modo puntuale l’effetto di precise caratteristiche della comunità scientifica su alcune dimensioni di output, possibile oggetto di obiettivi politici. Da questo punto di vista, le metodologie di valutazione possono rappresentare un utile strumento di lavoro a supporto delle scelte decisionali dei policy-maker.

5. Conclusioni

51La valutazione dei programmi pubblici di finanziamento alla ricerca scientifica rappresenta un’esigenza espressa da alcuni anni dai paesi economicamente più sviluppati. Il cambiamento delle strutture economiche, imprenditoriali e di ricerca, associato alle ristrettezze di bilancio che gli stessi paesi hanno dovuto affrontare, hanno spinto molti governi a rivedere le loro politiche della ricerca, sia per controllare in maniera più efficace i processi di selezione e di allocazione delle risorse, sia per meglio quantificare i benefici delle loro azioni sulla comunità scientifica, in particolare, e sulla collettività, in generale. Da ciò la spinta all’implementazione di opportune metodologie di valutazione.

52Quella presentata in questo lavoro rappresenta una di queste metodologie. Tra le tante, essa in particolare trae spunto dalle riflessioni della «nuova microeconomia della scienza», ovvero da quel filone di studi economici che, sulla base delle analisi svolte precedentemente dai «sociologi della scienza» (Merton, Price, ecc.), cerca di definire sia le leggi che stanno alla base dei processi di produzione delle conoscenze in seno alla comunità scientifica, sia gli effetti dei meccanismi allocativi pubblici sulla produttività dei ricercatori e sulla distribuzione delle competenze di ricerca tra gli stessi.

53Sulla base di questi fondamenti microeconomici, la filosofia della metodologia presentata è di mettere in relazione i risultati di un programma pubblico (misurati in maniera coerente con gli obiettivi politici prefissati), con una serie di misure di input del processo. Tra queste si devono considerare sia con le caratteristiche dei ricercatori o dei gruppi di ricerca a cui appartengono (reputazione scientifica, risultati scientifici passati, ma anche natura delle istituzioni a cui fanno capo), sia con l’ammontare del budget allocato da parte dell’agenzia pubblica. È possibile in questo modo specificare nel dettaglio il valore dei parametri della «funzione di produzione dell’output scientifico», individuando il contributo di ogni input e separandolo dal contributo di ogni altro. Il parametro associato direttamente alle risorse finanziarie messe a disposizione di ogni unità di ricerca rappresenta una misura del «prodotto marginale», ovvero dell’output addizionale che ci si può attendere da ogni ricercatore una volta che le sue risorse vengono aumentate di una unità.

54I due esempi presentati hanno permesso di verificare nella pratica i risultati della metodologia. Nel caso del Progetto Finalizzato promosso dal cnr, ad esempio, è stato possibile verificare che un incremento dell’1% del budget a disposizione di un ricercatore «medio» (ovvero con caratteristiche scientifiche pari alla media di quelli che hanno preso parte al programma pubblico) avrebbe prodotto un incremento del suo output dello 0,6% (misurato in termini di pubblicazioni scientifiche, aggiustate per la qualità). In maniera simile, nel caso dei progetti di ricerca finanziati dalla nsf negli Stati Uniti, si è evidenziato che un incremento dell’1% delle risorse messe a disposizione di un giovane ricercatore avrebbe prodotto un incremento delle sue pubblicazioni (aggiustate per la qualità) dello 0,64%. Ma al tempo stesso si è potuto osservare che nel caso di ricercatori più anziani (coloro che hanno iniziato la loro vita professionale da oltre sei anni), l’effetto dello stesso aumento delle risorse sarebbe stato molto più modesto (pari allo 0,18%).

55Così, una possibilità offerta da questa metodologia di valutazione è di effettuare delle simulazioni. Ovvero di stimare come sarebbe cambiato (incrementato o diminuito) l’output complessivo del programma pubblico o come sarebbe mutata la distribuzione dell’output complessivo tra le singole unità di ricerca, a seguito di un cambiamento nelle modalità allocative delle risorse tra le stesse. Ed anche a seguito di un cambiamento delle modalità di selezione dei processi di selezione dei progetti di ricerca.

56I due esempi presentati, inoltre, evidenziano due situazioni diverse, ovvero due obiettivi diversi seguiti dalla valutazione. Nel caso del cnr, l’obiettivo era «interno» al programma. La valutazione impostata ha messo in relazione le misure di input con una misura di output direttamente attribuibile al programma di finanziamento. È stato così possibile verificare come sarebbe cambiato l’output totale se l’allocazione delle risorse avesse seguito criteri diversi da quelli seguiti nella realtà. Nel caso della nsf, invece, l’obiettivo era «esterno» al programma. La misura di output infatti non riguardava solo le pubblicazioni frutto delle risorse messe a disposizione da questo ente. Così l’obiettivo ricercato era di verificare se (e quanto) la disponibilità di finanziamenti aggiuntivi da parte della nsf incide sulla produzione scientifica (complessiva) dei ricercatori.

57Entrambi questi esempi hanno messo in luce una caratteristica di questo tipo di valutazioni: la necessità di dati dettagliati, sia sulle caratteristiche dei ricercatori, dei gruppi di ricerca e delle loro istituzioni di appartenenza, sia sulla produzione scientifica degli stessi. Ciò apre una forte esigenza di raccolta sistematica di dati, che gli enti di gestione dei programmi di finanziamento devono essere in grado di affrontare. In particolare, gli esempi di valutazione riportati hanno mostrato che il potere informativo e conoscitivo delle metodologie di valutazione dipende anche dalla possibilità di mettere a confronto i ricercatori che sono stati finanziati dal programma pubblico, con quelli la cui domanda di partecipazione è stata rigettata. Il confronto, infatti, getta luce sulle scelte di selezione e permette di affrontare lo studio del processo di produzione scientifica in maniera sistematica e corretta.

58Naturalmente i limiti delle metodologie quantitative di valutazione, come quella qui presentata, sono noti e non vogliono essere sottovalutati. Una valutazione quantitativa non può essere una risposta ottima, né automatica ai problemi di gestione dei finanziamenti pubblici alla scienza. E l’esigenza di affiancare metodologie quantitative di valutazione a metodi più qualitativi è stata espressa da più parti [Silvani, 1998]. Si ritiene però che i manager dei programmi pubblici possano utilizzare questi strumenti come supporto delle loro scelte decisionali. Si consideri che in Italia gli stessi manager hanno più volte manifestato la necessità di rigorosi e sistematici processi di valutazione da attuarsi non solo in sede di selezione dei progetti, ma anche durante lo svolgimento del programma e al termine dello stesso, al fine di quantificare i risultati prodotti [Sirilli e Meliciani, 1994].

59Infine una considerazione generale. Nonostante che l’esigenza di metodologie di valutazione sia ampiamente riconosciuta in molti paesi nel mondo, sono pochi quelli che hanno adottato azioni concrete e che hanno implementato processi valutativi sistematici. Questa è una grossa opportunità per l’Italia. Dal punto di vista teorico, per dare corpo ad un dibattito ed a ricerche che stanno diventando sempre più significative. Dal punto di vista operativo, per mettere a frutto i risultati degli studi intrapresi e favorire la nascita di organismi che affianchino le agenzie pubbliche nei processi valutativi. Soprattutto in un momento in cui il consenso (scientifico e politico) attorno a questo tema appare diffuso ed in cui le esigenze di risanamento del bilancio pubblico spingono per un uso razionale delle risorse, anche a favore della ricerca scientifica.

Torna su

Bibliografia

Adams J. e Griliches Z. (1998), Research Productivity in a System of Universities, «Annales d’Economie et de Statistiques», vol. 49/50.

Arora A., David P. A. e Gambardella A. (1998), Reputation and Competence in Publicly Funded Science: Estimating the Effects on Research Group Productivity, in Mairesse J. et al. (a cura di), Les Annales d’Economie et de Statistiques, Numéro exceptionnel: «The Economics and Econometrics of Innovation», in corso di stampa.

Arora A. e Gambardella A. (1997), The Impact of nsf Support for Basic Research in Economics, Working Paper, Carnegie Mellon University, Pittsburgh, pa.

Averch H. A. (1987), Measuring the Cost-Efficiency of Basic Research: Input-output Approaches, «Journal of Policy Analysis and Management», vol. 6, pp. 342-362.

Id. (1988), Exploring the Cost-Efficiency of Basic Research Funding in Chemistry, «Research Policy», vol. 18, pp. 165-172.

Blank D. e Stigler G. (1957), The Demand and Supply of Scientific Personnel, National Bureau of Economic Research, New York.

Bezzi Palumbo (a cura di) (1998), Strategie di valutazione, Gramma, Perugia.

Cole S., Rubin L. e Cole J. R. (1977), Peer Review and the Support of Science, «Scientific American», vol. 237(4), pp. 30-42.

Dasgupta P. e David P. A. (1994), Towards a New Economics of Science, «Research Policy», vol. 24, pp. 487-521.

David P. A. (1994), Positive Feedbacks and Research Productivity in Science, in Grandstrand O. (a cura di), Economics of Technology, North-Holland, Amsterdam and London.

Ehrenberg R. (1991), Academic Labor Supply, in Clotfelter C. et al. (a cura di), Economic Challenges in Higher Education, Chicago University Press, Chicago.

Id. (1992), The Flow of New Doctorates, «Journal of Economic Literature», vol. xxx, pp. 830-875.

European Report on Science and Technology Indicators (The) (1994), European Commission, dg xii, eur 15897 en, Luxembourg.

Galante E. et al. (1998), Valutazione della ricerca agricola, Franco Angeli, Milano.

Klette T. e Moen J. (1998), r&d Investment Responses to r&d Subsidies: A Theoretical Analysis and a Microeconometric Study, mimeo, Università di Oslo.

Klette T., Moen J. e Griliches Z. (1998), Evaluating the Effects of Government-Sponsored, commercial r&d: Microeconometric Studies, «Research Policy», in corso di pubblicazione nel Numero Speciale «The Economics of Technology Policy».

Levin S. e Stephan P. (1991), Research Productivity over the Life Cycle: Evidence for Academic Scientists, «American Economic Review», vol. 81(1), pp. 114-32.

Liebowitz e Palmer (1984), The Impacts of Economics Journals, «Journal of Economic Literature», vol. xxii, March.

Lotka A. (1926), The Frequency Distribution of Scientific Productivity, «Journal of the Washington Academy of Sciences», vol. 16(12), pp. 317-23.

Merton R. (1968), The Matthew Effect in Science, «Science», vol. 159 (3810), pp. 56-63.

Id. (1973), The Sociology of Science: Theoretical and Empirical Investigations, Chicago University Press, Chicago.

oecd. (1994), Reviews of National Science and Technology Policy, oecd, Paris.

Potì B. M., Cesaroni F. e Cioppi M. (1999), L’Interazione tra scienza e industria in Italia. Idee per una valutazione della politica della ricerca, Franco Angeli, Milano.

Price D. J. de Solla (1963), Little Science, Big Science, Columbia University Press, New York.

Id. (1976), A General Theory of Bibliometric and Other Cumulative Advantage Processes, «Journal of the American Society for Information Science», vol. 27(5/6), pp. 292-306.

Sirilli G. e Meliciani V. (1994), Research Evaluation at the National Research Council of Italy: A Survey of Decision-makers, «Research Evaluation», vol. 4(2).

Silvani A. (1998), I metodi, le tecniche e le procedure per la valutazione della ricerca, «Università e Ricerca», vol. 3, pp. 7-17.

Stame N. (1998), L’esperienza della valutazione, Seam, Roma.

Stephan P. e Levin S. (1992), Striking the Mother Lode in Science: The Importance of Age, Place and Time, Oxford University Press, New York.

Stephan P. (1996), The Economics of Science, «Journal of Economic Literature», vol. xxxiv, pp. 1199-1235.

Tremblay C. H. (1992), National Science Foundation Funding in Economics and Chemistry, «Atlantic Economic Journal», vol. 20(2), pp. 57-64.

Torna su

Allegato

Tab. 1. Definizione delle variabili usate nell’analisi del caso cnr

i

Indice per la selezione (i = 1 se l’unità ha ricevuto un finanziamento)

bA

Budget totale 1989-1991 richiesto dall’unità (milioni di lire)

bG

Budget ricevuto 1989-1991 dall’unità (milioni di lire)

pub

Numero di pubblicazioni dell’unità (aggiustate per la qualità) che hanno ricevuto il ringraziamento al contributo finanziario del cnr

dpro7

Variabile dummy per il sotto – Programma 7 (Biostrumentazione)

dcnr

Variabile dummy per laboratori del cnr

duni

Variabile dummy per laboratori dell’Università

dsouth

Variabile dummy per laboratori localizzati al Sud

transf

Variabile dummy per la «trasferibilità» del progetto

size

Dimensione del gruppo (numero di addetti)

k

Pubblicazioni (aggiustate per la qualità) 1983-1987 del responsabile della ricerca, elencate nella domanda di partecipazione

collab

Numero di collaborazioni di ricerca con istituzioni straniere non-profit, elencate nella domanda di partecipazione

nuist

Numero di unità dalla stessa istituzione del proponente che hanno fatto domanda di partecipazione al programma (ad es., università di Roma, cnr di Napoli

prov_pop

Popolazione totale 1987 nella provincia dell’unità (migliaia di abitanti)

agepi

Età del responsabile della ricerca (anni)

Tab. 2. Equazione di selezione (probit) nel caso cnr

Parametro

Stima

costante

– 2,813

(1,302)

dcnr

0,466

(0,168)

duni

0,293

(0,143)

dsouth

0,090

(0,128)

transf

0,378

(0,098)

ln(collab)

0,224

(0,075)

ln(k)

0,398

(0,052)

ln(nuist)

– 0,034

(0,055)

ln(prov_pop)

0,169

(0,063)

ln(agepi)

– 0,065

(0,303)

Log Likelihood

– 475,4

Numero di osservazioni

797

(di cui positive)

(347)

Variabile dipendente: i = 1 se l’unità è finanziata dal cnr

Tab. 3. Stima gls dell’equazione del Budget Offerto

Parametri

Stima

Costante

1,769

(1,252)

dcnr

0,322

(0,146)

duni

0,097

(0,132)

dsouth

– 0,185

(0,088)

dpro7

0,369

(0,125)

transf

0,130

(0,107)

ln(k)

0,136

(0,107)

ln(collab)

0,049

(0,078)

ln(nuist)

– 0,026

(0,041)

ln(prov_pop)

0,065

(0,061)

ln(agepi)

– 0,115

(0,191)

σIK

0,315

(0,389)

Variabile dipendente: ln(BG). Numero di osservazioni = 347, I = 1; Funzione Log of likelihood = – 522,6; standard error consistenti in eteroschedasticità tra parentesi.

Tab. 4. Equazione delle Pubblicazioni per il caso cnr – logistica (k) – tobit

Tab. 4. Equazione delle Pubblicazioni per il caso cnr – logistica (k) – tobit

Const

1,841

(2,393)

α0

1,013

(0,255)

β

0,009

(0,004)

dpro7

– 0,990

(0,231)

dsouth

– 0,564

(0,179)

transf

– 0,198

(0,180)

ln(size)

– 0,002

(0,140)

ln(k)

0,082

(0,221)

ln(collab)

0,257

(0,122)

ln(nuist)

– 0,001

(0,057)

ln(prov_pop)

– 0,057

(0,098)

ln(agepi)

– 0,515

(0,380)

σIP

0,146

(0,621)

LogLik

– 515,75

Variabile dipendente: ln(pub); n. osservazioni 347, per I = 1; standard error consistenti in eteroschedasticità tra parentesi.

Tab. 5. Definizione delle variabili usate nell’analisi del caso nsf

award

Variabile dummy uguale a 1 se il progetto è stato finanziato dall’nsf.

pafter

Numero di pubblicazioni (aggiustate per la qualità) nei 5 anni successivi all’ottenimento del finanziamento.

laft

Logaritmo naturale di pafter

pbefore

Numero di pubblicazioni (aggiustate per la qualità) nei 5 anni precedenti all’ottenimento del finanziamento.

lbef

Logaritmo naturale di pbefore

growth

pafter– pbefore.

assist

Variabile dummy pari a 1 per i ricercatori che hanno ottenuto il PhD meno di 6 anni prima del finanziamento.

assoc

Variabile dummy pari a 1 per i ricercatori che hanno ottenuto il PhD tra i 6 ed i 12 anni prima del finanziamento.

prof

Variabile dummy pari a 1 per i ricercatori che hanno ottenuto il PhD da più di 12 anni dal finanziamento.

phd

Variabile dummy pari a 1 se il responsabile della ricerca appartiene ad una università che promuove un programma di dottorato.

nophd

Variabile dummy pari a 1 se il responsabile della ricerca appartiene ad una università che non promuove un programma di dottorato.

other

Variabile dummy pari a 1 se il responsabile della ricerca appartiene ad un’istituzione diversa da phd e nopd (ad es. organizzazioni come nber, fondazioni, ecc.)

elite

Variabile dummy pari a 1 se il responsabile della ricerca appartiene ai seguenti dipartimenti di economia: mit, Harvard, Stanford, Princeton, Berkeley, Yale, Chicago, Northwestern, San Diego, Wisconsin Madison, Columbia; o alle seguenti organizzazioni: nber, cepr, norc e Cowles.

dcopi2

Variabile dummy pari a 1 se il progetto ha 2 co-responsabili.

dcopi3

Variabile dummy pari a 1 se il progetto ha 3 co-responsabili.

geog

Variabile dummy pari a 1 se l’istituzione del responsabile è localizzata nelle regioni West, Mid-West o North-East degli usa

male

Variabile dummy pari a 1 se il responsabile della ricerca è di sesso maschile.

d8890

Variabile dummy pari a 1 se la domanda di finanziamento è stata presentata nel 1988-90.

score

Punteggio medio assegnato dai Referee sul progetto. Intervallo: da 1 (eccellente) a 5 (molto modesto).

s1– 1,75

Variabile dummy per score < 1,75.

s1,75– 2,25

Variabile dummy per 1,75 score < 2,25.

s2,25– 3

Variabile dummy per 2,25 score < 3.

rec_dol

Finanziamento ricevuto (in unità da 10.000 US$).

lrec

Logaritmo naturale di rec_dol.

Tab. 6. Equazione di selezione per il caso nsf - Variabile dipendente award

Variabile

Coefficiente stimato

assist

– 1,617

(0,270)

assoc

– 2,026

(0,385)

prof

– 1,741

(0,271)

d8890

– 0,084

(0,097)

phd

– 0,162

(0,126)

nophd

0,073

(0,266)

dcopi2

– 0,152

(0,101)

dcopi3

– 0,187

(0,204)

elite

0,265

(0,103)

geog

0,326

(0,126)

male

– 0,473

(0,154)

lbef*assist

0,035

(0,043)

lbef*assoc

0,179

(0,073)

lbef*prof

0,119

(0,036)

s1 –

1,75

2,110

s1,75 – 2,25

1,489

(0,132)

s2,25 – 3

0,839

(0,131)

Funzione Log Likelihood

– 638,12

Numero di osservazioni

1473

Numero di osservazioni positive

414

Standard error tra parentesi.

Tab. 7. Analisi non parametrica per il caso nsf

Classi per Resp. ricerca (età/punteggio/classi di pbefore)

Media di growth per award = 0 n. oss. media

Media di growth per award = 1 n. oss. media

Effetto nsf (diff. tra award =1 e award = 0)

assist/1-1, 75/basso

1

8,00

7

77,57

69,57

(73,87)

(27,92)

(78,97)

assist /1-1, 75/medio

5

8,40

13

14,31

5,91

(33,04)

(20,49)

(38,87)

assist /1-1,75/alto

13

– 4,92

19

– 23,26

– 18,34

(20,49)

(16,95)

(26,59)

assist/1,75-2,25/basso

11

44,82

3

44,67

– 0,15

(22,27)

(42,65)

(48,11)

assist/1,75-2,25/medio

27

39,59

23

76,57

43,97

(14,22)

(15,40)

(20,96)

assist/1,75-2,25/alto

14

– 69,36

12

– 69,42

– 0,06

(19,74)

(21,32)

(29,06)

assist/2,25-3/basso

36

48,11

6

54,33

6,22

(12,31)

(30,16)

(32,57)

assist/2,25-3/medio

42

35,90

11

40,09

4,19

(11,40)

(22,27)

(25,02)

assist/2,25-3/alto

17

– 62,47

5

– 29,00

33,47

(17,92)

(33,04)

(37,58)

assoc/1-1,75/basso

7

– 7,71

6

42,17

49,88

(27,92)

(30,16)

(41,10)

assoc/1-1,75/medio

6

– 14,83

15

– 2,47

12,37

(30,16)

(19,07)

(35,68)

assoc/1-1,75/alto

4

– 117,50

18

– 95,22

22,28

(36,93)

(17,41)

(40,83)

assoc/1,75-2,25/basso

14

– 1,57

13

8,62

10,19

(19,74)

(20,49)

(28,45)

assoc/1,75-2,25/medio

24

– 27,54

18

3,89

31,43

(15,08)

(17,41)

(23,03)

assoc/1,75-2,25/alto

8

– 89,00

15

– 90,27

– 1,27

(26,11)

(19,07)

(32,34)

assoc/2,25-3/basso

33

13,82

8

8,00

– 5,82

(12,86)

(26,12)

(29,11)

assoc/2,25-3/medio

33

– 38,33

8

– 21,88

16,46

(12,86)

(26,12)

(29,11)

assoc/2,25-3/alto

12

– 107,00

9

– 100,33

6,67

(21,32)

(24,62)

(32,57)

prof/1-1,75/basso

13

0,15

25

5,24

5,09

(20,49)

(14,77)

(25,26)

prof/1-1,75/medio

15

8,47

25

6,20

– 2,27

(19,07)

(14,77)

(24,13)

prof/1-1,75/alto

7

– 47,57

32

– 45,09

2,48

(27,92)

(13,06)

(30,82)

prof/1,75-2,25/basso

26

17,92

20

9,70

– 8,22

(14,49)

(16,52)

(21,97)

prof/1,75-2,25/medio

52

14,00

25

9,24

– 4,76

(10,24)

(14,77)

(17,98)

prof/1,75-2,25/alto

17

– 32,35

20

– 52,10

– 19,74

(17,91)

(16,52)

(24,37)

prof/2,25-3/basso

53

8,83

10

17,30

8,47

(10,15)

(23,36)

(25,47)

prof/2,25-3/medio

73

– 4,41

17

4,82

9,23

(8,65)

(17,92)

(19,89)

prof/2,25-3/alto

29

– 49,62

11

– 15,64

33,98

(13,72)

(22,27)

(26,16)

Tab. 8. Equazione delle pubblicazioni per il caso nsf

Variabile

Specificazione 1

Specificazione 2

assist

2,477

(1,152)

2,460

(0,637)

assoc

0,967

(1,478)

0,901

(0,740)

prof

0,122

(1,078)

0,075

(0,557)

d8890

0,157

(0,134)

0,165

(0,131)

phd

–0,303

(0,162)

– 0,298

(0,133)

nophd

– 0,848

(0,472)

– 0,825

(0,474)

dcopi2

– 0,051

(0,133)

– 0,047

(0,124)

dcopi3

– 0,153

(0,363)

– 0,162

(0,322)

elite

– 0,116

(0,195)

– 0,117

(0,131)

geog

0,359

(0,264)

0,351

(0,227)

male

– 0,336

(0,250)

– 0,323

(0,226)

lrec*assist

0,635

(0,256)

0,629

(0,256)

lrec*assoc

– 0,037

(0,261)

– 0,027

(0,237)

lrec*prof

0,181

(0,175)

0,185

(0,147)

lbef*assist

0,187

(0,088)

0,183

(0,065)

lbef*assoc

0,746

(0,142)

0,743

(0,095)

lbef*prof

0,842

(0,060)

0,838

(0,043)

s1-1,75

– 0,036

(0,279)

s1,75-2,25

– 0,079

(0,268)

s2,25-3

– 0,134

(0,260)

Funzione Log Likelihood

– 1234,88

– 1234,64

N. osservazioni

1473

1473

N. oss. positive

414

414

Variabile dipendente laft; stime ml condizionate su award=1; standard errors tra parentesi.

Torna su

Note

1 Si veda a tale proposito il sito Internet: http://www.atp.nist.gov/ [link non raggiungibile : 02/02/2017].

2 Si fa qui riferimento alla relazione di apertura dell’allora Ministro del Tesoro Azeglio Ciampi, al convegno internazionale organizzato dalla European Evaluation Society e tenutosi presso la cede centrale del cnr a Roma il 29-31 ottobre 1998, dal titolo «International Conference on Evaluation: Profession, Business, or Politics?». Si veda anche il sito Internet: http://www.europeanevaluation.org/.

3 Questo processo era già noto nell’ambito della sociologia della scienza e ad esso ci si riferiva con il termine di «Matthew Effect» [Merton, 1968], in allusione ad un passaggio del Nuovo Testamento [San Matteo, 13:12 e 25:29].

4 Per una rassegna sui contributi più recenti in questo campo, si vedano Klette, Moen e Griliches [1998].

5 Per un’analisi della letteratura italiana su questo tema, si vadano Stame [1998], Bezzi Palumbo [1998] e Galante et al. [1998].

6 Nel periodo 1989-1991, i ricercatori statunitensi sono stati responsabili del 40% del totale mondiale delle pubblicazioni scientifiche nel settore della ricerca biomedica, Gran Bretagna del 7,8%, la Germania del 6,2%, la Francia del 5,2% e l’Italia solamente del 2,7% [The European Report on Science & Technology Indicators, 1994].

7 L’impact factor (if) viene calcolato come rapporto tra il numero di citazioni che la rivista in oggetto fa di altre riviste e il numero di citazioni fatte da altre riviste a quella in oggetto. Così, un alto valore di if indica che la rivista viene citata in misura maggiore di quanto essa citi le altre riviste. I libri, i working paper e gli atti dei convegni, per convenzione assumono valore 0. L’indice if viene annualmente calcolato da una società statunitense chiamata Science Citation Index.

8 I risultati statistici completi delle regressioni, sia per la presente che per le successive analisi, sono riportati in Appendice.

9 Per un’analisi complessiva degli obiettivi e degli effetti del pf «Biotecnologie e Biostrumentazioni» e degli interventi che è possibile realizzare per superare alcuni problemi che sono stati evidenziati, si rimanda a Potì, Cesaroni e Cioppi [1999].

10 Occorre precisare che la qualità delle riviste è stata valutata tenendo conto di un indice di impatto simile all’impact factor visto nel caso precedente del settore delle scienze biologiche e genetiche. In questo caso, si sono considerate le 50 riviste di economia più prestigiose, il cui valore-indice è stato ottenuto da Liebowitz e Palmer [1984]. Per le pubblicazioni apparse in riviste non presenti nell’elenco è stato assegnato un valore convenzionale pari a 1. Inoltre, il numero di pubblicazioni è stato aggiustato per la presenza di co-autori, ripartendo il valore dell’if per il numero di autori elencati.

11 Il punteggio assegnato ai progetti rappresenta la traduzione quantitativa del giudizio espresso da parte di una serie di referee chiamati dall’nsf per una valutazione ex-ante del progetto di ricerca.

12 Queste definizioni non corrispondono ad una posizione formale dei ricercatori nelle rispettive istituzioni, ma sono state assegnate soggettivamente tenendo conto del numero di anni intercorso tra la presentazione del progetto e l’ottenimento del titolo di dottorato di ricerca (Ph. D.). In particolare, Assistente indica che il ricercatore ha ottenuto il dottorato da non più di 6 anni; Associato, tra i 6 e i 12 anni; Professore, oltre i 12 anni.

13 La regressione di selezione era stata definita come i = i(z, a).

14 I risultati di questa e della successiva regressione sono riportati in Appendice.

15 Si tenga presente che la nsf rappresenta una istituzione pubblica molto importante in seno alla comunità scientifica usa. È plausibile, ad esempio, che il finanziamento della nsf possa essere interpretato come un segnale qualitativo del ricercatore, in modo tale da attirare ulteriori finanziamenti. O, al contrario, potrebbe spingere le istituzioni di appartenenza del ricercatore a ridurre i finanziamenti accordati, secondo una logica di sostituzione.

16 Cfr. nota 10.

Torna su

Indice delle illustrazioni

Titolo Tab. 4. Equazione delle Pubblicazioni per il caso cnr – logistica (k) – tobit
URL http://journals.openedition.org/qds/docannexe/image/1417/img-1.jpg
File image/jpeg, 52k
Torna su

Per citare questo articolo

Notizia bibliografica

Fabrizio Cesaroni e Alfonso Gambardella, «Valutazione dei programmi pubblici di ricerca: le metodologie della nuova «micro-economia» della scienza»Quaderni di Sociologia, 20 | 1999, 66-94.

Notizia bibliografica digitale

Fabrizio Cesaroni e Alfonso Gambardella, «Valutazione dei programmi pubblici di ricerca: le metodologie della nuova «micro-economia» della scienza»Quaderni di Sociologia [Online], 20 | 1999, online dal 30 novembre 2015, consultato il 29 mars 2024. URL: http://journals.openedition.org/qds/1417; DOI: https://doi.org/10.4000/qds.1417

Torna su

Autori

Fabrizio Cesaroni

Scuola Superiore «Sant’Anna» - Pisa – e Centro Interuniversitario custom - Urbino

Alfonso Gambardella

Università degli Studi - Urbino – e Centro Interuniversitario custom – Urbino

Torna su

Diritti d'autore

CC-BY-NC-ND-4.0

Solamente il testo è utilizzabile con licenza CC BY-NC-ND 4.0. Salvo diversa indicazione, per tutti agli altri elementi (illustrazioni, allegati importati) la copia non è autorizzata ("Tutti i diritti riservati").

Torna su
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search