A questo punto, due revisori (raters) con esperienza nella gestione o nell’analisi degli studi clinici esaminano, in maniera indipendente l’uno dall’altro, i lavori appartenenti alle categorie degli studi controllati e randomizzati e degli studi non randomizzati. Le eventuali discrepanze nella valutazione vengono risolte per discussione eventualmente coinvolgendo un terzo valutatore.
Ogni lavoro viene esaminato attraverso una griglia costituita da 6 item corrispondenti a diversi aspetti metodologici, per ciascuno dei quali viene assegnato un punteggio pari a 0 se valutato negativamente, oppure 1 (2 per i due item maggiori) se valutato positivamente.
A ogni lavoro viene, quindi, assegnato un punteggio complessivo risultante dalla somma algebrica dei punti assegnati per ciascuno degli item. Più alto è il punteggio assegnato a un lavoro, maggiore è la sua consistenza metodologica.

La valutazione dei lavori clinici avviene in base alla scala di
punteggio di Jadad [1], uno strumento validato spesso usato nelle review di letteratura biomedica. Lo strumento è composto da due parti.

La prima parte, costituita dalle voci 1-3 (spesso utilizzata da sola come scala a 3 voci per la valutazione degli studi clinici randomizzati), è incentrata sulle misure adottate per prevenire o controllare i possibili vizi metodologici (bias): randomizzazione, doppio cieco, adeguata descrizione dei casi che non hanno completato lo studio (interruzioni, drop-out).

La seconda parte, costituita dalle voci 4-6 (che insieme alla prima forma la scala a 6 voci), considera aspetti più generali legati alla definizione-descrizione dei criteri di arruolamento, del metodo di valutazione degli eventi avversi e dei metodi di analisi statistica impiegati.

Il grado di oggettività-riproducibilità del processo di rating nel suo complesso è stato indicato calcolando l’indice k di variabilità tra i punteggi attribuiti dai due valutatori prima della riconciliazione (interrater variability), che può essere compreso tra 0 (nessun accordo) e 1 (accordo completo) [2].