Benchmark: è da qui che arrivano le pagelle degli smartphone
In un mondo in rapida evoluzione come quello dei computer c'è bisogno di un metro di misura delle prestazioni, leggere le sole specifiche tecniche non basta più. Ecco perché sono nati i benchmark. Ma perché vengono utilizzati? Possiamo ritenerli affidabili?
Scorciatoie:
- Cosa diamine significa benchmark?
- Qual è lo scopo di questi test?
- Affidabilità da prendere con le pinze
Cosa sono i benchmark che spesso sentiamo nominare?
I benchmark sono programmi studiati per mettere sotto stress le CPU, le GPU le memorie o in teoria qualsiasi aspetto del dispositivo che possa essere misurato con un punteggio, un tempo, una velocità e così via. Esistono test effettuati da società come DxOMark per la valutazione dei tempi di messa a fuoco delle fotocamere e speed test per la velocità della reti internet. Anche questi ricadono nella categoria dei benchmark.
I benchmark possono essere categorizzati in:
- Benchmark sintetici (synthetic benchmark)
- Benchmark del mondo reale (real world benchmark)
I primi (più diffusi) simulano un carico di lavoro estremo e mettono in azione i componenti testati al 100% delle proprie capacità. In questo modo è possibile valutare la potenza massima di un dispositivo.
I real world benchmark simulano invece dei carichi di lavoro realistici (anche se comunque molto impegnativi) e sono più utili nella valutazione delle vere capacità di un prodotto per scopi e applicativi precisi.
Qual è lo scopo dei benchmark?
Le applicazioni (o i programmi PC) di benchmark sono appositamente studiati per uno scopo preciso: misurare le prestazioni del dispositivo su cui vengono eseguiti per poterlo comparare con altri riferimenti. In italiano la parola benchmark può essere tradotta come analisi comparativa.
Con l'aumentare della complessità dei dispositivi elettronici è sempre più difficile comparare le loro prestazioni semplicemente guardando alle specifiche. Ecco perché sono stati creati e vengono creati continuamente nuovi programmi dedicati alla misurazione delle prestazioni.
Possiamo fidarci?
In linea teorica sì. I punteggi calcolati dai benchmark sono sempre ottenuti eseguendo le stesse operazioni su ogni macchina quindi non esiste una differenza di trattamento dei dispositivi testati. Ciò che però bisogna conoscere è lo stato in cui il dispositivo si trova prima di effettuare tali benchmark.
Un esempio pratico: se su uno smartphone sono in esecuzione delle app in background durante l'esecuzione dei benchmark ovviamente il risultato restituito sarà diverso rispetto a un secondo smartphone che esegue il programma di test senza altre app aperte. Questo accade perché parte delle risorse del dispositivo testato possono essere in uso da altri programmi o app e ciò condiziona il risultato finale.
A volte però i produttori sono stati trovati con le mani nel sacco. Ultima ma non unica, OnePlus è stata trovata ad aumentare le prestazioni dei propri smartphone durante l'esecuzione dei più famosi e utilizzati benchmark per Android. Riconoscendo l'applicazione in esecuzione certi produttori possono introdurre delle procedure specifiche per permettere all'hardware di performare meglio e ottenere punteggi più alti. Conoscendo il funzionamento di tali test è possibile ottimizzare il proprio prodotto per restituire punteggi alti durante i benchmark ma questo non sempre si ripercuote in migliori prestazioni nella vita reale.
Prendete i risultati con le pinze
I benchmark sono indicativi e utili solo se tutti i dispositivi utilizzati come comparazione vengono trattati nella stessa maniera. Se i test vengono tutti eseguiti alle stesse condizioni si può valutare quale prodotto sia obiettivamente migliore, almeno sulla carta. Perché ho detto sulla carta? Non solo i benchmark possono essere facilmente truccati, ma di solito non rispecchiamo l'utilizzo di un dispositivo nella vita reale.
A volte può capitare che alcuni smartphone riescano ad ottenere risultati stupefacenti nei benchmark ma non riescano ad assicurare un'esperienza utente accettabile. Basti pensare alla gamma Galaxy S di Samsung che dispone di hardware di altissimo livello ma a volte a causa del proprio software non riescono ad essere fluidi e reattivi come smartphone dalle prestazioni minori su carta come i Pixel di Google.
Voi vi affidate ai benchmark per la scelta dei vostri acquisti hi-tech?
