Per Huawei e Honor risultati falsati nel benchmark 3DMark: cos'è successo

Gli sviluppatori di 3DMark confermano l'utilizzo di metodologie tese ad alterare i risultati del benchmark. Huawei sembra però aver già riflettuto sul problema, collegato all'ottimizzazione esercitata dal software in condizioni di carichi di lavoro importanti.

Si sono addensati un po’ di nuvoloni neri sopra Huawei: l’azienda che si occupa dello sviluppo del noto benchmark 3DMark, universalmente utilizzato per misurare anche le performance dei dispositivi mobili, ha verificato le asserzioni apparse nelle scorse ore su AnandTech “certificando” che alcuni smartphone a marchio Huawei e Honor altererebbero ad arte il comportamento del device così da ottenere risultati migliori.

Le regole che tutti i produttori hardware devono rispettare sono pubblicate a questo indirizzo e impongono massima lealtà e trasparenza.
Secondo gli sviluppatori di 3DMark, come spiegato in questa pagina, su alcuni smartphone Huawei e Honor il punteggio finale sarebbe stato artificiosamente “gonfiato”.

Gli autori di 3DMark hanno quindi deciso di eliminare la possibilità di usare l’applicazione su Huawei P20 Pro, Huawei Nova 3, Honor Play e Huawei P20 rivelando di fatto i nomi dei dispositivi i cui risultati sarebbero stati falsati.


Come si vede nel grafico che riportiamo in figura, la discrepanza tra la versione pubblica di 3DMark e una release interna che gli sviluppatori usano per controllare la veridicità delle valutazioni evidenzia uno scarto davvero significativo.

Con una dichiarazione rilasciata a una testata d’Oltreoceano, Huawei ha ammesso il comportamento tenuto spiegando però che i suoi smartphone sono progettati per ottimizzarsi in automatico a seconda della specifica applicazione eseguita.
Gli sviluppatori di 3DMark hanno però aggiunto che un produttore non è autorizzato ad attivare ottimizzazioni hardcoded, tali da migliorare il comportamento del dispositivo mobile quando è in esecuzione l’app benchmark.

Huawei ha fatto presente che nel prossimo futuro userà un approccio più trasparente. In particolare, l’azienda cinese ha preventivato l’introduzione di “una modalità Performance che consentirà agli utenti di utilizzare tutta la potenza offerta dal dispositivo quando ve n’è effettivamente bisogno“.

In passato anche Samsung (2013) e OnePlus (2017) avevano fatto qualcosa di molto simile anche se, diciamolo, l’utilizzo dei benchmark tipicamente non riflette le prestazioni ottenibili durante l’utilizzo quotidiano. Perché allora affannarsi a ottenere sempre il risultato numerico migliore in assoluto?

Fortunatamente Huawei sembra essersi accorta del “passo falso” e ha dichiarato che i risultati dei benchmark, eventualmente usati per promuovere i suoi dispositivi saranno certificati da una terza parte così da evitare qualunque contestazione.

Ti consigliamo anche

Link copiato negli appunti