Logo pt.androidermagazine.com
Logo pt.androidermagazine.com

Fudging benchmarks? e daí - os benchmarks ainda são ruins

Índice:

Anonim

O shell cat adb / sys / module / pvrsrvkm / parameters / sgx_gpu_clk nunca pode contar uma mentira

Samsung foi pego trapaceando. Eles estão manipulando resultados de benchmark para o Galaxy S4, permitindo que a GPU seja executada em uma velocidade de clock mais alta e bloqueando a CPU na frequência máxima, de uma maneira diferente do que outros processos do sistema podem fazer. Eles concedem a alguns aplicativos próprios da Samsung um tempo limitado com essas velocidades mais altas, mas claramente favorecem alguns aplicativos populares de referência. Eles foram pegos em flagrante por Brian e Anand na AnandTech - dois dos melhores gênios de hardware do mercado - e a Internet está em um estado de embriaguez, como costuma fazer.

Estivemos lendo tudo sobre isso, incluindo as respostas de pessoas que não são de forma alguma afiliadas a nenhuma das partes envolvidas, e agora que já passou do meio-dia e tomei alguns coquetéis no almoço, quero escrever algumas palavras sobre isso.

Fraudes da Samsung em benchmarks

Para melhorar as coisas (ou algo assim), a Samsung divulgou um comunicado esclarecendo algumas coisas.

Sob condições normais, o Galaxy S4 foi projetado para permitir uma frequência máxima de GPU de 533MHz. No entanto, a frequência máxima da GPU é reduzida para 480 MHz em certos aplicativos de jogos que podem causar sobrecarga, quando usados ​​por um período prolongado no modo de tela cheia. Enquanto isso, uma frequência GPU máxima de 533MHz é aplicável para aplicativos em execução que geralmente são usados ​​no modo de tela cheia, como o S Browser, Gallery, Camera, Video Player e alguns aplicativos de benchmarking, que também exigem desempenho substancial.

As frequências máximas de GPU para o Galaxy S4 foram variadas para fornecer a melhor experiência do usuário para nossos clientes e não pretendiam melhorar determinados resultados de benchmark.

Continuamos comprometidos em fornecer aos nossos clientes a melhor experiência possível para o usuário.

O problema é que isso não é verdade. A Anandtech possui dados que mostram que a Samsung não está sendo completamente verdadeira - especialmente a parte em que afirma que as coisas "não foram destinadas a melhorar determinados resultados de referência". Ele também encobre completamente a parte do código em que "BenchmarkBooster" na verdade cita alguns aplicativos populares de benchmarking capazes de definir um sinalizador especial "boost_mode" quando são lançados.

Talvez essa declaração tenha vindo de alguém que não estava familiarizado com a situação e seja um erro honesto. Isso não significa que não é falso. E as pessoas vão pular por toda a Samsung por dizer isso.

Mas isso realmente não importa.

Os benchmarks são péssimos. Eu sei que os benchmarks são péssimos, porque eu tenho um Galaxy S4 e um Nexus 4 aqui ao meu lado, e as pontuações de forma alguma refletem a experiência do usuário. São apenas números para pessoas que gostam de olhar para os números e dizer a outras pessoas que os números são maiores que os seus, ou algo assim. Quando quero saber até que ponto qualquer dispositivo de computação, e não apenas um Android, lida com o sistema e os aplicativos que gostamos de instalar, eu o ligo e uso. Algo como "25.611" não significa nada para mim. O fato de seu telefone ter "25.612" também não significa nada para mim. De fato, só executamos aplicativos de referência quando nossas caixas de entrada não se calam e param de nos pedir para executá-los, e mesmo assim apenas em um lapso momentâneo de razão. Porque eles são péssimos.

Eles também são super fáceis de manipular, como evidenciado pela última gafe da Samsung, bem como mostrado aqui. Se você quiser números, diga-me qual é o número que deseja e faremos isso acontecer. Você ainda não tem idéia do que eles significam no mundo real e como isso importa quando você quer jogar Words with Friends ou transmitir pornô da Internet.

Parabéns à Anandtech por ter estudado o fundo disso, e vergonha para a Samsung por participar do jogo e, em seguida, dar uma resposta insana sobre isso quando eles foram pegos. Isso precisa ser dito, então eu direi. Mas, quanto aos próprios benchmarks, e quaisquer que sejam os números do Galaxy S4 da Samsung, eu não me importo e também não acho que você deva se importar.