Em 2017, o que os números de referência significam?

Atualização, março de 2017: Esta postagem foi atualizada com informações sobre os telefones mais recentes e técnicas de benchmark.

Quando chegar a hora de a Samsung nos mostrar um novo telefone, falar sobre o hardware traz inevitavelmente o assunto de benchmarks. O Galaxy S8, o vitrine da Samsung para 2017, não é diferente. E como esperado, apenas existindo esses números, muitas pessoas falaram sobre eles.

Os números estão dentro, mas o que eles significam?

Alguma conversa sobre benchmarks é apenas conversa fiada. "Oh, legal! O Snapdragon calcula as" coisas "em um aplicativo de benchmark, bem como o Exynos", é divertido de se falar. é uma conversa interessante que leva a falar sobre como um novo telefone pode atender ou exceder nossas expectativas porque está usando hardware de última geração para fazer coisas legais. É por isso que a maioria de nós está aqui, para falar sobre coisas que rodam o Android e como podemos usá-las para enriquecer nossas vidas.

Mas algumas pessoas levam a sério os números de referência e os consideram uma parte importante de uma decisão de compra. Todos devemos encorajar isso porque é sempre bom ter pessoas empolgadas com algo, mas também devemos falar sobre o que os números de referência realmente significam no grande esquema das coisas. Uma maneira de tentar colocar as coisas em perspectiva é comparar as referências de um par de novos processadores que os fabricantes do Android comprarão aos mais recentes da Apple.

Para todos obcecados com o CPU melhor para o Galaxy S8. pic.twitter.com/28TTXdIDhW

- Jerry Hildenbrand (@gbhil) 17 de março de 2017

Isso não significa que um iPhone usando o A10 seja automaticamente uma experiência melhor do que o Galaxy S8 será. Há muito mais que determina o que é melhor, e a maioria é de preferência do usuário. Você gosta do que gosta e eu gosto do que gosto. Os números em um tweet não mudam isso e os números não significam o que você pensa que eles significam.

Como esses números passam a ser

Os benchmarks em telefones celulares não são realmente comparativos de nenhum hardware, pelo menos não da maneira que pensamos que eles são. Eles não têm acesso ao próprio hardware porque estão usando a camada de aplicativo do sistema operacional. Eles têm uma lista completa de coisas que o telefone faz por meio das APIs expostas pelo sistema operacional e calculam o desempenho delas. Existe uma camada intermediária de um tipo a ser percorrido para acessar os "cérebros" por trás do sistema operacional, que é a parte que controla o hardware diretamente. Portanto, um aplicativo de benchmark está comparando o hardware através de algum software.

Você pode ter ouvido pessoas do iOS falando sobre pessoas do Metal ou Android falando sobre um NDK. Essas são maneiras pelas quais os aplicativos podem interagir com o hardware, por meio dessa camada intermediária, sem precisar passar pela pilha de software completa. Observe que os números de referência para o Exynos 8895 da Samsung e o Snapdragon 835 da Qualcomm estão muito próximos um do outro. Ambos usam o mesmo software e as diferenças de desempenho entre eles são minimizadas por causa disso.

Se você compra um telefone porque gosta de executar benchmarks, provavelmente deve comprar um iPhone.

A "camada intermediária" da Apple é melhor. Vamos jogar isso lá fora, onde todos nós podemos ver. A Apple cria seu próprio processador com foco em fazer certas coisas muito bem e depois cria software que tira proveito disso. O Google precisa criar um software que possa ser adaptado para funcionar com qualquer coisa. Ele fez um trabalho incrível e o software que alimenta um telefone Android é uma coisa bonita incrivelmente complicada. Algo como um aplicativo de benchmarking usando a interface da Apple para o hardware tem automaticamente uma vantagem sobre o Android, independentemente de quem o tenha construído, porque a interface em si é mais simplificada e "mais rápida" no iOS. Isso acontece porque o hardware e o software foram projetados para funcionar um com o outro e nada mais.

Você está comparando o telefone como um todo, não apenas o processador. Quando se trata de analisar números em cada núcleo de CPU, o iPhone 7 Plus faz muito melhor.

Vejamos esses núcleos no processador A10 da Apple. É inegavelmente o melhor chip ARM para consumidor já projetado quando se trata de desempenho bruto por núcleo. Isso ocorre porque o hardware foi projetado para fazer exatamente isso e o software foi projetado para usá-lo. Já falamos sobre a arquitetura do ARM, e o A10 é um ótimo exemplo de como você pode escalar o ARM para fazer o que quiser. Assim como o Qualcomm 835 e o Exynos 8895, eles foram projetados com diferentes critérios em mente.

A diferença nos números de referência não é um acidente

Nós os comparamos porque todos eles estão dentro de um telefone, mas a Apple está sedenta por criar um processador ARM capaz de alimentar um iPhone, um iPad e um MacBook. Qualcomm e Samsung constroem processadores para vender a outras empresas para pequenos dispositivos móveis. A Qualcomm e a Samsung poderiam criar um processador que se destaca nas mesmas áreas do A10 e que funcionaria muito bem em um laptop com Windows. A Qualcomm está realmente interessada em fazê-lo e o Snapdragon 835 é o primeiro passo da empresa em direção a esse objetivo.

Daqui a alguns anos, veremos um chip Snapdragon que pode ser trabalhado o suficiente para rodar um laptop completo e ainda ser eficiente o suficiente para ser usado em um dispositivo móvel com uma pequena bateria. Também veremos mais chips que não são tão poderosos, são ainda mais eficientes no que diz respeito ao uso da bateria e são muito mais baratos. Esses serão os CPUs que as empresas que fabricam telefones comprarão.

Quando você pega uma ferramenta projetada para fazer apenas certas coisas em uma certa ordem e vê o quão "rápido" elas podem ser feitas, o A10 sempre vence. Deveria sempre vencer, e deveríamos querer que sempre vencesse. Uma CPU projetada para um MacBook de 13 polegadas precisa executar cálculos de núcleo único mais rapidamente que o Exynos 8895. O A10 não é essa CPU, mas é um passo nessa direção. E a Apple é uma empresa de tecnologia na qual devemos fazer coisas realmente interessantes para impulsionar a tecnologia, exatamente como queremos que a Samsung, o Google ou a Microsoft façam.

A Qualcomm ou a Samsung podem criar um processador ARM tão poderoso quanto o A10, mas eles não têm motivos para isso.

O pequeno recorte de um placar de referência que não tem contexto que você vê acima mostra o mais importante: esses números têm pouca influência sobre o tamanho de algo que um telefone deve usar. A experiência do usuário tem pouco a ver com o hardware, porque o hardware está bom o suficiente há algum tempo. As entranhas de um Galaxy S5 ou Nexus 7 ou Nota 4 são mais do que suficientes para fazer o que esperamos que um telefone faça, desde que o software esteja pronto. Você não precisa aceitar minha palavra, basta ir ao XDA, onde pessoas que não querem ou não podem comprar algo mais novo criaram software personalizado para cada um. Não estamos pedindo que o telefone faça algo complicado o suficiente para precisar de mais poder de processamento do que esses dispositivos podem oferecer.

Estou convencido de que até a RV móvel ficaria bem se as empresas se importassem o suficiente para oferecer suporte ao Vulkan corretamente em seus processadores mais antigos. Nunca saberemos porque as empresas envolvidas existem para fazer coisas novas e vendê-las para nós, e é aí que elas concentram seu tempo e dinheiro. Novos chips não são projetados apenas para serem novos. Todos eles oferecem pequenos aumentos incrementais em desempenho, segurança e eficiência e esses pequenos aumentos aumentam com o tempo. No momento, a Lei de Moore não está focando no desempenho quádruplo em todas as gerações, está concentrada no uso de melhores técnicas de fabricação para fornecer chips mais eficientes em termos de energia e os ganhos de desempenho são apenas uma evolução natural.

O que realmente vemos nesses benchmarks

O que podemos tirar dessas pontuações de benchmark é que a maneira como o núcleo da CPU calcula as coisas e trabalha com os núcleos da GPU não é quebrada. Os números podem ser triturados um pouco mais rápido com o hardware mais recente, projetado para ser mais eficiente em termos de energia. A maneira como um núcleo de CPU pode processar um número não é mais o gargalo, portanto essas pequenas diferenças e aumentos não serão notados quando você não estiver executando um aplicativo de benchmark. O hardware mais recente pode ser melhor que o do ano passado, e um processador pode ser melhor que o outro. Os aumentos de desempenho são reais, mas eles não se traduzem em uma diferença perceptível quando você os está usando e não serão, a menos que você pule algumas gerações. Passar de um Qualcomm S4 Pro para um Qualcomm 835 traz um aumento no desempenho que você notará imediatamente. Passar de um Qualcomm 821 para um Qualcomm 835 não.

O Galaxy S8 trará uma experiência de usuário melhor que o Galaxy S7 do ano passado. Muitos de nós aqui considerarão uma experiência melhor do que a Apple oferece com o iPhone 7, enquanto muitos sentirão o contrário. Nada disso é devido a uma pontuação de referência.