O popular conjunto de benchmarks da Vellamo recebeu uma grande atualização hoje, trazendo novos recursos e uma interface de usuário muito boa para o software popular da Qualcomm. Conversamos com Sy Choudhury, diretor sênior de gerenciamento de produtos da Qualcomm sobre isso no início da semana e, embora eles não tenham me convencido de que os benchmarks são a maneira perfeita de medir o desempenho de nossos telefones e tablets Android, eles responderam algumas perguntas que eu tive e me fiz olhar para o problema novamente. Isso não é pouca coisa - sou muito teimoso.
Primeiro, vamos falar sobre o aplicativo em si. Uma ferramenta de referência não precisa parecer feia, e a Vellamo realmente faz as coisas bem. A tela principal do aplicativo permite escolher entre os benchmarks do navegador baseados em HTML 5, "Metal", como na medição de hardware, benchmarks ou um conjunto de extras, como ferramentas para medir a resposta da tela de toque, o benchmark da Octane e o benchmark de vídeo "avançado" Ferramentas.
O benchmarking é fácil, basta tocar em um dos ícones circulares e deixá-lo funcionar. Quando terminar, você pode comparar sua pontuação com outras pessoas ou analisar um pouco mais profundamente cada teste individualmente. Você também pode pressionar e manter pressionado o ícone principal do benchmark e selecionar testes individuais. As configurações permitem executar vários testes para obter a melhor média (recomendada), enviar por e-mail o conjunto abrangente de resultados quando você terminar e ativar e desativar o tutorial.
Mais importante, um link para uma descrição completa de cada teste é fornecido diretamente na seção Sobre. Não adianta executar essas coisas se você não tem idéia do que tudo isso significa, e a Qualcomm faz um ótimo trabalho explicando cada teste nas categorias HTML 5 e Metal, além dos extras. É isso que faz da Vellamo minha recomendação para pessoas que estão mexendo com software e querem testar o resultado em seu telefone. Claro, a Qualcomm pode me enviar um arquivo pdf bem escrito (eles enviaram e agradeço a eles) sobre cada teste, mas colocá-lo lá para todos que usam o aplicativo para ler é muito inteligente. Excelente jogada, Qualcomm.
Como mencionado, o Sr. Choudhury, da Qualcomm, levou alguns minutos para conversar conosco sobre a Vellamo. Ele me acompanhou em cada um dos testes e ferramentas, mas o mais importante é que eles compartilharam um pouco sobre por que eles criaram o aplicativo e como o usam. A Vellamo começou como uma suíte de testes internos para engenheiros e desenvolvedores da Qualcomm. Alguns de seus clientes (pessoas como Samsung e HTC) solicitaram as ferramentas para si. A Qualcomm agradeceu e decidiu, já que tinha que criar um aplicativo independente de qualquer maneira, que o liberaria para o público. Embora não seja exatamente o mesmo aplicativo usado pelos bolsistas que projetam os chips Qualcomm, ele fornece as mesmas ferramentas exatas que eles usam para testar o desempenho. Aprender sobre como e por que é sempre legal, e conversar com o Sr. Choudhury, deixe-me saber que eles levam o desempenho de nossos dispositivos móveis muito a sério na Qualcomm - pelo menos tão a sério quanto nós.
Obviamente, perguntei sobre qualquer ponderação ou viés em relação aos dispositivos da Qualcomm - uma teoria popular na Internet. Os testes usados no Vellamo são padrões da indústria e não são modificados. A razão pela qual os dispositivos Qualcomm costumam ter melhor pontuação no Vellamo é porque, como mencionado, é a ferramenta que eles estão usando internamente para melhorar seus chips. Os engenheiros tratam dos problemas que podem encontrar na Vellamo, e isso significa que o produto final terá uma boa pontuação na Vellamo. Não há edições furtivas de software para fazer o Snapdragons superar outros chips.
Ainda não estou convencido de que as ferramentas de benchmark baseadas em software sejam uma boa maneira de comparar a maneira como um dispositivo é executado em relação a outro. Existem muitas variáveis e ninguém se preocupa com os dados brutos fornecidos e, em vez disso, usa o grande número no final como uma ferramenta de medição da masculinidade da Internet. Mas se você quiser ver como o fato de piscar ROMs diferentes ou fazer outras edições de software afetar o telefone ou tablet em suas mãos, o Vellamo é uma maneira muito boa de fazê-lo. É gratuito no Google Play, pegue-o no link acima e confira o vídeo do produto após o intervalo.