1. Este site usa cookies. Ao continuar a usar este site está a concordar com o nosso uso de cookies. Saber Mais.
  2. Está disponível o Comparador ZWAME em versão beta.
    Mais informações.
    Remover anúncio

Escândalo: BAPCo's SysMark 2002 está biased para a Intel

Discussão em 'Novidades Hardware PC' iniciada por Zealot, 26 de Agosto de 2002. (Respostas: 42; Visualizações: 2620)

  1. Zealot

    Zealot I quit My Job for Folding

    We have lambasted the SysMark products for their unrealistic workloads, but their scoring methods are equally atrocious. Instead of scoring each task on its own and weighting them according to usage model criteria, an individual task's importance depends on how long it takes to complete!

    That's right, a task's contribution to the final SysMark2002 score is entirely derived by how long it takes to execute!

    For example, a 3d rendering test that might take one second to complete would only contribute one tenth as much to the final SysMark score as a ten-second task that consists of loading an application. Moreover, tasks are often repeated many times in SysMark, skewing a particular workload even more.

    Why implement such a bizarre scoring scheme? Because it naturally biases the entire benchmark towards large working sets...

    ...which demand memory throughput

    ...which is one of the Pentium 4's few strengths.

    And it also allows particular tasks to be weighted more heavily through repetition.

    This is not merely a bad scoring strategy, it is intrinsically biased.

    -------------------------------

    Trying to understand why this scoring discrepancy existed, the chipmaker discovered that when comparing SysMark 2001 to SysMark 2002 the following patterns were evident:

    Tasks were removed that favored AMD.

    Tasks were added that favor Intel.

    Workloads that favored Intel were repeated -- sometimes many times -- to inflate their weight under the scoring scheme described above.

    An example of this is the Adobe PhotoShop component of SysMark. In the 2001 version of the BAPCo/Intel product, 13 different filters were used. On eight of these 13 filters the Athlon XP 2000+ beat the 2GHz Northwood P4.

    However, in SysMark 2002 every single one of these eight filters where removed -- again, tasks where the Athlon XP beat the Pentium 4 -- and were replaced with repeated filters that the Pentium 4 executed faster than the Athlon XP.


    Fonte: http://www.vanshardware.com/reviews/2002/08/020822_AthlonXP2600/020822_AthlonXP2600.htm


    Voltamos aos tempos do Willamette ou quê? >(
     
  2. SilveRRIng

    SilveRRIng Power Member

    O prb é q este Van me parece ser excessivamente AMD biased. Até pode ser q ele tenha razão no q está a dizer, mas se kerem saber realmente o q está por detrás disto tudo devem ir ler o editorial q o Thomas Pabst himself escreveu sobre este assunto. Clarifica muito do q se esta aki a dizer.

    A outra versão dos acontecimentos

    O Tom chega a dizer q este Van é completamente biased pra AMD, mas de forma exagerada e q se chateou com o Tom qd este lançou um artigo em q dizia q afinal os P4 ja começavam a dar algumas cartsa e até eram bons processadores. Foi a partir dai q estalou o verniz.

    A sério, é um lavar de roupa suja q so visto. Curti bue do artigo, se ainda não leram aconselho q o façam pq acaba mm por ser divertido.
     
  3. Zealot

    Zealot I quit My Job for Folding

    Mas Silverring, eu LI o editorial do Pabst. Mas também percebi que o Tom NUNCA iria reconhecer que o VAN identificou as diferenças da versão 2001 para a 2002, coisa o seu laboratório de Munique não encontrou/valorizou!

    Eu não tenho dúvida nenhuma que o Sysmark 2002 está extremamente Intel biased, e que há um ódio de morte entre o Van e o Tom.

    Agora podem-me provar que eu estou errado, claro. :)
     
  4. pnabais

    pnabais Power Member

    Isso não é exactamente uma grande novidade ... essa benchmark sempre foi muito suspeita.

    Alias, à uns tempos (anos) dei uma vista de olhos nas empresas cujas aplicações apareciam na benchmark, e metade delas estavam ligadas à Intel. Ou era accionista, ou tinha parcerias, etc.

    E claro, os scores da Intel sempre foram "suspeitamente" bons nessa bench em Particular.
     
  5. Madril

    Madril 1st Folding then Sex

    Deve ter optimizaçoes pro SSE2 !! :P
    Por isso os P4 sao melhores !!
     
  6. SUp3rFM

    SUp3rFM Guest

    Sempre desconfio quando se tomam posições extremas, cheira-me a actos irreflectidos.

    Se por um lado a BAPCo é biased, a opinião do Van também me parece biased.

    Eventualmente, haverá verdade na interesecção das mesmas.

    Esta frase "which is one of the Pentium 4's few strengths." parece-me francamente biased. Não terá sido o melhor método para mostrar esta suspeita. Se fosse escrita de forma credível, onde apenas se mostrariam os factos, a minha opinião seria outra.
     
  7. SKATAN

    SKATAN Suspenso

    estive a ver os dois artigos

    ( vans e toms )

    e quanto ás coisas que o vansmith disse sobre o Toms acredito em todinhas :D

    o que denunciou o toms foi a foto dele proprio o gajo reeka a culpado tem mesmo cara de nazi e de todas as coisas que o van disse sobre ele


    e ão de repararas explicações do toms são sempre muito mais vagas que as do van , que explica tudo tim tim por tim tim


    [IMHO]


    on topic

    essa historia do bapco a de ser mais lenha para a fogueira do processo contra a intel e o perfoamcen dos seus cpus :D
     
  8. WarLock

    WarLock Power Member

    esse van e cheio da treta
     
  9. zer0

    zer0 [email protected] Member

    O van se não fosse tão biased, tinha muito mais sucesso.
    Mas que aquilo cheira a esturro, cheira.

    Ver o thg é como ler a maria.....
     
  10. Elrond

    Elrond To fold or to FOLD?

    Em minha opiniao,e sendo q foi o tom quem criou o site dele,q ja foi o ganha pao do van,acho q ele tem todo o direito de criticar o van,pois este difamou e insultou alguem q tem mais conhecimento nesta materia do k ele.Quanto akilo q 1 e outro dis,parece-me a mim q o van é 1 opurtunista,e q é facilmente manipulavel,como se ve na maneira como defende akilo k dis,apesar de o k dis ser baseado em informaçao dada a ele,e n por ele descuberta...(nca pensando ele,q ao fazer o artigo,estaria a servir de promotor da Amd):-)Quanto ao tom,eu partilho a ideia dele de k,é giro ver o kyle criticar o van,quando akilo k o van fez em relaçao ao Amd/bapco,é akilo k ele fez em relaçao ao Nvidia/ati. Quanto a akeles k dizem q ele parece 1 nazi etc.....,e q falhou quando mostrou a sua cara,eu vejo isso 1º,como a afirmar-se q é ele,e n se esconder,e alem disso,sobre a imagem dele...."quem ve caras n ve coraçoes".

    Voltando ao centro da questao,eu tenho 1 P3,e sou simpatizante e apoiate da Intel,mas vejam as coisas desta maneira.Se o AthlonXp,com 1a frequencia de 2.1Ghz,consegue bater 1 Nw2.8Ghz,e com este novo steping no core,conseguem facilmente aumentar a velocidade,o k juntando ao novo FSB de 333Mhz,pode mto bem por mesmo o P4 3.06 pra traz.Contra isto,sem contar com Benchmarks "duvidosos",a Intel tem o Hypertreanding...q mtos duvidam das capaciades,e q mesmo a Intel n tem mta confiança nesse processo.Posso estar errado,mas ate ao final do ano,a Amd vai passar a frente da intel.E eu sou defensor da Intel....mas n sou cego.Isto como é obvio é apenas a minha opniao..(1 bocado grande hein!)lol
    :-)
     
  11. nagger

    nagger Power Member

    Alguem já reparou ke a sede da Bapco fica dentro do campus da Intel em Santa Clara?

    Já repararam tb ke a única empresa ke tem engenheiros de software na BAPCO eh a Intel (apesar da AMD ter-se juntado recentemente ao Bapco)?

    Já repararam ke o Thomas Pabst não percebe boi de tecnologia?

    Eu lembro-me mt. bem dos artigos do tempo do Van Smith no Toms e só para dar um exemplo foi ele ke através da compilação do kernel de linux ke descobriu ke os processadores PIII 1.13 vinham overclockados de fábrica.
     
  12. SilveRRIng

    SilveRRIng Power Member

    nagger,

    Pera lá, como pode o Tom ter começado o site por brincadeira ou hobby a seis anos atrás e terem-se entretanto juntado a ele outros carolas da informática se ele não percebesse nada de tecnologia? Consegues mostrar pq dizes isso ou são só suposições? Eu sempre tive ideia q este gajo e um granda cromo e percebe do assunto por isso estranho um pouco dizeres isso.

    Pelo q li no artigo do Tom ( e tendo em conta q é uma versão e não propriamente a verdade) fico com a ideia concreta q ele terá rejeitado a história da Bapco por ser "apenas" suspeita e não confirmada em absoluto. O THG não precisa de histórias bombásticas tipo "O Jornal do Crime" para de afirmar , ao passo q o Vans e até o Kyle precisam de um empurrãozito, q pode muito bem ser este tipo de histórias. Por isso acredito mais na versão do Tom do q na do Vans, tanto q ele me parece ser um fanático compulsivo, com poucos escrúpulos e q não olha a meios.
     
  13. nagger

    nagger Power Member

    Silver,

    O Van é tão fanático compulsivo, com poucos escrúpulos e q não olha a meios, ke até fechou o tasco dele hoje.

    A verdade é ke ele foi editor sénior nos EUA do Toms durante mt. tempo. Quando ele saiu os artigos dele de repente mudaram de autor (de Van Smith para Thomas Pabst). Ele claro ke ficou mesmo fdd com a atitude do Tom's Hardware e reclamou. Tanto reclamou ke todos os artigos ke ele escreveu foram misteriosamente apagados do site.

    Eu não gosto do site dele (Van's Hardware) nem das reviews dele, mas ele tem razão nesta cena do Sysmark 2002, até o Anand escreveu algo sobre este benchmark no teste ao XP 2600+. O Thomas é ke parece ke foi 'comprado' pela Intel e vem agora desvalorizar a trafulhice ke a Bapco fez entre o Sysmark 2001 e 2002.

    É pena ke o Thomas Pabst não tivesse despido a camisola no texto de opinião dele e não tivesse sido honesto e imparcial no julgamento desta questão ke é especialmente grave, na minha opinião.
     
  14. Zealot

    Zealot I quit My Job for Folding

    Mais uma vez, na guerra dos lobbies ganhou a Intel, senão ele teria continuado.

    Agora passo a ter a certeza. O Van mostrou ao mundo aquilo que o Tom e o seu laboratório de Munique não quiseram mostrar.
    O Anand já disse (antes do Van fechar) que havia gato no Sysmark 2002 e que estavam a investigar. Será que o Anand terá a força para dizer tudo o que há para dizer e sair impune? :(
     
  15. Strakata

    Strakata [email protected] Member

    Tá bem dito Nagger.
    O Sr. Carrinha pode pender para o lado da AMD mas não deixa de perceber imenso daquilo que faz. E além disso, isso não invalida que o Thomas Pabst seja um camelo :D



    Ps: O Tom é quase tão camelo como o Chris Tom (AMDZone.com). Quase.
     
  16. SilveRRIng

    SilveRRIng Power Member

    Não sei se o Van fechou a loja pelas ameaças ecenas q recebeu ou se só pelo facto de não ser rentável. Qq das formas é sempre mau q mais um contribuinte (biased ou não) tenha abandonado (até ver) o barco dos sites de hardware.

    Eu tb não morro de amores pelo Tom, e na altura em q o Van se baldou tb vi os links pras paginas do THG em cache no google com a assinatura dele e as mesmas no site actual com assinatura do Tom. A verdade das coisas nunca saberemos, apenas as versões, e eu gostando mais da AMD do q da Intel, e o Tom tendo vindo a tornar-se um pouco Intel biased, deu-me logo o impulso da pura rebelião contra o império (este tem copyright do Van... ), mas acabei tb por pensar se porventura isto tudo não seria só uma forma do Van (com dor de cotovelo por ter saido da maneira q saiu) de se vingar e beliscar a boa fama do Tom até então. Eu acho q esse objectivo ele conseguiu, e nem mm no meu caso em q me tentei manter imparcial e saber todas as verdades dos factos, me consegui manter como tal e já torço o nariz às reviews do Tom. Restam-me outros, mas provavelmente os melhores são akeles pekenos, q não devem nada a ninguem, ninguem dá por eles ou lhes liga, e nós podemos ficar a saber a realidade das coisas sem dedos (leia-se "tostões" e pressões) por fora.
     
  17. nagger

    nagger Power Member

    Segundo aquilo ke tenho lido nos foruns já existem alternativas ao Sysmark para se fazer benchmarks de utilização normal do computador.

    - A equipa da AnandTech desenvolve um esquema de testes (aberto) para benchar os processadores;

    - A equipa da AnandTech pesquisa as alternativas no mercado e põe-nas nas reviews ao mesmo nível do Sysmark.
     
  18. timber

    timber Zwame Advisor

    Eu nem ligo a esses testes. Hoje em dia quase so vale a pena ver o desempenho em jogos. Qual e o interesse de andar a medir diferenças micoscopicas entre processadores quando depois para correr o office o que se nota e que a salvar e carregar programas um disco 7200 rpm e bem mais rapido que outra coisa qualquer (e mesmo assim...). O disco e so um exemplo. Para ai 2/3 do mercado estava mais bem servido com matrox com gpu's 3d do tempo da avozinha do que com as gf 2 mx 400 e companhia que andam para ai aos saltos.

    PS: Isto nao deixa de ser uma valente burla encapotada
     
  19. WarLock

    WarLock Power Member

    não podem tirar conclusões sem ter provas conclusivas...


    senão vamos tambem mandar vir com nos foruns da madonion porque a minha placa tinha mais perfomance no 3dmark 2000 que no 2001,

    basta eles terem posto optimizações para o p4 que já nota alguma coisa ....


    agora o que nao acredito é que tenham "desoptimizado" os outros ..

    penso que o toms e o anand sao os melhorzinhos sites para se obter algumas informações mas mesmo esses como e obvio sofrem pressões comerciais. francamente sempre achei o toms muito imparcial , se um punhado de amd freaks que por ai andam nao concordam, tenho pena.
     
  20. Strakata

    Strakata [email protected] Member

    WarLock,
    Vai ler as justificações que os outros apresentam e depois sim, chama-lhes freaks se quiseres.
     

Partilhar esta Página