Kritika a Bridgemind AI benchmarkjeinek módszertanhiányáról

Egy felhasználó nyilvánosan bírálta a Bridgemind AI közzétett benchmark-posztját, ami szerinte nem részletezi a tesztek kivitelezését (pl. harness, feladatok, futásszám, napok közötti variancia azonosítása, API-k, trace-ek). Külön kiemítette a +/-10% variancia kiválasztását és a tokenek költségekkel való azonos súlyozását, ami ronthatja a reprodukálhatóságot és a fair összehasonlítást.