之前曾有報(bào)道,百度超級(jí)計(jì)算機(jī)Minwa在計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽(ILSVRC)上取得了“世界最好的成績(jī)”,他們的系統(tǒng)在測(cè)試ImageNet分類(lèi)數(shù)據(jù)集中的錯(cuò)誤率僅為4.58%,擊敗了谷歌、微軟等競(jìng)爭(zhēng)對(duì)手。
而在6月2日,ILSVRC的組織者指出,百度在測(cè)試過(guò)程中作弊,測(cè)試的頻率遠(yuǎn)超規(guī)定次數(shù)。ImageNet允許參賽方每周提交兩組測(cè)試結(jié)果。然而,百度在3月份的5天內(nèi)提交了逾40次測(cè)試結(jié)果。對(duì)此,百度承認(rèn)違規(guī)行為,并且已經(jīng)就此事道歉。
曾在ImageNet測(cè)試中獲勝的人工智能公司Clarifai CEO Matthew Zeiler表示:
“這種做法十分糟糕,這正是為什么要將測(cè)試數(shù)據(jù)獨(dú)立服務(wù)器上,并限制訪(fǎng)問(wèn)次數(shù)的原因。如果你知道了測(cè)試數(shù)據(jù),你就會(huì)修改你的模型參數(shù),怎么優(yōu)化都可以。”
目前,ImageNet組織方已經(jīng)要求百度停止在明年提交ImageNet測(cè)試成績(jī)。