Histori e mpsha

AIR-Bench Foundation: Disampole tša Datha tša go feta 19k bakeng sa Tekolo ya Mamelwang ye e Akaretšago

ka Benchmarking in Business Technology and Software2m2024/10/16

NSO

NSO

Nako e telele kudu; Go bala

Tekanyetšo ya motheo ya AIR-Bench e sekaseka mešomo ye 19 ya mamelwang ka go šomiša disampole tša go feta 19k. GPT-4 e tšweletša dipotšišo tše di fapanego, ka dikgetho tša nkgetheng tšeo di hlamilwego go hlohla dika.

featured image - AIR-Bench Foundation: Disampole tša Datha tša go feta 19k bakeng sa Tekolo ya Mamelwang ye e Akaretšago

Bangwadi: .

(1) Qian Yang, Yunibesithi ya Zhejiang, Seabe se lekanang. Mošomo wo o dirilwe nakong ya ge Qian Yang a be a ithutela mošomo Sehlopheng sa Alibaba; (2) Jin Xu, Sehlopha sa Alibaba, Seabe se lekanang; (3) Wenrui Liu, Yunibesithi ya Zhejiang; (4) Yunfei Chu, Sehlopha sa Alibaba; (5) Xiaohuan Zhou, Sehlopha sa Alibaba; (6) Yichong Leng, Sehlopha sa Alibaba; (7) Yuanjun Lv, Sehlopha sa Alibaba;

(8) Zhou Zhao, Sehlopha sa Alibaba le Go ngwalelana le Zhou Zhao ([email protected]);

(9) Yichong Leng, Yunibesithi ya Zhejiang

(10) Chang Zhou, Sehlopha sa Alibaba le ho lumellana le Chang Zhou ([email protected]);

(11) Jingren Zhou, Sehlopha sa Alibaba.

Tafole ya Dikgokagano

Abstract le 1. Matseno

2 Mošomo wo o Amanago

3 AIR-Bench le 3.1 Kakaretšo

3.2 Tekanyetšo ya Motheo

3.3 Tekanyetšo ya Poledišano

3.4 Leano la Tekolo

4 Diteko tša go dira diteko

4.1 Dikao

4.2 Dipoelo tše Kgolo

4.3 Tekolo ya Batho le 4.4 Thuto ya Ablation ya Positional Bias

5 Phetho le Ditšhupetšo

Dipoelo tše di tletšego tša Tekanyetšo ya Motheo

3.2 Tekanyetšo ya Motheo

Mohlodi wa Datha. Re kgobokeditše disampole tša datha tša go feta 19k tša tekanyo ya motheo, yeo e akaretšago mešomo ye mennyane ye 19 ye e fapanego. Mohlodi wa data le dipalopalo

di filwe go Lenaneo 1. Go netefatša kelo ye e lokilego le ye e feletšego ya bokgoni bjo bongwe le bjo bongwe, re be re ikemišeditše kabo ya go lekana ya mathata ao a amanago le bokgoni bjo bo fapanego nakong ya tshepedišo ya kgoboketšo ya datha. Methopo ka moka ya mamelwang e hweditšwe go tšwa go dihlopha tše nnyane tša dev goba teko ya mathomo go thibela go dutla ga datha.

Potšišo le Tšhupetšo ya kgetho e tee. Potšišo Q e bopilwe ka go kgokaganya potšišo q le dikgetho tša nkgetheng C. Bakeng sa potšišo ya q, re aga kudu dipotšišo ka GPT-4 (OpenAI, 2023), ntle le mešomo ya QA ka ge di-dataset ka tlhago di na le dipotšišo gomme re ka kgona go boela gape ka go lebanya. di diriše. Ka go lebanya, re hlama tšhišinyo ya mošomo wo o fapanego gomme re fa dipotšišo tše tharo bjalo ka dipontšho. Ka morago ga moo, GPT-4 e tšweletša dipotšišo tša tlaleletšo tše di fapafapanego tšeo di theilwego godimo ga ditseno tše. Dipotšišo tše di tšweleditšwego di hlahlobja ka seatla, gomme dipotšišo tše 50 tše di fapanego di a kgethwa bakeng sa mošomo wo mongwe le wo mongwe. Go fetofetoga ga sebopego sa potšišo go ikemišeditše go sekaseka bokgoni bja mohlala bja go latela ditaelo go e na le go ithekga kudu ka dithempleite tše di itšego. Bakeng sa potšišo ye nngwe le ye nngwe, re tšweletša gape dikgetho tša nkgetheng C go tšwa methopong ye e fapanego: 1) Bakeng sa mešomo yeo e nago le dikgetho ka gare ga di-dataset tša mathomo go swana le AVQA (Yang et al., 2022), re e šomiša gape ka go lebanya; 2) Bakeng sa mesebetsi classification, re tšohanyetso khetha dikgetho ho tloha predetermined sete ya dihlopha ho sebeletsa e le nkgetheng dikgetho; 3) Bakeng sa mešomo ye mengwe, re hlohleletša GPT-4 go tšweletša dikgetho tša nkgetheng ka go lebanya, tšeo di bopilwego ka kgetho e tee ye e nepagetšego le dikgetho tše tharo tše di fošagetšego. Re hlohleletša dikgetho tše tše di fošagetšego go swana le tše di nepagetšego, go dira gore mošomo wa kgetho e tee e be tlhohlo kudu. Karabo ya tšhupetšo ke kgetho ye e nepagetšego ya gauta. Go efoga go ba le leeme maemong, dikgetho tša nkgetheng di hlakahlakanywa ka go se kgethe

Pampiri ye e ka fase ga laesense ya CC BY 4.0 DEED.