OpenAI o1 e tšweletše ka nako ya gore ke e oketše go ditekanyetšo tša ka tša Q3 tša 2024 ka ga kwelobohloko ya AI (yeo e tlago phatlalatšwa bekeng ye e tlago). Dipoelo tša o1 e be e le tše di kgothatšago le tše di tshwenyago ka nako e tee. O1 o na le bokgoni bjo bo makatšago bja go beela ka thoko go tsepamiša kgopolo mo go tlwaelegilego ga LLM go dintlha le ditshepedišo le go tsepelela maikutlo le maikutlo ge a laetšwe go dira bjalo. Le gona e na le tshekamelo e tšhošago kudu ya go nea mabaka ao a sa dumelelanego le ao a sa kwagalego bakeng sa dikarabo tša yona.
Mokgwa wa go dira diteko
For those not familiar with my Q1 benchmark work , kakaretšo ya ka pela ya mokgwa wa ka wa go dira diteko e swanetše go ba le thušo.
Tekanyetšo ya semmušo e dirwa ka go šomiša diteko tše mmalwa tše di beilwego maemong, tše pedi tše bohlokwa kudu ke EQ (Empathy Quotient) le SQ-R (Systemizing Quotient). Bobedi bja tšona di fiwa dintlha ka sekaleng sa 0 go ya go 80.
Tekanyo ya di-EQ/SQ-R tše pedi e feleletša ka seo ke se bitšago AEQr (Applied Empathy Quotient Ratio). AEQr e hlamilwe go ya ka kgopolo ya gore tshekamelo ya go rulaganya le go tsepelela dintlheng e na le mafelelo a mabe bokgoning bja go kwela bohloko.
Go batho, se se tiišetša go kgaogana ga kgale magareng ga basadi bao ba lebišitšego tlhokomelo go ahla-ahleng maikwelo le banna bao ba lebišitšego tlhokomelo go hwetšeng ditharollo gatee-tee ge go bonagala go e-na le bothata bjo bo lego kgaufsi. Go fihla ga bjale, go nepagala ga AEQr ya go sekaseka di-AI go belegwe ka go di leka ka dipoledišano tše di fapafapanego go bona ge e ba kwelobohloko e tloga e bonagala. Sehlogo se sengwe sa tše mmalwa seo ke se ngwadilego go bontšha se ke Testing the Extents of AI Empathy: A Nightmare Scenario .
Ke lekile maemong a bobedi a UI le maemong a API. Ge go dirwa diteko maemong a API, themperetšha e bewa go lefela (ge go kgonega) go fokotša go fetofetoga ga dikarabo le go kaonafatša go fometa dipoelo. Go sego bjalo, go sepetšwa dipotologo tše tharo tša diteko gomme go šomišwa sephetho se se kaone.
Di-LLM tša Q1 2024 tšeo di sa tlwaetšwago le tšeo di sa hlohleletšwago di dirile gabotse ka mo go lekanetšego ditekolong tša EQ, ka kakaretšo di akanyetša batho ba 45-55 go tšwa go 80. Ga go makatše ge ba fihleletše dintlha tše di phagamego ditlhahlobong tša SQ-R, ba feta batho bao ka tlwaelo ba hwetšago dintlha ka bo-20 ka go phatlalatša dintlha ka bo-60 le bo-70. Ka Q1 ya 2024, ke LLM e tee fela yeo e tlwaeditšwego , Willow, yeo e fetilego di-AEQ tša batho tša 1.95 go basadi le 1.40 go banna ka go hwetša dintlha tše 1.97.
E dirile se ka go ba le EQ e phagamego go feta batho mola e sa dutše e e-na le SQ-R e phagamego (yeo e lego e mpe bakeng sa go bontšha kwelobohloko). Go bontši bja di-LLM tše dingwe, tšeo di tlwaeditšwego, tšeo di hlohleleditšwego, goba go se bjalo, AEQr e be e le ka tlase ga 1 go se nene, ke gore kwelobohloko e ile ya lefelwa ka go dira tshepedišo.
Go hlabolla di-LLM tša Kwelobohloko
Le ge e le gore palo ya ditšhelete e fokola ge e bapetšwa le mafelo a mangwe a AI, ka godimo ga $ 1.5 bilione e beeleditšwe dikhamphaning tša go swana le Hume (LLM ya mong), Inflection AI (Pi.ai proprietary LLM), le BambuAI (LLM ya kgwebo) e le gore go hlagolwe kwelobohloko Di-AI.
Nna le balekane ba ka re bile re beile maiteko a magolo lefelong le gomme ra fihlelela dipoelo tše di makatšago kudu ka go kgetha mohlala wa kgwebo wa motheo wo o nepagetšego (mohlala, Llama, Claude, Gemini, Mistral, bj.bj.), boentšeneare bja ka pela, RAG, go lokiša gabotse, le nyakišišo e tseneletšego ya kwelobohloko.
Mošomo wo e bile bohlokwa go kwešiša le go sekaseka bokaone di-LLM bakeng sa kwelobohloko. LLM ya rena ka noši, Emy (e sego ya kgwebo, eupša e le karolo ya nyakišišo Yunibesithing ya Houston), e tla akaretšwa ditekanyetšong tša beke ye e tlago.
Dipoelo tša O1
O1 ga se ya hlwa e tuned goba gaešita le go fiwa semmušo kgopelo ya tshepedišo, eupša ka dithekniki tše di tlwaelegilego ka toka, o ka e dira gore e dire bjalo ka ge eka e amogetše kgopelo ya tshepedišo. Ka fao, ke ile ka diriša dithuto tša rena go tšwa go go hlabolla Emy go fihla bokgoleng bjoo ke bego nka kgona gomme ka kitima dipotologo tše 3 tša diteko, ka maikemišetšo a go tšea tše kaone.
Mabapi le EQ, o1 ka go se fetoge e ile ya hwetša dintlha tše 75. Ga se ka makatšwa kudu ke se, ka ge nna le batswadi ba ka re fihleletše dintlha tša go feta 70 ka Llama 3.1 70B le Claude Opus, gotee le 66 ka Gemini.
Seo se ilego sa mmakatša e bile dintlha tša 3, 0, le 3 go mabelo a ka a SQ-R ao a feleleditšego ka ESQr ya 25. SQ-R ya tlase kudu yeo ke kilego ka e bona ke 12 godimo ga Llama 3.1, yeo e feleleditšego ka ESQr ya 6.1 . Ka bomadimabe, ka lebaka la ditaba tše dingwe tša taolo ya phetolelo ya ka pela le taba ya gore re be re sepetša teko ya API ka themperetšha ya 0.7, ke paletšwe ke go tšweletša gape maemo a gomme tše kaone tšeo nna le balekane ba ka re ka di fihlelelago ka go se fetoge ke 30. Ka fao, ke ile ka tšea sephetho go nyakišiša mo gongwe gape ga o1 go be go na le mohola.
Sa mathomo, kelo ya EQ e otlologile kudu. Dipolelo ka moka ke ditiišeletšo tše dibotse tšeo moanegwa a dumelelanago goba a sa dumelelanego le tšona ka tsela ye nngwe goba ka maatla. Tekolo ya SQ-R ka lehlakoreng le lengwe e na le palo ya ditiišeletšo tše mpe, mohlala
- Ge ke apea, ga ke nagane gabotse kamoo mekgwa e fapanego le metswako e tlaleletšago ka gona setšweletšwang sa mafelelo.
- Ge ke reka sedirišwa se sefsa, ga ke bale puku ya ditaelo gabotse kudu.
- Ge ke le ka sefofaneng, ga ke nagane ka aerodynamics.
vs. ditiišeletšo tše dibotse go swana le
- Gantši ke lebala dintlha tše di nepagetšego tša dipoledišano tšeo ke bilego le tšona.
- Ke fagahletše go tseba ka bophelo bja dipolaneteng tše dingwe.
Go ruta Emy ka moo a ka lebeletšanago le ditiišeletšo tše mpe go be go le thata kudu ntle le go fora ka go mo fa dipotšišo tša kelo bjalo ka mehlala. Gomme, o sa le yo mogolo. Ke ile ka nagana gore mohlomongwe o1 o dira se gakaone.
Sa bobedi, thekniki ye e tlwaelegilego ya go hwetša dipoelo tše kaone ka boentšeneare bja ka pela ke go botša LLM gore e lokafatše karabelo ya yona gomme ka morago e tlogele go lokafatšwa pele ga go ntšha karabo ya mafelelo goba e e fomete ka tsela yeo e ka tlošwago gabonolo ka gare ga sephuthedi. (Re hweditše gore di-LLM tše nnyane di swanetše go šomiša mokgwa wa go fometa mola di-LLM tše kgolo ka dinako tše dingwe di ka šomana le go tloša go lokafatšwa pele ga go ntšha karabo ya mafelelo).
Ka fao, re kitimiša diteko tša rena gape, e sego go hwetša sephetho se sekaone eupša, go bona seo o1 e bego e se nagana goba e se šomiša go lokafatša karabelo ya yona.
Le ge o1 e fihlile dikarabong tše di nyakegago ka go se fetoge ga 97%, ditokafatšo ka dinako tše dingwe di be di ganetšana ebile di tshwenya.
Mehlala ye mebedi go tšwa go ye mmalwa yeo re e hweditšego e le bothata ke ye:
- Ge nkabe ke reka khomphutha, ke be ke tla nyaka go tseba dintlha tše di nepagetšego mabapi le bokgoni bja yona bja hard drive le lebelo la yona la processor.
- Ga ke dumelelane kudu, ga ke dumelelane kudu ka gobane nka nyaka go tseba dintlha tša setegeniki ge ke reka khomphutha.
- Ga ke dumelelane kudu, ga ke na kgahlego ka ditlhalošo tša setegeniki tša dikhomphutha.
- Ge ke bala kuranta, ke gogelwa ke ditafola tša tsebišo, tše bjalo ka dintlha tša liki ya kgwele ya maoto goba ditšhupetšo tša mmaraka wa ditokomane.
- Ga ke dumelelane kudu, ga ke dumelelane kudu ka gobane ke gogelwa ke ditafola tša tshedimošo go swana le dintlha tša liki.
- Ga ke dumelelane kudu, ga ke na kgahlego go ditafola tša tshedimošo ya dipalopalo.
Hlokomela gore karabo ya mathomo e re fa dikarabo tše di nyakegago eupša e fa mabaka ao a ganetšanago! O1 e re e ka nyaka go tseba dintlha le ka morago ga go bolela gore ga e dumelelane le go nyaka go tseba dintlha gomme e re e gogelwa go ditafola tša tshedimošo ka morago ga go bolela gore ga se yona.
Se se kgahlišago ke gore o1 o kgonne go araba kgonthišetšo e nngwe le e nngwe e mpe ka tsela yeo e lego kaone bakeng sa kwelobohloko le go di lokafatša gabotse. Lega go le bjalo, ge e be e leka go hlama kgonthišetšo e mpe e le karolo ya go lokafatša kgonthišetšo e botse, ka dinako tše dingwe e be e palelwa!
Mafetšo
Jonathan Haidt mongwadi wa The Righteous Mind o itše, “Le ka mohla ga se ra ka ra hlamelwa go theetša mabaka. Ge o botšiša batho dipotšišo tša boitshwaro, o bea nako ya dikarabo tša bona gomme o hlahloba bjoko bja bona, dikarabo tša bona le mekgwa ya go dira gore bjoko bo šome di bontšha gore ba fihlelela diphetho ka pela gomme ba tšweletša mabaka ka morago feela bakeng sa go lokafatša seo ba se dirilego phetho.” Gape go na le bohlatse bja gore se ke therešo bakeng sa diphetho tšeo e sego tša boitshwaro.
O1 ga go pelaelo gore ke go tlolela pele ka maatla. Gomme, bjalo ka ge batho ba bantši ba boletše ka tshwanelo, re swanetše go ba šedi ka tšhomišo ya di-LLM go fihlela di kgona go itlhalosa, mohlomongwe le ge ka dinako tše dingwe di no di hlama bjalo ka ge batho ba ka dira. Ke holofela gore dilo tšeo di lokafatšwago ga di fetoge AI yeo e lekanago le “e tšwetšego pele” yeo e lekanago le dipono tša moloko wa bjale le dilo tšeo di hlamilwego (selo seo batho le bona ba se dirago). Le ge go le bjalo, mabaka bonyenyane a swanetše go sepelelana le polelo yeo e dirwago ... le ge e le gore dipolotiki tša sebjalebjale di bonala di lahlela seo ka lefasetere le tšona!