Шуурхай оновчлолын талаар өнөөдөр бидний мэддэг бүх зүйл

Холбоосуудын хүснэгт

Хураангуй ба 1. Оршил

2 Opro: Llm-ийг оновчтой болгох ба 2.1 Llms-ийн оновчлолын хүссэн зүйлс

2.2 Мета шуурхай дизайн

3 Сэдвийн жишээ: Математикийн оновчлол ба 3.1 Шугаман регресс

3.2 Аялагч худалдагчийн асуудал (TSP)

4 Хэрэглээ: Шуурхай оновчтой болгох, 4.1 Асуудлыг тохируулах

4.2 Мета шуурхай дизайн

5 Шуурхай оновчлолын туршилт ба 5.1 Үнэлгээний тохиргоо

5.2 Үндсэн үр дүн

5.3 Абляцийн судалгаа

5.4 Шуурхай оновчтой болгоход хэт тохирох шинжилгээ ба 5.5 Evoprompt-тэй харьцуулах

6 Холбогдох ажил

7 Дүгнэлт, талархал, лавлагаа

Зарим бүтэлгүйтлийн тохиолдол

B Scorer Llm-д зориулсан хүсэлтийн форматууд

C Meta-Prompts ба C.1 Meta Prompt for Math Optimization

C.2 Шуурхай оновчтой болгох мета-санал

D Үлдсэн Bbh даалгавруудын шуурхай оновчлолын муруй

E Bbh даалгавруудыг шуурхай оновчтой болгох – Хүснэгтчилсэн нарийвчлал ба олсон заавар

6 ХОЛБООТОЙ АЖИЛ

Шуурхай оновчлол. Өмнөх ажлууд нь даалгаврын тусгай тасралтгүй векторууд хэлбэрээр илэрхийлэгдсэн мэдээг оновчтой болгох зөөлөн шуурхай тохируулах аргуудыг боловсруулсан (Lester et al., 2021; Li & Liang, 2021; Liu et al., 2021; Qin & Eisner, 2021), мөн градиентээр удирдуулсан хайлт (Shin et al., 2020; Wen et al., 2023; Gao et al., 2020; Chen et al., 2023d) болон бататгах сургалтын (Дэн нар, 2022); Жан нар, 2023). LLM-д зөвхөн API хандалт байгаа үед эдгээр арга барилыг ашиглах боломжгүй болно. Бусад бүтээлүүд нь градиентгүй шуурхай оновчлолд зориулсан засварт суурилсан аргуудыг боловсруулсан (Сю нар, 2022; Прасад нар, 2022), засварыг хүний тодорхойлсон үйлдлээр (жишээ нь, хоёр хэллэг солих) хийж болно (Prasad et al. , 2022) эсвэл хэлний загварууд (жишээлбэл, арын орчуулга) (Xu et al., 2022). Сүүлийн үеийн зарим бүтээлүүд хурдан оновчтой болгох зорилгоор LLM-ийг судалдаг (Жоу нар, 2022b; Призант нар, 2023; Xu нар, 2023). Тодруулбал, APE (Zhou et al., 2022b) эхлээд LLM-ийг ашиглан анхны зааварчилгааг гаргадаг. Дараа нь APE дээд зэргийн зааварчилгааг хамгийн өндөр нарийвчлалтайгаар сонгоод дараа нь LLM-д заавар тус бүрээр нь утгын хувьд ижил төстэй хувилбарыг гаргаж өгөхийг санал болгодог. APO (Pryzant et al., 2023) алхам бүртээ LLM-д хуучин зааварчилгааг хэрхэн шинэчлэх талаар текстийн санал хүсэлт гаргахыг зааварчилдаг. Засварт суурилсан аргуудаас ялгаатай нь бидний ажлын оновчтой LLM нь оновчлолын алхам бүр дээр шинэ зааварчилгааг шууд гаргадаг бөгөөд оновчлогч LLM нь өмнөх зааварчилгааг дуурайх шаардлагагүйгээр зөвхөн ажлын нарийвчлалыг сайжруулахыг шаарддаг. Жоу нартай харьцуулахад. (2022b) болон Pryzant нар. (2023) оновчлолын үйл явц нь өнгөрсөн үеийн зааварчилгааг онооны хамт мета-програмд нэгтгэж, оновчтой болгох LLM-д өндөр чанартай зааврын нийтлэг хэв маягийг олох боломжийг олгодог.

Байгалийн хэлээр санал хүсэлт гаргах. Сүүлийн үеийн ажлын хүрээнд загвар гаралтыг өөрчлөхөд байгалийн хэлээр санал хүсэлт өгөх замаар LLM-ийн гүйцэтгэлийг сайжруулах арга барилыг судалж байгаа бөгөөд энэ нь LLM-ийн хортой үр дүнг бууруулахад үр дүнтэй болохыг харуулсан (Bai et al., 2022; Ganguli et al., 2023), сайжруулах үндэслэл (Shinn et al., 2023; Madaan et al., 2023) болон код үүсгэх гүйцэтгэл (Chen et al., 2023e; Olausson et al., 2023; Shinn et al., 2023; Chen et al., 2023b), харилцан ярианы хэрэглээ (Nair et al., 2023; Madaan et al., 2023; Yuan et al., 2023) гэх мэт (Kim et al., 2023; Wang et al., 2023). Тодруулбал, Юань нар. (2023) нь жишээний түвшний санал хүсэлтийн цуглуулгаас системийн түвшний санал хүсэлтийг гарган авах, дараа нь өгөгдлийг боловсронгуй болгоход ашигладаг хүн-дүргийн хүрээг боловсруулдаг. Бидний ажилд оновчлогч LLM нь оновчлолын траекторийг мөрийн хөтөлбөрт ашигладаг бөгөөд энэ нь LLM-ээс ижил оноотой шийдлүүдийн нийтлэг шинж чанаруудыг нэгтгэн дүгнэхийг далд хэлбэрээр шаарддаг. Бид дараачийн оновчлолын алхмуудад зориулж үүсгэсэн шийдлүүдийн талаархи байгалийн хэлээр тодорхой санал хүсэлтийг нэгтгэхийг ирээдүйн ажил гэж үзэж байна.

Хэлний загваруудыг оновчтой болгох. Өмнөх зарим ажил нь хувьслын алгоритмд мутаци болон кроссовер операторын үүрэг гүйцэтгэхийн тулд хэлний загваруудыг тааруулж эсвэл өдөөсөн. Мейерсон нар. (2023) зураг, код үүсгэх зэрэг ажлууд дээр хувьслын кроссоверуудыг санал болгохын тулд цөөн тооны жишээ бүхий хэлний загваруудыг ашигладаг. Lehman et al. (2022), кодын ялгаа үүсгэх дээр сургагдсан том хэлний загварыг мутацийн оператор болгон ашигладаг бөгөөд тэд цаашид роботын симуляцийн хувьд Sodarace домэйны гүйцэтгэлийг сайжруулахын тулд нарийн тааруулах аргыг боловсруулсан. EvoPrompting (Chen et al., 2023a) нь мэдрэлийн сүлжээний архитектурыг хөгжүүлэхийн тулд том хэлний загваруудыг ашигладаг бөгөөд тэдгээр нь хувьслын хайлтыг зөөлөн шуурхай тохируулгатай хослуулдаг. Оновчлолын оролт болгон траекторийг авахын тулд OptFormer (Чен нар, 2022) гиперпараметрийн оновчлолын мэдээллийн томоохон цуглуулгад трансформаторын загварыг сургадаг. Нөгөөтэйгүүр, бидний ажил нэмэлт сургалтгүйгээр зөвхөн өдөөлтөөр оновчлолыг гүйцэтгэдэг.