Uniswap V3'te Akıllı Likidite Tedariği için Ayrıntılı Bir Çerçeve

Uniswap V3'teki likidite provizyonu, maksimize etmek için iyi tanımlanmış bir fayda fonksiyonu ile stokastik bir optimal kontrol problemi sunar. Bu makale, aracı tabanlı modelleme ve takviyeli öğrenmenin bir kombinasyonunu kullanarak akıllı likidite provizyonuna yönelik yenilikçi bir çerçeve sunmaktadır. Çerçevemiz, likidite sağlama stratejilerini optimize etmek için sağlam ve uyarlanabilir bir çözüm sağlar. Uniswap V3 modeli gerçek dünya piyasa koşullarını taklit ederken aracı tabanlı model (ABM), Uniswap V3 havuzlarıyla aracı etkileşimlerini simüle etmek için bir ortam oluşturur. Derin deterministik politika değişimleri (DDPG) kullanılarak eğitilen takviyeli öğrenme aracısı, optimum stratejileri öğrenerek makine öğreniminin DeFi katılımını artırmadaki potansiyelini sergiliyor. Bu yaklaşım, likidite sağlayıcılarının kârlılığını ve CFMM piyasalarına ilişkin anlayışlarını geliştirmeyi amaçlamaktadır.

İçeriğe Genel Bakış

• giriiş
• Akıllı likidite sağlama çerçevesi
• Akıllı Likidite Tedarik Çerçevesinin Bileşenleri
• Aracı tabanlı simülatör
• Takviyeli Öğrenme Modeli
• Sınırlamalar
• Gelecek iş
• Çözüm
• Kaynaklar
• Referanslar

giriiş

Piyasa yapıcılığıyla ilgili önceki makalemde geleneksel finansal piyasalarda piyasa yapıcılığı mekanizmalarını ve stratejilerini araştırdık. Bu bilgilerden yola çıkarak bu makale, Uniswap V3 bağlamında akıllı likidite tedariği için yenilikçi bir çerçeve sunmaktadır. Önceki araştırmamızda da belirtildiği gibi amacımız, merkezi olmayan finansta ( DeFi) piyasa dinamikleri ve likidite yönetimi anlayışımızı, özellikle Akıllı Likidite Tedarik Çerçevesinin geliştirilmesi yoluyla genişletmekti.

Merkezi olmayan finans (DeFi), küresel bir kitlenin erişebileceği yenilikçi finansal ürünler ve hizmetler sunarak kayda değer bir büyüme kaydetti. Bu yeniliğin öncüsü olan Uniswap V3, konsantre likidite özelliğiyle likidite provizyonunda devrim yarattı. Ancak bu ilerleme, likidite sağlayıcıları için karmaşık karar verme zorluklarını da beraberinde getiriyor. Bu makale, likidite sağlama stratejilerini incelemek ve optimize etmek için simüle edilmiş bir ortam sunan, bu zorlukların üstesinden gelmek için tasarlanmış kapsamlı bir çerçeve sunmaktadır.

Çerçevemiz üç temel bileşenden oluşur: Uniswap V3 modeli, aracı tabanlı model (ABM) ve takviyeli öğrenme aracısı. Uniswap V3 modeli, havuzun bir temsilini sağlayarak, belirteçler ve havuzlarla konuşlandırmayı ve etkileşimi mümkün kılar. ABM, temsilci etkileşimlerini ve pazar dinamiklerini simüle ederek, strateji değerlendirmesi için zengin bir ortam yaratarak karmaşıklığı ortaya çıkarır. Bu ortamda faaliyet gösteren takviyeli öğrenme aracısı, likidite sağlamada optimum performansı hedefleyen stratejileri öğrenmek ve uyarlamak için derin bir deterministik politika eğimi yaklaşımını benimser.

Bu araştırma, Uniswap V3 ortamında likiditeyi özerk bir şekilde yönetmek ve optimize etmek için takviyeli öğrenmeyi (RL) kullanarak akıllı bir likidite provizyon (ILP) mekanizması geliştirmeyi amaçlamaktadır. Mekanizma, CFMM piyasasının karmaşık dinamiklerine uyum sağlarken kazanılan ücretleri, kalıcı zararı ve likidite sağlayıcılarının tercihlerine dayalı diğer ölçümleri dikkate alarak fayda fonksiyonunu en üst düzeye çıkarmayı amaçlamaktadır.

Akıllı Likidite Tedarik Çerçevesi

RL çerçevesinde likidite sağlama sorunu Markov Karar Süreci (MDP) olarak formüle edilmiştir. MDP; durumlar, eylemler ve ödüllerden oluşur.

• Eyaletler: Eyaletler, varlık fiyatları, işlem hacimleri ve diğer ilgili değişkenler dahil olmak üzere mevcut piyasa koşullarını temsil eder.

  
  

• Eylemler: Eylemler, likidite tahsislerinin ayarlanması, portföylerin yeniden dengelenmesi vb. gibi likidite sağlayıcısı tarafından alınan kararlara karşılık gelir.

  
  

• Ödüller: Ödüller, likidite sağlayıcısının amaç fonksiyonuna, tercihlerine ve kısıtlamalarına dayalı olarak sonuçların arzu edilirliğini ölçer. Ödüller arzu edilen sonuçlar için pozitif (örneğin yüksek getiri) ve istenmeyen sonuçlar için negatif (örneğin yüksek risk veya düşük performans) olabilir.

  
  

• Amaç Fonksiyonu: Amaç fonksiyonu, likidite sağlayıcısının arzu ettiği sonucu temsil eder; bu, getirileri en üst düzeye çıkarmak, riskleri en aza indirmek veya ikisi arasında belirli bir dengeyi sağlamak gibi faktörlerin bir kombinasyonu olabilir. Kısıtlamalar, likidite tahsisleri, sermaye kullanımı, risk tolerans seviyeleri veya likidite sağlayıcısı tarafından tanımlanan diğer kısıtlamalara ilişkin sınırlamaları içerebilir.

  
  

RL eğitimi, aracının geri bildirime dayalı olarak politikasını sürekli olarak güncellediği yinelemeli bir süreçtir. Acente, deneyimlerinden ders alır ve zaman içinde karar verme sürecini geliştirir, giderek daha optimal likidite sağlama stratejilerine yaklaşır.

RL temsilcisi eğitildikten sonra, likidite sağlayıcısının amaç fonksiyonu ve kısıtlamalarına göre performansını değerlendirmek için geçmiş veriler veya simüle edilmiş ortamlar kullanılarak test edilebilir ve değerlendirilebilir. Temsilcinin performansı, getiriler, risk ölçümleri veya diğer ilgili performans göstergeleri gibi ölçümler kullanılarak ölçülebilir.

Likidite sağlama mekanizması, RL algoritmasını uygulayarak değişen piyasa koşullarını öğrenebilir ve bunlara uyum sağlayabilir, optimal likidite sağlama stratejilerini belirleyebilir ve likidite sağlayıcısı tarafından belirlenen kısıtlamaları ve tercihleri dengeleyebilir. RL, mekanizmanın, çeşitli ödünleşimleri ve kısıtlamaları özerk ve dinamik bir şekilde dikkate alarak likidite sağlayıcısının amaç fonksiyonunu en üst düzeye çıkaracak çözümler bulmasını sağlar.

Akıllı Likidite Tedarik Çerçevesinin Bileşenleri

Çerçeve üç ana bileşenden oluşur:

UniswapV3 Modeli

Python'da uygulanan Uniswap V3 modeli, Uniswap V3 protokolünün ayrıntılı ve işlevsel bir simülasyonunu sunarak, onun incelikli mekaniğini yakalar ve kullanıcılara protokolle etkileşime geçmek için kapsamlı bir araç seti sağlar. UniswapV3_Model sınıfı, belirteçlerin ve havuzların dağıtımını yönetir, havuzları başlatır ve havuz eylemleri ve havuz durumu alımı için bir arayüz sağlar.

Genel Bakış

Uniswap Modeli, Uniswap V3'ün temel mekanizmalarını kapsayan Akıllı Likidite Tedarik Çerçevesinin temelini oluşturur. Gerçekçi ve etkileşimli bir simülasyon oluşturmak için Uniswap'in V3-Core'undan brownie kullanılarak yerel bir Ganache ortamında konuşlandırılan derlenmiş akıllı sözleşmelerden yararlanır.

Sözleşme Derleme ve Dağıtım

Çerçeve, Uniswap V3 akıllı sözleşmelerini derlemek ve dağıtmak için akıllı sözleşmelere yönelik Python tabanlı bir geliştirme ve test çerçevesi olan Brownie ile entegre olur. Bu sözleşmeler daha sonra yerel bir Ganache ortamına dağıtılarak test ve geliştirme için bir sanal alan sağlanır. Bu kurulum, kullanıcıların Uniswap ortamıyla gerçek varlıklara veya ağ işlemlerine ihtiyaç duymadan etkileşimde bulunabilmesini sağlayarak güvenli ve kontrollü bir deneme alanı sağlar.

Ajan Tabanlı Simülatör

Uniswap V3 ortamını simüle etmek için kullanılır, aracı politikaları, Uniswap piyasa katılımcılarının dinamiklerini içerecek şekilde tanımlanır. Dinamik Uniswap ortamını simüle etmek için farklı türde aracılar kullanılır

giriiş

Uniswap V3 ekosistemindeki bireysel aracıların eylemlerini ve etkileşimlerini simüle eder. ABM, farklı katılımcıların karmaşık davranışlarını modelleyerek, Uniswap V3 dinamik ortamının kapsamlı bir arayüzünü sağlayarak likidite sağlama stratejilerinin analizine ve optimizasyonuna olanak tanır.

Temsilci Türleri ve Davranışları

ABM, her biri Uniswap V3 ekosisteminde belirli bir rolü temsil eden çeşitli aracı türlerini içerir. İki ana aracı, sırasıyla likidite sağlamak ve token takasları gerçekleştirmek için Uniswap havuzlarıyla etkileşime giren Likidite Sağlayıcı Temsilci ve Takas Aracısıdır. Bu temsilcilerin davranışları, agents_policies.py dosyasında tanımlanan politikalar tarafından belirlenir ve eylemlerinin gerçek dünya stratejileri ve piyasa koşullarıyla uyumlu olması sağlanır.

• Likidite Sağlayıcı Temsilcisi: Bu aracı Uniswap havuzlarına likidite ekler ve likiditeyi kaldırır. Piyasanın mevcut durumuna ve acentenin tercihlerine göre eylemlerini belirleyen bir dizi politika izler.

  
  

• Swapper Agent: Swapper Agent, fiyat farklılıkları ve arbitraj fırsatlarından yararlanarak Uniswap havuzları içinde token takasları gerçekleştirir. Davranışı, işlem ücretleri ve kaymalar dikkate alınarak, işlemlerin potansiyel kârlılığını değerlendiren politikalar tarafından yönlendirilir.

Simülasyon Yapılandırması ve Yürütülmesi

netlist.py dosyası ABM'nin merkezinde yer alır ve aracıların birbirleriyle ve Uniswap havuzlarıyla nasıl etkileşime gireceğini yapılandırır. Aracılar, politikalar ve simülasyon ortamı arasındaki ilişkileri tanımlar.

SimEngine.py , SimStateBase.py ve SimStrategyBase.py modülleri simülasyonları çalıştırmak için temel unsurları sağlar. SimEngine simülasyonu yönetir, zaman akışını ve aracı eylemlerin yürütülmesini yönetir. SimStateBase, simülasyonun mevcut durumunu korur; aracı tutma durumları, havuz durumları ve diğer ilgili değişkenler hakkındaki verileri depolar. SimStrategyBase, simülasyon boyunca temsilci davranışını yönlendiren kapsayıcı stratejileri tanımlar.

Takviyeli Öğrenme Modeli

giriiş

Takviye Öğrenim (RL) Aracısı, aracı tabanlı bir model olan Uniswap Modeli aracılığıyla Uniswap V3 ekosistemiyle etkileşimde bulunmak üzere tasarlanmış Akıllı Likidite Tedarik Çerçevesinin önemli bir bileşenidir. Bu bölümde RL Aracısı, ortamı ve eğitim için kullanılan DDPG (Derin Deterministik Politika Gradyanı) algoritması ayrıntılı olarak ele alınmaktadır.

RL Aracı Ortamı

RL Agent, DeFi pazarını simüle etmek için Uniswap modeli ve aracı tabanlı modelle arayüz oluşturan DiscreteSimpleEnv adlı özel bir ortamda çalışır. Bu ortam, temsilcinin Uniswap havuzlarıyla etkileşimini kolaylaştırarak likidite ekleyip çıkarmasına ve eylemlerinin sonuçlarını gözlemlemesine olanak tanır. RL Aracısı, Uniswap V3'te gerçek dünya likidite provizyonunu simüle etmek için Uniswap modeli ve ABM ile etkileşime girer. Gerçekçi etkileşimler sağlayan, ABM'de tanımlanan politikalar ve simülasyon konfigürasyonu ile likidite eklenmesi veya çıkarılmasıyla sonuçlanan eylemleri seçer.

• Durum Alanı: Ortamın durum alanı, mevcut fiyat, likidite ve ücret artışı gibi çeşitli piyasa göstergelerini içerir. Bu parametreler normalleştirilir ve her zaman adımında aracıya sunulur.

  
  

• Eylem Alanı: Temsilcinin eylem alanı, bir Uniswap havuzuna likidite eklemek için fiyat sınırlarını temsil eden sürekli değerlerden oluşur. Bu eylemler Uniswap havuzlarıyla etkileşime dönüştürülerek ortamın durumunu etkiler.

  
  

• Ödül Fonksiyonu: Ödül fonksiyonu RL Temsilcisinin eğitimi için çok önemlidir. Ücret gelirini, kalıcı kaybı, portföy değerini ve potansiyel cezaları hesaba katarak acentenin öğrenme sürecine rehberlik edecek skaler bir ödül sinyali sağlar.

  
  

DDPG Temsilcisi

DDPG Aracısı, derin işlev yaklaşımlayıcılarını kullanan, modelden bağımsız, politika dışı, aktör-eleştirmen bir algoritmadır. Yüksek boyutlu durum uzaylarını ve sürekli eylem alanlarını işleyebilir, bu da onu Uniswap V3 ortamımız için çok uygun hale getirir.

• Aktör Ağı: Bu ağ, bir durum için en iyi inanılan eylemi sağlamaktan sorumludur. Daha sonra, likidite eklemek için fiyat sınırlarını temsil eden, daha sonra ajan env'de istenen aralığa ölçeklendirilen, fiyat_düşük ve fiyat_üst için göreceli değerler çıkaran bir sigmoid çıktı katmanına sahiptir.
• Eleştirmen Ağı: Bu ağ, belirli bir durumda bir eylem gerçekleştirmenin beklenen getirisini tahmin ederek eylem değeri fonksiyonunu değerlendirir.
• Hedef Ağlar: DDPG, hem aktör hem de eleştirmen için eğitimi istikrara kavuşturmak üzere yavaşça güncellenen hedef ağları kullanır.
• Deneyim Tekrarı: Bu teknik, geçmiş deneyimlerin bir tekrar arabelleğini depolamak için kullanılır, böylece aracının çeşitli örneklerden öğrenmesine, gözlemlerdeki korelasyonları bozmasına ve öğrenmeyi kolaylaştırmasına olanak tanır.

Uniswap Modeli ve ABM ile Etkileşim

RL Agent, Uniswap V3'te gerçek dünya likidite provizyonunu simüle etmek için Uniswap modelinden ve aracı tabanlı modelden yararlanır. DiscreteSimpleEnv aracılığıyla Uniswap havuzlarıyla etkileşime girerek likidite ekleme veya kaldırmayla sonuçlanan eylemler gerçekleştirir. Aracının politikaları ve simülasyon konfigürasyonu ABM bileşeninde tanımlanarak gerçekçi ve tutarlı bir dinamik ortam sağlanır.

• Temsilciyi Eğitin ve Değerlendirin: Temsilci, her biri farklı bir piyasa senaryosunu (farklı havuz) temsil eden bir dizi bölüm üzerinden eğitilir. Acentenin performansı, likidite sağlamayla ilgili riskleri en aza indirirken getirileri en üst düzeye çıkarma becerisine göre değerlendirilir. Akıllı Likidite Tedarik Çerçevesinin etkinliği, takviyeli öğrenme (RL) aracısının performansının değerlendirilmesi yoluyla değerlendirilir.

  
  

• Ortam Kurulumu: RL aracısını değerlendirmek için, DiscreteSimpleEnvEval temel ortamını genişleten özel bir değerlendirme ortamı kurduk DiscreteSimpleEnv . Bu ortam, aracı politikalarının değerlendirilmesi için özel olarak tasarlanmıştır.

  
  

• Temel Aracı: Değerlendirme kurulumumuzda, RL aracısının performansını temel aracının performansıyla karşılaştırırız. Temel acentenin eylemleri, likidite havuzunun mevcut durumuna dayanan bir temel politika tarafından belirlenir. Bu aracı, RL aracısının performansını değerlendirmek için bir referans noktası sağlamayı amaçlamaktadır.

Sonuçlar

Eğitim

Değerlendirme

Sınırlamalar

• Havuz Senkronizasyonu: Şu anda çerçeve, havuzların gerçek zamanlı senkronizasyonunu tam olarak yakalayamamaktadır ve bu da gerçek Uniswap V3 dinamiklerinin modellenmesinde tutarsızlıklara yol açabilir. Gelecekteki çalışmalar, daha iyi havuz senkronizasyonu için mekanizmaların dahil edilmesine, gerçekçiliği artırmak için potansiyel olarak işaret/konum verilerinin veya olayların kullanılmasına odaklanmalıdır.

  
  

• Naif Acente Politikaları: Mevcut çerçevede uygulanan acente politikaları nispeten basit ve naiftir. Daha doğru simülasyonlar elde etmek için gelecekteki yinelemelerde daha kapsamlı aracı politikaları tanımlamayı amaçlamalıdır. Bu politikalar gürültü tüccarları, bilgili tüccarlar, perakende likidite sağlayıcıları ve kurumsal likidite sağlayıcıları gibi çeşitli Uniswap aracılarını modelleyebilir. Alternatif olarak, geçmiş havuz verileriyle eğitilen istatistiksel modeller, daha gerçekçi davranışlar için aracı politikalarına bilgi sağlayabilir.

  
  

• Seyrek Gözlem Alanı: Temsilcilere sağlanan gözlem alanı, havuzun durumu hakkında kapsamlı bilgiden yoksundur. Karar verme yeteneklerini geliştirmek için gelecekteki iyileştirmeler, aracılara havuzun durumuna ilişkin daha kapsamlı bir anlayış sunan mühendislik özelliklerinin yanı sıra onay ve konum verilerini de içermelidir.

  
  

• Sınırlı Eylem Alanı: Acentelerin eylem alanı şu anda sabit likidite miktarları ve sınırlı fiyat aralığı sınırlarıyla sınırlıdır. Likidite tedariğinde daha fazla esnekliğe izin verecek şekilde eylem alanının genişletilmesi ve adım başına birden fazla pozisyonun dikkate alınması simülasyonların doğruluğunu artırabilir.

  
  

Gelecek iş

Aracı Ortamı:

1. Senkronize Havuzlar: Uniswap V3 ortamında daha gerçekçi dinamikler oluşturmak için muhtemelen işaretleme/konum verileri veya olayları kullanarak havuzları senkronize etmek için mekanizmalar uygulayın.

   
   

2. Hiperparametre Ayarlaması: Aktör/Eleştirmen Ağ Mimarisi, alfa, beta, tau, parti boyutu, adımlar, bölümler, ölçeklendirme parametreleri (ödüller, eylemler, gözlem alanı)

   
   

3. Kapsamlı Aracı Politikaları: Çeşitli Uniswap aracılarını doğru bir şekilde modelleyen veya aracı davranışını bilgilendirmek için geçmiş havuz verileri üzerinde eğitilmiş istatistiksel modelleri kullanan daha karmaşık analitik politikaları tanımlayın.

   
   

4. Bilgilendirici Gözlem Alanı: Onay ve konum verilerini dahil ederek gözlem alanını geliştirin ve aracılara havuzun durumuna ilişkin kapsamlı bir görünüm sağlayan özellikler tasarlayın.

   
   

5. Geliştirilmiş Ödül İşlevi: Daha geniş bir faktör yelpazesini hesaba katan ve daha etkili temsilci eğitimine yol açan gelişmiş bir ödül işlevi geliştirin.

   
   

6. Çoklu Pozisyonlar: Her zaman adımında sabit bütçeli bir pozisyon yerine, temsilciye simülasyonun başlangıcında bir bütçe tahsis edildiği ve daha sonra bu bütçeyi sonraki adımlarda en iyi şekilde kullanmayı öğrendiği daha kapsamlı bir mekanizma uygulayın.

   
   

7. Temel Politikalar: RL aracısının performansını değerlendirmek için daha kapsamlı temel politikalar tanımlayın

Aracı Algoritması

• Hiperparametre Ayarlama: Daha iyi eğitim performansı için takviyeli öğrenme aracısının hiperparametrelerini daha da iyileştirin ve optimize edin.

  
  

• Diğer RL Aracılarıyla Denemeler: Belirli senaryolarda avantaj sağlayıp sağlamadıklarını belirlemek için Yakın İlke Optimizasyonu (PPO) veya Soft Actor-Critic (SAC) gibi alternatif RL aracı modellerini keşfedin.

  
  

• Çoklu Temsilci RL (MARL): Çoklu likidite sağlayıcıları ve takasçıları arasındaki etkileşimlerin modellenmesinde faydalı olabilecek çoklu aracılı takviyeli öğrenme tekniklerinin uygulanmasını araştırın.

  
  

• Çevrimiçi Öğrenme: Temsilcilerin değişen piyasa koşullarına gerçek zamanlı olarak uyum sağlamasına olanak tanıyan çevrimiçi öğrenme stratejilerini uygulayarak daha dinamik ve uyarlanabilir bir likidite provizyon çözümü sağlayın.

Çözüm

Merkezi olmayan finansın (DeFi) hızla gelişen ortamında, likidite tedariği, verimli ve güvenli ticaretin sağlanmasında önemli bir rol oynuyor. Uniswap V3, yenilikçi konsantre likidite özelliğiyle DeFi likidite yönetiminde mümkün olanın sınırlarını zorladı. Ancak bu dinamik ekosistemde likidite sağlama stratejilerinin optimize edilmesinin karmaşıklığı, yenilikçi çözümler gerektiriyor.

Akıllı Likidite Tedarik Çerçevemiz, bu zorlukların üstesinden gelmede ileriye doğru atılmış önemli bir adımı temsil ediyor. Aracı tabanlı modelleme ile takviyeli öğrenmeyi birleştirerek likidite sağlayıcıları ve piyasa katılımcıları için güçlü bir araç seti oluşturduk. Bu çerçeve, kazanılan ücretleri, kalıcı zarar azaltmayı ve bireysel tercihlere göre uyarlanmış diğer ölçümleri kapsayan fayda işlevlerini en üst düzeye çıkarmaya odaklanarak likidite sağlama stratejilerini optimize etmek için sağlam ve uyarlanabilir bir çözüm sunar.

Kaynaklar

Referanslar