Datapoker

[Folke Rosvall]

I Dagens Nyheter idag 2019-12-29 står följande: "Programmet Pluribus besegrade fem elitspelare i No-limit Texas hold'em, nutidens populäraste pokerspel. År 2017 vann programmet Libratus, utvecklat av samma forskare, en pokervariant för två spelare, men nu kan artificiell intelligens även slå många." Jag vet inte om detta tidigare finns omnämnt i pokerforumet, men jag kan inte låta bli att citera DN-artikeln.

Jag antar att det krävs mycket stor datakapacitet för att hantera programmet, men om vi tänker oss att även mindre datorer i framtiden klarar detta så kommer naturligtvis nätpokern att dö. Vem vill möta en motståndare som är omöjlig att besegra?

[GTOBåten]

"Besegrade" - Pluribus förlorade runt 2bb/100 över en 10 000 händer sample. 

Machine Learning är mer specifikt hur programmet fungerar. Precis som PIOSolver så spelar programmet mot sig själv under miljontals iterationer för att komma fram till en optimal strategi och detta gjordes på en Amazon cloud-server. 

Spelarna blev varje hand resettade till 100bbs vilket simplifierar det ordentligt för programmet. 

Med det sagt tycker jag Pluribus spelade extremt bra på tidiga gator men river-spelet ser väldigt tveksamt ut, vilket också är logiskt då det är de sista noderna i spelträdet som konvergerar till en GTO-strategi.

Jag tror inte att online-poker kommer dö ut någon gång snart men som jag ser det kommer en av två saker ske:


a) Sidor hittar strategier för att med högre säkerhet kunna garantera rättvisa spel

b) Action drivs bort från de simpla spelen till mer komplicerade varianter. MTT's och PLO är två populära varianter som kräver rejält mycket mer datorkraft för att kunna lösa, så vi får helt enkelt hoppas Moores Law stannar av innan vi når den punkten då MTTs för alla stackdjup på 9 givna positioner med ICM-implikationer är lösta. 

 

Regulation och lågkonjunktur känns i dagsläget som ett större hot mot online-pokern i det stora hela än AI, även om NLHE möjligt kan komma att vara illa ute om inte scenario a) sker. I dagsläget är det åtminstone fortfarande väldigt lukrativt. 

 

 

[Folke Rosvall]

Tack för intressant svar. När jag läser din text får jag en allmän känsla av att texten ursprungligen är skriven på engelska och sedan översatt till svenska, men jag kan ha fel.

När det gäller "a) Sidor hittar strategier för att med högre säkerhet kunna garantera rättvisa spel" så har jag svårt att förstå vad nätpokerbolagen kan göra åt det hela. Om en spelare har Pluribus i en helt separat dator utan fysisk koppling till den dator som hen spelar på så borde det vara omöjligt att upptäcka.

Däremot kanske b) kan försena utvecklingen, men förr eller senare kommer väl ett dataprogram att besegra även dessa spel.

[killerwolf2]

Den 2019-12-30 kl 00:45, säger GTOBåten :

Med det sagt tycker jag Pluribus spelade extremt bra på tidiga gator men river-spelet ser väldigt tveksamt ut, vilket också är logiskt då det är de sista noderna i spelträdet som konvergerar till en GTO-strategi.

jag får inte riktigt ihop detta. För att river skall vara bruten så måste väl tidigare noder/tidigare misstag vara orsaken till det? Knyta ihop(balansera) river med den range den har med sig till river är ju basic ur simsynpunkt väl? vad missar jag?

Redigerad 31 December , 2019 av killerwolf2

[GTOBåten]

1 timme sedan, säger killerwolf2 :

jag får inte riktigt ihop detta. För att river skall vara bruten så måste väl tidigare noder/tidigare misstag vara orsaken till det? Knyta ihop(balansera) river med den range den har med sig till river är ju basic ur simsynpunkt väl? vad missar jag?

Jag vet inte exakt mekaniken bakom det men för varje gata man går så växer ju antalet noder exponentiellt, 51 * 50 * 49 antal floppar, 51 * 50 * 49 * 48 antal turns och 51 * 50 * 49 *48 *47 antal rivers. En solver lär hinna spela genom flopparna oftare än diverse rivers då antalet är 48 * 47 fler för varje flop och därför krävs det mer jobb innan strategierna konvergerar. 

Redigerad 31 December , 2019 av GTOBåten

[degenstein]

Spelträdet är som störst i början (därav behövs de 64+GB ram för preflop solvers), om du solvar preflop måste man ta hänsyn till allt från pre till river. Turn&river är ej så beräkningskrävande (relativt) förutsatt att du har färdiga ranges. Om pluribus spelar bra på flopp så kommer den ju med bra ranges till turn&river som ej bör vara särskilt krävande att solva. Fanns solvers innan pio för enbart turn&river, det svåra var att komma med GTO ranges fram till dom noderna

[GTOBåten]

44 minuter sedan, säger degenstein :

Spelträdet är som störst i början (därav behövs de 64+GB ram för preflop solvers), om du solvar preflop måste man ta hänsyn till allt från pre till river. Turn&river är ej så beräkningskrävande (relativt) förutsatt att du har färdiga ranges. Om pluribus spelar bra på flopp så kommer den ju med bra ranges till turn&river som ej bör vara särskilt krävande att solva. Fanns solvers innan pio för enbart turn&river, det svåra var att komma med GTO ranges fram till dom noderna

Ja, att lösa en turn och river tar inte lång tid. Självklart kommer det gå mycket snabbare att hitta en lösning för 48 * 47 noder. Det betyder inte att det går snabbt att lösa turns och rivers för alla möjliga floppar. 

 

[Folke Rosvall]

Den 2019-12-30 kl 00:45, säger GTOBåten :

"Besegrade" - Pluribus förlorade runt 2bb/100 över en 10 000 händer sample. 

Om vi antar att spelet var rakefritt så borde det innebära att spelarkollektivet besegrade Pluribus med 2bb/100.

Varför påstår då DN att Pluribus vann?

[Folke Rosvall]

Jag hittade den här artikeln.

https://www.pokernews.com/news/2019/07/pluribus-first-ai-to-beat-humans-in-multiplayer-no-limit-34910.htm

Enligt den vann Pluribus. Jag får inte det att gå ihop med vad GTOBåter skriver.

[killerwolf2]

nu orkar jag inte kolla upp det, men foskare har ju en tendens att vinkla saker till sin fördel. Exempelvis om -2bb/100 winrate låg inom deras konfidensintervall yadayada hänsyn till varians yadayada så kan dom anse det som en win. Kanske den vann i evbb/100?

[killerwolf2]

Skulle vara väldigt förvånad om det var något så cheap som "det är inte statistiskt säkert att den förlorar, hence den vinner". Noam är riktigt tung kille. Tjänar gaziljoner researcha åt facebook, knåpa på AI bot i poker är för skojs skull för honom.

Redigerad 1 Januari , 2020 av killerwolf2

[GTOBåten]

[killerwolf2]

så -2evbb/100, dem kör alltså på att sample är för litet för att säkerställa om den är förlorande enligt konfidensintervall. hade den vunnit med 0.5evbb/100 hade då dem tagit det som clear win gg no re ? sigh

[okocha]

De använder en metod där de vid varje showdown/allin räknar med alla möjliga kombos den har i sin range och utifrån det räknar fram sitt EV, enligt skaparna tar de card removal osv i beräkning, detta görs endast på bottens range (då de inte vet spelarnas range), efter detta var botten "vinnande".

[GTOBåten]

6 timmar sedan, säger okocha :

De använder en metod där de vid varje showdown/allin räknar med alla möjliga kombos den har i sin range och utifrån det räknar fram sitt EV, enligt skaparna tar de card removal osv i beräkning, detta görs endast på bottens range (då de inte vet spelarnas range), efter detta var botten "vinnande".

Känns som en rimlig approach men samtidigt rätt oärligt att framställa något av detta som ett bevis på att botten faktiskt var bättre än en grupp, till stor del mediokra (i många fall inte ens CG-regs), spelare. 

Sannolikt vinner Linus över 10bb/100 i någon liknande line-up som nämndes i artikeln. 

[Ola Brandborn]

Den 2019-12-31 kl 16:21, säger GTOBåten :

Jag vet inte exakt mekaniken bakom det men för varje gata man går så växer ju antalet noder exponentiellt, 51 * 50 * 49 antal floppar, 51 * 50 * 49 * 48 antal turns och 51 * 50 * 49 *48 *47 antal rivers. En solver lär hinna spela genom flopparna oftare än diverse rivers då antalet är 48 * 47 fler för varje flop och därför krävs det mer jobb innan strategierna konvergerar. 

Bara ett litet påpekande, matten ovan är felaktig vad gäller floppen (turn och river stämmer). As Kc 2d är givetvis samma flopp som 2d As Kc.
Sedan börjar väl ekvationen med endera 50 eller 52, var kommer 51 ifrån? Saknar kortleken hjärter dam? Eller missar jag något där?

Redigerad 2 Januari , 2020 av Ola Brandborn

[killerwolf2]

oh lord, poängen gick ju fram hursomhelst, noder växer extremt mycket var väl hans poäng, inte perfekt matte. För att styrka det han sa ifall folke eller någon undrar

->>

ett simplistiskt träd där vi enbart kan betta 50,100 och checka

b50->call
b100->call
check/check 

som enda utfallen på flop, så kommer alla dessa leda till nästa steg i trädet, alla med sina egna respektive ranger, så turn:
49 möjliga turns:

b50->call->As
b50->call->K2s
..
b50->call->2d
rinse repeat för b100, check.

sen kommer vi till river med 48 möjliga river utfall, där vi bettar 50, 100 eller checkar. Bara med detta så har vi grymt mycket noder,  sinnes vad träden växer om du kastar x antal betsizes, olika c/r sizes ai osv. i tillgänglig datorkraft just nu i princip oändlig är träden om du ger tillräckligt många betsizes.
icke superdator bottar beskär detta rejält med en heuretisk aproach då de flesta är hårdkodade och därmed om du vet deras sizes i dem har solvat för teoretiskt sett något exploitbar om du själv studerat dessa oortodoxa sizes som dem måste approximera mot så länge sizingen i själv inte ger upp för mycket EV genom att vara cpstörd rent allmänt. (Knappast på näsblods dock om dem finns, dom lär ha tillräckligt bra coverage för att en människa aldrig kan spela ut postflop HU i alla fall) 


Däremot superdatorer kan realtime solva med tillräckligt många iterationer för att vara oslagbar för en människa så då behövs ingen databas av solves och därmed blir den unexploitable (kan försvara sig mot alla sizings för att den solvar vs den on the fly)
 

Redigerad 2 Januari , 2020 av killerwolf2

[killerwolf2]

typo, K2s=Ks obv

Redigerad 2 Januari , 2020 av killerwolf2