Existe uma estratégia ótima no poker chamada equilíbrio de Nash. No início de 2013, escrevi sozinho um programa que calcula o equilíbrio de Nash para a forma mais popular de poker, o No-Limit Holdem. Mas fazer um programa e vendê-lo com lucro são duas tarefas diferentes.
Este artigo é sobre como abordei os jogadores de poker mais fortes do mundo, negociei um preço com eles, os convenci da funcionalidade do meu algoritmo e, no final, consegui ganhar $500.000 no primeiro ano.
Meu nome é Oleg Ostroumov, conhecido no poker online como Laegoose.
Poker e o Equilíbrio de Nash
Conheci o mundo do poker no verão de 2008, após o primeiro ano do Departamento de Mecânica e Matemática da Universidade Estadual de Moscou, quando fui para um acampamento estudantil. Havia um cara que ganhava a vida jogando poker online. Ouvindo suas histórias, eu disse: “Uau, você pode jogar um jogo de computador o dia todo e ser pago por isso?!! Eu tenho que aprender isso. O jogo é baseado na teoria da probabilidade, então com certeza terei sucesso.”
Depois de um ano e meio, já tinha ganhado dinheiro suficiente para alugar um apartamento e me mudar da casa dos meus pais. Existem milhares de jogadores profissionais no mundo para quem o poker é um trabalho. O mais forte deles ganha milhões de dólares por ano.
A complexidade e a beleza do poker residem no fato de você não ver as cartas do seu oponente, ao contrário xadrez, em que você tem a disposição completa das peças diante de seus olhos.
No entanto, também existe uma estratégia ótima no poker, o chamado "equilíbrio de Nash". Em uma disputa longa o suficiente contra qualquer outra estratégia, o equilíbrio de Nash vencerá ou empatará.
A existência do equilíbrio de Nash no poker é bastante simples de provar, com base nas matérias de teoria dos jogos do primeiro ano do curso de Mecânica e Matemática. Mas a prova não fornece uma maneira prática de calcular esse equilíbrio.
Toda essa situação foi irritante porque na 11ª série ganhei o diploma da Olimpíada Russa de Informática, depois aprendi a implementar os algoritmos mais complexos. Mas na resolução de um problema real, para calcular o equilíbrio de Nash, nenhum deles ajudou! Pensamentos corriam pela minha cabeça: "Eu posso jogar poker, posso programar, devo ser capaz de fazer a porra de um programa de poker." Tornou-se um desafio pessoal para mim.
Hoje, a IA para poker, equilíbrio de Nash e teoria de jogo ideal (GTO) são dominantes. No final de 2012, até Tom “durrrr” Dwan, um dos jogadores mais fortes do mundo, escreveu no fórum twoplustwo que não acreditava na existência de um equilíbrio de Nash no No-Limit Holdem.
Em 2013, os programas disponíveis no mercado eram capazes de calcular EV em situações triviais de poker, mas não se falava em resolver o jogo inteiro.
No entanto, em janeiro de 2013, após meio ano de experimentação e codificação, consegui criar um programa que calculava os equilíbrios de Nash para a variante mais popular do poker No-Limit Holdem.
Para os conhecedores: o programa calculou o equilíbrio para No-Limit Holdem, começando no flop, com dois jogadores ativos e com um pequeno número de tamanhos de aposta permitidos. O algoritmo é chamado de Monte Carlo Counterfactual Regret Minimization.
Resumindo, o programa começou usando uma estratégia completamente aleatória, e depois “evoluiu”, ou seja, jogou contra si mesmo, e em cada próxima iteração aumentou a frequência de ações mais lucrativas.
Abordarei os detalhes técnicos da criação do programa em um artigo separado.
Eu entendi que havia criado um produto único e que seria muito interessante e benéfico para os jogadores que jogam em high stakes aprofundar sua compreensão do jogo. O nome "solver” foi posteriormente dado ao programa por meus clientes que falam inglês.
Eu fui o primeiro a criar tal produto. Dezenas de profissionais bem-sucedidos de high stakes com quem conversei não tiveram acesso ou ouviram falar dos primeiros solvers de No-Limit Holdem. Havia artigos acadêmicos sobre algoritmos para calcular o equilíbrio de Nash, e eu me baseava neles. Mas o produto acabado, com o qual você pode treinar e aprimorar suas habilidades, não existia antes.
Encontrando clientes
Tomei a decisão de vender meu produto a um preço bastante elevado para um pequeno número de profissionais que jogavam high stakes, e não barato para um grande público.
Manter o programa em segredo era interesse de todos. Afinal, se o seu oponente suspeitar que você estudou e reproduziu a estratégia ideal, então, em primeiro lugar, ele não jogará muito com você e, em segundo lugar, copiará sua estratégia. E se ele não suspeitar de nada, é provável que pense que você é um esquisito com uma estratégia estranha que está apenas tendo sorte.
Naquele momento, eu estava jogando NL200 e sabia programar, mas não tinha experiência em vender software e administrar um negócio.
Uma complicação adicional foi que, por um lado, é benéfico manter a existência do programa em segredo e, por outro lado, é necessário procurar clientes em potencial. Mas como determinar o preço quando não há concorrentes no mercado?
Meu processo de pensamento foi mais ou menos assim: produtos que calculam o equilíbrio de Nash em situações simples custam $50, outros softwares para análise de jogos custam o mesmo. Meu programa era mais legal, então a primeira ideia era cobrar $500 por pessoa. Então decidi que era possível por $2.000. Aos poucos, fui ficando mais ousado ao pensar: “Já que o programa é legal, quem sabe vender por $10 mil?”. E no dia seguinte já pensei mais radicalmente: “Por que não por $50.000? Porra, vou ficar rico!!"
No mundo dos grandes negócios, centenas de milhares e milhões de dólares em software são comuns, mas eu iria vender para pessoas específicas, não para corporações. Todos os meus conhecidos na época recebiam no máximo $5.000 por mês.
Então li um livro de Gavin Kennedy chamado "Tudo é negociável". Uma das teses era sobre o fato de você precisar iniciar as negociações com um preço maior do que aquele com o qual o comprador acabará concordando. E pensei que pudesse pedir $100.000 e reduzir para $50.000.
Uma vantagem para mim era que encontrar um bom treinador de poker era muito difícil. Para os melhores jogadores, era mais lucrativo jogar e ganhar dinheiro do que compartilhar segredos. Jogadores fortes, mas não os mais fortes, às vezes cobravam $1.000 por hora ou mais. E o programa era um professor ideal com tempo de uso ilimitado.
Um preço tão alto, não era só sonho, eu já tinha um potencial comprador que falava sério: Trueteller.
Trueteller era um jogador de muito sucesso que em apenas um ano e meio subiu para os high stakes e ganhou mais de $2.000.000 em um formato de poker na qual eu mesmo me especializei (stacks de 20bb no PokerStars). Além da perspectiva de ganhar dinheiro, foi interessante conversar com o mais forte dos meus adversários e entender qual é a mágica dele.
O contato do Skype de Trueteller me foi dado por um amigo em comum. Inicialmente, a ideia era conseguir um acordo exclusivo de seis dígitos com o Trueteller. Ambos entendemos que o produto era único e podia dar uma grande vantagem no jogo. Mas as negociações não progrediram por um mês e meio, as partes não confiavam uma na outra.
Ele estava jogando com $40.000 na mesa na época, estava literalmente grindando o dia todo e não conseguia encontrar tempo para uma ligação. Em um certo momento, ele levou uma semana para me responder. Eu era tímido, não o lembrei, esperei duas semanas. Aí conversamos, e eu estava com raiva. O diálogo foi o seguinte:
Eu (irritado): “Você está me fazendo perder dinheiro. Me pague $5.000 por semana enquanto negociamos e você fica com a exclusividade."
Trueteller (também irritado): "Ok, você vai me pagar $2.000 por hora enquanto estivermos conversando? Essa é minha expectativa no jogo agora!"
Tive medo de que brigássemos e que não houvesse acordo algum, e não insisti. Mas percebi que estava perdendo tempo e precisava procurar outros clientes, e informei isso a ele.
Timofey já havia falado sobre a compra do primeiro solver em uma entrevista para o GipsyTeam:
Conte-nos sobre o primeiro solver. Você disse que comprou em 2013 por $100k, Raul Gonzalez e jogadores na mesma época pagaram $200k . Era um software diferente?
Não, era o mesmo. Compramos tudo de uma pessoa, apenas negócios diferentes. Raul comprou com vários jogadores e eu comprei sozinho.
Você provavelmente já recebeu propostas inúteis ou devem ter tentado aplicar golpes em você. Como saber se era útil? Já estava claro para você que existia um jogo ideal no poker?
Sim, houve propostas completamente absurdas, como comprar um software que custava $3 milhões. Nem considerei isso seriamente. E o fato de que no poker existe uma estratégia que corresponde ao equilíbrio de Nash, eu percebi assim que comecei a jogar. Mesmo antes de os solvers aparecerem, em alguns spots mais simples, eu apenas descobri fazendo cálculos um pedaço de papel qual seria o equilíbrio de Nash. Então, Oleg apareceu e se ofereceu para vender um programa que calculava o equilíbrio.
A busca progrediu aos trancos e barrancos. Entrei em contato com alguns jogadores que conhecia, mas eles absolutamente não viram o valor do programa, ofereceram de $50 a $500. Falar sobre valores de cinco dígitos para uma licença os deixava perplexos.
Lembro-me bem de como escrevi para uma estrela daqueles anos e ofereci a ele uma demonstração do software, mas ele ignorou minha mensagem e falou sobre mim a um amigo incomum. Como descobri muito mais tarde, ele não acreditava que o equilíbrio de Nash pudesse ser calculado e tinha certeza de que eu era algum tipo de golpista. É engraçado que depois ele se tornou um dos meus clientes mais interessados.
Então escrevi para Alex 'Kanu7' Millar, um dos 10 melhores jogadores do mundo, no fórum twoplustwo.
Eu era um novo usuário no fórum e não podia enviar mensagens privadas para outras pessoas, então pedi uma conta ao meu amigo Ivan Bogaty. Escrevi para Alex e comecei a me preocupar que ele achasse que algum russo estivesse tentando enganá-lo. Também pesquisei no Google e descobri que o apelido de Ivan estava em algum fórum de hackers. Tudo poderia dar errado, mas, felizmente, isso não impediu que Alex e eu começássemos uma conversa.
Mostrei a ele a demo e combinamos que ele conversaria com alguns amigos, que também jogavam high stakes, e então discutiríamos a exclusividade para o grupo deles. E assim aconteceu, ele chamou amigos e mostrei tudo a eles. Este grupo de jogadores estava interessado, mas o negócio e o pagamento estavam emperrados. E o meu tempo estava acabando.
Trecho de uma entrevista com Alex:
Antes do PioSolver aparecer, eu já tinha acesso a um solver. Na verdade, quando ainda ninguém tinha ouvido falar sobre solvers, recebi uma mensagem no 2+2. Não entendi o que era no começo. Talvez algum spam? O trabalho do solver foi descrito em detalhes lá. Começamos a conversar, então montei uma pequena equipe e pagamos uma quantia de seis dígitos pelos direitos exclusivos do programa. Quando recebi um software que ninguém mais tinha, queria não apenas jogar o tempo todo, mas também estudar. Eu dediquei todo o seu tempo ao poker.
No poker, sempre há a oportunidade de fazer algo que outros jogadores ainda não estão fazendo. Por exemplo, na época em que só havia o Holdem Manager, depois de cada sessão de heads-up, eu passava 4-5 horas estudando o jogo do adversário para me preparar para o próximo duelo Se você não fizer isso, outros jogadores irão ultrapassá-lo.
Naquela época, eu estava apenas programando e negociando o solver, por sete meses. Eu não jogava poker, e meu dinheiro estava acabando.
No mesmo livro, “Tudo é negociável”, é dito: “Quem tem pressa, ganha menos”. Eu queria conseguir mais, então quando fiz uma oferta para clientes em potencial, e eles saíram para pensar, não mostrei que logo seria despejado do apartamento, e não fiquei correndo atrás. Ao mesmo tempo, eu não podia contar a novas pessoas sobre o programa.
Como resultado, fechamos a venda em $200.000, não concordei com suas ofertas inicialmente e não me apressava em responder. Eu tinha $6.000 na conta, mas só o aluguel custava $1.500 por mês.
Eu estava ocupado pensando no negócio 100% do tempo. Chegou a um nível absurdo. O computador ficava no quarto e eu deixava os alto-falantes no máximo. Quando eu estava na sala lendo um livro e escutava o barulhinho de notificação de mensagem do Skype, corria para o computador, mas chegava lá e não havia nada. Pensei que era uma falha do Skype, mas depois de dois dias encontrei uma explicação: havia uma geladeira velha na cozinha e seu compressor estava com defeito. Normalmente, esses sons não podem ser confundidos, eu estava sob muita pressão e interpretava todos os sons semelhantes como notificações.
Houve outra história engraçada com o Skype
Trueteller, apesar de sua fama, escondeu sua identidade por muito tempo, quase não se comunicava com ninguém e ninguém sabia seu nome. Eu conversava com ele no Skype, sem vídeo.
Eu compartilhava regularmente minha tela no Teamviewer, e o Skype tinha um recurso que, não importava como você o configurasse, às vezes ainda aparecia tudo no topo de todas as janelas. Era perigoso, porque eu tinha que proteger a confidencialidade dos clientes (incluindo os potenciais) e não falava uns dos outros sem consentimento mútuo. Portanto, renomeei todos no Skype para diferentes nomes russos. Truteller foi renomeado para Tim (a primeira coisa que me veio à mente, porque a primeira letra é a mesma).
Uma vez, mostrando a ele a próxima versão do programa, ele acidentalmente viu como salvei o nome dele Skype.
Trueteller: "Eu te disse meu nome?"
Eu: “Não…"
Pausa por 2 segundos
Trueteller (sorrindo): "Ok, hora de nos conhecer."
Depois de muito tempo negociando, percebemos que havia alguns problemas:
Problema 1: Os clientes tinham medo de que eu pegasse o dinheiro e depois vendesse para outra pessoa. Histórias como essa acontecem às vezes.
Solução: Restava apenas confiar no desenvolvedor, manter contato com outros jogadores e pagar parcelado, e não o valor total de uma vez.Problema 2: Receio que o cliente pagasse, mas compartilhasse o programa com amigos. Qualquer jogador profissional de poker, via de regra, tem 1-2 parceiros com quem discute estratégias. É perigoso compartilhar com estranhos, porque eles vão vencê-los nas mesas mais tarde. Mas se você inventou ou encontrou algo novo e interessante, é normal compartilhar com um parceiro.
Solução: Eu entendi isso desde o início e inicialmente incluímos os parceiros de cada cliente na transação. Isso também era bom porque o cliente teria alguém com quem discutir a estratégia, além de mim.Problema 3: Se eles pagassem tudo de uma vez, eles não teriam mais influência sobre mim — e provavelmente seriam necessárias atualizações no futuro. E se pagassem parcelado, eles aprenderiam toda a estratégia nos primeiros três meses e não pagariam mais.
Solução: pagamento por meses, mas os primeiros meses são mais caros que os últimos.
Em abril, negociei um acordo com um grupo de 6 jogadores liderados por Alex Millar e separadamente com Trueteller. Eles sabiam da presença de outros participantes da transação, mas não queriam se conhecer.
Eles receberam acesso exclusivo ao programa. Minha remuneração foi de $200.000 por um ano e meio, com mensalidades começando com $10.000 no final do primeiro mês, $15.000 nos próximos meses e depois regressivamente.
A lógica era a seguinte: no primeiro mês, eles conhecem o programa e verificam se tudo está funcionando bem. Ao mesmo tempo, eles já estão obtendo exclusividade, então seria injusto dar a eles um mês de graça.
Alguns dias após a conclusão da transação, Raul, um dos clientes, me escreve e pede para adicionar algum tipo de recurso à interface. A interface, é claro, era então absolutamente básica. Anos depois, percebemos que a interface é ainda mais importante do que o algoritmo, porque a facilidade do aprendizado é fundamental.
Eu: “Temos um mês de teste ainda, quando você aprovar tudo e pagar por isso, continuarei o desenvolvimento.”
Raul: "OK, vou transferir minha parte agora" — e então $2.000 caíram na conta do meu Moneybookers.
Eu: “Eu desenvolvo todo o grupo, então o pagamento deve ser feito por todos” — ele não respondeu nada, mas recebo uma notificação que havia recebido mais $8.000 em minha conta.
Foi bom ver dinheiro de verdade na conta e sentir que a pessoa estava ansiosa para continuar trabalhando comigo.
Raul era o maior fã do meu solver. Após outra atualização, colocando mais recursos, Raul voou por duas semanas para alguma ilha, cortou o Wi-Fi para não se distrair e treinou com o programa o dia todo.
Raul também relembrou a compra do primeiro solver em uma de suas entrevistas .
Conte-nos sobre a compra do solver em 2013. Como você teve essa ideia?
Com exceção de dois jogadores, todos os demais eram meus conhecidos próximos, e estudávamos juntos no jogo. Eu nem pensei em comprá-lo. É engraçado que um pouco antes, o desenvolvedor me escreveu aqui no privado, mas eu o ignorei. Pensei que era algum tipo de golpe óbvio. Mas então o solver chegou até mim por meio de terceiros, nem sei os detalhes. Fiquei surpreso quando vi que o NLHE poderia realmente ser resolvido.
Resultados
Com base no solver de hold'em, criei um solver adicional para Omaha no mesmo ano, que acabei vendendo por $300.000. Juntamente com os $200.000 do Hold'em, ganhei $500.000.
Eu não contei a ninguém sobre a quantidade de dinheiro que recebi, o mais importante: não gastei quase nada, porque não me permitia viver bem naquela época. Isso, é claro, não era uma abordagem muito saudável.
Dois anos depois, em 2015, surgiu no mercado o meu primeiro concorrente público, mais um solver de No-Limit Holdem. Eles estavam vendendo licenças por $500. Não me envolvi na luta por centavos e foquei em outros projetos.
O próprio fato de ter calculado o equilíbrio de Nash no poker já me dava alegria e orgulho. Toda a comunidade profissional do poker tentava há anos chegar na estratégia ideal, e eu (e somente eu) tinha uma resposta definitiva.
Percebi que criar programas complexos é mais interessante para mim do que jogar poker. Um orgulho adicional para mim foi ter criado este negócio completamente sozinho, ganhando oito vezes mais em um ano do que no anterior.
Desde então, além de solvers, estive envolvido no desenvolvimento de uma sala de poker, ferramentas para traders e investimentos.
Meus clientes, os jogadores de poker mais fortes do mundo, com quem mantive discussões exaustivas na tentativa de negociar os termos, acabaram se tornando meus amigos. Continuamos a trabalhar juntos e o nível de confiança que alcançamos tornou-se a base de nossa amizade e negócios conjuntos.
Agradecimentos especiais a Ivan, o Rico, sem ele, eu não teria escrito esta história.
Ivan tem me inspirado por muitos anos com seus posts épicos sobre suas aventuras ousadas e profundamente técnicas: Ivan fez o primeiro front-run de blockchain do mundo, hackeou a criptomoeda Grin, deu uma palestra sobre seu trabalho no Google AI Research.
Ivan fala sobre sua brilhante carreira como pesquisador / empresário / investidor no Vale do Silício no Twitter e de sua vida pessoa – no canal do Telegram , inscreva-se lá e ali.
Obrigado a Andrey Somov pelas fotos.
Obrigado a Ilya Laut, Andras Gusti, Sergey Bartunov, Timofey Kuznetsov, Daria Feshchenko, Ekaterina Lurina, Alexander Yelensky, Ilya Gorodetsky, Dmitry Filonov e Andrey Shelomentsev por ajudarem na construção do artigo.