13
Off-Topic: Matando a Média
on September 13, 2008
Uns dois posts atrás eu perguntei o que Barabási, Anderson, Mandelbrot (e eu esqueci de Nassim Taleb) tem em comum. Alguns responderam corretamente: redes de livre escala. Mas há muito mais. Estou há dias tentando achar tempo para compilar o assunto, mas achei mais fácil dar uma “introdução” por vídeo. É uma versão um pouco diferente do que apresentei esta semana na palestra na Claretiano.
Matando a Média – Gauss vs Pareto from Fabio Akita on Vimeo.
No fundo é minha eterna briga contra o conceito de “média”. Obviamente, não adianta quererem levar isso ao pé da letra, não adianta lutar contra isso, nem de tentar encontrar casos-exceção para contradizer o que estou mostrando. Os conceitos são um pouco abstratos, a matemática por trás (e por isso eu recomendo ler os livros) não é trivial, mas os resultados foram observados inúmeras vezes e demonstrados com dados empíricos.
Infelizmente meu tom no video acabou ficando meio estilo “auto-ajuda”, que é justamente uma categoria que eu não gosto, mas por enquanto vai assim mesmo. Assim que puder vou tentar explicar em mais detalhes o que significa “Gauss vs Pareto” ou “Gauss vs Mandelbrot”. Se mais alguém já estudou o assunto, gostaria de ouvir o que acharam.





Muito legal a palestra… já tinha estudado a primeira teoria na faculdade, principalmente em esttística. Eu também só acredito em projeções até alguns meses para frente no máximo. E se você pensar dessa forma vai começar a odiar tudo como engenharia de software, análise de sistemas, diagramas, documentação em excesso para prever possíveis erros…. vai ver que é tudo furada e só serve para tentar prever um futuro imprevisivel e transformar programadores em operários (quem já ouviu chão de fábrica do software… tenho nojo disso).
Mas eu acredito que em prazos curtos projeções é importante. Projete os TODOS do seu projeto para uma semana e verá que muitas vezes apareceu outra coisa para fazer e você não conseguiu cumprir tudo mas vai ter te ajudado a seguir um caminho para tentar cumprir e mesmo que não tenha dado 100% certo você cumpriu uma boa parte pois o prazo de previsão é curto e você tem mais chance de controlar isso.
Calcule quanto você vai faturar esse mês baseado nos valores passados e invista neste mês em alguma coisa, não invista achando que isso vai se repetir por todos os mêses mas em um período curto é bem provável que funcione, mas ainda sim você pode levar um ferro ou dar super certo.
@Daniel, exatamente isso. Como eu disse, não devemos ser paranóicos, é impossível tentar projetar demais no futuro, mas devemos sim continuar tentando planejar em pequenas iterações e – daí a importância de ter uma ampla gama de conhecimentos, habilidades – reajustar durante o caminho. O importante é o “jogo de cintura” de, ao se ver numa mudança de rumo em relação ao planejado, conseguir tomar o caminho certo. A grosso modo é o estilo Ágil: planejamos no máximo um sprint de cada vez e reajustamos durante todo o percurso do projeto. E isso vale não só para projetos de software mas qualquer outra área.
Simples sensacional!
Muito bom mesmo.
Não conhecia sobre essa tua ênfase por ciência. Inclusive no meu slide final da apresentação do café com o tom sobre mestrado em agosto deste ano, eu comentei sobre “sair da média” com a mesma intensidade. :)
Só tome cuidado com a sua definição de “Pseudo-ciência”, talvez esse não seja o melhor nome. A aplicação da ciência é a engenharia. Só tome cuidado com as palavras.
[]s
@Vitor então, quando eu digo “pseudo-ciência”, me refiro realmente às falsas-ciências. Um exemplo das que mais me irritam: quando charlatães usam Entanglement para definir relacionamento entre as pessoas. Como já dizia Weinberg “se você acha que entende de Física Quântica, certamente não entende de Física Quântica”. Livros de auto-ajuda (incluindo os auto-ajudas corporativos do tipo “Como ser um Líder”), estão cheios dessa baboseira. Seria um pecado mortal rebaixar mentes como Mandelbrot e Taleb à mesma categoria. Então, como minha palestra não teve espaço para descer ao detalhe, fico receoso de soar como esse tipo de “pseudo-ciência”, ou a tentativa aplicação de conceitos científicos em situações em que elas não se aplicam.
Ahá! :)
Aí está o problema, a tentativa de aplicar conceitos científicos em situações em que não se aplicam, também é uma forma ciência. Algumas dessas aplicações funcionam e pode ser validadas, outras não. O problema é divulgar esta aplicação e relacionar com a teoria sem validar cientificamente esse relacionamento.
Problema este que pode ser generalizado à exposição de idéias sem o devido cuidado, ou a exposição de achismos.
PS: Te indico fortemente um mestrado científico em alguma universidade boa do país (Uma das TOPs). Pense nisso. Ao contrário do teu relato no vídeo, BONS mestres e doutores não acham que sabem tudo ;P
[]s
@Vitor vou mais longe :-) Procure sobre os prêmios Nobel Myron Scholes e Robert C. Merton. Cuidado com a Falácia Lúdica.
Como o Shairon falou outro dia, eu tambem nao costumo concordar com tudo que voce fala. Mas esse video ficou muito bom e fortemente recomendado!
Concordo em todas as partes.
Parabens…
Fábio, de fato existem distribuições que não são bem resumidas (ou
caracterizadas) pelas suas médias e variâncias. Tem razão de chamar atenção neste fato. Por exemplo, o número de contatos ou o nível de participação em redes sociais podem seguir este tipo de distribuição com um chamado “long tail”: tem muito mais ocorrências de valores extremos do que esperado se a distribuição seria Gaussiana. E concordo com você que a existência destas distribuições deve entrar na consciência da gente..
Mas dizer que a média não existe não é útil. A média de um número
finito de valores sempre existe. É melhor dizer que se a distribuição é do tipo long tail, então a média não é uma boa caracterização.
Finalmente, a sua apresentação (como um monte de outras pessoas) confunde o conceito de long tail no sentido do Anderson e o sentido ("correto") dos valores extremos da distribuição. No primeiro sentido, o “long tail” seriam os valores que ocorrem muitas vezes. Quando plota popularidade, vendas, riqueza, etc. etc. contra ranking, o lado direito do gráfico é o “long tail” de Anderson. São os valores mais comuns.
Mas o sentido original da expressão long tail e o sentido que você também usa é exatamente o contrário: neste caso plota o número de ocorrências ou ranking contra popularidade, vendas ou riqueiza (ou seja, inverte os eixos x e y em relação ao caso anterior). Neste caso, o que se quer dizer com a expressão long tail é justamente os casos menos comuns, os extremos. No caso de distribuições do tipo lei de potência eles ocorrem mais do que para distribuições do tipo Gaussianas. Não devemos confundir os dois casos.
@Ewout, não entendi onde você viu esse gráfico plotado. O único gráfico de lei potencial é do Anderson, e é “número de vezes que uma música foi tocada” no eixo Y contra as músicas rankeadas no eixo X, que é o gráfico da Rhapsody, e que é exatamente o mesmo modelo de Zipf onde ele plota a quantidade de vezes que uma palavra é usada no eixo Y contra as palavras rankeadas no eixo X. Onde está o erro?
“Medíocre, medíocre, medíocre” haha, ótimo…
Eu acho que nas curvas de distribuição de Pareto a viagem de um elemento dos 20 pros 80 é mais rápida do que na de Gauss, mas não tenho certeza disso (e não quero ser pseudo-cientista, hehe).
Obs: O mais rico é Warren Buffett, desde esse ano, com 5 bi a mais que Gates. Inclusive ele fez a fortuna dele fazendo previsões de longo prazo baseado na história das empresas e no “valor agregado” de seus serviços/produtos. Segundo ele, em Wall Street é muito mais falho e caótico fazer previsões a curto, médio prazo do que a longo prazo. E concordo com ele. Mas no mercado tecnológico não. Tanto é que esse é um dos motivos pra ele nunca ter investido em alguma empresa de tecnologia. Ele diz que pra natureza dele (de cidade pacata do interior), a obrigação de mudar e se adaptar muito rápido às mudanças tecnológicas não funcionária. Ele é um cara de hábitos.
@Fabio, no Gaussiana que usa várias vezes e na distribuição de grau no minuto 18, está graficado um probabilidade ou “número de ocorrências” no eixo y contra um variável aleatório (capacidade, conexões) no eixo x. O rabo do que estamos falando é o lado direito do gráfico: os itens com pouca ocorrência mas alto valor do variável aleatório (capacidade, conexões, riqueza, popularidade, etc. etc.)
Por outro lado, no gráfico do Anderson o variável aleatório (popularidade no exemplo dele) está agora no eixo y. Está graficado contra a posição no ranking. Agora o rabo do estamos falando é de novo o lado direito do gráfico: as ocorrências com baixo valor do variável aleatório: (popularidade no exemplo do Anderson).
Não importa a mudança de terminologia introduzido por Anderson (e Clay Shirky antes dele). Mas temos que ser claros em do que estamos falando. O long tail do Anderson é trata de democratização, acesso a informação, a grande massa de produtos, indivíduos etc que antes não tinham vez. O long tail no sentido antigo (estatístico) se trata de eventos raros, os mais ricos, as exceções, exatamente o outro lado da distribuição.
Terminando, não sou tão otimista quanto aos benefícios destas distribuições de cauda longa (no sentido estatística). É sabido que um dos mecanismos de gerar estas distribuições é o efeito Mateus: “mais pelos mesmos”. Não é exatamente por mérito que a grande maioria das pessoas no topo do pirâmide chegou lá. Muitas vezes é mera sorte junto com o efeito mais pelos mesmos.
@Ewout mera sorte? putz, desista…
Ah, não achei parecido com auto-ajuda não, não sei porque achou isso.
Muito legal Akita! Há um tempo atrás eu escrevi sobre minha visão no tema “Especialistas vs. Generalistas” (http://www.dtsato.com/blog/2008/02/11/generalist-or-specialist-why-not-both) e, assim como seu exemplo do Leonardo, eu argumento a favor de sermos ambos. Eu já estava com o Black Swan na minha lista de leitura, mas vou correr atrás das outras referências também. Valeu!
Akita, achei esse video sensacional. Eu já havia lido os livros do Anderson e do Mandelbrot e eles realmente me mostraram uma nova visão do mundo. Parabéns e continue com o seu excelente trabalho!
A rigor, existe previsibilidade em fenomenos naturais ou artificiais. O caso do cisne negro é um desvio de conhecimento que é mais exceção à regra do que a regra. Não é um fato previsível, e justo por isso vira notícia ;)
Se fosse impossível prever inclusive fenômenos bem comportados, nós viveríamos cheio de notícias extraordinárias todos os dias ;)
Legal sua apresentação!
Abraço
@proteu na realidade nós vivemos :-) Conseguimos prever algumas coisas contanto que pequenas variâncias impactem pouco no resultado. Por exemplo, podemos prever, via Newton, quando tacarmos uma bola de sinuca. A primeira, talvez a segunda vez que ele rebater nas bordas, mas tente simular 5, 10 vezes. As pequenas variações darão resultados fora do comum.
Outros fenômenos naturais: avalanches, tempestades, tornados, tsunamis. Male male a meteorologia consegue prever poucos dias. Pequenas variações causam resultados bem inexperados.
Na economia? Crashes da bolsa, comportamento das ações, crises econômicas.
Em projetos: falamos “Murphy” mais do que gostaríamos :-)
Comportamento das pessoas, comportamento do trânsito, a diferença é que somos bastante adaptáveis, mas se tivéssemos que prever conscientemente cada passo, podemos ver como dentro de poucas horas eventos pequenos mas inesperados acontecem ao nosso redor. Alguém fica doente, alguém se atrasa.
O que podemos fazer? Ficar em casa com medo do inesperado não é solução, nem ficar paranóico. O que nos torna mais resistentes é primeiro ter consciência que fenômenos inesperados vão acontecer. Daí temos que ter os conhecimentos e skills para desviar ou passar por cima deles. É o que quero dizer em estar sempre acima da média, porque na média vamos sempre ser surpreendidos. Uma nova oportunidade de trabalho aparece do nada. Oportunidades são fenômenos que não podem ser previstos baseados em eventos passados. Se não estivermos preparados, eles simplesmente passam ;-)
Mas sim, algumas coisas conseguimos prever, mas não muito à frente no futuro. Planejamos o curto prazo, e tentamos seguir uma direção no futuro, mas sempre desviamos no caminho.
Complementando o que o Akita disse, somente para sistemas bem simples existe solução analítica para o movimento. Em sistemas com três corpos obter essas soluções já é muito complicado, o estudo de um desses problemas, inclusive, levou Poincaré a chegar a primeira formulação da teoria do Caos.
A minha opinião sobre a apresentação é que ela trata de assuntos complicadíssimos: sistemas dinâmicos, distribuições normais e as do tipo power law. As comparações desses assuntos com negócios ficaram meio difusas, o que fez parecer auto-ajuda.
Discordo da apresentação em favor dos especialistas. Muitos especialistas conseguem usar a sua especialidade para chegar a conclusões brilhantes em muitas áreas diferentes daquelas que estudaram, exemplos o próprio Mandelbrot e o Chris Anderson, matemático e físico respectivamente, mas entendi onde você quis chegar quando fala sobre médias e negócios que se tornam excepcionais quando miram em um objetivo longe da média, que pra muitas grandezas, medidas no mundo real, não tem muito valor.
@fabio, exatamente, e para não confundir. Existem muitas “especialidades” que não só são úteis mas necessárias. Por exemplo, espero que o piloto do avião onde estou seja especialista em voar :-)
Porém, estou mirando nos ditos “experts”, os “men-in-black” que chegam como autoridades, fundamentados em pseudo-ciência. No caso do Nassim e do Mandelbrot eles estão falando dos economistas. No nosso caso podemos falar dos antigos “experts” em metodologias monumentais, arquiteturas monstruosas. Felizmente o mundo de TI se mexe muito mais rápido que outras áreas. Mesmo assim, o pensamento de inércia da média ainda é forte.
Outra coisa que achei curiosa na tua apresentação foi falar em pseuso-ciência e etc e logo em seguida falar em computação quântica como exemplo. Dá a impressão que computação quântica não possui área empírica ou que é coisa de outro mundo…pode formular com mais detalhes esse raciocínio? =) Alguns modelos evolucionários de algoritmos são inspirados em computação quântica e eu mesmo já usei do conceito para ter convergências mais rápidas em espaços de buscas ilimitados…fiquei meio sem entender onde existem discussões onde computação quântica é tratada como pseudo-ciência, o modelo de informação quântica é muito útil para criar heurísticas em espaços que você não conhece as limitantes o os pontos locais o_O
Abraço
@proteu, muito pelo contrário! Física quântica é uma área muito séria. O que não é sério são os não-físicos que querem usar conceitos quânticos totalmente fora de contexto, nas auto-ajudas de hoje em dia.
Eu citei Weinberg, mas na verdade foi Richard Feynman que disse “qualquer um que diga que entende de mecânica quântica não entende mecânica quântica”. Explicando: “qualquer charlatão não-físico que diz que entende de quântica, definitivamente está falando bobagem” :-)
Peguei o “The Black Swan” agora. Você já leu Freakonomics?
Freakonomics soa como auto-ajuda, hehe. Não estou dizendo que é, mas o tom parece muito.