segunda-feira, 9 de agosto de 2010

Será que o que fazemos é pesquisa?

Eu acho que vou ser bastante criticado por esse post, mas essa é a ideia.

Eu faço a pergunta do título porque acredito que o que nós temos feito está bem longe da palavra pesquisa em seu sentido denotativo - investigação, indagação, inquirição, busca.

O que me leva a pensar assim é fato de existir uma grande quantidade de trabalhos, inclusive o meu mestrado, da seguinte maneira:

"Tenho uma ideia interessante e preciso mostrar que ela faz sentido, escala, tolera falhas etc"

Esse é o primeiro passo. Só depois disso se pensa "Qual problema eu quero atacar?", "Quem são os trabalhos relacionados?" e "Que métrica utilizar para avaliar?".

Isso é tão verdade que, *muita vezes*, mudamos o problema sendo atacado sem que se mude a solução!

A última pergunta evidencia ainda mais a minha opinião. Se eu utilizar uma métrica que não me favorece, a minha primeira atitude é entender o porquê disso. A minha ideia nunca está errada. E eu não meço esforços para mostrar isso. Mudo os cenários, mudo os dados de entrada etc. Mudo até a métrica, se for preciso. (eu = pesquisador)

Nesse caso, esses pesquisadores podem ser vistos como "criadores de boas ideias".

Essa atitude é bem diferente de observar um fenômeno natural e perguntar: Por que isso acontece? O cara que faz isso está pesquisando o porquê de um determinado fenômeno. Mesmo que ele não tenha uma grande ideia, ele parece se aproximar mais da palavra pesquisa do que o tipo "criador de boas ideias."

O que eu acho é que essas duas espécies podem conviver tranquilamente. Por um lado, o pesquisador curioso identifica um fenômeno, o estuda e mostra o porquê dele acontecer. Enquanto que o pesquisador "criador de boas ideias" tenta bolar ideias que explorem aquele porquê.

No entanto, a espécie pesquisador curioso parece estar em estinção, ao menos em Ciência da Computação. Eu acredito que nós somos muito mais "criadores de boas ideias" e que empurramos essas ideias goela abaixo com alguma métrica que nos satisfaça.

14 comentários:

piruca disse...

Vou iniciar dando uma de intelectual, citando uma frase de um carinha:

"Computers are useless. They can only give you answers" - Pablo Picasso

Embora o chapa picasso não fosse da área de computação, ele está na segunda parte de frase. Computadores servem para dar respostas. O problema na pesquisa é isso, começamos da resposta (ou da idéia de isto é bacana, como você falou). Um computador faz X muito bem. Certo, e daí? Depois de ter a resposta, começamos a buscar as pergunta:

1) Quem está preocupado em saber X?
2) Qual o motivo de X ser importante?
3) Como melhorar X?

Isso é errado, pois agora temos X na mão. Talvez X demorou muito tempo para ser desenvolvido, formalizado como idéia ou simplesmente gostamos de X pois é bacana (o mal do nerd).

Bem, até o momento só estou reforçando seu post, agora eu pergunto como resolver isso? Entendo quando você falar que não observamos fenomenos, mas como fazer isso? Não é apenas caracterizar dados, pois os dados podem já ser de algo que não é um problema. Ultimamente eu estava pensando em uma forma simples de achar problemas interessantes é não ler apenas artigos, mas também tópicos da internet. Isso talvez seria observar o meio. Por exemplo:

1) Existem pessoas que querem que lingagens interpretadas (alá python e ruby) seja mais veloz. Isso não é algo inventado, é algo que existem várias reclamações por aí.

2) Programadores não sabem usar todos os cores. Embora existam diversas libs para isso, talvez um modelo novo de programação? Algo inerentemente paralelo?

3) Privacidade na Web parece um problema recorrente. Coisas como twit cam, pedofilia no orkut, difamação etc.

Este são 3 exemplos apenas. Confesso que custei pensar neles e a validade dos memos é discutível. Mas talvez seja isso a parte difícil. Não digo que artigos são inuteis, mas tem uma boa chance de você pensar que é algo é um problema pois alguém vendeu o peixe muito bem, artigos são bem escritos. Mas ele pode ter feito o erro de começar pela solução. Acho que explorando outras fontes minimizamos isso.

João Arthur disse...

Exato! A maneira como você levantou esses problemas é justamente como eu acho que deve ser. Através da observação (não somente) se identifica o problema. Aí sim cria-se uma solução interessante.

Da forma como muitos fazem, o sentido parece estar invertido, não acha?

. disse...

Eu não acho que uma pesquisa que parta de uma solução seja inválida (distcuti isto no meu tumblr):

http://matheusgr.tumblr.com/post/929339499/r-sera-que-o-que-fazemos-e-pesquisa

Para mim, partir do problema não é a questão. Se vc considera que seu objetivo é X. E propõe Y para resolver isto. Vc pode acabar distorcendo X até satisfazer Y.

E isto é o mesmo que ter partido de Y até achar o X adequado.

A questão é alterar seu problema, ou dar uma maquiagem até q ele satisfaça Y. Seja vc partindo do problema, seja partindo da solução.

O pior que existe de partir de um solução: é não encontrar um problema relevante. Mas, ainda creio que não torna a pesquisa inválida.

João Arthur disse...

Olha, eu concordo com você Matheus. Em nenhum momento disse que os pesquisadores "criadores de boas ideias" estão errados. O meu ponto é que eles estão distantes da palavra pesquisa em seu sentido denotativo.

Li teu tumblr. Faz muito sentido o que você diz.

"O verdadeiro problema é tratado no texto mas não é colocado como foco. O problema é pensar numa solução, e forçar que ela resolva todos os problemas do mundo usando métricas favoráveis. "

Na verdade, esse é o foco que quis dar. Pelo jeito, não pareceu :)

Como complemento do meu post, eu disse: "Nesses casos, parecemos muito mais advogados do que pesquisadores."

Valeu pelo comentário, Matheus. Acho que estamos concordando agressivamente.

piruca disse...

Opa Matheus e João,

Li os comentários e o Tumblr. Concordo com matheus, meu comentário anterior foi forte demais. Partir de uma solução pode ser de relevância, afinal é isto que fazem as startups e produtos novos, não é? Mesmo se ninguém reclamou disso, eu posso fazer algo melhor. Afinal, ninguém precisa nem de computador para sobreviver, mas já é uma ferramente essencial no dia a dia.

Concordo também quando você fala sobre resultados negativos. Já ouvi falar de casos de pessoa que mudam de tema de doutorado pois ia ser um resultado negativo. Qual o problema de ser um resultado negativo? Nenhum, você fez o seu dever correto e mostrou para o mundo como fazer isso.

Concordando agressivamente com os dois, o problema não é partir da solução, mas ao fazer isso temos mais chances de falhas. Com o investimento dado a solução, podemos começar a distorcer a coisa só para justificar algo não relevante.

raquel disse...

oi meninos!!!

acho que na nossa área existe muita inovação, e muitas vezes a inovação vem pra ajudar a tornar a vida de alguem mais fácil, mas nao tem ninguem com osso do lado de fora esperando ser operado. claro que qto mais pudermos realizar pesquisa aplicada e pra solucionar um problema real, melhor.

o grande problema é no método. nem todos que fazem pesquisa conhecem o método científico e mesmo os que conhecem o método cientifico muitas vezes nao seguem.

um outro graaande problema na minha opinião é a pressão para publicar. se vc nao publicar muuuito, vc não é bem visto na comunidade. acho que essa pressão muitas vezes é que causa atitudes desesperadas que não são bem fundamentadas e fogem do método cientifico :(

mas acho massa que nós estejamos alertas a este problema. adorei a thread :)

Sabrina de F. Souto disse...

Na verdade, essa é uma questão que eu venho me fazendo ultimamente, e acho que o assunto é mais profundo se formos puxar para o lado científico da ciência da computação, não é a toa que existe paper com esse tipo de discussão, como o famoso "Is Computer Science Science?" (http://portal.acm.org/citation.cfm?id=1053309).
Concordo com Raquel, principalmente em relação a pressão para publicar. Na minha opinião, a gente deveria esperar os resultados ficarem prontos para poder publicar, mas na maioria das vezes agimos orientados a deadline, muitas vezes até tentando manipular os resultados mudando métricas, como já falado anteriormente. Outro fator ainda, é que alguns "pesquisadores" omitem os pontos fracos da sua pesquisa, claro que a pessoa não só falar disso no texto, mas é de suma importância que o "pesquisador" tenha condição de avaliar os pontos fracos da pesquisa, e até sugerir como trabalhos futuros..

. disse...

Concordo que o pouco conhecimento do método científico é um problema... Mas discordo que deadlines sejam.

Novamente, publiquei uma resposta no meu Tumblr (João: o tumblr é quase um blog pra quem tem preguiça de fazer blogs.. imagine que: tumblr = (twitter+blog)/2):

http://matheusgr.tumblr.com/post/939067491/r-r-sera-que-o-que-fazemos-e-pesquisa

Sobre o método científico: sim, é falho. Mas não necessariamente, é tudo.

Sobre deadlines: não é problema. Acho que falta mais definir escopo, e planejamento para quem quer publicar algo grande no futuro.

Jemão disse...

Uma vez, em conversa com Rohit, ele me falou uma coisa que, ao menos para mim, foi muito significativa. Ele falou que resultados científicos significativos são muitas vezes trabalho de uma vida toda, e mesmo pesquisadores reconhecidos passaram pelo processo de construir pequenos resultados, muitas vezes sem fins específicos, cabendo a outros (ou ele mesmo, posteriormente) dar praticidade a aquilo. Inclusive, até onde sei, essa é uma prática muito comuns em outras ciências exatas como matemática e física, muitas vezes os caras pesquisam resultados que nem imaginam pra que serve; posteriormente, alguém acha um fim e pronto. Existem bons exemplos disso tudo, mas não consigo lembrar um agora. Enfim, este é o molde que a ciência é desenvolvida, por limitações intelectuais do ser humano. Em resumo, ao contrário do que você disse, as descobertas que partem de observações são, acredito eu, fruto de muito esforço anterior, de pequenos resultados medíocres e sem perspectiva, como o que somos habituados a lidar. =)

Nazareno disse...

Só pra tacar um pouco mais de fogo na discussão (e pra demonstrar que achei legal o post, jão):

Uma coisa a mais que eu acho importante de levar em conta é que na verdade na verdade na verdade, provavelmente não existe o cientista curioso puro nem o criador de soluções puro.

O curioso, mesmo quando analisando um fenômeno natural, está escolhendo o fenômeno, a métrica, o modelo... Enfim, ele também tem um projeto. O criador de soluções, do outro lado, também sempre vê, mesmo implicitamente, um problema ou um fenômeno natural.

Como não vale muito a pena discutir a parte da honestidade (como eu mudo meus resultados pra eles ficarem mais a meu favor), meu problema maior com esses dois cidadãos é mesmo quando qualquer um dos dois faz o que faz sem muita preocupação com relevância. Isso é: olha um fenômeno que não vai servir a ninguém ou uma solução que não está ligada com a realidade.

Em outras áreas se sugere que se faça medições mesmo sem um objetivo, mas eu ainda não me convenci da utilidade disso em ciência aplicada.

E uma última coisa: Matheus, eu acho que a pressão pra publicar não é um problema por causa dos deadlines. É um problema porque vários órgãos contam as publicações dos pesquisadores pra decidir pra quem vão os cargos ou financiamento. E aí há uma pressão pra priorizar quantidade em lugar de qualidade.

. disse...

Ótimos comentários!

Respondendo, Naza:

Acho que relevância é algo que é julgado principalmene pela comunidade: número de citações, aplicação daquela pesquisa em novos projetos, aprovação em boas conferências/journals.

Lembro de um pesquisador, mais teórico, que me falou um vez a seguinte frase: "minha pesquisa do meu phd.. veio a ser usada 8 anos depois".

É algo que eu falei com João: é que eu vejo mais o mundo teórico, que talvez tenha um retorno distante... Computação também tem um lado prático, que talvez devesse ser mais visto próximo da realidade.

Talvez o que falte é honestidade também ao considerar relevância. De se ver pesquisadores falarem: 'minha pesquisa não tem aplicação nisso hoje, por isso isso e isso. Minha pesquisa pode ter aplicação no futuro, se considerar isto e isto.'

Sobre a pressão de publicar: o problema é querer publicar algo grande, num deadline curto. Há pressão por quantidade sim... Mas acho que um pesquisador pode agir de uma forma diferente: ter uma grande pesquisa mas reduzindo seu escopo para publicar mais em pequenos avanços (e de forma relevante e confortável).

Uma grande pesquisa podem render bons artigos pequenos (e um ótimo grande artigo). Isso é salutar inclusive para a ciência: demonstra os pequenos avanços, como eu discuti e como acredito que Jemão concordou.

NIGINI disse...

Bom post pessoal... Divulguei e elocubrei sobre aqui: http://nigini.tumblr.com/post/947135102/ciencia-e-demonios

piruca disse...

Sobre publicações:

Entendo seu argumento Matheus de publicar pequenos avanços, para depois juntar tudo. Mas temos que ser sinceros que isto não acontece. Na minha opinião o motivo é aquele que Nazareno mencionou. Os currículos dos pesquisadores (e instituições) são avaliados por publicaçoes.

Sempre vemos casos de publicaçoes guardadas para conferencias top, mas talvez com chance de cair em revisores mais "dispersos". Ou a divisão de um trabalho em vários artigos. Artigos com versões quase iguais em inglês e port. E por aí vai.

Existe uma fórmula para avaliar o pesquisador, hoje em dia é número de publicações. Coisas como citações, software, patentes parecem que não entra. Como é só um produto avaliado, não fazer um "exploit" ou definir o que seria um, acaba caindo no que você como pesquisador se sente confortável. Por exemplo, uma pessoa pode não ligar em ter artigos iguais em eng/port e outro sim.

Discutir mais o assunto parece fugir um pouco a thread original, vou finalizar por aqui =)

João Arthur disse...

*Extinção