Saltar para conteúdo


Foto
- - - - -

[Ideia] Teclar Com Os Olhos


  • Por favor inicie sessão para responder
18 respostas a este tópico

#1 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 24 May 2012 - 09:19

Olá de novo;
Mais uma ideia, mas esta toca-me de uma forma particular (infelizmente).
Já pesquisei um pouco e não encontrei um teclado para android que permitisse seleccionar as letras com os olhos e o piscar dos olhos.
Claro que em termos de equipamento teriamos de ter um ecrã de tamanho confortável e uma camara frontal, lembrei-me de imediato de um tablet.
A aplicação/teclado funcionaria de forma semelhante ao que já faz o equipamento/software MagicEye (http://www.magickey.ipg.pt/) com a vantagem de funcionar num tablet, não sei é se existirão por exemplo algumas limitações nas camaras frontais dos tablets (não terem resolução suficiente por exemplo) que não permitam utilizar o movimento dos olhos para conduzir o rato até à letra desejada e à semelhança do MagicEye, detectar o piscar dos olhos para seleccionar essa letra.
Fica a ideia.
  • Manel C.C. gosta disto
-----------------------------------------------------------------
Nothing fails like success.

#2 r3pek

r3pek

    Guru de Android

  • Former Staff
  • PipPipPipPipPip
  • 1560 mensagens
  • LocalizaçãoBA4 - Terceira - Açores
  • Nexus One + Motorola XOOM

Mensagem publicada 24 May 2012 - 09:37

Realmente é uma boa ideia para pessoas que tenham algum tipo de invalidez que não os permita usar as mãos.

Fica a ideia.

Exactamente :P

#3 Psy_cool

Psy_cool

    Guru de Android

  • Former Staff
  • PipPipPipPipPip
  • 1679 mensagens
  • LocalizaçãoAlfena
  • Samsung Galaxy S

Mensagem publicada 24 May 2012 - 10:08

Acho uma ideia altamente, mas será que isso é possível por a trabalhar bem?

Sent from my GT-I9000 using Tapatalk 2
F.Rosendo
Chat Gmail do forum, para ajuda e duvidas: [email protected].
Pedidos de ajuda por PM, não serão respondidos (ver regras do forum).. Usem a secção do vosso aparelho porque as vossas duvidas podem ser as duvidas de outros..

#4 pedronveloso

pedronveloso

    Veloso

  • Administradores
  • 1578 mensagens
  • S8

Mensagem publicada 01 June 2012 - 15:03

É uma ideia simples e bem pensada, mas a implementação é um pouco mais difícil. A dificuldade prenderia-se no algoritmo de tracking dos olhos, se já houver alguma API ou biblioteca que se possa usar com esse fim então é uma tarefa perfeitamente ao alcance de qualquer programador Android.
  • Muuu gosta disto

#5 Duarte777

Duarte777

    Guru de Android

  • Former Staff
  • PipPipPipPipPip
  • 2279 mensagens
  • LocalizaçãoBraga
  • Samsung Galaxy S6

Mensagem publicada 01 June 2012 - 16:36

Se funcionasse bem, sem duvida que seria muito bom.
HTC One - 4.2.2 Stock

#6 elduchy

elduchy

    Geek de Android

  • Membros
  • PipPipPipPip
  • 547 mensagens

Mensagem publicada 04 June 2012 - 23:17

Pessoal!

Eu costumo usar o processing http://processing.org/ e o mesmo tem já compilador para android http://yfrog.com/obtqtpp e há uma variável de nome "flob" que permite usar a camera frontal para "realidade aumentada" http://forum.process...-flob-detection

Vejam o video

Eu tenho um sketch de processing que usa a camera frontal do mac para fazer de teclado virtual ao estilo de "kinect"...mas usando o source para android é o mesmo que tocar no display :/ contudo sempre dá para fazer uso da camera frontal do smartphone para fazer umas brincadeiras interessantes para apps

Cumps

#7 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 05 June 2012 - 08:50

Boas;

Não sei se os devs do projecto portugues que apresentei estariam dispostos a colaborar, por vezes tenho ideia que quando se fala em programar para android ainda se fica com um pé atrás sem ver as potencialidades da plataforma ou a imaginar que seja extremamente diferente e/ou complicado.
@elduchy
o exemplo que deste é muito bom, infelizmente não faria exactamente o que pretendo pois a app seria para ser utilizada por pessoas com mobilidade extremamente reduzida (apenas pequenos gestos com a cabeça, mas principalmente os olhos - os musculos responsáveis pelos movimentos oculares são dos poucos músculos que não são afectados por ELA)

Entretanto já fui alertado para a existência do Senseye no entanto e após contacto com a empresa revelaram que ainda estão em fase de estudo do produto e do mercado e que não estará disponível para "breve". (sendo que aqui a definição de breve me afecta em particular :( )
Resta-me esperar...

Cumps

Editado por hmartinho, 05 June 2012 - 08:50.

-----------------------------------------------------------------
Nothing fails like success.

#8 r3pek

r3pek

    Guru de Android

  • Former Staff
  • PipPipPipPipPip
  • 1560 mensagens
  • LocalizaçãoBA4 - Terceira - Açores
  • Nexus One + Motorola XOOM

Mensagem publicada 05 June 2012 - 09:24

É uma coisa que gostava de tentar... Infelizmente, não tenho tlm com camara frontal :-( So, out of the question for me...

#9 elduchy

elduchy

    Geek de Android

  • Membros
  • PipPipPipPip
  • 547 mensagens

Mensagem publicada 05 June 2012 - 09:59

o exemplo que deste é muito bom, infelizmente não faria exactamente o que pretendo pois a app seria para ser utilizada por pessoas com mobilidade extremamente reduzida (apenas pequenos gestos com a cabeça, mas principalmente os olhos - os musculos responsáveis pelos movimentos oculares são dos poucos músculos que não são afectados por ELA)


Olá hmartinho, eu conheço bem essa realidade que afecta os doentes de ELA e EM porque sou enfermeiro de profissão e o meu trabalho de investigação foi centrado na comunicação com pessoas em situação de ventilação assistida prolongada (ventilação mecânica), onde maioritariamente comunicam connosco através da mimica labial e do piscar de olhos, ainda assim é complicado desenvolver metodologias tecnológicas execuiveis no que concerne a interacção dos utentes com os vários dispositivos :( Não deixa de ser um interesse, nem deixa de ser uma preocupação...contudo, sugiro que contates as várias faculdades de engenharia biomédica, eles sim podem estar inteirados do atual panorama de desenvolvimento tecnológico direccionado para o utente portador de uma doença considerada incapacitante.

PS: Se entretanto souber de novidades sobre este assunto, entrarei em contato contigo!

Cumps

Editado por elduchy, 05 June 2012 - 10:01.

  • Muuu gosta disto

#10 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 17 June 2012 - 10:28

Bem ... ainda não tenho novidade alguma sobre este assunto, contactei todos os responsáveis pelos cursos e mestrados das ciências biomédicas e continuo a aguardar respostas, o que é certo é que já teria dado muito jeito ter este tipo de aplicação :(

Cumps

Editado por hmartinho, 18 June 2012 - 08:27.

-----------------------------------------------------------------
Nothing fails like success.

#11 elduchy

elduchy

    Geek de Android

  • Membros
  • PipPipPipPip
  • 547 mensagens

Mensagem publicada 18 June 2012 - 00:00

Bem ... ainda não tenho novidade alguma sobre este assunto, contactei todos os responsáveis pelos cursos e mestrados das ciências biomédicas e continuo a guardar respostas, o que é certo é que já teria dado muito jeito ter este tipo de aplicação :(

Cumps


hmartinho não desesperes nesse sentido...digo isto porque o que prentendes é viável e possivel de se realizar, embora talvez ainda ninguem se tenha debruçado o suficiente para que tal projecto fosse execuível. Eu tenho uma ideia de como realizar um software desses, só não tenho o know-how de programação para passar da ideia que tenho em mente para o programa em si, embora saiba quem me vai ajudar nisso e só preciso de conseguir agendar um encontro com essa pessoa e explicar-lhe a ideia para que ele escreva o código...e mais te digo que em menos de um mês se consegue "criar" uma app em que uma pessoa através do piscar de olhos consiga escrever uma frase!

Cumps
  • hmartinho gosta disto

#12 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 19 June 2012 - 09:29

Mais um pouco de contributo para a ideia, além de seleccionar as letras com olhos a app poderia incluir algum tipo de escrita inteligente e/ou preditiva como fazem quase todos os teclados hoje em dia, se possivel poderia então seleccionar-se um gesto (por exemplo piscar apenas um dos olhos) para seleccionar a palavra sugerida.

Cumps

edit:
esta ideia é um bocado parva, lembrei-me depois que por exemplo o swiftkey que uso no Boston, apresenta por cima do teclado as sugestões para as palavras que estamos a formar e essas palavras são também seleccionáveis daí que não seria necessário qualquer gesto especial. Bastaria seleccionar a palavra sugerida da mesma forma como se selecciona outra letra qualquer.

Editado por hmartinho, 19 June 2012 - 09:31.

-----------------------------------------------------------------
Nothing fails like success.

#13 elduchy

elduchy

    Geek de Android

  • Membros
  • PipPipPipPip
  • 547 mensagens

Mensagem publicada 19 June 2012 - 09:57

Boas hmartinho,

Essa opção era boa mas a predição pode não ser a desejada e depois perdia-se mais tempo à procura da palavra que a escrever a mesma! Relembro que com apenas dois olhos e para ser algo fácil de usar, o código visual terá que ser simples, um olho pisca para escolher a letra, o outro pisca para fazer o espaço entre letras e os dois piscam para aceder ao menu de escolher entre alfabeto e numérico...quanto ao resto não vou já revelar mas tenho boas ideias!

PS: Não quero estar a boicoitar ideias, quero apenas simplificar a forma de como se vai criar esta app e simplificar o seu uso atendendo às várias limitações que as pessoas apresentem.

Cumps

#14 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 03 July 2012 - 10:57

Bem... depois de apelar aqui:
https://plus.google....sts/Zmg583mjxti
e por aqui:
http://www.androidpt...onados-com-ela/
Já há novidades, algumas coisas para pc, algumas gratuitas e uma para android, que embora não faça exactamente o que seria pretendido já é um bom começo.
Em breve conto ter a autorização dos devs para divulgar a app, para já ainda vamos na tradução.
Mas seria um excelente ponto de partida para continuar a desenvolver.
Obrigado por tudo e conto convosco.
-----------------------------------------------------------------
Nothing fails like success.

#15 hmartinho

hmartinho

    Mestre de Android

  • Former Staff
  • PipPipPipPipPipPip
  • 3626 mensagens

Mensagem publicada 28 February 2013 - 12:36

Bem... mais um update nisto para o caso de haver quem se queira juntar, criei um logotipo (anexo) e um nome: "TalkingEyes" e uma comunidade no Google+:
https://plus.google....072435695270907
Se quiserem ajudar passem por lá e juntem-se.
Ficheiro anexado  TE_small.png   31.21KB   14 descarregamentos

Cumps
  • pedronveloso gosta disto
-----------------------------------------------------------------
Nothing fails like success.

#16 elduchy

elduchy

    Geek de Android

  • Membros
  • PipPipPipPip
  • 547 mensagens

Mensagem publicada 13 March 2013 - 23:25

Bem... mais um update nisto para o caso de haver quem se queira juntar, criei um logotipo (anexo) e um nome: "TalkingEyes" e uma comunidade no Google+:
https://plus.google....072435695270907
Se quiserem ajudar passem por lá e juntem-se.
Ficheiro anexado  TE_small.png   31.21KB   14 descarregamentos

Cumps


Já aderi hoje e já deixei uma dica ;) Para quem conhecer a linguagem processing e souber programar na mesma, terá um bom ponto de partida para desenvolver uma app que recorre ao movimento ocular como simulador do ponteiro do rato!

Vou continuar a "investigar" assertivamente sobre o assunto ;)

Cumprimentos

#17 xanex

xanex

    Membro

  • Membros
  • PipPip
  • 199 mensagens
  • LocalizaçãoLisboa
  • Nexus 10, Nexus 5x, Nexus 6p

Mensagem publicada 27 March 2014 - 14:31

Boas,

Ja trabalhei nisso em pc, posso dizer que nao é facil obter uma boa precisão. Utilizei OpenCV para o processamento.

Fazer o que pretendem para Android, tem varias barreiras como o tamanho do ecra e a proximidade entre as letras. Isto pode ser ultrapassado, sei que há aplicações que corrigem as palavras mesmo que não se acerte em nenhuma letra, procuram as palavras que contem as letras na área do click. 

 

Com um bocado de processamento de imagem podem detectar os 'clicks' (piscar dos olhos) e depois uma correcção automática das palavras (que vão sair com erros certamente) acho que é um protejo possível de desenvolver.



#18 ruimobyte

ruimobyte

    Membro

  • Membros
  • PipPip
  • 77 mensagens
  • Alcatel v860

Mensagem publicada 18 May 2014 - 18:13

Xanexe o programa para o PC esta na net.... podes me mandar um email com o site ou o programa....adorava experimentar

#19 xanex

xanex

    Membro

  • Membros
  • PipPip
  • 199 mensagens
  • LocalizaçãoLisboa
  • Nexus 10, Nexus 5x, Nexus 6p

Mensagem publicada 19 May 2014 - 11:08

"Xanex* o programa para o PC esta na net...."

Existem varios programas para pc provavelmente, eu no que mexi e vi mexerem, havia varias dificuldades em termos de calibração, e depois iria afectar a precisão.

 

"podes me mandar um email com o site ou o programa....adorava experimentar "

O que eu fiz não está na net, foi tudo em ambito escolar, ficou tudo para o instituto onde estava a trabalhar, não está na net

 

Um amigo meu na altura lançou um paper sobre isso, vou tentar pedir-lho, depois meto aqui o link