Uma trilha completa para você aprender, passo a passo, a calcular como um algoritmo transforma a imagem do seu olho em uma coordenada (x, y) na tela a qual está olhando.
A câmera precisa existir antes de localizar a pupila. O modelo 3D do olho precisa de calibração para virar números reais. A calibração produz o raio que vira ponto na tela. E o ponto na tela precisa ser suavizado. Clique em qualquer etapa para pular direto para ela.
Projeção pinhole, detecção do centro da pupila, mapeamento 2D↔2D.
Esfera corneana, reflexos de Purkinje, eixo óptico × eixo visual.
Mínimos quadrados não-lineares: Gauss-Newton e Levenberg-Marquardt.
Interseção raio-plano: geometria vetorial pura, direto na tela.
Filtro de Kalman suaviza o sinal e separa fixações de sacadas.
Tudo começa transformando um ponto do mundo 3D em um pixel de imagem — e transformando o contorno claro/escuro da pupila em um centro de coordenadas confiável.
Um ponto 3D X se projeta no pixel x através da matriz intrínseca K (distância focal, ponto principal) e da pose extrínseca [R|t] (rotação + translação da câmera):
O contorno da pupila é ajustado a uma cônica — um problema de mínimos quadrados restrito, resolvido classicamente (Fitzgibbon, Pilu & Fisher) como um problema de autovalor generalizado:
Para mapear um plano em outro (ex.: pontos de calibração → tela), uma homografia H (3×3, 8 graus de liberdade) é recuperada de ≥4 pares de pontos via Direct Linear Transform, resolvido por SVD:
Sem restrição, o ajuste de mínimos quadrados de uma cônica genérica pode convergir para uma hipérbole ou parábola — formas que não descrevem um contorno de pupila. A restrição 4ac−b²=1 força a solução a pertencer especificamente à família das elipses, transformando o problema em um autovalor generalizado de matriz 6×6, resolvível em tempo constante e sem iteração.
Informe um ponto 3D (em relação à câmera) e a distância focal — veja onde ele cai na imagem. (Assume ponto principal em 0,0 e pixels quadrados.)
Hospedado pelo próprio autor, com permissão explícita para download pessoal — não é uma cópia pirata re-hospedada. Cobre projeção, geometria projetiva, ajuste de modelos e homografia.
A córnea vira uma esfera matemática. Reflexos de luz infravermelha viram raios. E a direção real do olhar tem um pequeno desvio da direção "óptica" — o ângulo kappa.
A superfície frontal da córnea é modelada como uma esfera (~7.8 mm de raio). Duas ou mais fontes de luz IR criam reflexos corneanos (imagens de Purkinje); aplicando a lei da reflexão nessa superfície esférica, é possível retro-projetar raios e triangular o centro 3D da córnea.
O eixo óptico passa pelo centro da córnea e pelo centro da pupila (corrigido por refração via Lei de Snell). O olhar real — o eixo visual — está deslocado por um pequeno ângulo pessoal, kappa (κ), tipicamente ~5° na horizontal e ~1–1.5° na vertical, estimado durante a calibração.
Sistemas mais simples pulam o modelo 3D inteiro e mapeiam o vetor pupila–glint direto para coordenadas de tela usando uma homografia (transformação de razão cruzada / cross-ratio) ou uma regressão polinomial de baixa ordem ajustada durante uma calibração de 9 ou 13 pontos. É exatamente essa a linha de pesquisa do recurso abaixo.
Ajuste κ e observe o eixo visual (verde) se separar do eixo óptico (tracejado) — o desvio que toda calibração pessoal precisa corrigir.
Hospedada oficialmente pelo repositório da IT University of Copenhagen. O autor é um dos pesquisadores por trás da técnica de homography normalization para gaze estimation — a tese deriva essa geometria em primeira mão.
Os parâmetros pessoais (raio da córnea, κ, pose câmera-tela) não são medidos — são encontrados minimizando o erro entre o que o modelo prevê e onde a pessoa realmente olhou.
A cada ponto de calibração, define-se um resíduo. Minimiza-se a soma dos quadrados desses resíduos:
Como o modelo é não-linear nesses parâmetros, resolve-se iterativamente. Gauss-Newton lineariza e resolve a cada passo:
Levenberg-Marquardt amortece esse passo — mais robusto quando o palpite inicial está longe do ótimo:
Quando JᵀJ é quase singular (comum longe do ótimo, ou com poucos pontos de calibração), o passo de Gauss-Newton pode "explodir" em uma direção errada. Somar μI (μ > 0) estabiliza a matriz antes de invertê-la: para μ grande, o passo se aproxima de um simples gradiente descendente (lento, mas seguro); para μ pequeno, se aproxima de Gauss-Newton puro (rápido perto do ótimo). O algoritmo ajusta μ a cada iteração conforme o erro sobe ou desce.
Com 1 parâmetro e 1 resíduo, Gauss-Newton vira o método de Newton. Vamos calcular √c usando exatamente essa lógica — resíduo r(a) = a² − c, Jacobiano J = 2a:
Apostila oficial da Technical University of Denmark (DTU). *Sendo transparente: não consegui confirmar com 100% de certeza a contagem exata de páginas nas fontes bibliográficas disponíveis — trate como uma apostila enxuta, não um livro longo. O conteúdo (Gauss-Newton, Levenberg-Marquardt, dog-leg) foi confirmado.
Com a origem e a direção do olhar em mãos, esta é a etapa mais "calculável" de toda a trilha: geometria vetorial pura, sem iteração nenhuma.
Dado a origem do olhar o, direção d, e o plano da tela definido por um ponto p₀ e normal n:
Esse ponto 3D é então convertido em coordenadas de pixel/cm usando o tamanho físico e a pose conhecidos da tela. Toda essa etapa — e as anteriores — repousa sobre álgebra vetorial comum: produto escalar, projeções, resolver Ax=b no sentido de mínimos quadrados.
Preencha origem, direção e o plano da tela — o cálculo é exato, o mesmo usado por qualquer eye tracker de tela.
Disponibilizado gratuitamente pelo próprio autor, incluindo o código-fonte em LaTeX. Cobre exatamente a base vetorial usada em todas as etapas anteriores.
O ponto (x,y) bruto pula quadro a quadro. Um filtro de Kalman entrega uma estimativa suave — e essa suavidade é o que permite dizer "a pessoa fixou o olhar aqui".
O filtro trata posição+velocidade como um estado linear-gaussiano, alternando entre predição:
…e atualização, corrigindo com a nova medição ruidosa:
A velocidade suavizada alimenta um classificador de fixação/sacada (ex.: I-VT — limiar de velocidade angular), decidindo o que a pessoa realmente estava olhando.
Cinza = medições brutas e ruidosas. Verde = estimativa filtrada. Ajuste o ruído de processo (Q) e de medição (R) para ver o efeito.
*É um documento vivo (Jupyter Notebook em atualização contínua no GitHub) — a contagem de páginas varia conforme o instantâneo do PDF gerado, não é uma edição fixa. Licenciado abertamente pelo próprio autor.
Prefiro te dizer isso claramente a te mandar para uma cópia não-autorizada. Se sua universidade tiver acesso institucional, valem muito a pena.
A referência aplicada mais completa para todo esse pipeline. Título pago da Springer, sem versão gratuita hospedada pelo autor. Verifique o acesso institucional da sua universidade.
O tratamento mais profundo da geometria projetiva da Etapa 1. Encontrei apenas acesso institucional/empréstimo — nada hospedado pelos autores.