O reconhecimento de caligrafia ou reconhecimento de escrita manual (do inglês handwriting recognition - HWR), também conhecido como reconhecimento de texto manuscrito (handwritten text recognition - HTR), é a capacidade de um computador de receber e interpretar entradas manuscritas inteligíveis de fontes como documentos de papel, fotografias, telas sensíveis ao toque (touch-screens) e outros dispositivos. A imagem do texto escrito pode ser capturada "off-line" de um pedaço de papel por digitalização óptica (reconhecimento óptico de caracteres) ou reconhecimento inteligente de palavras. Alternativamente, os movimentos da ponta da caneta podem ser capturados "on-line", por exemplo, por uma superfície de tela de computador baseada em caneta, uma tarefa geralmente mais fácil, pois há mais pistas disponíveis. Um sistema de reconhecimento de escrita manual lida com a formatação, realiza a segmentação correta em caracteres e encontra as palavras mais prováveis.

Reconhecimento off-line O reconhecimento off-line de escrita manual envolve a conversão automática de texto em uma imagem em códigos de letras que podem ser utilizados em aplicativos de computador e processamento de texto. Os dados obtidos por este formato são considerados uma representação estática da escrita. O reconhecimento de escrita off-line é comparativamente difícil, pois pessoas diferentes possuem estilos de escrita diferentes. Além disso, até o momento, os motores de OCR são focados principalmente em texto impresso por máquina e ICR para textos escritos à mão em letras de forma (letras maiúsculas).

Técnicas tradicionais

Extração de caracteres O reconhecimento off-line de caracteres frequentemente envolve a digitalização de um formulário ou documento. Isso significa que os caracteres individuais contidos na imagem digitalizada precisarão ser extraídos. Existem ferramentas capazes de realizar esta etapa. No entanto, existem várias imperfeições comuns nesta etapa. A mais comum é quando caracteres que estão conectados são retornados como uma única subimagem contendo ambos os caracteres. Isso causa um grande problema na fase de reconhecimento. Ainda assim, muitos algoritmos estão disponíveis para reduzir o risco de caracteres conectados.

Reconhecimento de caracteres Depois que os caracteres individuais são extraídos, um motor de reconhecimento é usado para identificar o caractere de computador correspondente. Diversas técnicas diferentes de reconhecimento estão disponíveis atualmente.

Extração de características A extração de características funciona de maneira semelhante aos reconhecedores de redes neurais. No entanto, os programadores devem determinar manualmente as propriedades que consideram importantes. Essa abordagem dá ao reconhecedor mais controle sobre as propriedades usadas na identificação. Contudo, qualquer sistema que utilize essa abordagem requer substancialmente mais tempo de desenvolvimento do que uma rede neural, pois as propriedades não são aprendidas automaticamente.

Técnicas modernas Enquanto as técnicas tradicionais se concentram na segmentação de caracteres individuais para reconhecimento, as técnicas modernas se concentram em reconhecer todos os caracteres em uma linha de texto segmentada. Em particular, elas se concentram em técnicas de aprendizado de máquina capazes de aprender características visuais, evitando a engenharia de características limitante usada anteriormente. Os métodos mais avançados usam redes convolucionais para extrair características visuais sobre várias janelas sobrepostas de uma imagem de linha de texto, que uma rede neural recorrente usa para produzir as probabilidades dos caracteres.

Reconhecimento on-line O reconhecimento on-line de escrita manual envolve a conversão automática de texto enquanto ele é escrito em um digitalizador especial ou PDA, onde um sensor capta os movimentos da ponta da caneta, bem como as trocas de caneta levantada/caneta abaixada. Esse tipo de dados é conhecido como tinta digital e pode ser considerado uma representação digital da escrita à mão. O sinal obtido é convertido em códigos de letras utilizáveis em computadores e aplicativos de processamento de texto. Os elementos de uma interface de reconhecimento on-line geralmente incluem:

uma caneta ou stylus com a qual o usuário escreve uma superfície sensível ao toque, que pode estar integrada ou adjacente a uma tela de exibição. um aplicativo de software que interpreta os movimentos da caneta através da superfície de escrita, traduzindo os traços resultantes em texto digital. O processo de reconhecimento on-line pode ser dividido em algumas etapas gerais:

pré-processamento, extração de características e classificação O objetivo do pré-processamento é descartar informações irrelevantes nos dados de entrada que possam afetar negativamente o reconhecimento. Isso diz respeito à velocidade e à precisão. O pré-processamento geralmente consiste em binarização, normalização, amostragem, suavização e remoção de ruído. O segundo passo é a extração de características. A partir do campo vetorial bi ou multidimensional recebido dos algoritmos de pré-processamento, extraem-se dados de dimensões superiores. O objetivo dessa etapa é destacar informações importantes para o modelo de reconhecimento. Esses dados podem incluir informações como a pressão da caneta, a velocidade ou as mudanças de direção da escrita. O último grande passo é a classificação. Nesta etapa, vários modelos são usados para mapear as características extraídas para diferentes classes, identificando assim os caracteres ou palavras que essas características representam.

Hardware Produtos comerciais que incorporavam o reconhecimento de escrita como substituto do teclado começaram a ser introduzidos no início dos anos 1980. Exemplos incluem terminais de escrita como o Pencept Penpad e o terminal de ponto de venda Inforite. Com o advento do grande mercado consumidor de computadores pessoais, vários produtos comerciais foram introduzidos para substituir o teclado e o mouse em um computador pessoal por um único sistema de apontamento/escrita, como os da Pencept, CIC e outros. O primeiro computador portátil tipo tablet disponível comercialmente foi o Write-Top da Linus Technologies, lançado em julho de 1988. Seu sistema operacional baseava-se no MS-DOS. No início da década de 1990, fabricantes de hardware como NCR, IBM e EO lançaram tablets que executavam o sistema operacional PenPoint, desenvolvido pela GO Corp. O PenPoint utilizava reconhecimento de escrita e gestos em todo o sistema e fornecia os recursos para software de terceiros. O tablet da IBM foi o primeiro a usar o nome ThinkPad e utilizava o reconhecimento de caligrafia da IBM. Esse sistema de reconhecimento foi posteriormente portado para o Microsoft Windows for Pen Computing e para o Pen for OS/2 da IBM. Nenhum desses produtos obteve grande sucesso comercial. Avanços na eletrônica permitiram que o poder de computação necessário para o reconhecimento de caligrafia coubesse em um formato menor do que os tablets, e o reconhecimento de escrita passou a ser frequentemente usado como método de entrada para PDAs (computadores de mão). O primeiro PDA a fornecer entrada escrita foi o Apple Newton, que expôs o público à vantagem de uma interface de usuário simplificada. No entanto, o dispositivo não foi um sucesso comercial devido à falta de confiabilidade do software, que tentava aprender os padrões de escrita do usuário. No momento do lançamento do Newton OS 2.0, em que o reconhecimento de caligrafia foi consideravelmente melhorado (incluindo características únicas ainda não encontradas nos sistemas atuais, como a correção de erros não modal), a primeira impressão amplamente negativa já havia sido formada. Após a descontinuação do Apple Newton, o recurso foi incorporado no Mac OS X 10.2 e versões posteriores sob o nome Inkwell. A Palm mais tarde lançou uma série de sucesso de PDAs com base no sistema de reconhecimento Graffiti. O Graffiti melhorou a usabilidade ao definir um conjunto de "unistrokes", ou formas de um único traço, para cada caractere. Isso restringiu as possibilidades de entradas errôneas, embora a memorização dos padrões de traços aumentasse a curva de aprendizado para o usuário. Posteriormente, descobriu-se que o reconhecimento do Graffiti infringia uma patente pertencente à Xerox, e a Palm substituiu o Graffiti por uma versão licenciada do reconhecimento de escrita da CIC que, embora também suportasse formas de um traço, era anterior à patente da Xerox. A decisão judicial de infração foi revertida em apelação e revertida novamente em apelação posterior. As partes envolvidas acabaram negociando um acordo relacionado a esta e a outras patentes. Um Tablet PC é um computador portátil com uma mesa digitalizadora e uma caneta especial, permitindo ao usuário escrever à mão na tela do aparelho. O sistema operacional reconhece a escrita e a converte em texto. O Windows Vista e o Windows 7 incluíram recursos de personalização que aprendem os padrões de escrita do usuário ou vocabulário para inglês, japonês, chinês tradicional, chinês simplificado e coreano. Tais recursos incluem um "assistente de personalização" que solicita amostras da caligrafia de um usuário e as utiliza para retreinar o sistema para uma precisão de reconhecimento mais alta. Este sistema é distinto do sistema de reconhecimento de caligrafia menos avançado empregado no Windows Mobile para PDAs. Embora o reconhecimento de caligrafia seja uma forma de entrada à qual o público já tenha se acostumado, não alcançou uso generalizado nem em computadores de mesa nem em laptops. Ainda é geralmente aceito que a entrada através de um teclado alfanumérico é mais rápida e confiável. A parti de 2006, muitos PDAs passaram a oferecer entrada manuscrita, algumas vezes aceitando até caligrafia cursiva natural, mas a precisão ainda representava um problema, e alguns usuários continuavam a achar o teclado virtual na tela mais eficiente.

Software Os softwares mais antigos conseguiam entender a escrita de forma quando os caracteres eram separados; no entanto, a escrita cursiva com caracteres conectados apresentou o Paradoxo de Sayre, uma dificuldade envolvendo a segmentação de caracteres. Em 1962, Shelia Guberman, então em Moscou, escreveu o primeiro programa aplicado de reconhecimento de padrões. Exemplos comerciais vieram de empresas como a Communications Intelligence Corporation e a IBM. No início da década de 1990, duas empresas – a ParaGraph International e a Lexicus – criaram sistemas que conseguiam entender o reconhecimento de caligrafia cursiva. A ParaGraph estava sediada na Rússia e foi fundada pelo cientista da computação Stepan Pachikov, enquanto a Lexicus foi fundada por Ronjon Nag e Chris Kortge, que eram estudantes da Universidade Stanford. O sistema CalliGrapher da ParaGraph foi implantado nos sistemas Apple Newton, e o sistema Longhand da Lexicus foi disponibilizado comercialmente para os sistemas operacionais PenPoint e Windows. A Lexicus foi adquirida pela Motorola em 1993 e passou a desenvolver sistemas de reconhecimento de caligrafia chinesa e texto preditivo para a Motorola. A ParaGraph foi adquirida em 1997 pela SGI e sua equipe de reconhecimento de caligrafia formou uma divisão P&I, posteriormente adquirida da SGI pela Vadem. A Microsoft adquiriu o reconhecimento de caligrafia CalliGrapher e outras tecnologias de tinta digital desenvolvidas pela P&I junto à Vadem em 1999. O Wolfram Mathematica (versão 8.0 ou posterior) também fornece uma função de reconhecimento de caligrafia ou de texto, a TextRecognize.

Pesquisa

O reconhecimento de caligrafia conta com uma comunidade ativa de acadêmicos que o estuda. As maiores conferências para reconhecimento de escrita são a Conferência Internacional de Fronteiras no Reconhecimento de Escrita (International Conference on Frontiers in Handwriting Recognition - ICFHR), realizada em anos pares, e a Conferência Internacional em Análise e Reconhecimento de Documentos (International Conference on Document Analysis and Recognition - ICDAR), realizada em anos ímpares. Ambas as conferências são endossadas pelo IEEE e pela IAPR. Em 2021, os anais do ICDAR começaram a ser publicados na série LNCS, pela Springer. Áreas ativas de pesquisa incluem:

Reconhecimento on-line Reconhecimento off-line Verificação de assinatura Interpretação de endereço postal Processamento de cheques bancários Reconhecimento do autor (writer recognition)

Resultados desde 2009 Desde 2009, as redes neurais recorrentes e as redes neurais profundas de alimentação direta (feedforward) desenvolvidas no grupo de pesquisa de Jürgen Schmidhuber no Laboratório Suíço de IA IDSIA venceram várias competições internacionais de escrita à mão. Em particular, a memória de curto-prazo longa (LSTM) bidirecional e multidimensional de Alex Graves et al. venceu três competições de reconhecimento de caligrafia conectada na Conferência Internacional de Análise e Reconhecimento de Documentos (ICDAR) em 2009, sem qualquer conhecimento prévio sobre os três idiomas diferentes (Francês, Árabe, Persa) a serem aprendidos. Métodos recentes de aprendizado profundo baseados em GPU para redes feedforward desenvolvidos por Dan Ciresan e colegas do IDSIA venceram o concurso de reconhecimento off-line de caligrafia chinesa do ICDAR 2011; suas redes neurais também foram os primeiros reconhecedores de padrões artificiais a alcançar um desempenho competitivo com o humano no famoso problema de dígitos manuscritos do banco de dados MNIST de Yann LeCun e seus colegas da NYU. Benjamin Graham da Universidade de Warwick venceu um concurso de reconhecimento de escrita chinesa de 2013, com uma taxa de erro de apenas 2,61%, usando uma abordagem baseada em redes neurais convolucionais que evoluiu (até 2017) para "redes neurais convolucionais esparsas".

Ver também Rede neural convolucional Aplicações de inteligência artificial Assinatura eletrônica Reconhecimento inteligente de caracteres Reconhecimento ótico de caracteres Tablet PC

Listas Esboço da inteligência artificial Lista de tecnologias emergentes

Referências

Ligações externas Bibliografia anotada com referências sobre gestos e computação por caneta Notes on the History of Pen-based Computing – vídeo no YouTube