A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira.

Apresentações semelhantes


Apresentação em tema: "Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira."— Transcrição da apresentação:

1 Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira Gomes da Costa Porto, Março 2008 Dissertação submetida para a obtenção do grau de Mestrado Integrado em Engenharia Electrotécnica e de Computadores pela Faculdade de Engenharia da Universidade do Porto P EDRO M IGUEL F ERREIRA DE C ARVALHO ( D ETECÇÃO DE D EFEITOS NA C OLOCAÇÃO DO R ÓTULO EM G ARRAFAS DE C ERVEJA (URL:

2 R ESUMO I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO A LGORITMO DE I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E S EU P OSICIONAMENTO A LGORITMO DE R ECONHECIMENTO DE C ARACTERES (OCR) A PLICAÇÃO DE C ONTROLO C ONCLUSÕES R EFERÊNCIAS

3 I NTRODUÇÃO D ESCRIÇÃO DO P ROBLEMA Desenvolvido de um sistema rápido e de baixo custo, para detecção de defeitos na colocação dos rótulos em garrafas de cerveja. O sistema deveria ser capaz de em tempo real (menos de 60 ms): Identificar o código de barras do rótulo; Verificar do correcto posicionamento do rótulo, detectando desvios horizontais e verticais; Verificar a impressão da data de validade e do lote de produção; I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

4 A RQUITECTURA DO S ISTEMA P ROJECTO DO S ISTEMA Sistema modular com 2 câmaras I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

5 P ROJECTO DO S ISTEMA S ET -U P DO S ISTEMA Plataforma de Desenvolvimento das Aplicações Kylix3 sobre distribuição Linux Mandriva 2006 Servidor de base dados Firebird. Estrutura Mecânica (14 garrafas/segundo) Estrutura Electrónica Câmara FireWire Modelo DMK31BF03 da ImagingSource (preto e branco com sinal de trigger) Mecanismo de Iluminação Estroboscópio Sensor de detecção de garrafa Sensor fotoeléctrico da Omron E3F2 I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

6 P ROJECTO DO S ISTEMA M ECANISMO DE I LUMINAÇÃO E DE S INCRONISMO Trigger: O momento de exposição é determinado pela entrada de trigger. A exposição começa 4.8μs depois de ocorrer um pulso de trigger. Uma vez mais o tempo de exposição pode ser ajustado, por software, dentro de uma gama 100μs to 30s. O tempo de leitura da imagem é recíproco ao frame rate da câmara. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

7 C ALIBRAÇÃO DOS P ARÂMETROS DE T RANSFORMAÇÃO V ISÃO Parâmetros de calibração da câmara: Rotação da câmara em relação ao sistema de coordenadas do mundo (rotX, rotY, rotZ) Distância focal equivalente (EqDist) Pontos usados na calibração: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

8 V ISÃO O valor de EqDist funciona como um factor de escala: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

9 V ISÃO T RANSFORMAÇÃO DAS C OORDENADAS DE I MAGEM EM C OORDENADAS DO M UNDO uvz2xy: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

10 V ISÃO Efeito de perspectiva projecção T RANSFORMAÇÃO DAS C OORDENADAS DO M UNDO EM C OORDENADAS DA I MAGEM xyz2uv: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

11 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO T IPOS DE C ÓDIGOS DE B ARRAS U TILIZADOS EAN8 EAN13 Características: Os dígitos são representados por 7 bits constituídos por 2 barras e 2 espaços. Nenhuma barra ou espaço pode ser maior que 4 bits. Todos os dígitos da Left-Hand começam com um 0 (espaço branco) enquanto que os da Righ-Hand começam sempre com 1 (barra preta). Dados relevantes: »têm sempre o mesmo número de transições »têm sempre o mesmo número de bits I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

12 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO P ROCESSAMENTO DE I MAGEM A classificação dos pontos de interesse ao longo da linha consiste em percorrer todos os pixeis e classificando-os em três níveis (ou dois niveis). Várias linhas de pesquisa com diferentes parâmetros de reconhecimento. Combinação da informação resultante das diversa linhas de pesquisa I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

13 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO Valor Threshold dinâmico: Diferente para cada linha de pesquisa Diferente ao longo da linha de pesquisa I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

14 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO L OCALIZAÇÃO DO C ÓDIGO DE B ARRAS Identificação do preâmbulo inicial (número de pixeis brancos consecutivos) Detectar o número de transições até se encontrar o preâmbulo final. Verificar de que tipo de códigos de barras foi identificado. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

15 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO Associar a cada barra preta ou espaço em branco o número de bits que representam Determinar os dígitos que compõem o código de barras recorrendo às tabelas de codificação Verificar o Checksum Digit D ESCODIFICAÇÃO DO C ÓDIGO B ARRAS Para obtenção do posicionamento da linha: Assumido que o código de barras se encontra na vertical Usada a relação entre o tamanho real do código de barras e seu tamanho na imagem. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

16 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO F USÃO DA INFORMAÇÃO PROVENIENTE DAS DIVERSAS S CANLINES Posicionamento do código de barras: O posicionamento (x,y,z) é dado pelo posicionamento da linha de topo e é relativo ao canto superior esquerdo Inclinação, dadas pelas 2 linhas centrais, é calculada achando a projecção no plano yz do plano que contém a origem e as linhas centrais. Ângulo com que a câmara vê o código de barras é calculado achando a projecção no plano xy da intersecção do plano que contém a linha de topo e a origem e o plano que contém a linha de base e a origem. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

17 I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E SEU P OSICIONAMENTO R ESULTADOS I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

18 R ECONHECIMENTO DE C ARACTERES (OCR) P ROCESSAMENTO DE I MAGEM M ÉTODO T EMPLATE -M ATCHING A classificação dos pontos de interesse da imagem é realizada de forma Binária. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

19 R ECONHECIMENTO DE C ARACTERES (OCR) L OCALIZAÇÃO DA ÁREA DE IMPRESSÃO DA VALIDADE E DO LOTE DE PRODUÇÃO Detecção de transições horizontais na imagem juntamente com informação relativa ao tamanho da linha de lote de produção e da linha de validade. Agrupamento das linhas: Não podem estar afastadas mais do que o tamanho de 2 linhas Ser possível serem atravessadas pela mesma linha vertical I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

20 R ECONHECIMENTO DE C ARACTERES (OCR) R ECONHECIMENTO DE CARACTERES S EGMENTAÇÃO DE CARACTERES I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

21 A PLICAÇÃO DE C ONTROLO Funcionalidades: Diversos níveis de utilizadores com níveis de permissão diferentes Visualizar informação sobre que alarme ocorreu, sua causa e possível resolução Configuração dos parâmetros dos diferentes alarmes Capacidade de introdução de novos produtos (sistema de base dados) Visualizar a informação sobre um rótulo Sinóptico Manter histórico dos alarmes I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

22 O RDEM DE P RODUÇÃO A PLICAÇÃO DE C ONTROLO Informação sobre o rótulo: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

23 A PLICAÇÃO DE C ONTROLO A LARMES I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

24 A PLICAÇÃO DE C ONTROLO A RMAZENAMENTO DA I NFORMAÇÃO Base de Dados (Firebird): Informação sobre os alarmes: I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

25 C ONCLUSÕES Podemos concluir deste trabalho que: Foram atingidos todos objectivos propostos. O sistema apresentado é bastante rápido e muito mais barato do que qualquer solução existente no mercado. Os ensaios laboratoriais obtiveram resultados positivos, o que permitiu a passagem imediata à fase de implementação do sistema na linha de montagem da Unicer. ×Em ambiente industrial, surgiram os primeiros problemas, um dos módulos não pôde ser implementado e o outro módulo ainda se encontra em fase de instalação e de testes. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

26 C ONCLUSÕES Sugestões de futuras implementações: !Encontrar solução para a colocação da câmara para identificação do lote de produção e da validade; !Interligação a aplicação de controlo com a máquina rotuladora e assim poder utilizar o sistema de rejeição automático que esta possui; !Interligação a aplicação controlo com o software de planeamento e gestão de produção existente na Unicer e, deste modo, conseguir automatizar alguns processos, como a introdução manual de novos produtos na base dados. I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

27 R EFERÊNCIAS A DELMANN, R OBERT, M ARC L ANGHEINRICH & C HRISTIAN F LÖRKEMEIER (2006). Toolkit for Bar Code Recognition and Resolving on Camera Phones – Jump Starting the Internet of Things. Institute for Pervasive Computing, ETH Zurich. A LI, F. & T. P AVLIDIS (1977). Syntactic recognition of handwritten numerals. IEEE Trans. Syst., Man, Cybern., vol. 7, pp B ATISTA, G. & K. M. K ULKARNI (1988). A high accuracy algorithm for recognition of handwritten numerals. Pattern Recognition, vol. 21, no. 4, pp B ATISTA, J ORGE, J ORGE D IAS, H ÉLDER A RAÚJO & A. T RAÇA DE A LMEIDA (1993). Monoplanar Camera Calibration for Off-the-Shelf TV Cameras and Lenses. Iterative Multi-step Approach. 5th Portuguese Conference on Pattern Recognition, pp. 53/62. B ORKOWSKI, M ACIEJ (2007). 2D to 3D Conversion with Direct Geometrical Search and Approximation Spaces. A Dissertation submitted to the Faculty of Graduate Studies, in Partial Fulfilment of the Requirements for the degree of Doctor of Philosophy in Electrical and Computer Engineering. C HAI, D OUGLAS & F LORIAN H OCK (2005). Locating and Decoding EAN-13 Barcodes from Images Captured by Digital Cameras. Addendum to Proceedings ICIS2005. H UANG, J. S. & K. C HUANG (1986). Heuristic approach to handwritten numeral recognition. Pattern Recognition. vol. 19, no. 1, pp J EFFREY A DAIR (2006). Locating, Tracking, and Interpreting Ean-13 Bar Code Waveforms in a Two-Dimensional Video Stream. Hiram College. K WAN, C. C., L. P ANG, & C. Y. S UEN (1979). A comparative study of some recognition algorithms in character recognition. In Proc. Int. Conf on Cybernetics and Society (Denver), pp I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

28 R EFERÊNCIAS L ENZ, R EIMAR K. & R OGER Y. T SAI (1988). Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3-D Machine Vision Metrology. IEEE transactions on pattern analysis and machine intelligence, vol. 10, no. 5, pp M UNIZ, R UBEN, L UIS J UNCO, & A DOLFO O TERO (1999). A robust software barcode reader using the Hough transform. In Proceedings of the 1999 International Conference on Information Intelligence and Systems, pp. 313–319. O HBUCHI, E ISAKU, H IROSHI H ANAIZUMI & L IM A H H OCK (2004). Barcode Readers using the Camera Device in Mobile Phones. In CW, pp. 260–265. IEEE Computer Society. P AVLIDIS, T., J. S WARTZ & Y. P. W ANG (1990). Fundamentals of bar code information theory. Computer, vol. 23, no. 4, pp S HRIDHAR, M. & A. B ADRELDIN (1986). Recognition of isolated and simply connected handwritten numerals. Pattern Recognition, vol. 19, no. 1, pp S UEN, C. Y. (1982a). Distinctive features in the automatic recognition of handprinted characters. Signal Processing, vol. 4, pp S UEN, C. Y. (1982b). The role of multi-directional loci and clustering in reliable recognition of characters. In Proc. 6th Int. Conf. Pattern Recog., pp T SAI, R.Y. (1986). An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. IEEE Conf. on Computer Vision and Pattern Recognition, pp T SAI, R. Y. (1987). A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. IEEE Journal of Robotics and Automation, RA-3(4), pp W U, J. J., R. E. R INK, T. M. C AELLI & V. G. G OURISHANKAR (1988). Recovery of 3-D Location and Motion of a Rigid Object Through Camera Image (An Extended Kalman Filter Approach). International Journal of Computer Vision 3:3, pp I NTRODUÇÃO P ROJECTO DO S ISTEMA V ISÃO I DENTIFICAÇÃO DO C ÓDIGO DE B ARRAS E DO SEU P OSICIONAMENTO R ECONHECIMENTO DE C ARACTERES (OCR)A PLICAÇÃO DE C ONTROLO C ONCLUSÃO R EFERÊNCIAS

29 Porto, Março 2008 P EDRO M IGUEL F ERREIRA DE C ARVALHO ( -- URL: O BRIGADO, P ELA A TENÇÃO FIM


Carregar ppt "Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira."

Apresentações semelhantes


Anúncios Google