본문 바로가기
메뉴 바로가기
INNOTEMS - Lab VIEW 기반 제어. 계측 전문회사

HOME 제품소개SI 솔루션 연구/개발시스템

연구/개발시스템

청각도우미 글보기
청각도우미
작성자 관리자 게시일 2012.03.29 13:41 조회수 1,936
청각도우미
제품분류 청각도우미
제품개요

- 주변 음성을 시각화 표시
- 음성의 감성 표시
- 촉각 센서를 이용한 위험, 기쁨, 슬픔 , 감성 표시
- 데이터의 감성 시퀀스 수정 기능
- 소리 발생하는 지역 표시
- 청각 장애인의 도움을 위한 시스템

제품설명 - 마이크로 폰으로 소리의 위치를 판단하는 것이 가능합니다.
16개의 마이크로 폰 센서를 소음탐지 방법으로 빔형성 방법 등과 같이 마이크로폰에 입력되는 위상차이를 보정하는 방법과 MUSIC(Multiple Signal Classfication), ESPRIT(Estimation of Signal Parameters via Rotational Invariance Technique), GEESE(Generalized Eigenvalues utilizing Signal Subspace Eigenvectors) 등과 같이 음압신호의 상관 행렬의 고유치 및 고유벡터를 이용한 고유 구조해석 방법 을 사용합니다.
- 촉각 센서를 활용한 행복,슬픔,위험,싫음 등의 감성을 표현합니다.
촉각장치를 활용하여 손가락 끝에 감성표현을 위한 핀을 사용하여 각 감성 표시에 따른 형태의 감성표시를 할 수 있도록 구성이 되어 있으며 수정과 추가기능을 가능하게 하여 유연하게 대응이 가능합니다.
H/W & S/W - NI cDAQ-9178, NI 9234, HC07 Accelerometer, LifeCam VX-6000
▶매뉴얼 보기Click


    제목 : 청각도우미
    성명 : 박 종 대
    직책 : 과 장
    회사 : ㈜ 이노템즈


    사용한 NI제품명
    Hardware
     NI cDAQ-9178, NI 9234
    Software
     LabVIEW 9.0, PID Toolkit, Vision Toolkit



    그림 1 시스템 하드웨어

     

    요약

     

    청각 장애인을 위한 청각 도우미로 소리를 들을 수 없는 청각 장애인을 위해 외부의 음향 정보를 시각적인 방법으로 표시, 촉각으로 위험요소를 표시, 행복함을 표시 등과 같은 표시를 하여 청각 장애인의 생활을 좀더 편리 하게 하기 위한 시스템으로 1차적인 표현 방법에 대한 검증을 위한 장비 제작을 한 것이다.

     

    본론

     

    1. 시스템 개요

    그림 2 시스템 개요

     

    본 시스템은 청각도우미 시스템으로 1세부 감성 모델, 2세부 식별 모델, 3세부 가시화 모델, 4세부 촉각제시 모델을 통합하는 프로그램 구성으로 이루어져 있다.

    그림1-1 시스템 구성도를 보게 되면 1세부 감성모델은 소리를 듣고 행복,슬픔, 등을 표현 하는 동작을 하고, 2세부 식별은 자동차, 자전거 등 물건에 대한 식별을 하는 동작을 하고, 3세부 가시화는 영상을 통해 방향 및 위험 요소 등의 표시를 하는 동작을 하며, 마지막으로 촉각제시는 감성에 대한 표현을 촉각적으로 표시하는 역할을 하는 시스템으로 구성이 되어 있으며 여기에 있는 프로그램은 1세부, 2세부, 3세부, 4세부를 통합하는 프로그램으로 구성이 되어 있다.

     

     2. Program의 구성도

     

    1. 청각도우미 시스템은

    Main 구성

    그림 3 Main

     

    Main 화면은 영상, 촉각 제시, 감성 모델, 상태 표시 등으로 구성 되어 있으며,
    영상에서는 소리가 나는 부분과 소리의 특성을 확인 하여 색상으로 표시 위험과 안전한 부분에 대한 소리를 영상으로 처리 하여 표시를 한다.
    촉각 제시 영역에서는 손가락중에서도 가장 예민한 부분인 손끝 부분부분에 각 감성적인 부분의 형태의 구성으로 표시를 할 수 있도록 하고, 손끝으로 첨자표시를 하여 많은 수의 감성 처리를 한다.

     

    설정 구성
     
    그림 4 환경 설정

     

    각 프로그램 형태의 시퀀스 및 센서 사용 유무를 표시하며 센서에 채널 위치를 표시하여
    각 센서의 spare 부분까지 고려되어진 부분이다.
    또한 표현하는 방법의 여러 처리를 할 수 있도록 구성을 하여 추가 작업 및 여러 형태의 감성 표시를 만들 수 있는 부분이 있다.



    그림 5 촉각 모드 설정

    촉각 장치를 통해 표시를 할 수 있는 방법으로 9개의 핀을 활용하여 표시를 할 수 있도록 되어 있다. 이 표시를 하여 무수히 많은 표현을 할 수 있고 처리가 가능하다.

     

    2. 청각 도우미 블록다이어그램은


    그림 6 블록다이어그램

    생산자 소비자 구조를 통해 데이터 처리를 하여 데이터의 손실 및 디스플레이에 많은 중심을 두고 구성을 하였다.
    또한 랩뷰의 특징인 멀티스레드 구조를 최대한 활용하여 촉각 장치 및 감성처리 장치 등을 멀티 큐를 사용한 구성으로 효율적인 처리 구조로 사용하였다.

     

    2. 청각 도우미

    알고리즘 처리는
    여러가지 알고리즘의 조합으로 구성되어 있다.

     

    1) 평면파 모델


    평면파 모델: 여기서 는 소음원의 위치를 나타내며, 는 마이크로폰 사이의 거리를 의미 평면파 음원이 전파되는 경우에 마이크로폰 어레이에 수신되는 음압 신호의 형태는 위의 그림과 같다.

     

    2) 구면파 모델


    구면파의 전달 모델을 위해 하나의 점 음원에 대한 음파 전달 모델 및 마이크로폰 어레이의 배열을 생각하면 위와 같다.

     

    결론


    청각 도우미를 구축함으로써 청각장애인의 도움을 줄 수 있는 계기가 되며 프로그램의 실현 가능성에 대한 고려와 소리를 시각화 표시하는 부분에 있어 획일적인 표시의 구성을 구축 할 수 있는 시초를 마련하게 되었다.


청각도우미