왜 필요했나요?
작은 버스 번호와 문서를 맨눈으로 읽기 어렵고 이동 중에는 즉시 음성 안내가 필요합니다.
PROJECT / SOGNORA
Flowy
실시간 시각 보정과 음성 안내를 담은 Android 카메라 앱
무엇을 만들었나요?저시력 보조 카메라
어떤 흐름인가요?정류장에서 버스 번호와 주변 정보를 확인하기 어려운 저시력 사용자
담당 범위Android 프로토타입 클라이언트
참여 기간 2020.10 – 2021.03 · 약 6개월
저시력 보조 카메라
Flowy는 저시력 사용자가 스마트폰 카메라로 주변 정보를 확인하는 Android 앱입니다.
신한 퓨처스랩 7-1기에 선정된 스타트업 오버플로우에서 이 프로젝트의 설계와 개발을 전담했고, 과기정통부 AI 바우처 지원사업 선정 과제로 버스번호 인식 모델을 앱에 적용했습니다.
어떻게 구현했나요?
CameraX 화면에 OpenGL 보정 필터를 적용하고 서버 인식 결과를 WebSocket으로 받아 TTS로 안내했습니다.
주요 화면으로 확인하기
실제 데모 영상 · 앱 저장소 · 실제 캡처 · 재구성 화면
주요 화면
카메라 화면에 보정 결과와 버스 번호를 함께 표시했습니다
CameraX 영상에 시각 보정 필터를 적용하고 서버에서 받은 번호를 화면 위에 표시합니다.
저시력 사용자를 위한 실시간 카메라 보정 화면입니다.
카메라로 인식한 정보를 화면과 음성으로 안내합니다.
카메라 안에서 손가락 위치를 추적하는 테스트 영상입니다.
작업 정보
- 담당 범위
- Android 앱 · CameraX · 시각 보정 필터 · 버스 번호 인식 · WebSocket · TTS 안내
- 참여 기간
- 2020.10 – 2021.03 · 약 6개월
- 사용 기술
- AI · AOS
- 현재 상태
- 프로토타입 완료 · 2021년 데모
- 확인 자료
- 실제 데모 영상 · 앱 저장소 · 실제 캡처 · 재구성 화면
구현 범위 자세히 보기
- 실시간 카메라
CameraX 기반 카메라 피드 처리와 화면 렌더링
- 시각 보정
OpenGL/GLSL 기반 개인 맞춤 대비·색상 보정 필터
- 번호 인식
서버의 인식 결과를 WebSocket으로 받아 화면에 표시
- 음성 안내
인식 결과를 TTS로 안내해 야외 이동을 보조
다음 프로젝트
프로젝트 문의 비슷한 서비스를 만들고 있나요?
현재 화면이나 필요한 기능을 보내주시면, 필요한 범위부터 함께 정리합니다.