구글 플랫폼을 공유하는 AppSheet는 구글의 인공지능(AI) 서비스를 3가지를 사용할 수 있습니다. 음성인식, 문자이미지인식, 문자분류/수치예측 입니다. 3가지를 나누어 설명하며 이번에는 음성인식 사용법에 설명합니다. Speach To Text 기술을 검색에 적용하는 원리입니다.
AppSheet에서 사용하는 구글 인공지능 (AI) 3가지 : 음성인식, 문자이미지인식, 문자분류/수치예측 소개
Appsheet에서 사용할 수 있는 3가지 인공지능 서비스에 대해 간략히 설명드립니다. 1번째 Smart Assistant는 사람의 음성을 문자로 변환시켜 AppSheet 내의 테이블에서 필요한 정보를 감색하는 기능입니다. 2번째 OCR 은 사진이나 그림 이미지에서 글자를 추출하는 기능입니다. 3번째 Prediction은 수치 데이터를 변수로 입력받아 회귀방적을 학습해 수치화된 결과를 추측( 예측 )하는 기능입니다.
앞으로 3가지 기능에 대해 상세히 설명드릴 예정이며 이번에는
음성인식 검색 Smart Assistant
- 적용분야
Appsheet에서 원하는 데이터 구조로 테이블을 생성하고 각종 데이터를 수집한 다음에는 원하는 정보 검색을 많이 사용합니다. AppSheet view에서 필터와 검색 기능을 일일이 클릭하거나 터치해서 찾을 수 있습니다. 하지만 일일이 원하는 View로 접근해 일일이 검색한다면 번거로운 일이 될 수 있습니다. 특히 Appsheet view를 10개 이상 만들었다면 원하는 view를 찾아 들어가는 것도 쉬운 일이 아닙니다. 이런 번거로움을 해소하기 위해 Smart Assistant는 음성으로 테이블과 특정 타입의 항목을 구체적으로 말해주면 그 결과를 보여줍니다.
- 특징 및 한계
Smart Assistant는 아직 한글 음성 인식 지원은 매우 약하며 영어와 스페인어만 사용 가능합니다. Smart Assistant는 AppSheet 설계 시 사용한 테이블과 Label로 체크된 항목(필드), 그리고 Enum, Date, Price, Number 등 타입의 항목에 저장된 데이터를 검색하거나 필터링할 수 있습니다. 하지만 Text 타입의 항목에 저장된 데이터는 영어와 스페인어 버전으로도 작동되지 않는 한계가 있습니다.
예시 template 복사 및 수정 준비 (영문 AppSheet)
아직 한글을 지원하지 않아 아쉽지만 영어로 된 AppSheet를 예시로 설명드리겠습니다. AppSheet에서 제공하는 템플릿에서 "Order Capture How-to"를 구글이나 AppSheet 홈페이지에 검색합니다.
https://www.appsheet.com/templates/An-app-for-managing-customers-products-and-orders?appGuidString=83be58ea-1901-4a6d-ac9c-38c7c555d8cd
AppSheet : mobile apps from spreadsheets : Template: Other for the industry
www.appsheet.com
그러면 아래와 같은 홈페이지로 접속가능한데 "Copy and Customize"를 클릭하면 본인의 AppSheet로 복사되어 자신에게 맞게끔 수정할 수 있습니다.
Smart Assistant 설정 방법
Smart Assistant를 사용 하기 위해서 "intellegence -> Smart Assistant"를 선택한 후, Enable Smart Assistant를 활성화시키면서 Locale을 영어 중 한국인 영어 발음이 그나마 잘 인식되는 "United Kingdom"을 선택합니다.
Smart Assistant는 기본적으로 메뉴 위치에 표기되는데 필요시 하단 프라이머리 내비게이션으로 이동할 수 있습니다. 예시를 필자는 위치 (Position)를 middle로 설정하였습니다. 그러면 마이크 모양의 아이콘이 보이면서 Smart Assistant 기능을 사용할 수 있게 됩니다.
- Smart Assistant 사용 방법
pc와 모바일에서 Smart Assistant를 사용할 수 있습니다. 다만 pc의 경우 크롬 브라우저에만 가능하며 영어로 인식하기 위해 아래와 같이 언어 순위를 변경합니다. 보통 한국어가 1순위로 되어 있으므로 테스트를 위해 잠시만 영어를 1 선위로 변경합니다.
Smart Assistant 테스트
- "Order Capture How-to" 데이터 구조
서두에 설명한 것처럼 AppSheet 설계 시 사용한 테이블과 Label로 체크된 항목(필드), 그리고 Enum, Date, Number 타입의 항목에 저장된 데이터를 검색하거나 필터링할 수 있습니다. 따라서 Smart Assistant에서 사용할 수 있는 테이블 명칭과 Enum, Date, Price, Number 등 타입의 항목을 먼저 살펴보겠습니다. 중요한 것은 Smart Assistant는 어떤 언어를 지원하든 현재까지는 Text 타입 항목을 검색하거나 필터링할 수 없습니다.
Custormers 테이블에는 Name 항목이 Label로 지정되어 있습니다.
Orders 테이블에는 Order Status라는 항목이 Enum 타입으로 지정되어 있습니다.
각종 수치 정보와 Name형 Product Name 항목을 갖는 Product 테이블입니다.
위에 살펴본 테이블에 Text 형 이외에 많은 타입의 필드가 존재하지만 예시를 위해 아래 필드의 데이터만 Smart Assistant 테스트를 해보겠습니다.
| 테이블 | Enum 형 | Name 형 | 수시 형 (Price, Number) |
| Customers | - | Name | |
| Orders | Order Status | - | - |
| Products | - | Product Name | Price, Total Inventory. Total Requested, Total Available |
- PC 환경에서 Smart Assistant 테스트
메뉴 중간에 표시된 마이크 아이콘을 클릭하여 상단의 텍스트 창에 "Show me my customers" 타이핑하고 엔터를 합니다.
이 명령어는 Customers 테이블 모두 보여 달라는 의미입니다.
발음에 문제가 없다면 "상단 마이크 아이콘"을 클릭한 후 "Show me my customers"라고 말하면 동일한 결과가 나옵니다.
타이핑이든 음성인식이든 "Go to orders"라고 하면, Orders 테이블의 모든 데이터를 검색합니다.
"Go to Bob Barker"라고 검색하면 테이블이 아닌 Label로 지정된 항목에서 "Bob Barker"를 검색합니다.
"Show me all open orders"라고 검색하면 orders 테이블에 Enum으로 지정된 Order Status 항목에서 Open 이란 데이터만 필터링하여 결과를 보여줍니다.
"Products that cost at least $5"라고 하면 Products 테이블에 5 달러 이상의 가격을 필터링하여 조회된 결과입니다.
Products that Inventory over 100라고 하면 Products 테이블에서 inventory 항목이 100 이상인 값을 조회한 결과입니다.
지금 까지는 단순히 1개의 음성 명령어의 결과를 테스트했다면, 다음은 2번 이상 연속으로 명령할 경우입니다. 아래의 문장을 연속으로 명령 내리면 아래와 같이 orders 테이블에서 open 상태의 데이터 중에 "Bor Barker"만 조회된 결과입니다.
이외에 이메일 발송 전화 걸기도 음성 인식으로 가능합니다.
요약
- AppSheet에서는 구글에서 제공하는 3가지 AI 서비스 제공 (음성인식, 문자이미지인식, 문자분류/수치예측)
- Smart Assistant는 영어/스페인어만 제대로 작동하며 아직까지는 한글은 비적용 권장
- Enum, Date, Price, Number 등 타입 항목에 저장된 데이터를 검색하거나 필터링 (Text 타입 항목의 데이터는 미작동)
- 음성인식 명령어에서 테이블과 지원하는 타입의 항목의 데이터를 선별하여 조회
'사업지속 > AppSheet' 카테고리의 다른 글
| 021 How to use 구글 appsheet 사용법-문자이미지인식 OCR Model AI 학습 / 적용 (0) | 2023.01.19 |
|---|---|
| 020 How to use 구글 appsheet 사용법-문자이미지인식 OCRTEXT() AI 적용 (0) | 2023.01.18 |
| 018 How to use 구글 appsheet 사용법-글자프로필 이미지 API 연동 (ui-avatars) (0) | 2023.01.10 |
| 017 How to use 구글 appsheet 사용법-Dynamic Gmail (Gmail 에 AppSheet Ux 연동) (1) | 2023.01.07 |
| 016 번외 날씨 정보를 크롤링 하여 address 속성으로 appsheet 지도로 보여주기 (0) | 2022.12.12 |
댓글