본문 바로가기

TIL

[TIL 2024. 05. 30] elder 추가 음성인식 기능 구현 아이디어

  1. (메뉴 추천해서 elder_menu.html 로 넘어옴)
  2. 고객 음성 입력 - 메뉴 재추천, 주문(장바구니에 추가, 삭제), 결제
  3. 음성 입력에서 어떤 요청인지 알아내야 함 (gpt) - 새로 만들어야 하는 거 1) 메뉴 재추천, 주문, 결제 를 파악하는 ai
  4. 요청이 파악되면 해당 views의 함수가 실행되도록
  5. 실행 후 다시 음성 입력 대기
  6. 결제 요청인 경우 음성 입력 대기 종료
  • 요청 파악
    • 해당 요청이 메뉴 재추천인지, 장바구니인지, 결제인지 파악해야 함
  • 메뉴 재추천
    • 입력 - 이거 말고 다른 거, 그러면 따뜻한 메뉴는 뭐가 있어?,
    • 음성 재입력 버튼을 누르는 것을 ai로 눌러준다.
    • 다시 bot.py의 get_recommended_menus(), generate_final_response(), bot() 을 타서 메뉴를 추천 받음
  • 장바구니 추가, 삭제, 수정 (CRUD)
    • 입력 - 첫 번째 거 넣어줘, 그거 두 개로 늘려줘, 아이스 아메리카노 빼줘, 전체 삭제해줘, ~ 빼고 ~ 넣어줘, ~랑 ~ 넣어줘
    • 요청 사항을 분리 시키는 것: 아메리카노 빼고 스무디 넣어줘 → 아메리카노 빼고 / 스무디 넣어줘/ 로 나누어서 메뉴와 행동을 연관시킬 수 있는 로직
    • 입력받은 음성에서 메뉴를 뽑아내야 되고: “아메리카노” 라고 안 하고 “왼쪽 거”, “첫번째 거” 해도 메뉴를 뽑아낼 수 있는지?
    • 어떤 행동을 원하는지 뽑아내야 되고: 장바구니 추가, 삭제, 수정
    • 하나는 행동을 실행(장바구니 담거나 삭제, 개수 늘려주기)
    • 하나는 음성 답변 생성: 한정짓는다고 생각하기 “요청하신대로 이행하였습니다” 이런 느낌. 그냥 요청을 실행했다 이 정도만.
    • 음성 답변이랑 행동을 둘 다 넘겨주는 bot2() 생성
  • 결제
    • 입력 - 이제 결제할게, 이대로 주문,
    • 결과 - 새로 만들어야 하는 거 3) 결제하기를 바로 눌러주는 기능