개발 삽질 일지

지난 글에서는 OpenAI Realtime API를 활용해서 음성 입력과 GPT 응답을 출력해보는 작업을 진행했습니다. 전사 정확도는 만족스럽지 못해서 총 3가지 방법으로 문제를 해결하려고 했고, 결과는 실패였습니다. 이번 글에서는 실패했던 과정과 원인, 그리고 가장 이상적인 방법을 공유하려고 합니다. 해결 방법이 궁금하신 분들은 뒤로가기 누르시는걸 추천합니다. 그리고, 혹시나 해결하신 분들은 알려주시면 감사하겠습니다 ( _ _ ) 1. aiortc처음으로 시도한 방법은 aiortc를 이용한 WebRTC 2개 연결이였습니다. aiortc는 Python에서 WebRTC 기능을 사용할 수 있도록 도와주는 라이브러리입니다. 브라우저에서 오는 WebRTC 요청인 SDP offer을 받아서 브라우저와 양방향 통..

2024년 5월, OpenAI가 발표한 GPT-4o의 Realtime API는 이제 단순한 텍스트 챗봇을 넘어, 사람처럼 듣고 말하는 실시간 AI 구현을 가능하게 만들었습니다. 기존에는 텍스트를 입력하고 응답을 기다리는 방식이 일반적이었다면, Realtime API는 WebRTC 기술을 활용해 마이크로 말하고, 즉시 AI의 응답을 듣는 구조를 제공합니다. 이 글에서는 Realtime의 공식 문서를 뜯어보고, WebRTC 기반의 Realtime API 구조와 실제 구현 포인트를 정리해보겠습니다. Realtime API 사용하기Realtime API을 사용하기 위해서는 2가지 방법이 존재합니다. 클라이언트-서버 구조에 적합한 WebRTC, 서버-서버에 적합한 WebSocket 방식입니다. 이 글에서는 Web..