평소에 온라인 미팅을 할 일도 많은데, 미팅노트 끄적이다가 놓치는 것도 많고 간혹 기록할 생각 자체를 까먹기도 해서.. 돈주고 대화 기록해주고 미팅노트 작성해주는 서비스를 써보려고 했거든요.. 근데 이게 온라인으로 돌아가는 서비스다보니 IT 보안 관련해서 문제가 되어서 쓸 수가 없게 되었습니다..
사실 대화하는거 받아적고, 그거 LLM 돌려서 정리하는 단순한 작업이라.. 대충 퀄리티는 맘에 안들더라도 그냥 로컬 컴퓨터에서 모든걸 다 해결하게 해보자 싶어서 Copilot CLI 붙잡고 열심히 시켜봤는데요..
모델 선택은 자동으로 하게 해 놨더니 Claude Sonnet 5 를 선택해서 썼고, 대략 혼자 한 30분정도 끄적이다가 결과물을 만들어내는데, 두세번정도 실패해서 디버그 하는거 도와줬더니, 제가 원하는 만큼 돌아가는 앱이 나오네요.
제가 요청한거는, Python, PySide6 (그래픽 유저 인터페이스), Faster-whisper (음성인식), 그리고 온디바이스 LLM 을 위해서 Apple Foundation Model (맥에 기본 탑재된 로컬모델) 사용하는게 조건이었습니다. 그리고 최종 결과물인 정리된 미팅노트는 Markdown 포맷으로 정리해주는거 까지도요.
첨엔 오픈소스로 공개도 해볼까 했는데, 너무 허접하고 너무 단순해서 공개하긴 많이 부끄럽고.. 근데 제 개인용으로 쓰기엔 크게 나쁘지 않은 (그렇다고 좋지도 않고 커머셜 솔루션에 비하면 많이 부족한) 무언가가 나온거 같습니다.
나중에 시간나면 좀더 끄적여 보고 github 에 공개하는 것도 고려해 볼만할 것 같은데.. 아직은 너무 초기 단계 엉성한 결과물이라.. 저만 대충 쓰면서 점점 고쳐가야 할 것 같네요~
참고로 대충 제가 구현한 방법은
마이크로 들어오는 소리는 제가 말한거, 시스템 오디오로 들어오는 소리는 상대방이 말한거 이렇게 구분하게 해서, 누가 말했는지 타임스탬프와 함께 계속 기록하게 했고요. 그래서 다자 회의는 좀 무리가 갈 수 있습니다. 1:1 로 미팅하는 경우엔 전혀 문제가 되지 않습니다.
그리고 Start Meeting 누른 시점에는 Faster-whisper 가 돌아가서 대화를 기록하고요.. 추가로 사용자가 노트를 계속 추가할 수 있게 타임스탬프가 붙는 기록을 채팅처럼 계속 남길 수 있도록도 만들어 두었습니다.
마지막으로 End Meeting 버튼 누르면 그제서야 LLM 이 개입해서 대화랑 노트를 종합해서 정리된 Markdown 미팅노트로 정리해 줍니다.
영어말고 다른 언어는 테스트 해보지 않았습니다.
저는 미국에서 일하기 때문에 미팅이 죄다 영어라.. 한국어가 되는지 조차도 테스트는 아직 못해봤네요.
나중에 필요가 생기면 그때 좀더 개선해 볼까 싶습니다.
