안녕하세요
오랫만에 글을 올리게 됩니다
최근 몇달동안 프로젝트에 투입되서 정신이 없어 AI관련 소식이나 학습등에 신경을 잘 쓰지 못했었네요...
지금 투입된 프로젝트는 BI 프로젝트로 기존 ETL을 DBT라는 ELT로 전환하는 프로젝트를 진행하고 있습니다
Claude를 매인으로 전환 작업에 사용하면서 느낀점들을 공유 드릴까합니다
LLM의 한계
LLM은 기존 시스템을 분석 시키고 전환하는 작업에 생각보다 맞지 않는다
- 분석에 대한 결과가 균일하지 않는게 원인으로 추정
- 룰베이스로 기계적 분석 프로그램을 작성 시켜서 진행하는게 더 좋은 결과가 나온다
LLM은 상용 프로그램에 대한 지식이 거의 없다
- BI쪽 상용 툴들은 대부분 정보가 폐쇄적이라 자체적인 지식이 전무
- 프로젝트를 수행하면서 LLM을 가르쳐가며 지식을 축적 시켜야한다
- 축적 시킨 지식을 LLM이 잘 활용할 수 있게 문서화, DB화 구축이 필수
LLM의 분석 결과를 신뢰하지 않는다
- 위의 과정을 거쳐도 LLM의 분석결과는 완벽하지 않다
- 사용자는 반드시 LLM의 결과에 대한 의심을 거두지 말고 끝까지 추적하여 제대로 된 결과를 도출하게 해야한다
LLM은 쉽게 단정한다
- 단편적인 결과를 확대해석에 확실하지 않은 해석을 결론으로 사용하려 한다
- 3번의 사용자 주의 사항을 반드시 상기 하여 LLM에게 작업을 지시할것
프로젝트에서의 LLM
고객, 프로젝트 인원들의 1번 항목의 한계에 대한 과소 평가
- 분석 데이터의 도출 과정을 모르는 고객, 프로젝트 인원들은 해당 결과물이 쉽게 나오는것으로 착각, 또는 결과물에 대한 과도한 신뢰감을 가지게 되는 경우가 많음
- AI의 한계에 대한 한계점을 주기적으로 환기 시켜줘야함
LLM의 이용으로인한 과도한 기능, 범위 확대에 대한 경계
- LLM은 특정 이슈에 대한 분석을 지시 할 경우 비슷한 경우를 같이 확인하며 일을 확대 시키려는 경향을 자주 보임
- 사용자또한 LLM의 응답을 보고 처리 범위를 확대하는 경우가 발생
- LLM의 처리능력이 뛰어나고 그거에 따른 작업의 확대가 처음에는 무리가 없을거라 판단될 수 있으나, 추후에 해당 작업들의 확인, 수습은 사용자의 몫
프로젝트 인원들의 AI, 프로그래밍 등의 이해도
- BI 계열 AI 도입 현황은 2026년 3월 당시 기준 10퍼센트 미만
- BI 프로젝트 시장의 연령대 구성(70년 중반생이 아직도 주류)으로 AI등의 신규 기술들에 대한 이해도가 상대적으로 적음
- 프로젝트에서 AI를 사용하는 상황에서 AI를 이용한 작업을 진행하는 인원에게 업무가 집중될 확률이 높음
- 프로젝트 진행으로 프로젝트 인원들의 AI 숙련도가 높아지면 기존에 가지고 있던 도메인 지식과 합쳐졌을때 강력한 무기가 될 수 있을것으로 기대
- 위의 내용을 기준으로 생각해봤을때 앞으로 더더욱 주니어의 자리는 좁아질것으로 예상
아직 프로젝트가 완료 되지 않았고, 많은 시련들이 남았지만, 그래도 한고비는 넘긴거 같습니다
원래 계획은 AI로 프로젝트를 진행하면서 여러가지 AI스킬, 방법론등을 도입하면서 숙련도를 높이고자 했는데 프로젝트에 치여서 작업을 진행하다보니 제대로 된 PDCA나 플랜을 통한 방법론으로 수행하는게 아니라 땜질로 일관하게 되더군요
아쉬움이 많이 남는 프로젝트가 되고 있는 느낌입니다
