태그
배포
2개의 글
- 5분 읽기
외부 API 지연이 전체 파이프라인을 차단할 때: 격리와 병렬 처리의 판단
대용량 데이터 이관 시 외부 지오코딩 API의 지연과 한도 문제를 격리하기 위해, 배치 적재와 실시간 지오코딩을 분리하고 병렬 처리를 도입한 결정 과정과 그 대가.
인프라SpringAPI 설계배포 - 4분 읽기
LLM 파이프라인의 안정성: 엔진 교체와 슬롯 기반 병렬화 설계
프롬프트 DB 영속화와 콜백 Best-effort 계약으로 안정성을 확보하고, 슬롯 충원 모델로 배치 처리의 병목과 장애 반경을 해소한 설계 결정과 그 대가를 공유합니다.
인프라LLMSpring배포