AI 에이전트 평가 하네스: 재시도·멱등성·trace를 함께 검증하기
최종 답변 점수만으로는 찾기 어려운 중복 부작용과 승인 우회를 재현 가능한 fixture와 hard gate로 검증하는 방법을 정리한다.
-
-
분류 임계값 설정: 오탐·미탐 비용과 정밀도·재현율로 결정하기
분류 점수를 실제 행동으로 바꾸는 임계값을 비용 행렬과 서비스 제약으로 선택하고, 보정·데이터 분리·base-rate shift까지 검증하는 방법을 정리한다.
-
Isolation Forest 수도 사용 이상 탐지: JAGYEOKSU의 혼합 점수 설계
JAGYEOKSU는 고립 트리 하나로 위험을 판정하지 않는다. 수도 사용 이력을 23개 특징으로 바꾸고 ML·통계·규칙 점수를 결합해 사람이 확인할 순서를 만든다.
-
AI agent tool call timeout 설계: 중복 실행과 취소를 테스트하기
화면의 기다림이 끝나도 도구 작업은 완료될 수 있다. 사용자의 요청부터 취소, 재실행, 최종 확인까지 중복 없는 상태 계약을 설계한다.
-
GitHub Actions self-hosted runner 업데이트: 30일 버전 제한을 API로 점검하기
Queued 또는 Offline 경고에서 시작해 러너 버전과 상태를 확인하고, 안전한 교체와 실제 작업 성공까지 이어지는 운영 절차다.
-
FastAPI readiness probe: liveness와 분리해 재시작 루프 막기
DB 단절을 컨테이너 재시작으로 키우지 않도록 FastAPI의 /livez와 /readyz 책임을 나누고, 직접 실행한 전후 결과로 판단 기준을 정리한다.
-
GitHub Actions artifact attestation 검증: 배포 파일 출처 확인하기
다운로드한 릴리스 파일이 기대한 저장소와 워크플로에서 생성됐는지 확인하고, 불일치와 조회 실패를 배포 보류로 처리하는 방법을 정리한다.
-
Cloudflare Durable Objects binding 삭제: 참조 Worker를 배포 전에 찾는 방법
Durable Object 삭제 배포가 차단될 때 참조 Worker 목록을 확인하고, 참조 Worker부터 안전하게 재배포하는 순서를 설명한다.
-
GitHub Copilot security review 사용법: PR 전 로컬 변경 보안 검사하기
Copilot app의 /security-review로 현재 변경을 빠르게 살피고, 사람이 결과를 판독해 PR 보안 통제로 넘기는 방법을 정리합니다.
-
Cloudflare Workflows 가격: 2026년 8월 step·storage 과금 전 비용 계산하기
2026년 8월 10일 적용 예정인 Workflows step·storage 과금과 기존 request·CPU 비용을 함께 계산하고, stepCount 집계와 Budget alert의 함정을 짚습니다.
