05. 측정할 수 없는 것은 존재하지 않는가
문제 제기: 대시보드에 없는 것들
새벽 두 시, 서비스 장애가 끝난 뒤의 상황을 상상해 보자. 모니터링 화면에는 초록색 그래프가 돌아오고, 평균 응답 시간은 목표치 안으로 내려온다. 에러율도 0.1퍼센트 아래다. 온콜 엔지니어는 의자에 기대어 길게 숨을 내쉰다. 그러나 그 시간 동안 누군가는 결제를 몇 번이나 다시 눌렀고, 누군가는 고객센터에 전화를 걸었다가 포기했으며, 누군가는 아무 말 없이 다른 서비스로 떠났다. 대시보드의 선은 평온해졌지만, 사용자의 하루는 이미 망가졌을 수 있다.
우리는 측정 가능한 것을 다루기 쉽다고 배운다. 숫자는 비교할 수 있고, 그래프는 회의실 벽에 걸 수 있으며, 목표값은 티켓과 분기별 평가표에 들어간다. 그래서 어느 순간 측정할 수 없는 것은 중요하지 않은 것처럼 밀려난다. 만족, 신뢰, 존엄, 망설임, 배제감 같은 말은 너무 흐릿하다는 이유로 논의의 바깥에 놓인다. 하지만 철학은 바로 여기서 멈춰 선다. 측정이 대상을 발견하는 일인가, 아니면 이미 존재하는 것 중 일부만 잘라내는 일인가?
철학적 논점: 숫자는 세계의 창인가, 틀인가
측정은 세계를 있는 그대로 복사하지 않는다. 무엇을 셀 것인지, 어디서 시작하고 끝낼 것인지, 어떤 단위를 사용할 것인지 먼저 결정해야 한다. 학교의 성취를 시험 점수로 측정하면 점수는 선명해지지만, 호기심이나 협력하는 능력은 흐려진다. 병원의 성과를 평균 재원 일수로 측정하면 숫자는 깔끔해지지만, 환자가 퇴원 뒤 집에서 얼마나 불안했는지는 사라진다.
Goodhart의 법칙은 이 위험을 짧게 말한다. 지표가 목표가 되는 순간, 좋은 지표는 더 이상 좋은 지표로 기능하지 않는다. 이 문장은 단순한 운영 팁이 아니다. 인간이 세계를 다루는 방식에 대한 철학적 경고다. 우리가 어떤 가치를 숫자로 번역하는 순간, 그 숫자는 현실을 설명하는 표지인 동시에 행동을 유도하는 규칙이 된다. 사람들은 목표를 달성하기 위해 현실을 바꾸기도 하지만, 때로는 현실은 그대로 둔 채 측정 방식만 우회한다.
그렇다고 측정을 포기할 수는 없다. 측정하지 않으면 권력은 더 쉽게 자기 판단을 사실처럼 포장한다. “사용자들이 좋아한다”는 말보다 재방문율과 이탈률이 검토의 출발점이 될 수 있다. 문제는 숫자가 틀렸다는 데 있지 않다. 숫자가 전체가 아닌데도 전체인 척하는 데 있다. 측정은 진실의 대체물이 아니라, 진실에 접근하기 위한 한정된 관측이어야 한다.
공학 사례: 빠른 배송의 그림자
한 이커머스 팀이 배송 지연을 줄이기 위해 ‘주문 후 24시간 내 출고율’을 핵심 지표로 정했다고 하자. 몇 주 뒤 지표는 놀랍게 좋아진다. 물류팀은 주문이 들어오면 일단 상품을 포장하고 송장을 출력한다. 재고가 실제로 준비되지 않았거나 주소가 잘못되었어도 시스템상 출고 처리가 먼저 된다. 대시보드에는 성공이 쌓이지만, 고객은 빈 상자를 기다리거나 배송지를 수정하지 못한다. 팀은 목표를 달성했지만 서비스는 나빠졌다.
더 정교한 팀이라면 출고율만 보지 않고, 실제 수령까지 걸린 시간, 배송 취소율, 고객 문의, 환불률을 함께 볼 것이다. 그러나 여기서도 충분하지 않다. 고령 사용자는 불편을 겪고도 문의를 남기지 않을 수 있고, 외국인 사용자는 오류 메시지를 이해하지 못한 채 조용히 이탈할 수 있다. 따라서 로그가 적다는 것은 문제가 적다는 뜻이 아니다. 침묵은 만족의 신호일 수도 있지만, 발화할 경로를 찾지 못했다는 신호일 수도 있다.
이때 공학자의 일은 지표를 더 많이 붙이는 데서 끝나지 않는다. 먼저 “우리가 줄이려는 지연은 누구의 지연인가?”라고 물어야 한다. 시스템 전체의 평균을 낮추면서 특정 집단의 최악의 경험을 방치하고 있지는 않은가. 성공 지표 옆에 실패의 분포를 놓고, 숫자 바깥의 목소리를 정기적으로 수집하며, 목표를 달성한 방식 자체를 감사해야 한다. 가치 판단은 요구사항 문서에 한 번 쓰고 끝나는 문장이 아니라, 스키마와 알림 규칙과 배포 승인 절차 속에서 반복되어야 한다.
반론과 긴장: 결국 측정해야 움직일 수 있지 않은가
“측정할 수 없는 가치는 팀을 움직이지 못한다”는 반론은 강력하다. 신뢰를 지키자는 말만으로는 예산을 설득하기 어렵고, 차별을 줄이자는 선언만으로는 모델의 임계값을 정할 수 없다. 공학은 실행의 세계이므로, 어느 정도의 조작화와 수치화가 필요하다.
맞다. 다만 조작화는 가치 그 자체가 아니라 가치에 접근하기 위한 가설이어야 한다. ‘신뢰’를 신고 처리 시간 하나로 정의했다면, 그 정의가 무엇을 놓치는지 함께 기록해야 한다. 지표에는 유효 기간과 적용 범위가 있어야 하고, 반대 지표와 정성적 검토가 따라붙어야 한다. 숫자를 없애는 것이 겸손이 아니라, 숫자의 권한을 제한하는 것이 겸손이다.
마무리 질문
우리가 오늘 최적화한 그래프의 바깥에는 누가 있었는가. 측정되지 않았기 때문에 중요하지 않은 사람이 아니라, 중요하지만 측정의 언어를 부여받지 못한 사람은 없었는가. 다음 배포에서 추가할 지표는 무엇이며, 더 근본적으로는 어떤 경험을 숫자로 만들지 않기로 결정해야 하는가?