장애가 끝난 뒤, 종이에 남은 숫자는 어디서 어긋나는가?

시스템은 오전에 복구됐는데 전날 마감이 맞지 않습니다. 장애가 난 이틀 동안 현장은 종이로 버텼고, 그 종이를 시스템에 다시 넣는 순간부터 숫자가 어긋나기 시작합니다.

이 글은 그 어긋남이 생기는 네 지점과, 장애가 나기 전에 미리 정해두면 고생이 줄어드는 것 세 가지를 다룹니다. 복구 절차를 설명하는 글이 아니라, 복구가 끝났다고 보고된 다음에 남는 일에 관한 글입니다.

시스템 복구와 숫자 복구는 다른 일입니다

복구 완료 보고는 대개 화면이 다시 열린 시점에 나갑니다. 서버가 살아났고 로그인이 되고 조회가 됩니다. 기술적으로 맞는 보고입니다.

그런데 현장에서 복구가 끝났다고 말할 수 있는 시점은 전날 마감 숫자가 맞는 때입니다. 그 사이에는 종이에 남은 기록을 시스템에 옮겨 넣는 작업이 통째로 하나 들어 있습니다. 이 구간이 복구 계획에 들어 있지 않으면, 그 일을 시작할 때쯤 복구를 맡았던 인력은 이미 철수한 뒤이고 현장은 밀린 생산을 쫓고 있습니다. 남은 일을 아무도 자기 일로 보지 않는 상태가 됩니다.

복구 완료는 화면이 열린 시점이 아니라 마감 숫자가 맞는 시점에 판정됩니다

백업과 복구 자체가 왜 막히는지는 앞선 글에서 다뤘습니다. 여기서는 그다음 구간만 봅니다.

숫자가 어긋나는 네 지점

① 귀속: 언제 것으로 넣을 것인가

총수량은 맞는데 조별·일자별 실적이 맞지 않는 형태로 나타납니다. 원인은 단순합니다. 종이에는 날짜와 수량만 있고 시·분이 없습니다. 그러니 이 물량이 주간조 것인지 야간조 것인지는 입력하는 사람의 판단이 됩니다.

복구가 며칠 걸린 경우에는 문제가 한 겹 더 생깁니다. 이미 마감이 끝나고 전표가 넘어간 기간에 실적이 소급으로 들어가면서, 생산 숫자가 아니라 회계 숫자가 흔들립니다. 그래서 입력을 시작하기 전에 마감선을 기준으로 두 갈래를 먼저 정해두는 편이 낫습니다. 마감 전 기간은 원래 일자로 넣고, 마감 후에는 조정 처리로 넘긴다는 식으로요. 입력이 절반쯤 진행된 뒤에 이 기준을 정하면 앞서 넣은 것을 다시 손봐야 합니다.

② 공백: 기록 자체가 없는 구간

종이가 중간에 끊겨 있는 경우입니다. 그리고 대개 가장 바쁜 구간에서 끊깁니다. 장애가 나고 처음 한두 시간, 혹은 복구 직후 밀린 물량을 쳐내는 구간이 그렇습니다.

이건 태도의 문제가 아니라 업무량의 문제입니다. 사람은 손이 모자라면 기록보다 작업을 택합니다. 그래서 처방도 기록을 더 잘 하라는 쪽이 아니라 다른 쪽입니다. 비어 있으면 비었다고 남깁니다. 기억으로 채워 넣으면 그건 기록이 아니라 추정인데, 일단 시스템에 들어가고 나면 나머지 데이터와 똑같은 얼굴을 하게 됩니다. 나중에 그 구간을 분석할 때 구분할 방법이 없습니다.

③ 압축: 합계만 남은 기록

총수량 대조는 통과하는데 불량률이 이상하게 낮고 로트 추적이 중간에 끊깁니다. 바쁠 때 사람은 합계를 적기 때문입니다. 양품 100개는 적고 중간에 걸러낸 3개는 안 적습니다. 장애 중에 로트가 두세 개로 쪼개졌어도 종이에는 합계 한 줄만 남습니다.

이 유형이 까다로운 이유는 수량 대조로는 걸리지 않는다는 데 있습니다. 총계는 맞고 안이 비어 있습니다. 그래서 복구 후 검증을 수량만으로 하면 통과해버리고, 몇 달 뒤 품질 이슈나 클레임이 생겨 그 기간을 되짚을 때 드러납니다. 대조를 불량 건수와 로트 단위로도 한 번 더 해야 걸립니다.

④ 단절: 공정 사이가 비는 기록

각 공정 실적은 다 들어갔는데 재공 수량이 맞지 않는 경우입니다. 앞 공정은 완료로 떨어졌고 뒤 공정은 받은 적이 없는 상태로 남습니다.

사람은 자기가 한 일을 적지 넘긴 일을 적지 않기 때문입니다. 공정 간 이동은 시스템에서는 별도의 기록이지만 종이에는 그 개념이 아예 없습니다. 그래서 소급 입력은 공정 순서대로 넣고, 마지막에 공정별 재공 잔량을 한 번 맞춰보는 편이 낫습니다. 실적만 넣고 끝내면 이 구멍은 다음 재고 실사 때까지 그대로 남습니다.

지점	무엇이 사라지는가	어디서 드러나는가	수량 대조로 걸리는가
① 귀속	시각 정보	조별 실적, 마감 기간	일부
② 공백	기록 전체	수량 차이	걸림
③ 압축	불량·로트 내역	품질 이슈, 추적 요청	안 걸림
④ 단절	공정 간 이동	재공, 재고 실사	안 걸림

총수량이 맞았다는 것은 검증의 시작이지 끝이 아닙니다

덧붙여, 현장 단말에 버퍼가 있는 경우에는 반대 방향의 문제도 생깁니다. 장애 중 단말에 쌓여 있던 데이터가 복구되면서 자동으로 올라오는데 같은 실적을 손으로도 넣으면 두 번 잡힙니다. 단말이 무엇을 들고 있었는지는 네트워크 단절 시 단말 동작을 다룬 글에서 정리했습니다. 손으로 넣기 전에 이것부터 확인하는 순서가 맞습니다.

 

장애가 없는 평소에도 바코드를 찍는 과정에서 숫자가 어긋나는 경우가 있습니다. 그 유형은 바코드를 붙였는데 실적이 안 맞는 이유에서 따로 정리했습니다.

전부 넣을 것인가, 골라 넣을 것인가

여기에는 일반적인 정답이 없습니다. 회사마다 숫자를 쓰는 용도가 달라서 어디까지 소급할지도 달라집니다. 전량을 다 넣는 곳도 있고, 밖으로 나가는 숫자만 맞추고 나머지는 공백으로 두는 곳도 있습니다.

다만 결정할 때 보는 것은 대체로 비슷합니다.

• 그 숫자가 회사 밖으로 나가는가: 출하, 세금계산서, 고객 제출 성적서에 걸려 있으면 선택지가 없습니다
• 나중에 이 기간을 분석에 쓸 것인가: 쓸 거라면 공백보다 나쁜 것이 부정확한 채움입니다
• 입력하는 동안 현재 작업이 또 밀리지 않는가: 복구 작업이 2차 지연을 만드는 경우가 있습니다
• 마감이 이미 넘어갔는가: 넘어갔다면 생산 쪽 판단만으로 정할 수 없습니다

그리고 이 결정은 전산 담당자가 아니라 그 숫자로 일하는 부서가 하는 편이 낫습니다. 전산은 넣을 수 있는지를 알고, 그 부서는 넣어야 하는지를 압니다.

표시를 남기지 않으면 그 기간은 영영 모릅니다

소급으로 넣은 건에 별도 표시를 남기는 경우는 많지 않습니다. 급한 상황이고, 애초에 그런 필드가 없는 시스템도 흔합니다.

문제는 시간이 지난 뒤에 나타납니다. 몇 달 후 그 기간 데이터를 꺼내 볼 때, 그것이 현장에서 그때 찍힌 기록인지 나중에 사람이 옮겨 적은 것인지 구분할 방법이 없습니다. 그 상태로 가동률을 계산하고 불량률 추이를 그리고, 때로는 설비 투자나 개선 활동의 근거로 씁니다. 장애는 며칠로 끝났는데 그 며칠의 숫자는 계속 남아서 판단에 섞여 들어갑니다.

시스템에 플래그 필드를 만드는 것이 부담이라면 비고란에 다섯 글자만 적어도 됩니다. 나중에 걸러낼 수 있느냐 없느냐만 가르면 됩니다.

장애 전에 정해둘 세 칸

지금까지의 어긋남은 대부분 복구 시점이 아니라 종이를 쓰던 시점에 이미 결정됩니다. 그래서 준비도 그쪽에서 합니다. 수기 양식에 세 칸을 미리 넣어두는 정도면 상당 부분이 줄어듭니다.

세 칸을 미리 넣어두면 복구 후 확인하는 시간이 줄어듭니다

시각은 시·분까지 적게 합니다. 날짜만 있으면 귀속 판단이 사후 추정이 되고, 그 추정은 입력하는 사람마다 다릅니다.

양식은 한 장으로 통일합니다. 부서마다 다른 종이를 쓰면 복구할 때 그것부터 해석해야 합니다. 칸이 정해져 있으면 바쁜 중에도 빠뜨리는 항목이 줄어듭니다.

작성자 이름을 적게 합니다. 소급 입력 중에 읽히지 않는 글씨나 앞뒤가 안 맞는 수량은 반드시 나옵니다. 그때 물어볼 사람이 있느냐 없느냐가 그 한 건을 확인하고 넘어가느냐 추정으로 넣느냐를 가릅니다.

이 세 칸은 종이 일을 늘리는 것처럼 보이지만, 실제로 늘어나는 쪽은 장애 중 몇 초이고 줄어드는 쪽은 복구 후 며칠입니다. 그리고 이 양식은 장애가 난 다음에 만들 수 없습니다.

이 양식은 구축 단계에서 "장애 시 대응"을 정할 때 함께 만들어두는 것이 가장 자연스럽습니다. 구축 단계별로 정해야 할 항목은 스마트공장 구축, 단계마다 정하고 넘어가야 할 것에 모아 두었습니다.