강수돌 고려대 경영학과 교수 추천

이제, 모든 곳이 ‘위험구역’이다!

기술 고도화가 만든 ‘편리한 위험’ 속에서
우리는 과연 또 다른 참사를 막을 수 있을까

소셜미디어부터 핵발전소, 금융시장까지 ‘위험구역’의 범위는 기존 상식과 상상력을 넘어섰다. ‘위험’은 숨 쉬듯 당연해 오히려 무감각하다. 오늘날 ‘재난’으로 불리는 사고와 사건들은 발현되는 양상과 직접적인 원인에서는 일관된 규칙을 찾기 어렵다. 하지만 더 근본적인 원인을 파고들면 큰 틀에서 모두 ‘시스템 사고’다. 『멜트다운』은 ‘익숙한 원인, 낯선 여파’라는, 오늘날 우리를 급습해오는 이런 시스템 사고, 즉 ‘멜트다운’ 사고의 사례들을 사회학, 심리학, 인지과학, 경제학 등을 활용해 전에 없던 폭과 깊이로 다루고, 이를 막기 위한 실천적 해법들을 제안한다.

프롤로그: 평범한 어느 날

1부 실패로 가득한 세상

1장 위험구역
1. 뭔가가 잘못됐다
2. 정상 사고, 조직이 만드는 참사
3. ‘소급 오류’라는 무시무시한 결론
4. 긴밀한 결합과 복잡도
5. 스타벅스가 칙 페로의 세계에
떨어졌다

2장 딥워터 뉴 호라이즌스
1. 확장된 ‘위험구역’
2. 복잡하고, 불투명하며,
가차 없는 시스템
3. 안전장치라는 환상
4. 복잡도 속에 몸을 숨긴 절도범

3장 해킹, 사기,
그리고 지면을 차지한 가짜뉴스들
1. POS가 해킹당했다고?
2. 더 똑똑하고 편리해진 위험
3. 악마의 술수가 된 시가평가
4. 그는 거기에 없었다

2부 복잡도 정복하기

4장 위험구역 밖으로
1. 재앙을 낳은 안전장치
2. 단순하고, 투명하게,
여유을 더하는 방법

5장 복잡한 시스템, 단순한 도구
1. 핵발전소보다 나은 대피소는 없었다
2. 고약한 환경과 중요한 결정
3. 경기가 끝나면 이야기는 달라진다

6장 불길한 징조 읽기
1. 하루 60달러의 대가
2. 사라진 열차
3. 주위는 어둡고, 지시는 모호했다
4. 구사일생상황보고서 작성하기

7장 반대의견의 진면목
1. 죽음을 불러온 ‘시체 냄새’
2. 반대의견의 중요성
3. 경고신호에 귀를 기울이기

8장 과속방지턱 효과
1. ‘무죄추정 효과’가 불러온 재앙
2. 다양성 전담반 가동하기
3. 비전문성이 조직을 구한다

9장 낯선 세계의 낯선 사람들
1. 컴퓨터가 철창을 열어주다
2. 모든 권력을 이방인에게!
3. 배타성을 키우는 우물 안 개구리
4. 일탈의 정상화가 일으킨
챌린저호의 재앙

10장 놀랐지!
1. 무조건 도착 증세에 저항하기
2. 긍정적 순환을 위한 ‘잠깐 멈춤’
3. 다른 모든 사람의 임무를
알아야 합니다

에필로그: 멜트다운의 황금시대

감사의 말
주석
찾아보기

크리스 클리어필드, 안드라스 틸시크 , 장상미

모든 곳이 ‘위험구역’이다!
기술 고도화가 만든 ‘편리한 위험’들

“아무도 계산을 확인하지 않은 채 컴퓨터가 말하는 대로 따르기만 했다.
컴퓨터가 자동으로 철창을 열어준 셈이었다.”

2015년 5월 어느 저녁, 상점에서 총격 사건으로 한 소년이 사망했다. 범인은 강도 및 폭행으로 복역하고, 2주 전 석방된 제러미야 스미스였다. 그런데 이 사건에 책임을 지고 사임한 인물은 경찰서장이나 경찰총장이 아닌 워싱턴주 교정국장 댄 파콜크였다. 워싱턴주 교정국에 도입된 재소자 관리 시스템에는 문제가 있었다. 시스템 오류로 재소자들의 복역 기간을 잘못 계산하고 있었고, 이 때문에 3개월 이상 일찍 석방된 범인이 다시 범죄를 저지르면서 무고한 희생이 또다시 발생한 것이다.

사건이 발생하기 3년 전, 다른 사건의 피해자 가족 중 하나가 간단한 계산으로 출소일 오류를 알아차렸고, 교정국에 알렸다. 하지만 재소자 관리 프로그램을 수정하는 데에는 3년이 걸렸다. 그 사이에도 평균 2개월에서 수년까지 잘못 계산된 석방일에 범죄자들은 출소하고 있었다. 아무도 컴퓨터를 의심하지 않았고, 위험은 계속해서 커지며 모습을 드러낼 날을 기다리고 있었다.

컴퓨터 기술에 사회 시스템 전반이 의존하고 있는 사회에서 위험과 사고는 더 흔하고 잦게 우리 삶을 파고든다. 이 책에서 다룬 ‘멜트다운’에는 핵발전소, 비행사고, 우주탐사선 발사 사고 등 우리가 ‘참사’와 ‘재난’이라는 단어에서 금세 떠올릴 수 있는 사고들부터 자율주행차, 현금인출기, 주식시장과 금융시장, 그리고 우리가 재난과 연결시키려 생각해 본 적도 없는 모든 일상적 상황들까지 포함된다.

이전에는 핵발전소, 항공 및 우주산업 등 기술 집약적인 산업분야 일부에서만 이런 ‘멜트다운’이 벌어졌다. 극도로 복잡하고 전문화된 기술 때문에 전체적 관점에서 문제 상황을 파악하거나 대비하기 어려웠기 때문이다. 하지만 오늘날에는 이런 고도화된 기술이 어디에나 적용되어 있다. 특히 컴퓨터 기술의 발달은 우리가 눈을 뜨는 순간부터 감는 때까지 생활 모든 곳에 녹아들었다. 버스나 지하철, 택시 같은 대중교통 수단을 이용할 때, 편의점에서 물건을 계산할 때도 우리는 이제 ‘멜트다운’의 사정권 안이다.

『멜트다운』에서는 지금까지 우리가 맞닥뜨려온 여러 ‘위험구역’의 면면으로 치밀하게 파고들며, ‘막을 수 있었던’ 참사가 아닌 ‘막아낼 실패’의 목록을 늘려나갈 것을 제안한다.

매일 ‘재난 문자’를 받는 시대
‘일탈의 정상화’를 경계하라!

“경고음은 8분마다 울렸다. …8분에 한 번씩 늑대가 나타났다고 외친다면
사람들은 곧 관심을 잃을 것이다.”

‘멜트다운’을 부르는 근본적 원인은 ‘시스템에 대한 무관심한 신뢰’다. ‘멜트다운’이 다가오는 신호는 확실히 알아보기 어렵다. 하지만 두 저자는 반드시 신호가 존재한다고 말한다. 모든 재난에서 경고 신호는 무수히 존재했고, 우리는 너무 잦아서 일상이 된 경고 신호를 무시했을 뿐이라고 말한다.
항공 산업은 ‘멜트다운’이 발생하기 쉬운 전형적인 고위험 산업이다. 지난해 10월에 이어 6개월 만에 재발한 보잉 737맥스 추락사고 역시 전형적인 ‘멜트다운’ 사고다. 보잉이라는 굴지의 항공산업체가 갖춘 생산 시스템, 기체를 검증한 미 정부의 시스템, 그리고 최신 기술이 적용된 컴퓨터 시스템에 대한 무관심한 신뢰가 반복된 참사로 이어진 것이다.

두 건의 추락사고 모두에서 보잉 맥스 기종에 탑재된 최첨단 장비인 조종특성향상시스템(MCAS)과 받음각(AOA)센서가 사고의 직접적인 원인으로 지목되고 있다. 기체 탑재 이전에도 이 두 프로그램에는 안전성 문제가 제기되었다. 그럼에도 기체를 납품한 후 인도네시아 항공 소속 편에서 첫 번째 추락사고가 일어나고 나서야 보잉은 문제의 기능을 연말까지 보완하기로 약속했다. 하지만 그 약속조차 지켜지지 않으면서 에티오피아 항공 소속 편 사고로 이어진 것이다. 결국 보잉사가 시스템 업데이트 조치를 취한 것은 두 번째 참사가 벌어진 후였다. 한국을 포함한 세계 각국으로 문제 기종이 판매되고 운행되는 중에도 보잉사와 당국의 감사, 검증 시스템은 곳곳에서 나타난 경고 신호를 무시했던 것이다.

저자들은 인간이 기본적으로 직관에 의존하도록 설계된 존재라 말한다. 기계 시스템, 검증 시스템의 사소한 오류가 문제로 드러나지 않은 채 잠복해 있으면, 오류를 품은 시스템은 점차 ‘정상’으로 인지된다. 이렇게 결과로만 시스템의 정상 여부를 판단하는 경향인 ‘결과편향(outcome bias)’은 ‘일탈의 정상화’를 낳는 주범이다. 이렇게 정상으로 탈바꿈한 일탈들이 쌓여 참사로 불거진다. 저자들은 ‘일탈의 정상화’를 막기 위해 문제를 수집하고, 드러내고, 공유하는 비일상화(amornalizing)의 과정의 필요성을 역설한다.
완벽한 시스템은 없다

하지만 실패를 막을 해법은 반드시 있다!

“상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것이다”

‘시스템’이란 인간이 안전과 편의를 위해 설계한 도구다. 기계와 같은 물리적인 시스템이 될 수도 있고, 국회나 회사의 이사회처럼 중요한 의사결정을 위해 만든 조직이 될 수도 있다. 그리고 실제로 사회 곳곳에 도입된 다양한 시스템들은 목적에 걸맞게 작동하고 있는 것처럼 보인다. 하지만 인간이 완벽할 수 없듯, 인간이 설계한 시스템 역시 완벽할 수 없다. 시스템에는 반드시 실수와 실패가 따른다. 하지만 문제는 우리가 이 시스템에서 한순간도 벗어날 수 없다는 사실, 그리고 컴퓨터와 통신 기술 발달로 더 복잡하고 촘촘하게 짜이게 된 이 시스템이 어디서부터 어떻게 무너질지 상상하기 어렵다는 사실에 있다. 또한 과거의 시스템들은 비교적 느리고 불편했지만 그렇기 때문에 누구든 ‘직관적’으로 문제 상황을 파악하고 해결할 수 있었다. 하지만 오늘날의 시스템은 편리하고 빨라진 만큼 붕괴도 쉽고 빠르다. 전문화된 여러 분야가 결합한 오늘날의 시스템은 전문가라도 문제를 쉽게 파악하기 어렵게 한다.

그럼에도 저자들은 사고가 반복되는 오늘날의 “상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것”이라 진단한다. ‘달라지고’ 있는 환경에도 대응방식을 바꾸지 못한 채 직관에 의존할 때에 실패가 반복되는 것이다. 그렇다면 이제 우리가 할 일은 명확하다. 반드시 찾아올 시스템 붕괴, 즉 ‘멜트다운’의 신호들을 놓치지 않고, 적절한 대응 방법을 세우는 것이다.

이 책에서는 ‘멜트다운’의 근본적인 원인 중 하나가 ‘고약한 환경’에 있다고 말한다. 짧은 기간에 높은 성과를 요구하는 ‘속도전식’ 계획과 실행, 문제 상황을 발견한다 해도 드러내지 못하게 만드는 수직적 의사소통 구조, 실패에 대한 낮은 포용성, 다양성이 부족한 조직 구성, 특히 의사결정권을 가진 집단 내 다양성 결핍. 이런 문제들은 실제 ‘멜트다운’으로 직결되는 실수들처럼 예측이 불가능하고 눈에 보이지 않아서 해결할 수 없는 난제가 아니다. 누구든 의지만 있다면 개선을 시작할 수 있다. 『멜트다운』에는 부정확한 직관을 보완해줄 다양한 도구들, 무관심한 상태로 보내는 시스템에 대한 신뢰를 막는 긍정적인 순환 구조 등 경직된 개인과 조직, 사회를 움직이게 할 실천적 제안들이 담겨 있다.

소셜미디어부터 핵발전소, 금융시장까지 ‘멜트다운’의 발생 범위는 기존 상식과 상상력을 넘어섰고 ‘위험’은 숨 쉬듯 당연해 오히려 무감한 무엇이 됐다. 그럴수록 매일 울리는 ‘재난 경고’를 진지하게 받아들이는 사람들은 점점 더 줄어들고 있지만, 재난의 범위와 숫자는 매일 늘어만 간다. 더는 재난의 나날들을 정상 상태로 여겨선 안 된다고, 저자들은 강조한다. “시스템 대부분을 근본적으로 바꿀 수는 없더라도 그 안에서 움직이는 방식은 바꿀 수 있다”고 말하는 저자들은 “내부고발자, 이방인, 경청하는 리더들”이 더 많이 이 논의에 참여하고, 행동하기를 청한다. 확실히 우리는 ‘멜트다운의 황금시대’에 살고 있다. 수많은 ‘멜트다운’들은 우리를 좌절시킨다. 하지만 실패 앞에 좌절하는 것만으로 변화는 오지 않는다. 실패를 직시하고, 직관과 관성을 거부하기 위한 명확한 지침을 마련하고, 지침이 잊히지 않도록 끊임없이 노력할 유연한 조직을 시스템에 갖추어야 한다. 이제 ‘시도하려는 확신’만이 필요할 뿐이다.