이번 카카오 사태 소식 근황 정리

카카오 사과문

 

카카오톡 멀티 프로필 공개오류 관련 공지

 

카카오 복구 현황

 

트위터에서 즐기는 카카오팀

 

카카오 본사 근황

 

 

주말 카카오 건물 근황

 

토요일 밤

카카오는 판교의 등대가 되었다...

 

 

 

 

 

 

 

 

한국오라클 직원의 이번사태에 대한 일침

 

 

이미 블라인드 과반이 카카오 사태에 부정적인 의견을 가지고 있는 만큼 이미 죽은 말을 더 때리진 않겠습니다.

대신, 몇몇 글이나 댓글에서 “카카오 서비스가 복잡해서 그렇다,“ ”이중화는 그렇게 쉬운게 아니다, 모르면서 함부러 말하지 마라,“ ”만들어 놓은게 계획대로 안된것 뿐 아니냐, 같은 사람인데 이해해주자” 등등 의견들이 보여 그에 대한 제 생각을 적어봅니다.

어떤 취지로 글을 적으셨는지는 이해는 갑니다. 고가용성이 괜히 클라우드 서비스의 기둥으로 불리는게 아니죠. 진짜 개같이 어렵습니다. 알아요.

서비스가 커지면 커질수록 유지보수 힘들죠. 네. 복잡도도 올라가고, dependency graph도 거미줄 되고 뭐. 네. 개발 하루이틀 한거 아니잖아요 다들. 말 안해도 알죠.

개발자도 사람인이상 버그가 천지 빼까리일거고. 문제 이곳저곳 터질수 있죠. 당연하죠. 유저만 몇명에 24/7 돌아가는 서비스를 설계하고 만드는게 쉽습니까. 당연히 어렵죠.

근데 일단 서비스가 너무 복잡해서 고치기가 힘든게 당연하다.. 이건 이미 전제조건부터가 틀렸어요. 고치기 어려울정도로, 센터하나 날아간다고 10시간동안 하나도 아니고 계열사의 모든서비스가 맛이 갈정도로 복잡한 시스템이면, 그게 이미 만들어진 이상 그 기업은 시스템 유지보수에 실패한겁니다.

정상적인 IT기업이라면 설계자던 관리자던 누구던 시스템이 복잡해지고, 자잘한 문제들이 자꾸 터지고 복구가 점차 느려지고 할때 이미 조치를 취했어야죠.

refactor, rearchiecture등의 필요성을 느끼고 신규 서비스 개발과 사업 확장을 일시정지 시켰어야합니다. 무작정 신제품 개발이 아니라, 정상화 될때까지 시스템 분리라던지 재구축이라던지 해서 시스템 복잡도를 내리고 나서 새 제품이던 기능이던 만드는게 정상이라구요.

데이터센터 하나 터질수 있습니다. 그 센터에서 돌아가던 서비스 전체가 잠시 다운될수도 있어요. 몇일동안 완전복구가 안될수도 있습니다. 다 흔히 일어나는 일이고, 미국 IT 공룡들도 당연히 겪는 일입니다. 완벽한건 없습니다.

하지만 오늘같은 일은… 글쎄요. 제가 보기엔 결이 다른거같네요.

카카오의 진짜 문제점은, 데이터센터 하나가 나가리되었을 뿐인데 카카오톡 하나가 아니라 계열사 서비스가 모조리 다터졌다는것.

모든 서비스가 다터졌는데, 가장 기본적인 기능 하나조차 복구 못하고 계속 완전 다운된상태로 10시간 가까이 끌렸다는것.

그리고 가장 중요한, 어찌보면 지금 카카오 계열사가 100 몇개를 넘기는 상황이 되어버린것과 일맥상통할수도 있는 부분. 메인 시스템이 이지경이 될때까지 유지보수와 시스템 안정성을 추구하는것이 아닌 무분별한 사업확장과 신규 서비스 개발이 먼저였다는겁니다.

개발자들의 실력이나, 실수를 하는 인간적인 면모나, 기술적 문제의 어려움보다, 사업적인 판단과 그룹 전체의 방향성 자체가 원인이 아닌가… 저는 그렇게 생각합니다.

—

주말에 늦은 시간까지 고생하고 계실 카카오 그룹 개발자분들께 심심한 위로의 말씀을 드립니다. 불안정한 시스템과 서비스의 최대 피해자는 고객들이고 그 바로 다음이 DevOps 개발자분들인 만큼 빠른 시일 내에 정상화 및 안정화가 되길 바랍니다.

 

 

 

서버가 불에 탄게 아니라서

걱정되는건 서버에 뭐뭐를 돌려야 돌아갈지

과연 카카오가 알고 있냐는거죠 서버 구성이 복잡하고 오래돼서 유령서버가 많이있을거 거든요(서버는 돌아가고 통신 은 하는대 출처를 아는 사람이 다 퇴사한 그런 서버)

 

 

그니까 마치 어느선이 어느서버고 그게 어떤작용하는지

구분을 할수가없다는거져?

하기사 카톡을 중심으로

다 연결되어있으니

데이터만 살린다고 끝이 아니지..

심지어 실물 서비스랑 연결되있으니

롤백도 간단치않고.. 참..

 

 

카카오 데이터센터 화재 관련 후기 남긴다

 

일단 내가 담당하는 장비는 네이버쪽이고,  장비 기동은 새벽 2시부터 키기 시작했어.

 

그 전까지는 센터 내에 담당자도 출입 불가능해서 전 인원 대기만 했었고

 

2시부터는 담당자 및 특정 엔지니어들만 출입 시작.

 

네이버는 새벽 5시쯤에 판교쪽 장비 전부 기동 된 상태가 됐고, 담당자한테 원격으로 점검해달라는 요청 받은 후 장비 점검 진행.

 

세줄요약

 

1. 화재때문에 새벽2시부터 센터 내부에 사람 입장 가능했음

2. 카카오는 모르겠고, 네이버는 5시에 전 장비 기동됐음

3. 카카오톡 아직도 안되네 ㅎㄷㄷ

 

 

카카오 서버터져서 생긴 피해를 모아보자 

 

[카카오톡]

1. 이모티콘 플러스 구독자

2. 기프티콘으로 맛있는거 먹으려던 사람들

3. 카카오 플러스친구 유료 사용자

4. 카카오 라이브커머스 사업자들

5. 카카오 선물하기 입점업체들

6. 카카오 상단바 광고넣은 광고주

7. 친구랑 카톡하던 나

8. 이모티콘 팔던 크리에이터들

 

[카카오T, 카카오맵, 카카오네비]

9. 유료 구독한 대리 기사

10. 유료 구독한 택시 기사

11. 유료 구독한 퀵 기사

12. 서버 날라가기전 킥보드, 자전거 빌린 사람들

13. 카카오맵 광고넣은 광고주

 

[카카오게임즈]

14. 오딘 초과금러 형들(카카오 서버 불나기전 접속한 사람들만 랩업중, 경쟁겜이라 이거 큰 문제임)

15. 말딸유저

 

[업비트, 카카오페이, 카카오뱅크]

16. 오늘 코인 팔려고 했던 형들

17. 사실 팔생각 없었지만 서버가 닫히니 왠지 나도 손해본거 같은 형들

18. 카카오페이 Qr로 장사하던 자영업자

19. 카카오페이에 돈 넣어두고 쓰던 유저들

20. 모임통장 카뱅으로 관리하던 사람들

21. 지갑에 카뱅 카드 한장 들고다니던 사람들(이건 이제 된데용)

 

22. 카카오애드(각종 개인 사이트에 지능형 광고 다는 서비스) 고객

23. 카카오 아이디로 간편로그인 기능 넣은 쇼핑몰

24. 네비 잘찍고 다니다 등록한 주소 다날라간 형들

25. 다음 메일 쓰던 아재

26. 평소에 남들 생일 잘 챙기던 오늘 생일자

27. 카카오페이지에 웹소설이나 만화 대여했던 형들

28. 카카오페이지에 광고넣은 광고주

29. 멜론에 노래등록된 가수눈나 형들

30. 카카오 미니 쓰던 유저들

31. 전파사항 단톡방으로 공지때리고 낮잠자려던 당직사관

32. 업무전달 카톡으로 하던 회사들

33. 카카오웍스/아지트 쓰던 회사들

34. 각종 for 카카오 or 카겜 서비스 게임들

35. 강의노트나 필기를 카톡으로 옮기던 대학생

36. 티스토리 블로그 하던 블로거

 

 

 

카카오 이용약관의 손해배상 항목

 

 

 

요약

1. 회사의 과실로 인한 손해는 보상해드림

2. 제3자(해커)가 우리 서버를 털어도 회사 과실은 아님

3. 카카오 이용하면서 발생하는 '개인적인 손해'는 보상 안 해줌

4. 우리가 고의로 한거 아니면 보상 안 해줌

 

 

 

이용약관

 

카카오 보상

 

 

카카오 클라우드 신사업

 

 

 

 

 

 

4000억 들여서 자체 데이터센터 지었다는거에 만족해야할듯

 

 

 

 

 카카오톡 sk c&c 데이터센터 화재현장사진

 

 

1. 소실된 리튬이온 배터리 렉 5기

2. 축전지 렉

3. 정상 리튬이온 배터리 렉

 

삼성SDS직원들이 바라본 카카오사태

 

삼성은 화재났을 때 서버들고 수원갔구나

 

 

네이버 데이터 센터

 

 

 

이거슨 춘천에 있는 네이버 데이터센터 라네요

 

 

 

 

 

 

이거슨 세종에 짓고있는 네이버 데이터 센터라는데 춘천보다 더 크다고 하네요!

 

네이버 자체 제1 데이터센터 ‘각 춘천’

네이버 자체 제2 데이터센터 ‘각 세종’ (내년 2월 완공 예정)

네이버는 2022년 하반기 가동을 목표로 현재 6500억 원을 투자해 세종시에 데이터센터를 건립하고 있다. 세종시 데이터센터 ‘각 : 세종’은 약 29만3697㎡ 규모로, 현재 강원 춘천시에 위치한 제1데이터센터인 ‘각’ 규모인 5만4000㎡의 5배 이상 규모다. 완공되면 세계 최대 규모의 데이터센터가 될 것으로 전망된다.

전쟁 등 만일의 사태를 대비해서 외부 백업 서버도 마련해놓음