Posts

Showing posts from June, 2018

딥 러닝의 블랙 박스 열어보기

Image
Opening the black box of Deep Neural Networks via Information
- https://arxiv.org/pdf/1703.00810.pdf

지금까지 딥 러닝은 어떻게 동작하는지 이해할 수 없다고 믿어져왔다. 그러나, 천재들은 그 근본 원리를 이해하려고 노력하고 있지.

이 논문은 SGD가 무슨 역할을 하는지에 대한 해석으로, 이들은 SGD가 drift와 diffusion단계로 구분된다고 설명한다.

첫 drift 단계에서는 multidimensional space를 탐험하고, 수렴을 시작하면 diffusion 단계로 접어들어 (첨부 그림에서 점선 오른쪽에 해당) 굉장히 느려지기 시작하며 chaotic 한 단계로 들어가는데 이게 바로 네트워크가 압축하는 법을 배우는 과정이라는 것이다.



SGD의 무질서도는 local minima에 빠지지 않고 더 나은 방향으로 수렴 할 가능성을 제공 할 뿐만 아니라, diffusion 단계에서 매우 효과적인 internal representations(?)를 생성하는데 자기가 볼쩍에 다소 과한것으로 보이며, 자기들의 IB iterations with stochastic relaxation methods로 DNN 학습 방법을 개선할 수 있을거라고 얘기한다.

제프리 힌트 교수가 지대한 관심과 찬사를 보냈기에 많은 관심을 받고 있는 내용인데, 딥 러닝 대가들의 근본 원리와 최적화 이론에 대한 얘기라, 나는 훔쳐만 봤지 뭔소리인지는 정확히는 이해하기 어렵다.

THE HUNT (JAGTEN)

Image
추측으로 만들어진 억측 또는 소문을 ‘카더라 통신’이라고 한다. ‘누가 언제 어쨌다 카더라.’로 시작되는 이야기. 믿거나 말거나 장난처럼 흘린 말이 시간이 지나면서 엉뚱한 방향으로 튀어 종잡을 수 없게 된다. 급기야 열기구처럼 둥둥 떠다니며 온갖 티를 묻히기도 하는데, 그 볼썽사나움이란 형언하기조차 어렵다.

요즈음에는 ‘넷카시즘’이 횡행한다. 인터넷이나 SNS 공간에서 누리꾼 다수가 특정 개인을 공격하는 것 말이다. 마녀사냥이라고 해야 할지. 광속도로 자행되는 돌팔매질 앞에서 당하는 사람은 속수무책이다.

둘의 공통점은 불특정 다수가 특정 개인을 잡도리한다는 것이다. 자신과 이해관계가 없음에도, 심지어 상대를 잘 알지 못함에도 덩달아 가담하여 사태를 악화시킨다. 
‘거짓 동의 효과’라는 게 있다. ‘다른 사람이 나와 같을 것으로 생각하는 경향으로 그들에게 자신을 투영하는 현상.’을 말하는 것인데, 집단적 왜곡으로 치달을 때 그 파괴력은 상상을 초월한다. 속된 표현으로 사람 잡을 일이다. 
잠시 우리 직장으로 고개를 돌려보자. 지금 우리는 어느 동료직원에게 돌을 던지고 있지 않은가. 어떤가. 부지불식중에 확인되지 않은 남 이야기를 하고 있지 않느냐 말이다.

이러한 상황에 내몰린다면 어떻게 처신해야할까? 편히 앉아 영화 한편 때리셔라. The Hunt.

40대 개발자, 어디까지 고민해봤니

개발자에게 40대를 넘는다는 것은?
이 주제는 검색만 해봐도 꽤 오래전부터 다루어진 것으로 생각된다. 대표적으로 찾은 글이:

칼럼 | 어느 40대 프로그래머의 이야기…

원문보기: 
http://www.ciokorea.com/news/21128#csidxfba4d9f32240df0b8a7ff4d8e815a09 

 나도 올해로 40에 접어 들면서 제 2막의 인생 설계를 하기로 결심한 나이다. 유사한 고민을 해왔고, 당장 현실이 되니 여러가지로 생각이 깊어지기 시작했다.

그런데, 잠깐 짚어볼 부분이 있다. 아래 3명은 내가 이 업에 활동하면서 가장 인상깊었던 친구들이다,

1) 온라인 Google Summer of Code에서 만난 독일 고등학생. 분산 컴퓨팅과 기계학습에 관심이 많았고 내가 만들던 오픈소스에 멘티로 참여한 후 이것저것 구현을 시원하게 해주더니 MS azure 입사 후 현재는 SAP 기계학습 분야에서 근무 중. 그는 올해 23살이다.

2) 이전 회사에서 만난 IIT 인도 청년. 이큐에이션 넘버만 찍어주면 관련하여 해설을 주절주절 설명해주던 녀석인데 같은 논문을 보더라도 해석이 이렇게 다를 수 있다라는걸 일깨워줬다. 내가 평균으로 취하던 부분을 RANSAC으로 바꾸면 어떻게 될 것이라며 구현 및 테스트 후 결과 보고 해달라고 나에게 ㅋ 지시. 현재는 미국 대학원에서 공부 중. 그는 올해 24살이다.

3) Parallel GD 깔짝거릴때, allreduce 방식의 분산 ANN 학습기라며 Apache Mahout과 Hama 커뮤니티 양쪽 동시에 패치를 올린 중궈 대학생. 당시 해당 커뮤니티 커미터들은 별다른 코멘트가 없었.. 현재는 페이스북 AI 연구원이며 나이는 안물어봐서 어림치로 28살이다.

구글 직원들의 평균나이는 몇 살? 29살이다.

이 때문에 나는 사실 과연 이쪽 지식 산업에서의 경력이란게 정말 유의미한 것인가? 의심하고 있다. 경험은 재활용 가치가 있을때만 유의미하다. 자질이 있는 자는 사실 나이가 의미가 없어야 하는데 군대 문화가 뼛속까지 자리한 한국…

페이스북, AI의 직관적 물리학 체계 실험

Image
아들을 데리고 탄천을 산책 하면서 우연히 돌계단을 오르며 생각했다. 표면이 고르지 않은 돌계단에 나는 내딛을 위치를 어떻게 결정하고 있는가?

우리의 뇌는 직관적 지름길과 어림법heuristic을 많이 가지고 있다. 예를 들면, 움직이는 물체의 궤적을 예측할 수 있는 "직관적 물리학 체계"를 타고 난다. 연구에 따르면, 신생아도 자신에게 다가오는 물체가 충돌 궤적을 따르느냐 아니냐에 따라 상이한 반응을 보인다.

우리는 '던져진 물체와 '낙하하는' 물체를 직관적으로 구분한다. 던져진 물체에 대해서는 물체에 가해진 힘과 중력 두 가지를 고려하지만 낙하하는 물체에 대해서는 중력만 고려되기 때문에 그 물체는 곧게 하강할 것이라 예측하는 것이다.

완전한 3차원 재구성을 하지 않아도 단순한 사진 장면에 대해 우리는 물리적으로 이해할 수 있고, 이것을 직관적 물리학 체계라고 할 수 있다.


최근 INRIA와 Facebook AI 팀의 연구원들은 AI가 이러한 직관적 물리학을 얼마나 이해하는지 진단하는 평가 프레임 워크를 개발했다. (참고: IntPhys: A Framework and Benchmark for Visual Intuitive Physics Reasoning)

만일 AI가 이러한 직관적 물리학 체계를 얻게 된다면 바둑 두는 정도가 아니라 생각된다. 씹~소오름.

Introducing Rebase: a Firebase like backend service based on Node.js, Redis, and HBase

Image
삼성전자 재직시절 (아마도 2 ~ 3년 전) 대외 기고 승인까지 다 받아놓고 게재하지 않았던 글을 이제서야 올려본다. 지금 다시 보니 감회가 새롭네.

Introducing Rebase: a Firebase like backend service based on Node.js, Redis, and HBase Guest post written by Edward J. Yoon and Sungwon Han, Senior Software Engineers, Samsung Electronics.

 Event-driven applications that handle user actions, sensor outputs, or messages from other applications have become increasingly popular in recent years, in part as a result of the proliferation of smart devices and the Internet of Things. With this, the real-time databases (like Google's Firebase [1] and RethinkDB [2]) are considered as important technologies for supporting these non-traditional applications and workloads. In this guest post, we introduce Rebase, a Firebase-like backend service that allows you to store and synchronize data in online/offline modes, push notifications and provides analytics (in near future) for mobile platforms. Rebase was first deployed to run on Amazon AWS. However due to per…