I made a Clu

I have to work for buying foods. But, I couldn't work all the time. So, I created a program in my server. I called him, Clu. He earns less than me yet but he is just 1 year old ;-)

Big Data of Engineering Physics/Science

As you know, the manufacturing systems generate huge amounts of sensor data from distributed manufacturing devices. It's a big data world. However, the problems are all engineering physics/science related, and slightly different from web text mining techniques. Their main concerns are storing huge data, extracting interaction effects of systems, and mining of emerging patterns from time series (the real-time monitoring and control systems are another issue). I believe that Hadoop HDFS and Apache Hama can cover this area in the future.

빅데이터와 스플렁크에 대한 생각들

2011년 3월, KT에 재직할쩍에 유클라우드 내부의 모니터링 시스템을 검토하면서 스플렁크라는걸 처음 봤었다. 당시에는 모니터링이라는 기능에 집중하고 있었고, 상당히 말끔한 UI 이기는 하지만 기술적으로 (나에겐) 특별히 흥미로운점이 없어서 별 생각 없었는데 요즘 매우 뜨는것 같다.

본질은 그대로이나 '빅데이터' 거품이 합해졌다. 레거시 시스템에 설치하는 설치형 소프트웨어라는점에서 극단적인 장점과 단점이 공존하는데, 이는 중요치 않고 일단 데이터 과학자나 엔지니어 그리고 R&D 투자가 부족한 기업들에게 크게 어필하는것 같다.

기업/정부 시스템들이 딱히 필요성을 못느끼는 상황에서 '빅데이터' 트렌드를 따라가다보니 결과물은 쥐어짜야하겠고, .. 난항을 겪으면서 도입하는게 스플렁크라면 참 걱정스럽지 아니할 수가 없다.



스플렁크 외에 잡얘기를 잠깐 덧붙이면, ...

한국 IT는 중요한 컴포넌트를 대부분 가져다 쓰고, 비지니스 로직과 서비스에만 집중하는 경향이 있다. 저비용 개발과 수익을 우선시하기 때문에 그렇다. 그러다보니 결국 오늘날 서비스도 점점 글로벌화 되어가는 이 시점에, 소프트웨어는 물론 서비스 둘 다 놓치게 되는 상황이 오고 있는거 아닌가 싶다.

예전에 IT분야 뉴스를 보면 미투데이가입자가 몇만명 돌파했니, 네이버가 뭘 했니 하는 뉴스가 간간히 보였지만 요즘은 애플 vs. 삼성 말고는 별로 볼게 없다.

아니나 다를게 동영상하면 Youtube, SNS하면 페이스북/트위터, 검색하면 구글, 소프트웨어하면 오픈소스와 자바, .... 물론, 모바일 패러다임에 카카오톡같은 .5 IT 세대가 나오긴 했지만 결국 다 밀릴거 같다.

Samsung adopts Splunk for Big Data Analysis, closes Hadoop-based projects

Original news link (Korean): 클라우드-빅데이터, 삼성의 쓴맛 체험기

Samsung's "Hadoop and Big Data" project has ended (finally) by adopting Splunk, which began from 2010.

According to IT industry experts, they just decided to give up technology internalization and adopt Splunk after many trials and errors for about two years. They says the main problem is the lack of Hadoop and Open Souce experts.

I think this is very symbolic event in IT of Korea ...
I'm dying to tell them "No pain, no gain".

Quick Understanding of NoSQL