음성 인공지능 스타트업의 기회 분석
- Get link
- Other Apps
- Get link
- Other Apps
Storm vs. Spark Streaming: 내부 메커니즘의 차이점
트렌드 면에서는 기계학습에 밀린 것 같지만, 실시간 처리 또는 스트리밍 처리는 대단히 중요한 기술이다. 오픈소스로 존재하는 Storm과 Spark을 한번 비교해보자. 물론 솔루션 선택은 자유이고, 상황에 맞는 것이 바로 최적의 솔루션이다.
1. Task Prallel vs. Data Parallel
계산 프로그래밍 모델에서부터 느낄 수 있는 가장 뚜렷한 차이는 먼저, Storm은 Task Parallelism이고 Spark Streaming은 Data Parallelism이다. 개인적으로는 보다 완성도 높은 시스템을 구현할 수 있는 Storm의 계산 그래프 구조를 선호하지만 코드의 복잡도 면에서는 Spark이 유리할 수 있다.
2. Streaming vs. Micro-batches
Spark streaming의 경우는 엄밀히 말하면 실시간 처리보다는 작은 단위의 배치 연속이라고 할 수 있다. Storm은 전형적인 event-driven record at a time processing model로써 살아있는 데이터를 처리한다고 하면, Spark은 휴면 상태로 넘어간 데이터를 처리한다. 때문에 Latency에서 차이가 발생하는데 Storm은 subsecond, Spark의 경우에는 사용자 임의지정 few seconds가 된다.
여기에서 중대한 차이점이 발생하는데, Storm의 경우에는 데이터 유실이 없어야 할 때 (no data loss), Spark은 중복 연산이 없어야할 때 (exactly once) 선택하는 것이 좋다.
한편, Storm Trident는 Micro-batches 스타일도 가능하다고 한다.
3. Stateless vs. Stateful
앞서 소개한대로 Storm은 매 레코드 별로 처리하기 때문에 State을 유지하지 않기 때문에 장애 복구 메커니즘이 Spark보다 복잡하고 re-launching 시간이 더 걸릴 것이다. Stateless vs. Stateful는 (뭔가 더 있을 것 같지만) 장애 복구 외의 차이점은 전혀 없다.
4. Integration with Batch processing
긴말 필요없이 당연히 Spark이 유리하겠다.
여기까지 알아봤고 과연 무엇이 최상의 솔루션인가? 내 생각엔 Storm이 조금 우수하다 판단한다. 물론 최적의 솔루션은 당신 상황에 맞아야 하겠다.
1. Task Prallel vs. Data Parallel
계산 프로그래밍 모델에서부터 느낄 수 있는 가장 뚜렷한 차이는 먼저, Storm은 Task Parallelism이고 Spark Streaming은 Data Parallelism이다. 개인적으로는 보다 완성도 높은 시스템을 구현할 수 있는 Storm의 계산 그래프 구조를 선호하지만 코드의 복잡도 면에서는 Spark이 유리할 수 있다.
2. Streaming vs. Micro-batches
Spark streaming의 경우는 엄밀히 말하면 실시간 처리보다는 작은 단위의 배치 연속이라고 할 수 있다. Storm은 전형적인 event-driven record at a time processing model로써 살아있는 데이터를 처리한다고 하면, Spark은 휴면 상태로 넘어간 데이터를 처리한다. 때문에 Latency에서 차이가 발생하는데 Storm은 subsecond, Spark의 경우에는 사용자 임의지정 few seconds가 된다.
여기에서 중대한 차이점이 발생하는데, Storm의 경우에는 데이터 유실이 없어야 할 때 (no data loss), Spark은 중복 연산이 없어야할 때 (exactly once) 선택하는 것이 좋다.
한편, Storm Trident는 Micro-batches 스타일도 가능하다고 한다.
3. Stateless vs. Stateful
앞서 소개한대로 Storm은 매 레코드 별로 처리하기 때문에 State을 유지하지 않기 때문에 장애 복구 메커니즘이 Spark보다 복잡하고 re-launching 시간이 더 걸릴 것이다. Stateless vs. Stateful는 (뭔가 더 있을 것 같지만) 장애 복구 외의 차이점은 전혀 없다.
4. Integration with Batch processing
긴말 필요없이 당연히 Spark이 유리하겠다.
여기까지 알아봤고 과연 무엇이 최상의 솔루션인가? 내 생각엔 Storm이 조금 우수하다 판단한다. 물론 최적의 솔루션은 당신 상황에 맞아야 하겠다.
Popular posts from this blog
일본만화 추천 100선
1.군계 (액션,격투)
격투만화 중에서는 아주 유명하고 열광적으로 좋아하는 사람이 많은 만화입니다. 전체적으로 만화의 분위기는 어둡고요... 줄거리를 소개하죠. 주인공인 료는 모범생이었습니다. 그러나 부모님의 강압적인 통제... 그에 대한 무의식적 반발로 부모님을 살해하게 되고 맙니다. 그리고 교도소에서 많은 변화를 겪게되죠..그리고 악의 화신같은 존재가 되고 말죠..... 또 그에 대항하는 인물이 나타나고.... 만화에 대한 소개가 만화의 질을 못 따라가네요. 이 만화는 선과 악에 대해 생각해볼 수있는 만화입니다. 그리고 싸움이란 인간에게 어떤 의미가 있는것일까? 하는 생각도요. 아..군계는 싸움닭이란 뜻입니다. 네이밍센스가 좋죠.
2. 생추어리(해적판제목:빛과 그림자) (액션,정치)
일본 최고의 극화체 만화가인 이케가미 료이치님의 작품입니다. 캄보디아에서 일본 외교관의 아들로 태어난 두 남자 이야기를 그리고 있습니다. 캄보디아의 킬링필드(대학살..실존사건입니다.)와중에서 살아남아 돌아온 두 주인공..한명은 암흑계 보스로 다른 한 명은 정치계 거물로 성장해갑니다. 두 남자의 목숨과도 같은 우정....그들의 관계는 어떻게 될까? 뛰어난 스토리작가와 항상 작업하여 재미는 보장이 되는 작품입니다. 단 남성우월주의가 작품전반에 깔려있어서 여성이 보기엔 거부감을 느낄수도 있는 작품..남자분인거 같아 추천합니다.
3.수라의 각 (역사,무협)
해황기의 작가가 쓴 매우 흥미진진한 역사 무협물입니다. 일본 역사속의 많은 실존인물들의 얘기를 기둥줄거리로 하여 거기에 허구를 작가의 능수능란한 솜씨로 섞어냅니다. 이 작품은 코믹 만화인 수험의 제왕에도 등장하는 데요....그 만화에 이런 말이 있지요. "역사 공부를 하려거든 수라의 각을 읽어라" 이 만화작가의 다른 작품인 해황기도 매우 흥미진진하답니다.
4.베르세르크 (판타지)
말이 필요없는 판타지의 최고 걸작.... 뛰어난 작화에 철학적인 사유까지 배어든 최고의 작품. 안 읽으셨다면 부디 읽어보시길..
5.…
격투만화 중에서는 아주 유명하고 열광적으로 좋아하는 사람이 많은 만화입니다. 전체적으로 만화의 분위기는 어둡고요... 줄거리를 소개하죠. 주인공인 료는 모범생이었습니다. 그러나 부모님의 강압적인 통제... 그에 대한 무의식적 반발로 부모님을 살해하게 되고 맙니다. 그리고 교도소에서 많은 변화를 겪게되죠..그리고 악의 화신같은 존재가 되고 말죠..... 또 그에 대항하는 인물이 나타나고.... 만화에 대한 소개가 만화의 질을 못 따라가네요. 이 만화는 선과 악에 대해 생각해볼 수있는 만화입니다. 그리고 싸움이란 인간에게 어떤 의미가 있는것일까? 하는 생각도요. 아..군계는 싸움닭이란 뜻입니다. 네이밍센스가 좋죠.
2. 생추어리(해적판제목:빛과 그림자) (액션,정치)
일본 최고의 극화체 만화가인 이케가미 료이치님의 작품입니다. 캄보디아에서 일본 외교관의 아들로 태어난 두 남자 이야기를 그리고 있습니다. 캄보디아의 킬링필드(대학살..실존사건입니다.)와중에서 살아남아 돌아온 두 주인공..한명은 암흑계 보스로 다른 한 명은 정치계 거물로 성장해갑니다. 두 남자의 목숨과도 같은 우정....그들의 관계는 어떻게 될까? 뛰어난 스토리작가와 항상 작업하여 재미는 보장이 되는 작품입니다. 단 남성우월주의가 작품전반에 깔려있어서 여성이 보기엔 거부감을 느낄수도 있는 작품..남자분인거 같아 추천합니다.
3.수라의 각 (역사,무협)
해황기의 작가가 쓴 매우 흥미진진한 역사 무협물입니다. 일본 역사속의 많은 실존인물들의 얘기를 기둥줄거리로 하여 거기에 허구를 작가의 능수능란한 솜씨로 섞어냅니다. 이 작품은 코믹 만화인 수험의 제왕에도 등장하는 데요....그 만화에 이런 말이 있지요. "역사 공부를 하려거든 수라의 각을 읽어라" 이 만화작가의 다른 작품인 해황기도 매우 흥미진진하답니다.
4.베르세르크 (판타지)
말이 필요없는 판타지의 최고 걸작.... 뛰어난 작화에 철학적인 사유까지 배어든 최고의 작품. 안 읽으셨다면 부디 읽어보시길..
5.…
공유 모빌리티 회사로 합류
공유 모빌리티 시장
여러 자료를 살펴보니 2010년부터 공유 모빌리티 시장이 빠르게 발전하기 시작했다. 최근에는 1천만명 이상으로 성장했고 Frost & Sullivan에 따르면 2025년까지 그 이용자 수는 3600만 명으로 연간 성장률은 16.4% 성장을 예측하고 있다. Global Market Insights는 2024 년에 전세계 자동차 공유 시장의 가치를 110억 달러로 예측한다.
현재 주요 공유 모빌리티 시장은 서유럽과 미국이며, 전문가들은 아시아가이 분야에서 가장 빠른 성장을 경험할 것이라고 예측하고 있다. 그랩이라는 회사는 동남아 8개국 336개 도시에 각종 모빌리티 서비스를 제공하는 세계 3대 차량 공유 서비스로 성장해있다.
Source: Frost & Sullivan, Future of Car Sharing Market to 2025
한국은? 이건 지극히 내 생각이지만, 현재 이용 고객은 300만 정도 되는 것 같다. 디디추싱이 한국 진출을 노리고 있지만 국내 플레이어도 빠르게 움직이고 있다보니 2배는 문안하게 성장 가능하지 않을까 생각한다.
B2C만 보았을 땐 규모에 경제 특성이 있어서 자연독점으로 가게 될 공산이 크고, P2P 우버 처럼 규제를 벗어나 다양한 서비스로 진화할 수 있을지는 미지수.
성공 키포인트? 카셰어링 서비스는 휴대폰에 앱을 설치하면 계정을 등록하고 차량을 렌트하며 시간과 함께 이동 거리를 측정하고 렌트 비용을 지불하는 방식으로 동작한다. 이 과정에 신뢰성과 유용성은 고객 만족에 영향을 미치는 주요 문제 중 하나다. 그 중 가장 중요해보이는 3가지는 아래와 같다:
등록 절차 – 보안 상의 이유로 자동차 공유 회사는 운전 면허증, 신용 카드 번호 또는 개인 신분증 사진 등을 요구한다. 사용자를 유지하려면이 프로세스의 단순화와 신뢰성을 극대화해야한다.신뢰성 – 코드 및 이미지 스캐닝, GPS, 지불. 모든 프로세스를 올바르게 처리하려면 응용 프로그램의 각 구성 요소가 매끄럽고 빠르게 실행되고 가능한 적은 배…
현재 주요 공유 모빌리티 시장은 서유럽과 미국이며, 전문가들은 아시아가이 분야에서 가장 빠른 성장을 경험할 것이라고 예측하고 있다. 그랩이라는 회사는 동남아 8개국 336개 도시에 각종 모빌리티 서비스를 제공하는 세계 3대 차량 공유 서비스로 성장해있다.
Source: Frost & Sullivan, Future of Car Sharing Market to 2025
한국은? 이건 지극히 내 생각이지만, 현재 이용 고객은 300만 정도 되는 것 같다. 디디추싱이 한국 진출을 노리고 있지만 국내 플레이어도 빠르게 움직이고 있다보니 2배는 문안하게 성장 가능하지 않을까 생각한다.
B2C만 보았을 땐 규모에 경제 특성이 있어서 자연독점으로 가게 될 공산이 크고, P2P 우버 처럼 규제를 벗어나 다양한 서비스로 진화할 수 있을지는 미지수.
성공 키포인트? 카셰어링 서비스는 휴대폰에 앱을 설치하면 계정을 등록하고 차량을 렌트하며 시간과 함께 이동 거리를 측정하고 렌트 비용을 지불하는 방식으로 동작한다. 이 과정에 신뢰성과 유용성은 고객 만족에 영향을 미치는 주요 문제 중 하나다. 그 중 가장 중요해보이는 3가지는 아래와 같다:
등록 절차 – 보안 상의 이유로 자동차 공유 회사는 운전 면허증, 신용 카드 번호 또는 개인 신분증 사진 등을 요구한다. 사용자를 유지하려면이 프로세스의 단순화와 신뢰성을 극대화해야한다.신뢰성 – 코드 및 이미지 스캐닝, GPS, 지불. 모든 프로세스를 올바르게 처리하려면 응용 프로그램의 각 구성 요소가 매끄럽고 빠르게 실행되고 가능한 적은 배…
인간 본성의 법칙 (책 리뷰 + 잡담)
점심 먹고 서점에 들러서 집어든 책이 하나 있다. "인간 본성의 법칙", 몇 장 읽어보면서 바로 몰입되는 책. 아직 다 읽지 못해서 리뷰 하긴 뭐 하지만, 과거 내 행동들에 대한 부끄러움, 감정을 배제한 이성적 의사결정에 큰 깨달음을 얻었다.
사실 표정이 순수하고 자연스럽지 못한 사람은 그 입에서 아무리 유식하고 논리 정연한 이야기가 나온다 해도 본능적으로 의심하게 되지 않나?
인간의 본성을 이해하고, 나를 이해하고, 내 행동들을 조금 더 이성적으로 결정한다면 아마도 나는 더 좋은 사람이 될 수 있으리라. 마음을 비워라. 감정을 내려놓자.
사실 표정이 순수하고 자연스럽지 못한 사람은 그 입에서 아무리 유식하고 논리 정연한 이야기가 나온다 해도 본능적으로 의심하게 되지 않나?
인간의 본성을 이해하고, 나를 이해하고, 내 행동들을 조금 더 이성적으로 결정한다면 아마도 나는 더 좋은 사람이 될 수 있으리라. 마음을 비워라. 감정을 내려놓자.
CTC 손실 함수
\(L\)을 label의 집합, \(L’\)을 공백이 포함된 label의 집합이라고 하자.
길이 T를 갖는 sequence에 대하여, 모든 가능한 paths(network output)의 집합을 \(L’^T = \pi\) 라 하자.
실제 labeling z를 갖는 input x에 대하여, 제대로 labelling이 될 확률을 최대화 하는 문제가 된다. 이후에 maximum likelihood estimation 을 이용해 최적화한다.
\(\hat\theta = arg \max_{\theta} \prod_{i=1}^N p(Z^{(i)} | X^{(i)} ; \theta)\)
output에서 얻은 labels에서 중복되는 label과 공백을 없애는 n:1 함수를 B라고 정의하자. 함수 B는 “Collapsing” operation한다고 칭한다. 예시는 다음과같다.
B(_A__AAAA_BBBCCCC) = B(A_A_BBBB_CC) = AABC
B의 역함수 B-1 가 정의 가능하며, 이 함수는 ground truth에 대하여 모든 possible paths로 map이 가능하다.
B-1(ABCC) = -A-AAA-BBBCCC, 등등등등등 (1:n 함수?형태)
역함수의 성질을 수식으로 표현하면 우측과 같다: \(\{ B(x)|x \in B^{-1}(z)\} = z \)
이제, 주어진 labelling z에 대한 가능도를 정의할 수 있으며, z로 Collapse 가능한 모든 paths가 나올 확률의 합으로 가능도를 정의할 수 있다.
\(p(Z|x ; \theta) = \sum_{\pi \in B^{-1}(z)} p(\pi | x ; \theta) \)
앞서 본 인풋x에 대해 labeling z 를 최적화 하려는 식(아래의 식) 안에 대입을 하고 합의 형태로 바꿔 minimazation 문제로 바꾸면 최종식은 다음과 같다.
\(\hat\theta = arg \max_{\theta} \sum_{i=1}^Nlog [ \sum_{\pi \in B^{-1}(z^…
\(\hat\theta = arg \max_{\theta} \prod_{i=1}^N p(Z^{(i)} | X^{(i)} ; \theta)\)
output에서 얻은 labels에서 중복되는 label과 공백을 없애는 n:1 함수를 B라고 정의하자. 함수 B는 “Collapsing” operation한다고 칭한다. 예시는 다음과같다.
B(_A__AAAA_BBBCCCC) = B(A_A_BBBB_CC) = AABC
B의 역함수 B-1 가 정의 가능하며, 이 함수는 ground truth에 대하여 모든 possible paths로 map이 가능하다.
B-1(ABCC) = -A-AAA-BBBCCC, 등등등등등 (1:n 함수?형태)
역함수의 성질을 수식으로 표현하면 우측과 같다: \(\{ B(x)|x \in B^{-1}(z)\} = z \)
이제, 주어진 labelling z에 대한 가능도를 정의할 수 있으며, z로 Collapse 가능한 모든 paths가 나올 확률의 합으로 가능도를 정의할 수 있다.
\(p(Z|x ; \theta) = \sum_{\pi \in B^{-1}(z)} p(\pi | x ; \theta) \)
앞서 본 인풋x에 대해 labeling z 를 최적화 하려는 식(아래의 식) 안에 대입을 하고 합의 형태로 바꿔 minimazation 문제로 바꾸면 최종식은 다음과 같다.
\(\hat\theta = arg \max_{\theta} \sum_{i=1}^Nlog [ \sum_{\pi \in B^{-1}(z^…
Comments
Post a Comment