IMVU의 성장 부사장인 Lomit Patel과 함께 AI를 사용하여 고객 확보를 촉진합니다.

어려운 시장 상황에서도 어떻게 더 빠르게 성장할 수 있습니까? 아, 맞춤 획득 비용을 3배로 절감하는 동시에 광고 지출 대비 100% 수익을 5배 가속화할 수 있을까요?

좋은 데이터는 기본 요구 사항입니다. 무엇이 효과가 있고 무엇이 효과가 없는지에 대한 통찰력도 마찬가지입니다.

하지만 AI도 도움이 될 수 있습니다.

이번 Growth Masterminds 에피소드에서는 Lomit Patel과 이야기를 나눕니다. Patel은 IMVU의 성장 부문 부사장이며 이전에는 Roku의 성과 및 디지털 마케팅을 이끌었습니다. 그는 또한 Apple이 인수하여 Apple News+로 전환한 Texture에서 고객 확보를 담당했습니다.

그래서 그는 성장과 고객 확보에 관해 몇 가지 사실을 알고 있습니다. (실제로 소셜 앱으로서 IMVU는 코로나바이러스 팬데믹 상황 속에서 실제로 성장하고 있습니다.)

그는 또한 말 그대로 성장을 위한 AI에 관한 책을 썼습니다. Patel은 지난 3월에 Lean AI: 혁신적인 스타트업이 인공 지능을 사용하여 성장하는 방법을 출판했습니다. AI를 사용하여 성장과 사용자 확보를 확장하는 방법에 대한 실용적인 조언이 가득합니다.

팟캐스트 듣기:

주요 인용문 및 통찰: AI를 통한 고객 확보 가속화

성장을 위해 AI를 사용하는 마케팅 담당자에 대해:
"현재 실제로 이 작업을 수행하고 있는 사람은 5% 미만입니다."
-로미트 파텔

Lomit Patel이 고객 확보의 세 가지 시대에 대해 설명합니다.

• 고객 확보 1.0: 모든 데이터 집계
• 고객 확보 2.0: 광고 파트너에게 깨끗한 데이터 제공
• 고객 확보 3.0: AI를 사용하여 광고 파트너 간 예산 할당 자동화

고객 확보는 새로운 데이 트레이딩입니다.
“언제든지 특정 파트너의 입찰가가 바뀌는 것을 볼 수 있기 때문에 우리는 기본적으로 데이 트레이더처럼 행동하고 있습니다. 그리고 이를 통해 우리는 궁극적으로 하루 말과 월말에 목표를 달성할 수 있다는 더 큰 확신을 갖게 되었습니다.”
-로미트 파텔

AI를 직접 구축하거나 파트너십을 맺는 것에 대해:
“결국 우리가 하게 된 일 중 하나는 IMVU에서 우리의 기술 세트가 실제로 어디에 있는지에 관해 훌륭하고 정직한 감사를 실시하는 것이었습니다. 실제로 이와 같은 것을 직접 구축할 수 있는 핵심 역량이 많지 않습니다.”
-로미트 파텔

자동화가 가능하게 하는 것:
"우리는 ... 한 달에 수천 가지의 다양한 광고 소재 변형을 테스트하고 있습니다."
-로미트 파텔

수익 창출 흐름을 빠르게 식별:
IMVU의 AI는 사람들이 24~48시간 내에 광고를 통해 수익을 창출할지 아니면 인앱 구매를 통해 수익을 창출할지 식별합니다.

IMVU의 고객 확보를 위해 AI가 수행한 작업에 대해 Lomit Patel은 다음과 같이 말했습니다.
"우리는 CAC가 3배 이상 하락하는 것을 보았습니다."
"ROA, 즉 투자 수익이 3배 이상 증가한 것을 확인했습니다."
"예전에는 5~6개월 정도 걸렸지만 지금은… 30~35일 이내에 광고비 대부분을 회수합니다."

전체 내용: AI 기반 고객 확보

John Koetsier : 인공지능으로 어떻게 성장을 촉진합니까?

John Koetsier와 함께하는 성장의 대가들에 오신 것을 환영합니다. 똑똑한 모바일 마케터들이 더욱 똑똑해지는 팟캐스트입니다. 오늘 우리 손님은 3월에 막 출간된 O'Reilly Media 책 “Lean AI”의 저자입니다. 그는 IMVU의 성장 부문 부사장입니다. 그는 Roku의 성과 및 디지털 마케팅을 이끌었습니다. 그는 또한 Apple이 인수하여 Apple News+로 전환한 Texture에서 고객 확보를 주도했습니다.

로미트 파텔 씨, 인사해주세요!

로미트 파텔 : 안녕하세요 여러분. 여기 오게 되어 정말 기뻐요.

존 코에시어 : 훌륭해요. 당신이 여기 있어서 정말 기뻐요. 정말 흥미롭네요. 방금 책을 출간하셨네요. 여기서부터 시작해야 합니다. 이것이 지금 우리 삶의 가장 큰 사실이라는 뜻입니다. 코로나바이러스죠. 어디세요? 어디에 갇혀 있었나요? 어떻게 지내세요?

IMVU는 다른 사람들과 마찬가지로 코로나바이러스 재택근무 모드입니다.

Lomit Patel : 네, 확실히 코로나바이러스는 지금 매일 매일의 화두입니다. 하지만 저는 지난 몇 주 동안 IMVU에서 재택근무를 했기 때문에 이것이 파이프라인으로 내려갈 것이라는 것을 알고 어느 정도 준비가 되어 있었습니다. 원격으로 매우 효율적으로 작업할 수 있게 된 것은 매우 행운입니다. 그래서 그것은 효과가있었습니다. 그러나 기업으로서 코로나바이러스는 IMVU에 심각한 문제를 일으키지 않았습니다. 왜냐하면 우리는 소셜 네트워크이고 사람들이 전 세계 다른 사용자와 계속 연결하는 또 다른 방법이기 때문입니다. 그리고 우리에게는 지난 몇 주 동안 실제로 발생한 수요 증가를 관리하려는 측면에서 확실히 반대 문제였습니다.

John Koetsier : 글쎄요, 당신이 언급한 것은 매우 흥미롭습니다. 왜냐하면 우리가 불과 몇 분 전에 이 쇼를 준비하고 있을 때 대역폭 문제에 대해 이야기하고 있었고 일반적인 오디오 팟캐스팅 플랫폼이 작동하지 않았기 때문입니다. 당신은 사람들이 아바타와 함께 모여 사회적 상호 작용을 하는 소셜 네트워크입니다. 지금 당장 절실하고 갈망하는 것입니다. 그리고 서비스를 제공하기에 충분한 대역폭이 있다는 문제도 있습니다. 그렇죠?

로미트 파텔 : 네. 따라서 우리의 과제는 분명히 서버 용량에 더 많은 인프라를 추가하는 것입니다. 왜냐하면 우리가 발견한 것은 미국에서 유입되는 사용자와 전 세계적으로 유입되는 사용자 간의 적절한 균형을 파악하려고 노력하고 있기 때문입니다. 그리고 가능한 한 그 수요를 많이 늘리려고 노력합니다.

존 코에시어 : 와, 와.

Lomit Patel : 그리고 게다가 많은 소셜 네트워크에서 매우 인기 있는 또 다른 것은 라이브 스트리밍이죠? 이는 실제로 주목을 받은 새로운 기능이며 우리는 사람들이 친구들과 연결하고 라이브 이벤트를 주최할 수 있는 '호스트 룸'이라는 유사한 기능을 제공합니다. 그리고 이와 같은 기능은 분명히 대역폭을 증가시킵니다. 그렇죠?

존 코에시어 : 물론이죠.

Lomit Patel : 사람들이 라이브로 하고 있으니까요. 네, 제 생각에는 이것이 지금 많은 사람들이 겪고 있는 다른 문제에 비해 확실히 더 나은 문제라고 생각합니다. 하지만 예, 확실히 이는 우리가 더욱 적극적으로 대처하려고 노력한 것이며 특히 미국과 미국의 다른 지역에서 점점 더 많은 주에서 더욱 엄격한 조치를 시행하기 시작함에 따라 계속해서 더 많은 노력을 기울일 것입니다. 대피소 요구 사항. 따라서 더 많은 사람들이 고립되어야 하고, 우리가 인간으로서 혼자 할 수 있는 일이 너무 많다는 것을 알고 있습니다.

John Koetsier : 우리는 사회적 종입니다.

로미트 파텔 : 네, 그렇습니다.

성장 부문 부사장: 광범위한 다분야 역할

존 코에시어 : 물론이죠. 어쩌면 이것을 시작하자. 우리는 인공 지능, 성장, 고객 확보, 사용자 확보 등 모든 것에 대해 이야기할 것입니다.

하지만 잠시 여기에서 무대를 설정하고 현재 역할, 하는 일에 대해 간략하게 소개해주실 수 있나요?

Lomit Patel : 물론이죠. 제 이름은 Lomit Patel이고 말씀하신 대로 성장 부문 부사장입니다.

따라서 제가 주로 맡은 책임은 IMVU의 모든 성장 노력을 관리하는 것입니다. 이는 전체 사용자 라이프사이클에 걸쳐 획득, 유지 및 수익화부터 모든 것을 포괄합니다. 가장 쉽게 생각할 수 있는 방법은 사용자를 어떻게 끌어들이느냐 하는 것입니다. 우리는 어떻게 그들을 계속해서 유지합니까? 그리고 청구서를 지불하기 위해 그들로부터 돈을 버는 방법을 어떻게 알아낼 수 있습니까?

John Koetsier : 당신이 성장 담당 부사장이라는 점이 매우 흥미롭습니다. 우리는 최근 CGO, 최고 성장 책임자(CGO)에 대한 일부 연구를 발표했는데, 이것이 바로 귀하가 맡은 역할입니다. 이전에는 상당히 분리되어 있던 많은 역할에 걸쳐 이 광범위한 역할이었죠. 그렇죠?

누군가는 고객을 데려왔고, 누군가는 실제로 제품을 만들고, 고객을 행복하게 해주는 제품을 전달했으며, 누군가는 고객을 유지하는 방법에 대해 걱정했습니다. 귀하의 범위 내에 전체 제품군이 있습니다.

로미트 파텔 : 네. 제 생각에 도전의 일부는 사용자 여정의 다양한 부분에 집중하는 다양한 그룹이 있을 때 발생하는 일이며, 퍼즐의 어떤 부분을 담당하는 사람이 누구인지에 관한 실행 관련 문제에 직면하게 된다는 것입니다.

그리고 성장 책임자가 있는 회사의 이점 중 하나는 실제로 고객을 위한 가장 큰 옹호자가 되기 위한 전체 미리보기를 간과하는 것이 귀하의 책임이라는 것입니다. 그리고 모든 사람이 해당 기능을 지원할 수 있도록 회사 전체에 걸쳐 이를 전파하는 데 도움을 줍니다. 실제로는 교차 기능 기능이기 때문입니다. 모든 리소스를 우리에게 전담할 수 있는 것은 아니므로 다양한 그룹 전체에 걸쳐 작업해야 합니다.

하지만 이는 우리가 항상 목표를 주시하고 있는지 확인하는 것입니다. 이는 결국 회사가 성장하는 데 도움이 되도록 지속적으로 도움을 주는 핵심 프로젝트가 무엇인지에 초점을 맞추는 것입니다.

린 AI(Lean AI): 성장과 고객 확보를 위한 AI

John Koetsier : 정말 말이 되는군요.

그래서 그 모든 바쁜 일과 인간으로서 수반되는 다른 일들 속에서 당신은 책을 쓸 시간을 찾았고 AI에 관한 책을 썼습니다. 책을 쓰신 이유에 대해 조금 이야기해 주세요. 거기로 나가기 위해 무엇이 필요했나요? 사람들에게 무엇을 말해야 했나요?

로미트 파텔 : 물론이죠. 그래서 제가 발견한 것 중 하나는... 우리는 IMVU에서 지난 몇 년 동안 자동화 분야의 AI에 관해 많은 연습을 해왔습니다. 그것은 주로 성장 팀이 어디로 이동할 것인지에 대한 추세의 큰 부분을 차지한다고 실제로 보았다는 사실에서 나왔습니다.

특히 지금은 우리에게 들어오는 데이터의 속도가 너무 빨라 조치를 취할 수 있는 통찰력을 추출하기 위해 가능한 한 빨리 모든 데이터를 해독하고 우리와 우리를 차별화할 수 있는 것이 정말 어렵습니다. 경쟁자.

그래서 제가 시작한 것, 이 책을 쓰도록 영감을 준 것은 주로 이 책이 IMVU에서 우리 사업에 중대한 변화를 가져오는 것을 보았기 때문입니다. 하지만 저는 또한 여러 컨퍼런스에서 이 주제에 대해 이야기해 왔으며 제가 발견한 바에 따르면 우리가 해왔던 정도까지 이를 실제로 수용한 회사가 많지 않다는 것입니다.

나는 아마도 소수의 회사일 것이라고 말하고 싶습니다. 5% 미만이 실제로 지금 이 일을 하고 있습니다.

그래서 저는 성장 산업의 다른 사람들이 자동화에서 AI를 실제로 활용할 수 있도록 영감을 줄 수 있는 좋은 기회가 있다고 느꼈습니다. 왜냐하면 궁극적으로 모바일 성장 산업에 대해 제가 좋아하는 한 가지는 우리가 함께 공유하고 성장하는 것에 대해 매우 개방적입니다. 그래서 저는 이것이 우리가 함께 계속해서 산업을 전파하고 발전하는 데 정말로 도움이 될 수 있는 것이라고 생각합니다.

고객 확보 1.0, 2.0, 3.0

John Koetsier : 아주, 아주 멋지네요. 이제 당신이 말하는 것 중 하나는 고객 확보 1.0이고, 고객 확보 2.0에 대해 이야기하고, 이제는 고객 확보 3.0에 대해 이야기합니다. 우리를 위해 .0을 살펴보실 수 있나요?

로미트 파텔 : 물론이죠. 그래서 그것은 제가 IMVU에서 시작했을 때 겪었던 여정과 정확히 일치합니다. 그래서 저는 3년 반 전에 IMVU에서 일을 시작했습니다. 그리고 우리가 겪은 가장 큰 과제 중 하나는 사용자 데이터가 많지만 문제는 그것이 사일로에 있다는 것이었습니다. 우리는 크로스 플랫폼 비즈니스이기 때문에 사용자 데이터를 보유하고 있습니다. 그래서 우리는 모바일 비즈니스와 다른 서버에 있는 웹 비즈니스의 사용자 데이터를 가지고 있었고, 당시 우리가 얻으려고 했던 데이터는 다른 장소에 있었습니다.

그리고 궁극적으로 데이터가 사일로에 보관되어 있으면 올바른 결정을 내리는 것이 정말 어렵습니다.

존 코에시어 : 그렇습니다.

Lomit Patel 전체 고객 여정을 실제로 이해할 수 있는 singular 가 없기 때문입니다

그리고 일단 확보했다면 좋은 소식은 고객 확보 2.0이 대부분의 사람들이 사용자 확보 예산을 지출하는 다양한 파트너와 함께 이미 존재하는 많은 AI 기능을 실제로 활용한다는 것입니다. 예를 들어, Google과 Facebook은 물론 수많은 다른 파트너들은 AI를 활용하여 IMVU와 같은 광고주가 목표를 달성하는 데 더 효율적으로 도움을 줄 수 있도록 AI를 활용하는 방법에 대해 계속해서 좋은 진전과 투자를 해왔습니다. 하지만 이를 실제로 활성화하려면 정말 훌륭하고 깨끗한 데이터 신호를 제공해야 합니다.

따라서 고객 확보 2.0은 일단 모든 데이터를 통합한 다음 올바른 데이터를 제공하여 고객이 AI 기능을 활용하여 목표를 달성하는 데 도움을 줄 수 있도록 하는 것입니다.

그리고 고객 획득 3.0은 기본적으로... 아시다시피 제가 기업과 다른 광고주로서 본 가장 큰 과제는 예산 지출 방법을 알려주기 위해 파트너에게 얼마나 의존하게 되는지입니다.

아시다시피 저는 20년 넘게 사용자 확보 분야에 종사해 왔지만 지출을 줄여야 한다고 파트너가 말한 적이 없습니다.

하지만 무엇보다도 문제는 궁극적으로 더 좋은 방법이 없을까?라는 생각을 하기 시작했다는 것입니다. 제가 실제로 영감을 얻은 분야 중 하나는 금융 업계를 바라보는 것이었습니다. 왜냐하면 제가 사용자 확보 팀을 보는 방식은 궁극적으로 우리가 항상 투자하려고 노력하는 데이 트레이더와 비슷하기 때문입니다. 우리 회사가 투자에 대해 더 나은 수익을 얻을 수 있도록 매일 돈을 투자합니다.

그리고 금융 산업이 훌륭한 일을 해낸 일 중 하나는 바로 그들이 수많은 퀀트와 데이터 과학자를 고용했을 때 이러한 인프라와 지능형 기계를 구축하여 그들이 더 나은 성과를 낼 수 있도록 하는 것이었습니다. 주식과 상품을 구매하는 방법이 더 똑똑해졌습니다. 그리고 인간을 기반으로 하는 것이 아니라 순전히 데이터 중심으로 작업을 수행했습니다.

그런 점이 제가 고객 확보 3.0에 영감을 주게 되었습니다. 급여, 사용자 확보 또는 성장 측면에서 궁극적으로 HR 외부가 실제로 회사에서 두 번째로 큰 지출 또는 항목이기 때문에 이를 복제할 수 있는 방법을 실제로 파악하는 것이 었습니다. 따라서 예산을 관리하는 데는 많은 책임이 따르므로 이를 수행하는 데 더 좋고, 더 빠르고, 더 스마트해지기 위해 할 수 있는 모든 것이 확실히 집중하고 싶은 것입니다.

따라서 고객 확보 3.0은 금융 업계에서 동일한 영감을 얻어 이제 모든 데이터가 한곳에 있으므로 데이터를 제공하는 다른 모든 개별 파트너에 비해 우리가 가진 가장 큰 이점을 실제로 식별하는 곳이었습니다. 비즈니스가 어떻게 진행되고 있는지에 대한 singular 시각을 갖고 있는 것입니다. 그리고 이것이 가장 큰 경쟁 우위입니다.

따라서 우리는 특정 날짜, 특정 주, 특정 달의 특정 시간에 한 파트너가 다른 파트너와 어떻게 비교되는지 정확히 알고 있습니다.

따라서 다양한 채널과 다양한 데이터에 대한 전체적인 관점을 확보함으로써 우리는 핵심 수단을 실제로 활용할 수 있는 훨씬 더 나은 위치에 있습니다. 좋은 점은 이러한 파트너가 AI를 중심으로 많은 기능을 개발했음에도 불구하고 입찰, 예산, 크리에이티브 및 목표와 관련된 사용자 확보 팀의 특정 입력에 여전히 크게 의존하고 있다는 것입니다.

그래서 이것이 제가 자동화에 대해 생각하기 시작한 것들이었습니다. 그리고 자동화는 실제로 예산을 늘려야 할 부분, 예산을 줄여야 할 부분, 예산을 줄여야 할 부분을 언제든지 알려주기 위해 모든 데이터를 한곳에 모아둔 데이터 통찰력을 기반으로 실행되었습니다. 그리고 그것을 보는 다른 방법은 결국 수요와 공급에 관한 것입니다. 이제 예산을 지출하게 되는 모든 일이 프로그래밍 방식으로 완료되어 매우 운이 좋았습니다.

왜냐하면 우리가 이러한 다양한 파트너를 모두 식별하고 전체적으로 볼 수 있게 되면 하루 중 특정 시간에는 Facebook이 Snapchat과 같은 Snapchat보다 더 효율적일 수 있고 Google보다 더 효율적일 수 있다는 것을 발견하기 시작했기 때문입니다. Apple Search보다 더 효율적일 수 있습니다.

하지만 문제는 인간적으로 이 일을 하기 위해 하루 24시간 내내 앉아 있는 것이 불가능하다는 것입니다. 그러나 AI 기능을 활용하여 인간처럼 생각하고 그러한 기회가 언제 나타날지에 따라 예측 조치를 취한다면 그것은 우리에게 큰 아하 순간이었습니다.

AI: 마케터에게 고객 확보에 대한 통제권 부여

John Koetsier : 제가 정말 좋아하는 점은 Facebook에 돈을, Google에 돈을, 다른 파트너에게 돈을 쏟으면서 마케팅 담당자가 통제력이 부족하다는 느낌이 점점 커진다는 것입니다. 그리고 그들은 거기에 많은 AI와 많은 지능이 포함된 일종의 블랙박스를 만들었습니다. 그리고 당신이 말했듯이, 당신이 그들에게 더 많은 데이터를 제공할수록 그들은 당신이 원하는 것을 더 잘 제공할 것입니다.

그러나 당신은 또한 통제력을 잃게 되고 실제로 블랙박스 안에 있는 기계의 증가하는 성장이나 지능을 먹이고 있는 것입니다. 당신이 한 일은 그 위에 AI 레이어를 얹은 것입니다. 이제 당신은 원하는 만큼 똑똑해지고 있다고 말하고 있습니다. 정말 훌륭해요, 훌륭해요, 우리에게 좋은 일이에요. 우리는 고객 획득 및 사용자 획득의 모든 소스에 대해 현명하게 대처할 것이며 그것이 바로 경쟁에서 승리할 것입니다.

정말 흥미롭습니다.

로미트 파텔 : 그렇죠. 그리고 제가 계속해서 많이 듣는 말 중 하나는 우리가 통제할 수 없다는 것이기 때문에 이를 명확하게 요약하신 것 같습니다. 그러나 사실은 우리가 제어할 수 있는 특정 요소가 있고 이것이 제어하려는 핵심 구성 요소라는 것입니다. 결국 이들 파트너 모두가 원하는 가장 큰 것은 귀하가 더 많은 예산을 지출하는 것이기 때문입니다. 그렇죠?

그리고 당신은 그것을 통제하게됩니다. 돈을 따르는 것이 전부입니다. 돈을 어떻게 쓰고 싶은지 통제할 수 있습니다. 완전히 수동적으로 행동하고 그냥 넘겨줄 필요는 없습니다.

따라서 지금 일어나는 일은 주어진 시간에 특정 파트너로부터 입찰가가 바뀌는 것을 보고 있기 때문에 매일 기본적으로 데이 트레이더처럼 행동하는 것입니다. 그리고 그것이 우리가 궁극적으로 할 수 있는 것은 하루 말과 월말에 목표를 실제로 달성할 수 있다는 더 큰 자신감을 갖는 것입니다.

성장을 관리하는 AI 제어

John Koetsier : 그래서 이 질문을 해야겠습니다. 우리는 주식 시장에서 모든 것을 기계에 넘겨주면서 몇 가지 재앙을 목격했습니다. 바라건대 그것이 우리 뒤에 있기를 바랍니다. 그러나 우리는 누군가가 구입하고 일부 시스템이 모든 것이 다운되어 팔고, 팔고, 팔고, 팔고 이제 인공 브레이크를 걸기 때문에 충돌하는 몇 가지 시나리오를 보았습니다. 그리고 기계가 실수를 해서 수십억 달러가 증발한 다른 시나리오도 있습니다.

이에 대한 안전 장치를 어떻게 마련하셨나요?

Lomit Patel : 네, 그래서 우리가 한 일 중 하나는 금융 업계에서 하는 일과 매우 유사합니다. 즉, 손절매 주문을 하는 것입니다. 너무 많이 내려가면 할 수 있는 일이 제한됩니다.

그리고 우리가 그렇게 하게 된 이유 중 하나는 금융 업계와는 달리 급격한 상승과 하락을 겪을 수 있기 때문입니다. 그러나 진실은 다양한 파트너의 다양한 AI 기능을 사용하여 작업할 때 명심하고 싶은 한 가지 사실은 주어진 시간에 10-20% 스윙과 같은 변경을 수행할 수 있기를 원한다는 것입니다.

해당 범위를 넘어서 너무 많은 거친 스윙을 계속하면 AI가 누적 변경을 수행할 수 있도록 훈련되었다고 느끼기 때문에 결국 AI를 재설정하게 될 것입니다. 하지만 급격한 변화를 가한다면 완전히 새로운 캠페인인 것처럼 느껴질 것입니다. 재설정을 시작하면 전체 프로그램에 반직관적입니다.

존 코에시어 : 네, 그렇습니다.

Lomit Patel : 그래서 우리는 결국 도움을 주기로 했습니다.

IMVU가 사용자 확보를 위해 사용하는 기술

John Koetsier : 정말 말이 되는군요. 아주 아주 멋지네요. 이는 귀하가 하고 있는 일에 대한 훌륭한 개요입니다. 좀 더 깊이 들어가 보면 AI를 위해 특별히 어떤 기술을 사용하고 있나요?

Lomit Patel : AI에는 기본적으로 세 가지 구성 요소가 있습니다. 하나는 모바일 측정 파트너이며 그곳에서 많은 모바일 데이터가 유입됩니다. 많은 데스크톱 데이터가 자체 데이터 웨어하우스에서 나오므로 우리는 많은 데이터를 추출하는 데 Tableau를 사용합니다. 그리고 모든 설치 후 사용자 행동 데이터는 현재 Leanplum에서 제공되므로 이것이 바로 CRM 자동화입니다.

그래서 우리가 한 일은 세 가지 소스를 모두 한 곳으로 모아 단일 보기를 얻을 수 있게 한 것입니다. 어쨌든 우리가 이를 수행할 수 있는 방법은 두 가지입니다. 하나는 이메일 주소를 이용하는 것입니다. IMVU에 계정을 만드는 모든 사람은 고유한 이메일 주소를 갖고 있기 때문에 계정을 만들 수도 없고 해당 이메일 주소를 다시 사용할 수도 없습니다.

또 다른 점은 모든 사용자가 고유한 고객 ID를 받는다는 것입니다. 따라서 이는 사용자가 어디서 왔는지, 그리고 어떻게 우리와 상호 작용하게 되는지에 관계없이 사용자 여정을 추적하기 위해 보편적으로 사용할 수 있는 두 가지 요소입니다.

AI 구축 및 훈련: 팀 및 파트너

존 코에시어 : 그렇죠. 이제 팀 측면에서는 AI 팀을 구성했습니까, 아니면 그 재능을 다양한 팀에 퍼뜨렸습니까?

Lomit Patel : 결국 우리가 한 일은 이를 다양한 팀에 전파하는 것이었습니다. 그러나 우리가 결국 하게 된 일 중 하나는 IMVU에서 우리의 기술이 실제로 어디에 있는지에 관해 훌륭하고 정직한 감사를 실시하는 것이었습니다. 그리고 우리가 실제로 이와 같은 것을 직접 구축할 수 있는 핵심 역량이 많지 않다는 것이 꽤 분명했습니다.

그래서 우리가 한 일은 최종 조각을 하나로 묶는 데 도움을 줄 수 있는 잠재적인 파트너나 SAS 플랫폼을 파악하는 것이었습니다.

그리고 우리가 만난 것은 Nectar9이라는 회사였습니다. 그리고 그들은 비슷한 것을 만들려고 노력하는 작은 스타트업 같았습니다. 하지만 당시 그들이 부족했던 것은 실제로 알고리즘을 훈련할 수 있고 UA 컨텍스트와 같이 실제로 작동하는 기능을 완벽하게 할 수 있도록 많은 사용자 데이터를 얻는 것이었습니다. 그래서 우리가 하게 된 것은... 일종의 이것을 만들려는 것이었습니다. 왜냐하면 John을 아시다시피 무엇이든 만들려고 노력하는 것은 어쨌든 어려운 일이지만, 무언가를 만들려고 할 때 또 다른 어려움은 그것을 올바르게 유지하는 것입니다.

그리고 저는 그 토끼굴로 내려가고 싶지 않았습니다. 그래서 저는 결국 Nectar9과 파트너십을 맺게 되었고 그들과 협력하게 되었고 업계 내 관계를 통해 그들을 도울 수 있었고 Google, Facebook과 같은 모든 주요 파트너로부터 이러한 API를 플랫폼에 통합할 수 있었습니다. , Snapchat은 우리가 돈을 쓰고 대다수의 사람들이 돈을 쓰는 곳입니다.

따라서 이러한 API를 사용하여 모든 관련 데이터 신호를 얻을 수 있는 액세스를 제공할 수 있었습니다.

그래서 그들은 이미 AI 기능을 가지고 있었고 그들의 역량이 작동하는 방식은 구조화되지 않은 학습입니다. 따라서 주로 많은 데이터가 들어오고 그에 따라 통찰력을 얻으려고 노력하고 있습니다. 그리고이를 바탕으로, 우리는 각각의 개별 파트너를 개별적으로 바라 보는 것보다 전체적으로 사물을 보는 전역에서 우리를 위해 일하기 위해 알고리즘 훈련을 시작할 수 있습니다.
그래서 우리가 한 가장 좋은 방법은 단계별로하는 것이 었습니다.

그래서 우리는 이러한 캠페인을 반수동으로 관리하고 있던 당시에 주로 그들에게 일부 데이터를 전달하기 시작했습니다. Facebook은 우리와 협력한 첫 번째 파트너 중 하나였으며 그런 다음 일부 데이터를 Nectar9에 제공하기 시작했고 기계가 어떻게 작동하는지 확인했습니다. 잠재적으로 우리가 일을 하는 방식에 반대되는 일을 할 수도 있습니다.

그리고 아마 30~40일 정도 걸렸을 겁니다. 하지만 기계는 결국 훈련을 하고 더 나아질 수 있었고, 우리보다 훨씬 더 효율적이 되기 시작했습니다. 그래서 우리는 하나의 작은 지리로 시작했습니다. 제 생각엔 영국이나 뭐 그런 것 같았습니다. 그런 다음 계속 유지되는지 확인하기 위해 확장하기 시작했고 유지되기 시작했고 결국 이를 통해 Facebook을 완전히 자동화했습니다. 그리고 나서 우리는 Google, Snapchat 및 우리와 협력하는 다른 여러 파트너와 동일한 작업을 시작했습니다.

하지만 그것은 순차적이었습니다. 모든 것을 한 번에 넣는 것이 아니었습니다.

그리고 주로 팀의 내부 리소스 측면에서 저는 기술 세트를 변경했습니다. 왜냐하면 제가 가장 큰 어려움을 겪었던 것 중 하나는 캠페인 관리와 관련하여 실제로 인력을 유지하는 것이기 때문입니다. 어쨌든 많은 사람들이 그 일을 하다가 지치기 때문에 그 역할을 위해 다른 회사로 옮기면 10,000~20,000달러를 더 제안할 수 있는 사람이 항상 있기 때문입니다.

그래서 제 도전과 좌절의 일부는 계속해서 두 명의 새로운 사람들을 훈련시키는 것이었습니다. 그래서 제가 발견한 것은 기계를 통해 그것을 한 번만 한다는 것이었습니다. 그리고 나서 저는 구축의 전체 과정을 거치지 않아도 되었습니다. 팀의 그 기술. 그래서 제가 한 일은 팀에서 가지고 있던 기술을 중심으로 이 기계를 어떻게 지원할 것인지에 집중하는 것이었습니다. 말하자면 우리는 기계에 어떻게 공급할 것입니까? 주로 우리가 큰 진전을 이루고 사내에 투자한 분야 중 하나는 창의적인 개발에 관한 것입니다.

우리 팀에 있는 사람들 중 한 사람은 주로 기계에서 들어오는 모든 데이터 통찰력을 실제로 살펴보는 데 중점을 두고 있습니다. 즉, 우리가 돈을 지출하고 있는 다양한 파트너 전반에 걸쳐 무엇이 효과가 있고 무엇이 효과가 없는지 살펴보는 것입니다. 계속해서 내부 팀과 협력하여 계속해서 기계에 공급할 수 있는 새롭고 창의적인 반복을 계속해서 내놓고 있습니다.

그리고 우리는 일반적으로 한 달에 약 2,000가지의 다양한 변형 광고 소재를 테스트하고 있습니다. 그리고 그것은 주로 이것이 우리의 이야기를 전달하는 데 실제로 도움이 되는 핵심 수단이라는 것을 깨달았기 때문입니다.

John Koetsier : 와우.

AI, 유지 및 사용자 여정

Lomit Patel : The other part, the other role that I really upgraded on the team was all around retention and CRM to really leverage all of the data that we're getting now—but figure out how can we come up with better user journeys that 다른 채널에서 오는 사용자가 실제로 적응할 수 있도록 더 개인화됩니다.

예를 들어, Google에서 들어오는 누군가와 그들이 들어오도록 동기를 부여한 창의적인 것이 무엇이든... 우리는 그들이 계속해서 들어오도록 동기를 부여한 것에 대해 연속성을 제공할 수 있기를 원합니다. 그런 다음 가능한 한 빨리 제품의 모든 주요 아하 순간을 실제로 경험할 수 있도록 통합하도록 노력하십시오.

그 역할 중 하나는 AI가 정말 도움이 되는 부분입니다. 이상적인 사용자 여정이 무엇인지, 누군가가 해야 할 행동과 작업이 무엇인지 식별하는 데 도움이 되는지, 특히 온보딩과 관련하여 모바일에서 핵심이기 때문에 더욱 그렇습니다. 사람들을 꽤 ​​빨리 사로잡지 않으면 그들을 잃게 될 것입니다.

우리가 할 수 있었던 것은 두 개의 서로 다른 세그먼트를 식별하는 것입니다. 이것이 바로 사용자에게 수익을 창출하는 방법이기 때문입니다.

하나는 인앱 구매에 관한 것이고 다른 하나는 광고에 관한 것입니다. 그리고 일반적으로 사람들이 하는 일은 IMVU 크레딧을 구매하는 것입니다. 왜냐하면 우리는 사람들이 이 모든 가상 물건을 구매하고 이러한 가상 세계를 만드는 데 사용하는 자체 통화를 가지고 있기 때문입니다. 따라서 이러한 크레딧을 사용하고 구매할 가능성이 더 높은 특정 사람들이 있을 것이며, 보상형 비디오를 시청하거나, 온라인 설문조사에 참여하거나, 광고와 상호 작용하여 수익을 창출할 가능성이 더 높은 사용자도 있을 것입니다. 그 크레딧.

따라서 우리 AI는 사람들이 무엇을 하고 있는지, 무엇을 하지 않고 있는지에 따라 처음 24~48시간 내에 매우 빠르게 식별하여 인앱 구매 경로인지, 광고 경로. 그리고 이를 바탕으로 우리는 다운스트림 사용자에게 수익을 창출할 수 있는 방법에 대해 더 자세히 설명하는 다양한 경험을 보여주기 시작합니다.

John Koetsier : 흥미 롭습니다. 따라서 실제로 사용자 여행, ​​고객 여정, 그들이 들어올 때 누구인지에 대한 이해를 통해 고객의 여정을 구축합니다.

하지만 귀하는 귀하가 이해한 바에 따라 귀하의 제품 사용을 맞춤화하고 있습니다. 이 사용자가 비용을 지불할 가능성이 있습니까? 광고나 그런 걸 볼까? 따라서 전체 경험은 특정 집단에서 실제로 수익을 창출할 방법에 따라 맞춤화됩니다.

다기능 팀

Lomit Patel : 맞습니다. 그것이 제품 팀과 같이 기능적으로 교차로 작업 해야하는 곳이있는 곳입니다. 그래서 제가 가지고있는이 두 가지 역할은 그 역할 중 하나가 제품 팀과 함께 제품 경험을 최적화하여 우리가 찾고있는 것과 일치하는 방법에 중점을 둔 많은 시간을 소비합니다. 그리고 다른 역할은 마케팅 팀과 더 많은 시간을 보내기 위해 모든 창의적 개발과 우리의 이야기를 모든 사람들을 기계에 다시 시도하고 공급하는 방법에 대한 자산에 중점을 둡니다.

우리가 맡은 또 다른 역할은 주로 파트너와 함께하는 것입니다. 왜냐하면 파트너가 모든 데이터를 가져오고 통찰력을 제공하기 때문입니다. 그들과 함께 수석 데이터 과학자가 있으므로 이 사람을 고용할 필요가 없기 때문에 도움이 됩니다. 하지만 우리가 그들과 함께 하는 일은 최소한 매주 회의를 갖는 것입니다. 하지만 그들의 역할 중 하나는 계속해서 알고리즘을 살펴보고 알고리즘이 무엇을 학습하고 있는지, 어떤 종류의 출력이 나오는지 정확하게 알려줄 수 있는 것입니다. 왜냐하면 우리가 피하고 싶은 것 중 하나는 그 기계가 결국 행하게 될 편견이기 때문입니다.

그리고 우리가 개발하게 되는 모든 알고리즘이 다양성을 중심으로 한 비즈니스의 핵심 가치와 일치하는지 확인하고 싶습니다. 따라서 우리는 특정 유형의 인구통계학적, 성별 등 특정 영역에 과잉 지수가 있는 특정 유형의 인구통계학적 특성이나 성별 등을 대상으로 하는 비즈니스가 되기를 원하지 않습니다. 왜냐하면 우리는 사용자 기반을 최대한 다양하게 유지하려고 노력하기 때문입니다.

John Koetsier : 매우 흥미롭고 똑똑합니다. 알고리즘이 우리 사회에 무언가를 알아 차리고 편견이 있다면, 때로는 무의식적으로 또는 잠재 의식적으로도 편견이나 차별, 또는 그와 같은 다른 일이 생기는 일이 있습니다. 우리는 디지털 환경에서 볼 수없는 방식으로 그것을 복제하고 있습니다.

그래서 당신이 그렇게 하고 있다는 것이 정말 놀랍습니다.

기계가 지금 그렇게 하고 있기 때문에 귀하가 일부 사용자 확보 인력의 용도를 변경하고 있다는 소식을 들으니 기쁩니다. 그러나 실제로는 정말 좋은 더 높은 수준의 작업을 위해 해당 사람들을 용도 변경하고 계시다는 소식을 들었습니다.

주요 성장 지표: 고객 확보 비용, ROI 및 ROAS

또한 살펴보는 몇 가지 주요 측정항목이 있다고 언급하셨습니다. 저는 이러한 핵심 지표에 대해 묻고 싶었고 그 질문의 두 번째 부분을 삽입하여 묻고 싶었습니다. AI로 수행한 작업을 통해 자신이 얼마나 나아졌다고 느끼시나요? 그리고 그에 대한 데이터가 있나요? 그 주변에 숫자가 있나요? 얼마나 좋아졌나요?

Lomit Patel : 물론. 주요 성과 지표가 무엇인지에 대한 질문에 먼저 답변하기 위해 , 주로 비즈니스를 도울 수 있도록 성장 팀에서 볼 수있는 두 가지 목표가 있습니다.

하나는 고객 확보 또는 CAC에 관한 것이고, 두 번째 목표는 광고 투자 수익에 관한 것입니다. 그러나 가장 큰 차이점 중 하나는 투자 수익(ROI)에 관한 한 우리는 그렇지 않다는 것이기 때문에 주로 이를 투자 수익(ROI)이라고 부릅니다. 내 광고 지출로 인해 발생할 수 있는 모든 수익 부채만 살펴보는 것이 아닙니다. 하지만 예를 들어 우리는 수익을 지원하는 데 들어가는 비용 중 일부를 인앱 구매에 대해 Google과 Apple에 지불해야 하는 수익 공유의 30%에 해당하며 일부 제작자에게도 할인하려고 합니다. 로열티 수수료.

YouTube에 제작자가있는 것처럼 많은 제작자가 있기 때문에 이러한 것들을 많이 만드는 제작자가 많이 있습니다.
그래서 우리는 제작자가 많은 것들을 창조하고있는 시장과 같습니다. 그리고 잠재적으로 흥미로운 항목과 사용자를 일치시킬 수 있습니다. 그리고 누군가가 이러한 다른 품목을 구매하기 위해 IMVU 크레딧을 구매할 때마다, 우리는 분명히 그로부터 Rev 공유를 만들지 만 우리는 훌륭한 제작자에게 특정 비율을 돌려야합니다. 그래서 우리의 막대는 해당 비용을 할인하는 측면에서 약간 더 높아집니다.

그리고 고객을 확보하는 데 드는 비용은 우리에게 비용이 얼마나 드는 지에 대해 매우 간단합니다.
그리고 우리는 새로운 고객을 처음 7 일 이내에 새로운 구매하는 사람으로 정의하므로 7 일간의 코호트를 살펴 봅니다. 결과 측면에서 몇 가지 예를 들어 보려면 처음 시작했을 때 이전 고객 획득 1.0의 전체 예로 돌아가서 CAC로 시작했던 곳에서부터 우리가 어디에 있었는지, 어디에서, 우리가 어디에 있는지. 이 AI와 자동화가 많은 고객 확보 3.0에 참석했습니다.

우리는 해당 기간 동안 CAC가 3배 이상 감소한 것을 확인했으며 ROI, 해당 기간 동안 투자 수익이 3배 이상 증가한 것을 확인했습니다.

투자 수익 속도: 엄청난 이점

John Koetsier : 거대합니다!

LOMIT PATEL : 그러나 그것에 대한 가장 중요한 부분은 궁극적으로 많은 모바일 광고주와 대화 할 때 사람들이 보는 다른 것 중 하나는 광고 지출의 투자 회수 기간입니다. 내가 시작했을 때, 그것은 5 - 6 개월에 가까웠지만 이제 우리는… 30 일에서 35 일 이내에 광고 지출의 대부분을 얻습니다.

John Koetsier : 빠르게 성장하는 능력에 큰 영향을 미쳐야합니다.

Lomit Patel : 정확히.

이는 우리에게 큰 도움이 되었습니다. 주로 연소율을 최소화하는 데 도움이 되기 때문입니다. 왜냐하면 우리가 지출하는 금액이 무엇이든 꽤 빨리 돈을 회수할 수 있고 결국 기본적으로 재활용하는 자기 선순환이 되기 때문입니다. 돈을 돌려받고 다시 성장에 투입합니다. 그게 우리에게 정말 도움이 되는 것 같아요. 네.

John Koetsier : 와우. 그것들은 많은 숫자입니다. 내 말은, 그것들은 놀라운 숫자입니다. 많은 기술 회사가 가지고있는 많은 신생 기업의 고객 확보 비용을 살펴보면 모바일 전용 회사를 포함하여 절대적으로 방대합니다. 새로운 사용자 획득에 하루에 수십만 달러를 소비하고, 3 배로… 와우… 그것은 인상적인 것들입니다.

나도 들어가고 싶었고, 우리가 함께 계획한 시간이 거의 끝나가는 걸 알지만, 미래에 대한 당신의 생각도 들어가고 싶었습니다. 당신은 지금까지 정말 정말 멋진 일을 해왔습니다. 훌륭한 측정항목이 있습니다.

당신은 상당한 발전을 이루었지만 우리는 항상 미래를 바라보고 있습니다. 그렇죠?

AI의 미래와 성장

우리는 이것이 어디로 갈지 항상 살펴보고 있습니다. AI와 함께 어디로 가시나요? 그리고 향후 6~18개월 동안 무엇을 보시나요?

Lomit Patel : Yeah, so for me, I feel the future is really going to be about more and more growth teams or user acquisition teams, really pivoting more towards leveraging or building an AI intelligent machine that's ultimately going to be something that's going to sit 그들과 획득이나 보존에 관계없이 돈을 쓰는이 모든 다른 채널 사이에서, 그들이 데이터를 사용하는 것에 대해 더 좋고, 더 빠르고, 더 똑똑 할 수 있도록하기 위해 돈을 쓰게됩니다. 궁극적으로 모든 것이 다르기 때문에 모든 사람이 데이터를 가지고 있다는 것을 알고 있습니다. 그러나 데이터는 실제로 가치를 빠르게 추출 할 수 없다면 데이터는 가치가 없습니다.

그리고 또 다른 부분은 성장의 비결은 실제로 무엇이 효과가 있고 무엇이 효과가 없는지 알아내기 위해 가능한 한 많은 실험을 실행하는 것입니다. 따라서 당신은 효과가 있는 것을 두 배로 줄이고 그렇지 않은 것에서 벗어날 수 있습니다. 그래서 제가 생각하기에 훨씬 더 많은 회사들이 결국 하게 될 다른 일 중 하나는 다양한 캠페인을 관리하고 실행하는 전체 프로세스에서 인간의 접촉점이나 상호 작용을 많이 제거하는 것입니다.

그리고 AI 지능형 기계에 더 많이 의존하여 실제로 많은 작업을 수행하게 될 것입니다.

그리고 저는 Singular 및 기타 MMP와 같은 회사가 기본적으로 고객을 위한 이 모든 훌륭한 데이터의 창고가 되고 있다고 생각합니다. 그리고 궁극적으로 이러한 플랫폼에 통합될 수 있는 지능적인 기계가 있는 곳에 일종의 통합이 이루어질 것이라고 생각합니다. 그러면 실제로 한 곳에서 할 수 있는 완벽한 경험이 될 것입니다. 우리가 이 일을 시작했을 때 선택의 여지가 전혀 없었기 때문에 우리가 해야 했던 일과 비교하면, 이 모든 다양한 조각들을 하나로 엮으려고 노력하는 것이었습니다.

왜냐하면 여러 가지 조각을 하나로 합치려고 할 때 문제는 항상 그 과정에서 무언가가 깨질 위험이 있다는 것입니다. singular 데이터 소스라고 하는 것처럼 한 곳에 더 많이 보관할수록 더 쉬워지겠죠?

린 AI 책

John Koetsier : 정확히, 정확히. 글쎄, 감사합니다. 이번에는 감사합니다. 누군가가 당신의 책을 집어 들면, 우선 어디에서 얻을 수 있습니까? 나는 그것이 어디에나 있다고 가정하지만, 그들은 어디에서 그것을 얻을 수 있으며, 마케팅 담당자 또는 고객 확보 전문가 또는 당신의 책에서 배우게 될 임원은 무엇입니까?

Lomit Patel : 물론. 이 책은 현재 모든 주요 서점에서 구할 수 있으므로 Amazon, Barnes & Noble, Target, Walmart 및 기타 여러 장소에서 주로 모든 웹 사이트에서 얻을 수 있습니다. 그리고 책을 쓰는 나의 목표, 그리고 두 명의 다른 청중들과 이야기하기 위해 쓰여진 일종의 아이디어는 주로 주변의 아이디어가 당신이 창립자이든 CMO이든, 성장의 책임자이든 진정으로 경영진과 이야기합니다. 비즈니스에서 AI의 챔피언이 될 수 있도록 힘을 실어주십시오.

그런 다음 AI의 성장과 관련하여 이사 수준이나 관리자 수준에 있는 사람들에게 실제로 이 일을 더 잘하기 위해 배워야 할 기술 세트가 무엇인지에 대해 이야기하고 다음을 제공합니다. 궁극적으로 모든 비즈니스를 위한 실용적인 로드맵입니다. 특히 지금 당장 코로나바이러스로 인해 벌어지고 있는 모든 일에 대해 많은 기업이 스스로 묻게 될 가장 큰 질문 중 하나는 '어떻게 하면 더 많은 것을 얻을 수 있을까?'라는 점입니다. 어떻게 하면 운영을 더 잘할 수 있나요? 어떻게 더 적은 비용으로 더 많은 일을 할 수 있습니까? 그것은 항상 질문이었는데, 이제는 훨씬 더 큰 질문이 될 것입니다.

이 책에서는 특히 기업이 성장하고자 하는 가장 큰 지출 중 하나인 사용자 확보와 관련하여 이를 수행하는 방법에 대한 로드맵을 제공합니다. 그리고 현재 코로나바이러스 위기로 인해 많은 어려움을 겪고 있는 많은 기업에 대해 제 마음이 동감하고 있다는 것을 아시겠지만, 위기의 좋은 점 중 하나는 기업이 다르게 생각하도록 강요한다는 것입니다. 그들이 직면하고 있는 어떤 문제에 대해.

IMVU에서의 이야기로 돌아가서, 저는 성장이 정말 잘못된 방향으로 가고 있고 회사가 뭔가 다른 것을 시도하고 싶어하던 시기에 IMVU에 합류했습니다. 그리고 그런 종류의 도움이 제가 이 아이디어를 도입하는 데 진정한 챔피언이 되는 데 도움이 되었습니다. 그리고 지금 비슷한 역할을 맡고 있는 다른 사람들이 실제로 이것을 기회로 사용할 수 있을 것이라고 생각합니다. 궁극적으로 어떤 기업도 비용 절감만으로는 이 위기를 극복할 수 없기 때문에 AI와 자동화를 어떻게 활용합니까? 비용 절감은 성장을 위한 전략이 아니기 때문입니다.

고객 확보를 실제로 추진하기 위해서는 데이터를 사용하여 어떻게 더 좋고, 더 빠르고, 더 스마트해질 수 있는지 알아내야 합니다. 그래서 저는 이 책이 확실히 그것에 대해 말하고 있다고 생각합니다. 그리고 여러분도 지금이 실제로 그러한 대화를 시작할 수 있는 좋은 기회라는 것을 알고 있습니다.

John Koetsier : 글쎄, 로미, 그거 대단해. 훌륭한 조언입니다. 추천합니다. 나는 그 책을 추천하고 이번에 우리와 함께 보내 주셔서 감사합니다. 나는 정말로 감사하고 성장 마스터 마인드 에서이 시간이나 거의 한 시간을 보내 주셔서 감사합니다.

Lomit Patel : 감사합니다, John. 나는 당신의 열렬한 팬이었습니다. 나는 당신의 물건을 읽고 당신의 팟 캐스트를 듣는 것을 좋아합니다. 그래서 여기에있는 것이 영광입니다.

John Koetsier : 정말 감사합니다.

Lomit Patel : 감사합니다.