기계 학습 엔지니어는 10년 후에는 존재하지 않을것이다.

 

이 기사의 저자인 Luke Posey 씨는 기계 학습 엔지니어의 경력을 쌓은 후 AI 스타트업 Spawner.ai를 창업하는 한편, Medium에 기사를 게시하였습니다. 가까운 장래에 '기계 학습 엔지니어'라는 직종이 실효적 의미가 없어질 것으로 예상된다는 논거를 펼치고 있습니다.

 

제3차 AI 붐 초창기 시절, 기계 학습 엔지니어는 수학 및 통계에 관한 전문 지식을 습득하였고, 그 희귀성으로 인해 높이 평가되어 고액의 보수를 받았습니다. 이 직종은 최첨단 기술을 제품이나 서비스에 적용하는 '연구자 겸 기술자'라는 위치가 여전히 요구되고 있습니다.

 

그러나 가까운 미래에 기계 학습 엔지니어의 연구자적 측면의 니즈는 사라질 것이라고 그는 지적합니다. 왜냐하면 기계 학습 시스템의 개발 환경이 정비되면서 일반적인 엔지니어도 API를 사용하여 기계 학습 기능을 실현할 수 있기 때문입니다. 또한 기계 학습은 많은 기술적 능력 중 하나입니다. 예전에는 희귀했던 '기계 학습 엔지니어'는 다수의 '기계 학습에 익숙한 소프트웨어 엔지니어'가 되는 것입니다.

 

"코딩 없이 AI 구현"을 주장하는 no코드 AI 플랫폼이 전 세계적으로 대두되고 있는 현상도 가미하면, 기계 학습의 진부화는 피할 수 없을 것입니다. 이 현상은 'AI의 민주화'를 촉진하는 좋은 측면도 있는 반면에, 'AI 시스템의 무분별한 생산'을 초래할 위험이 있으므로 주의가 필요합니다.

 

업계의 모습은 급속히 진전하고 있다.

참고 : 이 기사는 개인의 의견을 말하고 있을 뿐이므로, 아무쪼록 자유롭게 기계 학습 엔지니어에 대한 독자 의견도 공유해 주십시오. 그러면 기계 학습 업계를 올바른 방향으로 이끌어갈 수 있을 것입니다.

기계 학습은 모든 소프트웨어 엔지니어 도구 키트의 일부로 당연하다는 듯이 전환될 것입니다.

 

어떤 분야도 초기에는 전문적인 직무가 주어지지만, 시간이 지남에 따라 당연한 의무로 대체됩니다. 기계 학습도 바로 그런 케이스와 같은 것입니다.

 

기계 학습 엔지니어라는 직종은 AI 및 데이터 과학처럼 기업에서 버즈 워드(언론 등에서 많이 사용되는 유행어)로써 과장스런 선동 결과에 의해 탄생한 것입니다. 기계 학습 유행 초기에 이 직종은 매우 필수적이었습니다. 그러므로 많은 사람들에게 조금 멋진 금액의 월급을 퍼주게 된 것입니다! 그러나 기계 학습 엔지니어는 이 직종이 무엇인지 묻는 사람에 따라서 다양한 성격을 가지게 됩니다.

 

기계 학습 엔지니어의 순수한 신봉자에게 물어보면, 이 직종의 엔지니어는 실험실에서 고안된 모델을 제품화합니다. 그들은 기계 학습 시스템을 확장하고 레퍼런스 설치 시(※역주 1) 프로덕션 환경에 대응한 소프트웨어로 바꾸어, 종종 데이터 엔지니어링과 크로스오버 합니다. 일반적으로 그들은 강력한 프로그래머이며, 취급하는 모델에 관한 기초적인 지식도 가지고 있습니다.

(※역주 1)
레퍼런스 설치는 불특정 다수의 엔지니어를 대상으로 제공되는 모든 기능을 구현하는 데 도움이 되는 소스 코드나 제품을 말합니다. 학술 목적과 상업적 용도 모두를 포함합니다.

 

 

그러나 이러한 이유에서 기계 학습 엔지니어는 보통 소프트웨어 엔지니어처럼 보이기도 합니다.

 

업계 최고의 기술기업에 있는 기계 학습 엔지니어에게 이 직종이 무엇을 의미하는지 물어보면, 각양각색의 대답이 돌아올지도 모릅니다. 이 결과는 놀라운 일이 아닙니다. 기계 학습 엔지니어는 비교적 새로운 직종이며, 이러한 구인정보를 게재하고 있는 사람들은 관리직으로, 종종 이 분야를 이해할 시간이 없는(또는 이해할 생각이 없는) 연장자들인 것입니다.

 

다음은 일부 상위 기술 투자기업의 채용 정보에서 발췌한 내용을 인용하겠습니다. 그 내용들이 많이 상이하다는 것을 알 수 있습니다. 도대체 어떤 기계 학습 엔지니어를 찾고 있는 것일까요.

 

• 수학, 통계, 운영 연구의 박사 학위 소유. 
• R, SQL, 최신 기계 학습 기술의 지식을 보유한 인재.

다음은 전형적 예에 가깝습니다. 구인정보는 기업의 상층부가 만들기 때문에, 다음과 같은 내용도 놀라운 일은 아닙니다.

 

• 컴퓨터과학 학사 또는 석사.
• 소프트웨어 개발 1 ~ 5 년의 실무 경험 또는 학술 경험.
• 컴퓨터 비전, 자연 언어 처리 등의 경험 우대.

마지막으로, 스테레오 타입 머신러닝 엔지니어에 대한 채용 요강을 파고들어 봅시다.

 

• 컴퓨터과학 학사 또는 석사.
• 3년 이상의 기계 학습 시스템과 효율적인 코드 작성 경험.
• 빅 데이터 경험자 우대.

일부 기업이 새로운 접근을 시작했기에 대다수의 기업들이 이를 따를 것으로 보입니다. 그것은 핵심 요구 사항으로 소프트웨어 엔지니어의 직무를 열거한 후 기계 학습에 대한 요구 사항을 표기, 바람직한 응모 자격의 하나로 근무 년수를 추가한다는 것입니다. 고용주는 기계 학습 및 기타 기술에 기반을 두었는지 여부에 관계없이 시스템의 구축 및 확장 경험을 가진 엔지니어를 우선적으로 채용하려 합니다.

 

 

어쨌든, 기계 학습을 이해하는 인재가 부족하고, 이 직종에 대한 진입 장벽이 높은 이상, 기계 학습 엔지니어는 필수적입니다.

'기계 학습 엔지니어의 역할은 일반적인 소프트웨어 엔지니어에게 완전히 인계될 것이다'라는 것이 제가 가진 사상입니다. 기계 학습 엔지니어의 직무는 사양을 확인하고, 높은 레벨의 엔지니어가 작성한 레퍼런스 구현을 받는 것이 일반적이며, 소스 코드를 작성하거나 응용 프로그램의 제공 및 확장에 종사하게 되는 것입니다.

 

지금, 기계 학습 역할의 대부분은 지금까지 돌입한 적 없는 문제에 기계 학습으로 돌입하는 기묘한 공간에 존재하고 있습니다. 그 결과, 기계 학습 엔지니어는 종종 절반은 연구자이며 절반은 엔지니어인 것입니다. 저는 엔지니어링 전체를 담당할 수 있는 기계 학습 엔지니어를 상당한 비율로 만나왔습니다. 더 좁은 범위의 스킬 세트를 갖고 있지만, 새로운 연구 논문을 읽고 사용할 수 있는 코드로 만드는 데에 수많은 시간을 보내는 엔지니어 들과도 만나왔습니다.

 

우리는 팀 멤버 중 한 명인 기계 학습 엔지니어를 프로젝트라는 퍼즐 중 어디에 끼워 맞춰야 할지를 찾아야 하는 묘한 기로에 서 있습니다.

기계 학습 엔지니어는 연구 → 사양 참조 및 PoC 구현 → 제품화 과정의 어디에 위치?

 

우리의 일하는 방식의 결과로 자신들의 전문 지식과는 관계없이 많은 토론에 강제로 초대되거나 미팅에 참석하는 경향이 있습니다. 그리고 초대된 회의에서 결정된 모든 것들을 받아들여야 하는 것입니다... 결국 기계 학습 엔지니어는 레퍼런스를 구축하는 업무의 마지막에 속해 있으며 모든 제품의 코딩을 담당하게 되는 것입니다.

 

앞으로 대부분의 기업은 프로젝트를 골에 도달시키기 위한 연구 및 노력이 거의 필요하지 않을 것입니다. 틈새 유즈 케이스와 깊이 있는 기술만이 특별한 기술 세트를 필요로 하게 될 것입니다. 엔지니어는 API를 소비하게 되고, 기계 학습은 모든 초보 엔지니어의 툴킷 속에 들어있는 흔한 도구가 될 것입니다. 기계 학습을 접할 기회가 대학에서도 점점 많아지고 있기 때문에, 이미 이런 상황을 목도하고 있다고 할 수 있습니다. 대학의 기계 학습 코스에 가보면 항상 꽉꽉 들어찹니다. 거의 모든 대졸생이 이 분야에 접해 볼 기회를 얻고 졸업할 것입니다.

 

오늘의 기계 학습을 둘러싼 상황은 분산 시스템 엔지니어를 핫한 직종으로 만든 블록체인에 비유할 수 있습니다. 나카모토 씨의 논문(※역주 3)이 발표된 직후에 착수된 블록체인 프로젝트의 대부분은 기초 기술과 인프라 구축에 노력을 들였습니다. 이러한 작업을 수행하기 위해서는, 엄청나게 강력한 엔지니어링 능력을 가지고 있어야 하며, 그러한 기술을 가진 엔지니어는 종종 분산 시스템 엔지니어로 표현되었습니다. 그 후, 블록체인 기술이 점차 추상화되는 변화를 보였습니다. 그리고 기업들은 블록체인의 사례를 찾기 시작하였고, 엔지니어는 이 기술을 사용하여 밤낮으로 새로운 유즈 케이스에 대한 시스템 구축을 진행하였습니다. 이렇게 블록체인에서 일어났던 전반적인 기술의 변화를 AI와 기계 학습에서도 보시게 될 것입니다.

(※역주 3)
가상 통화 시스템을 구축하기 위한 기초 기술인 블록체인은 2008년 사토시 나카모토 씨가 발표한 하나의 논문으로부터 세상에 퍼져나갔습니다. 그의 정체는 아직 밝혀지지 않고 있습니다.

 

일부 타당한 대립적인 논점

• 실리콘 밸리의 주제, '하나의 API가 모든 것을 지배한다(One API to rule them all)'는 것은 사기 투성이이며, 기계 학습에서는 항상 인프라 수준에서 어느 정도 조정이 필요합니다. 자연 언어 처리에서 HuggingFace가 행한 일이(※역주 4) 다른 모든 분야에서도 일어날 것이라는 것이 저의 생각입니다. 즉, 간단한 API로 대부분의 유스 케이스를 정복할 수 있게 될 것입니다.
• "기계 학습 엔지니어라는 건 단지 의식 높은 엔지니어가 자칭하는 직함으로, 그것은 일반적인 컴퓨터과학과의 졸업생보다 수학 및 통계적 백그라운드를 좀 더 지닌 인재를 의미할 뿐이다"라는 주장에는 정말 동감합니다. 그것은 단지 직함입니다. 하지만 이 직종이 불필요해지면, 그런 직함이 과연 존재할까요? 명제와 같이, 기계 학습 엔지니어는 말 그대로 단순 직함으로 전락할 것입니다.
• "내 조직의 기계 학습 엔지니어는 여기서 논의된 것과 전혀 맞지 않는다. 완전 다른 직종이다."라고 주장하는 당신은, 꼭 당신의 조직에서는 이 직종이 무엇을 의미하는지 말해주시길 바랍니다. 저는 항상 현장을 조사하고, 상황이 어떤지, 그리고 어디로 가고자 하고 있는지를 파악하고자 노력하고 있습니다. 당신의 전망을 꼭 듣고 싶습니다.
• "기계 학습 엔지니어 따위 단순한 직함이야, 누가 그런 직함을 고집하는 거야"라고 말하는 당신, 당신 말이 맞습니다. 그러나 바로 그 직함에 대해 생각하는 것이 흥미로운 것입니다.
• "기계 학습은 새로운 사용의 사례 및 연구가 지속적으로 실현되고 있는 신흥 분야이며, 향후 10년 만에 사라진다고 생각하는 것은 너무 어설프다." 네, 그러한 생각도 매우 타당합니다!

(※역주 4) 
HuggingFace는 자연 언어 처리를 강점으로 하는 AI 스타트업으로, 이 회사는 BERT를 구현하는 라이브러리를 먼저 제공한 것으로 알려져 있습니다.

 

이 기사에 대해, 내가 좋아하는 반응 중 하나가 트위터 계정 Varii로부터 얻은 다음 트윗입니다.

"당신이 말한 대로, 기계 학습 엔지니어는 단순한 직함입니다. 대부분의 고용주는 엔지니어가 중복된 스킬 세트를 가질 것을 기대하고 있습니다. 결국 어떤 사람이 정리될지가 아니라, 끊임없이 변화하는 업계에서 지속적으로 적응할 수 있는 다재다능한 사람에 대해 논하는 것이 바람직하다고 생각합니다."

제가 배우고 있는 커뮤니티에서도 많은 좋은 의견들이 나왔습니다. 그럼에도 다음과 같은 단 하나의 의견에 대해서는, 제 생각은 결코 변하지 않습니다. 그 의견은 뭔가에 열정을 가지고 있으면, 직함이나 분야, 트렌드에 상관없이 자신의 열정을 추구하고 멋진 결과물을 만들어낼 수 있는 곳이 반드시 있다는 것입니다.

 

안전한 곳에 얽매이지 말고 쭉쭉 만들어 갑시다.

 

저는 매주 월요일에 데이터 세트를 공유하고 일주일간 코딩하는 Dataset Daily라는 (무료) 분석 그룹을 시작했습니다.

 

Twitter로 계속 대화합시다.

Luke Posey

Luke Posey(@PoseysThumbs) 님 | 트위터

원문

Medium : "Machine Learning Engineers Will Not Exist In 10 Years"

Machine Learning Engineers Will Not Exist In 10 Years.