구글(Google)이 개발한 고속 파일 전송 툴「CDC File Transfer」가 무료 공개중

Google이 제공하고 있던 클라우드 게임 서비스 'Stadia'는 스펙이 낮은 PC나 스마트폰 등에서도 인터넷을 통해 고화질의 게임을 즐길 수 있는 서비스로 주목을 받고 있었습니다만, 2022년에 서비스 종료가 발표되었습니다. 그런 Stadia의 개발 과정에서 만들어진 파일 전송 툴「CDC File Transfer」가 오픈 소스로 공개되었습니다.

GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux
https://github.com/google/cdc-file-transfer

GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux

CDC File Transfer 개발 팀에 따르면, Stadia 개발은 Linux 머신이 사용되고 있었다는 것. 그러나, 시장에 유통되고 있는 PC 게임의 대부분은 Windows용으로 개발되고 있기 때문에, Windows로 관리되고 있는 파일에 Linux로부터 액세스 하는 시스템의 구축이 필요했습니다.

Linux 환경에서 파일 전송을 수행하려면 "scp"와 같은 명령을 사용하는 것이 일반적입니다. 그러나, 2020년경에 신형 코로나 바이러스 감염의 유행에 의해 개발 환경이 원격으로 이행함으로써, 대용량의 파일 전송을 수반하는 작업은 곤란하게 되었습니다. 따라서 개발 팀은 파일의 변경된 부분만 전송하는 도구로 CDC 파일 전송을 개발했습니다.

CDC File Transfer에는 동기 처리를 실시하는「CDC RSync」와 일방통행의 스트림을 실시하는「CDC Stream」의 2개의 기능이 탑재되어 있습니다. 아래 이미지를 클릭하면 CDC RSync의 데모 애니메이션을 재생할 수 있습니다.

CDC RSync에서는, 파일 사이즈와 타임스탬프가 일치하는 파일이 전송처에 존재할 때에 전송을 스킵하는 것 외에, 파일 분할 알고리즘「Content Defined Chunking(CDC)」를 채용하는 것으로「rsync」에 비해 30배나 빠른 전송을 실현하고 있습니다.

Windows 상에 Cygwin 환경을 구축하고 rsync를 이용하여 파일 동기한 경우(파란색)와 CDC RSync를 이용한 경우(빨간색)의 전송 시간을 비교한 그래프가 이하. CDC RSync는 rsync보다 일관되고 빠르게 파일을 전송할 수 있습니다.

CDC Stream은 Windows에서 파일 변경을 Linux로 일방통행으로 전송하는 기능입니다. 아래의 그래프는 SSHFS (파란색)와 CDC Stream(빨간색)을 이용하여 Linux에서 Windows상의 게임에 액세스 하여 "기동 후 메뉴가 표시될 때까지의 시간"을 계측한 것입니다. CDC Stream은 SSHFS에 비해 2~5배의 속도로 메뉴를 표시할 수 있다는 것을 알 수 있습니다.

CDC File Transfer는 소스 코드가 무료로 공개되어 있고 Linux용 바이너리 파일도 공개되어 있습니다.