자본시장과 IT, 함께 놀자! Linux와 Python

TOE, Netmap, DPDK 그리고 클라우드

0 240

1.
TOE. TCP OFF Loading Engine의 약자입니다. Low Latency가 자본시장IT를 주도할 때 각광을 받았던 기술입니다. TOE는 비표준이기 하지만 매력적인 기술입니다. 더구나 가격도 많이 착해진 상태로 선택이 가능합니다. 그렇지만 지금처럼 가상화와 클라우드가 시대의 흐름을 이루면서 고민스러운 기술이 되었습니다. 2011년 ZeroAOS를 클라우드환경으로 운영하고자 할 때 이런 저런 조사와 고민을 하였습니다.

Latency와 가상화는 이율배반?

그리고 shared memory를 이용하여 해결하고자 했던 기술도 살폈습니다.

SR-IOV와 IPC

그리고 시간이 흘렀습니다. 클라우드와 관련한 고민은 진전시키지 못했습니다. 클라우드환경을 운영하고자 한 시도가 실패했습니다. 실패는 실패고 세상은 Docker와 같은 기술이 클라우드서버환경을 풍부하도록 변화하고 있습니다. Docker로 보는 클라우드 서버 운영의 미래는 이런 흐름을 보여줍니다.

Download (PDF, Unknown)

어떻게 해결해야 할까요? TOE와 비슷한 목적을 가지지만 다른 방법을 택하고 있는 기술중 Netmap이 있습니다. DIY Acceleration에서 소개하였고 NIC과 Userspace를 연결시키는 기술입니다만 RNIC에 의존하지 않는 방법입니다. 따라서 VM이나 Docker에 채택할 수 있습니다.

Netmap기술을 기반으로 하여 클라우드서버내에 가상스위치를 만들어 레이턴시를 해결하는 mSwitch기술도 내놓았습니다.

Download (PDF, Unknown)

이와 다른 기술이 인텔이 내놓은 DPDK입니다. 조사를 해보니 Openstack에 친화적인 기술입니다. DPDK, vswitch기술이 조합을 이룹니다.

트레이더가 클라우드환경을 구축하고 매매를 할 가능성이 많지 않습니다. 속도가 곧 수익이라고 하면 가상화와 같은 기술을 사용하지 않을 듯 합니다. 그렇지만 다른 요인으로 클라우드환경을 구축하면서 레이턴시를 고민할 경우가 있습니다. 매매의 경우 속도는 여전히 중요하기때문입니다. 이럴 때 무슨 선택을 할까요?

2.
RNIC이 처음 나왔던 때와 비교하면 지금은 무척 낮은 가격으로 이용할 수 있습니다. 혹시 TOE를 구매할 때 Non-TOE와 비교할 때 어느정도 Latency를 줄이는지를 비교해보신 적이 있으신가요? 솔직히 저도 없습니다. TOE Nic은 싼 제품이 아닙니다. 몇 십만원 하는 보급형이 아닌 일반형은 백만원이 넘습니다. 온 보드나 번들로 랜카드를 사용하던 분들은 쉽게 비용을 지불하기 힘듭니다. 그렇기 때문에 TOE를 이용하여 얻을 수 있는 이익을 측정하면 좋습니다.

Measuring latency in the Linux network stack between kernel and user space

위의 글을 이런 분들에게 아이디어를 제공합니다. Kernel이 nic에서 데이타를 받아서 User sapce로 보내는 시간을 측정하는 프로그램입니다.

About the author / 

smallake

댓글달기

최신 댓글

  • smallake 내 기억속의 여의도
    저도 인터넷에서 받은 사진이라 저작권이 없습니다. 사용하셔도 무방할 듯 하지만 인터넷에서 검색을 해보시면 좋을 듯 합니다.
  • PB 내 기억속의 여의도
    안녕하세요 여의도 흑백사진이 정말 멋있습니다. 혹시 여의도 대지조사 자료에 저 사진을 인용해도 괜찮을까요??
  • smallake 늙은 개발자
    작고 낭만이 있고 소박한 삶이 어느 때부터 더 어렵다는 생각이 들더군요. 그런 생각이 몸과 마음을 힘들게 한다고 생각하지 않고요.…

트윗

  • 한국거래소 이사장 사임. 누가 후임일지 모르지만 주주의 권리를 회복하길. 사실 코스콤 사장이 누가될지 더 관심입니다. 비정상적인 IT공륭을 어떻게 할지, 자본IT시장의 생태계 활성화로 다루었으면 합니다. https://t.co/EyhOfTEHw7.

    4 days ago
  • 문재인을 지지하지만 8.2 부동산대책를 반대하는 재건축 조합원. 사교육 반대를 외치지만 특모고와 SKY를 위해 학원을 보내는 부모. 차별 철폐를 외치지만 같이 일하는 비정규직이 정규직으로 되는 것을 반대하는 분들.인간의 이해관계는 단순하지 않다.

    4 days ago
  • 모두가 블록체인에 열광할 때 어떤 기업은 블록체인 특허로 장벽을 쌓습니다. 블록체인비지니스가 현실화하는 이 때 특허가 중요해집니다. : https://t.co/OkuflXWKID

    4 days ago
  • "박봉에 밤샘… 스타트업 떠나는 靑春들" 스타트업이 험난한 가시밭길이고 생존을 하면 다행이고 성공할 가능성은 적고 한국은 무지 적은 것이 현실. 그래도 하여야 할 가치를 찾는다면 그 또한 존중합니다. https://t.co/GQaSYvV1zj

    5 days ago
  • 새벽녘 찬 공기에 뒤척이다 일어나 아침을 준비합니다. 몇 일전까지 들리지 않던 귀뚜라미 소리도 들립니다. 가을 느낌입니다. 새롭게 시작하는 일들이 알찬 성과로 이어지도록 기도합니다.

    6 days ago
트레이딩컨설팅그룹이음 서비스

ZeroAOS, 매매API
ZeroFIX/OMS
국내외매매플랫폼
Jira, SPA, Node.js
매매서버 및 튜닝

자세한 정보는 아래를 선택하세요
    바   로   가   기