자본시장과 IT

IB RDMA 프로그래밍

4 463

1.
iWARP이나 Infiniband 프로그래밍을 하려고 하는 개발자라면 OpenFabric을 알고 있습니다. 가장 기본적인 Application Stack이면서 오픈소스로 제공하기 때문입니다. 그런데 문제는 개발이 말처럼 쉽지 않습니다. 오픈소스로 제공하지만 마땅한 텍스트도 없습니다.? 그래서 OpenFabric은? 유료로 OFA Training이라는 프로그램을 제공하고 있습니다. 이 또한 한국은 물건너 이야기입니다.

또한 ZeroM에서 RDMA를 지원하기로 하였습니다. 당연한 기능입니다. 이를 위해 개발자가 참고로 할 수 있는 자료를 정리하여야 할 필요가 있었습니다. 그래서 간단히 정리를 했습니다. 우선 입문입니다.

InfiniBand의 개요

다음으로 일본어지만 Infiniband 입문으로 괜찮은 자료입니다. (한글로 번역은 여기로)


영어가 자신있고 문장으로 된 글을 원하면 아래를 참고로 하시길 바랍니다.


2.
이제 조금 깊이 들어갈까요? Data-path basics와 관련된 QP,CQ등에 대한 설명입니다.

Quick Concepts Part 1 Introduction to RDMA

이제 RDMA 프로그래밍을 어떻게 할지 알아보죠.보통 아래 세가지방법이 가능하다고 합니다.

1. First and simplest way of working with InfiniBand is IPoIB. In this case IP stack is put above IB. You don’t need to rewrite your applications while you can utilize high throughput. On the other hand you will kill IB low latencies and won’t be able to utilize whole IB throughput capabilities.
2. Second way is Sockets Direct Protocol (SDP) which is designed to utilize IB RDMA capabilities and bypass TCP/IP stack. SDP can be used transparently w/o recompiling your application. It’s not that fast as native IB API but os better than IPoIB.
3. Third and hardest way is using IB Verbs which is the lowest API, User Direct Access Programming Library (uDAPL) which is based on IB Verbs, Message Passing Interface (MPI) or Unified Parallel C. Different versions of MPI and UPC can be based on either IB Verbs or uDAPL. I personally work with MPI and UPC so I will describe their installation over InfiniBand.
Activating InfiniBand stack in Linux중에서

물론 비개발자인 제가 설명할 능력은 없습니다. 외국의 개발자들이 작성한 Sample Program을 소개하는 것으로 대신하겠습니다.(^^) 이중에서 IPoIB(IP over Infiniband)와 RDMA CM(Communication Manager)를 이용하여 개발한 샘플을 소개합니다.

먼저 Cisco에서 근무하는 Roland Dreier가 개발한 프로그램입니다. InfiniBand 프로그래밍을 검색하면 자주 보이는 아래 자료를 만든 사람입니다.

Writing RDMA applications on Linux

LinuxConf.eu 2007이라는 행사에서 발표한 자료입니다. 이 때 관련된 샘플소스도 공개하였습니다.

또 다른 .T.Bedeir라는 개발자가 있습니다.2010년에 IB Verb를 이용한 RDMA 프로그래밍과 관련된 자료를 공개하였습니다. HPC Advisory Council에서 발표한 자료입니다.

Building an RDMA Capable Application with IB Verbs
RDMA Read and Write with IB Verbs

위의 논문과 관련된 소스들입니다.

RDMA Read/Write Sample Code

이상의 논문을 온라인으로 보시고자 하면 아래의 블로그를 방문하시면 됩니다.

The Geek in the Corner

블로그를 보시면 DAPL을 이용하여 어플리케이션을 개발하는 것은 시간과 비용의 낭비라고 주장합니다. 쉽지 않다는 말입니다.

3.
InfiniBand를 시험하려면 작지 않은 비용이 듭니다. Infiniband HCA도 비싸고 네트워크케이블도 무척 비쌉니다. 대부분 물 건너 수입하여야 합니다. 들리는 말에는 HCA 제조업체별로 달라서 맞는 케이블을 구해야 한다고 하네요. 현재 RJ45처럼 표준화하려면 시간이 덜 필요할 듯 합니다.

OFED를 사이트에서 받아서 리눅스에 설치하고 시험을 하려고 하면 아래의 사이트를 참조하세요.

HOWTO: Getting Started with InfiniBand on Redhat/Centos Linux
Activating InfiniBand stack in Linux

10G Ethernet을 도입하는 증권사가 늘고 있습니다. InfiniBand를 도입하고자 검토하는 회사도 있습니다. 혹 InfiniBand를 도입한다고 하더라도 앞서 세가지모델중 IPoIB를 이용한 모델이 효과적이지 않을까 합니다.

About the author / 

smallake

4 Comments

  1. 박보순 3월 17, 2011 at 1:26 오전 -  응답

    좋은 자료 감사합니다.
    OpenFabric에서 나오는 드라이버를 사용하기 전에는 각 업체별로 드라이버가 달랐고 그 중에서도 Cisco에 합병된 Topspin과 Voltaire가 성능이 가장 잘나왔던것으로 테스트를 해보았습니다.
    그리고 지금은 뭐 다들 같은 구조라서 그렇게 성능의 차이는 없지만 SM의 기능이 중요한 것으로 알고 있습니다.

    • smallake 3월 18, 2011 at 4:17 오전 -  응답

      늦었습니다. 귀한 댓글 감사합니다.

      혹 시험한 결과가 있으면 공유하면 어떨지?그냥 저의 의견입니다.(^^)

  2. 박보순 3월 17, 2011 at 1:27 오전 -  응답

    참 그리고 Xsigo는 기반은 infinband이지만 그 회사가 주창하는 바는.
    I/O 가상화입니다. 실제로 network+storage I/O를 한 곳에서 관장을 하고 연결은 20G의 속도가 나오는
    Infinband HCA를 이용하는 것입니다.

    • smallake 3월 18, 2011 at 4:18 오전 -  응답

      Xsigo라는 회사에 관심을 갖지 않아서.그냥 Infiniband와 관련된 자료를 제공하고 PPT로 잘 정리된 듯 해서 소개했습니다.

댓글달기

최신 댓글

트윗

  • 필리핀중앙은행이 내놓은 암호통화 가이드라인. 일본처럼 암호통화교환업을 금융업무로 허용합니다. 한국 금융위원회가 어떤 정책을 내놓을지 기대반 우려반입니다. https://t.co/OWYA8GQMzu

    yesterday
  • 주제 하나를 놓고 하루 8시간을 교육하여야 합니다. 저의 내공이 감당할 수 있을지 걱정입니다. 물론 효율적인 기획인지 의문이지만 강의를 하여야 하는 입장에서는 조건입니다. 고민고민끝에 영화 한꼭지, 토론 한꼭지를 넣으려고 합니다.

    yesterday
  • 노랗고 하얀 소방차 색깔이 등장한 짧은 역사입니다. 미국 소방차 색깔은 역사이고 문화이지만 과학입니다. 우리 사회가 관심을 가지지 않는 과학이 담겨져 있습니다. https://t.co/7COUPSmMLE

    yesterday
  • 일자리연대기금을 제안한 현대차노조. 최악의 경우 적립금은 없는 제안이라고 해석입니다. 동일노동 동일임금에 대한 노조의 전향적인 대책이 먼저일 듯 합니다. 급여가 줄어드는 결정을 조합원이 동의하기 힘들겠지만https://t.co/BKm5COJtuM

    yesterday
  • 문재인정부가 공약한 것중 액티브X 및 공인인증서 폐지가 있습니다. 은행도 오픈뱅킹을 제공하는데 국세청도 Hometax를 개편해야 하지 않나요? 세금업무할 때마다 윈도우를 실행하여야 하니 불편이 큽니다.

    yesterday
트레이딩컨설팅그룹이음 서비스

ZeroAOS, 매매API
ZeroFIX/OMS
국내외매매플랫폼
Jira, SPA, Node.js
매매서버 및 튜닝

자세한 정보는 아래를 선택하세요
    바   로   가   기