자본시장과 IT

IB RDMA 프로그래밍

4 360

1.
iWARP이나 Infiniband 프로그래밍을 하려고 하는 개발자라면 OpenFabric을 알고 있습니다. 가장 기본적인 Application Stack이면서 오픈소스로 제공하기 때문입니다. 그런데 문제는 개발이 말처럼 쉽지 않습니다. 오픈소스로 제공하지만 마땅한 텍스트도 없습니다.? 그래서 OpenFabric은? 유료로 OFA Training이라는 프로그램을 제공하고 있습니다. 이 또한 한국은 물건너 이야기입니다.

또한 ZeroM에서 RDMA를 지원하기로 하였습니다. 당연한 기능입니다. 이를 위해 개발자가 참고로 할 수 있는 자료를 정리하여야 할 필요가 있었습니다. 그래서 간단히 정리를 했습니다. 우선 입문입니다.

InfiniBand의 개요

다음으로 일본어지만 Infiniband 입문으로 괜찮은 자료입니다. (한글로 번역은 여기로)


영어가 자신있고 문장으로 된 글을 원하면 아래를 참고로 하시길 바랍니다.


2.
이제 조금 깊이 들어갈까요? Data-path basics와 관련된 QP,CQ등에 대한 설명입니다.

Quick Concepts Part 1 Introduction to RDMA

이제 RDMA 프로그래밍을 어떻게 할지 알아보죠.보통 아래 세가지방법이 가능하다고 합니다.

1. First and simplest way of working with InfiniBand is IPoIB. In this case IP stack is put above IB. You don’t need to rewrite your applications while you can utilize high throughput. On the other hand you will kill IB low latencies and won’t be able to utilize whole IB throughput capabilities.
2. Second way is Sockets Direct Protocol (SDP) which is designed to utilize IB RDMA capabilities and bypass TCP/IP stack. SDP can be used transparently w/o recompiling your application. It’s not that fast as native IB API but os better than IPoIB.
3. Third and hardest way is using IB Verbs which is the lowest API, User Direct Access Programming Library (uDAPL) which is based on IB Verbs, Message Passing Interface (MPI) or Unified Parallel C. Different versions of MPI and UPC can be based on either IB Verbs or uDAPL. I personally work with MPI and UPC so I will describe their installation over InfiniBand.
Activating InfiniBand stack in Linux중에서

물론 비개발자인 제가 설명할 능력은 없습니다. 외국의 개발자들이 작성한 Sample Program을 소개하는 것으로 대신하겠습니다.(^^) 이중에서 IPoIB(IP over Infiniband)와 RDMA CM(Communication Manager)를 이용하여 개발한 샘플을 소개합니다.

먼저 Cisco에서 근무하는 Roland Dreier가 개발한 프로그램입니다. InfiniBand 프로그래밍을 검색하면 자주 보이는 아래 자료를 만든 사람입니다.

Writing RDMA applications on Linux

LinuxConf.eu 2007이라는 행사에서 발표한 자료입니다. 이 때 관련된 샘플소스도 공개하였습니다.

또 다른 .T.Bedeir라는 개발자가 있습니다.2010년에 IB Verb를 이용한 RDMA 프로그래밍과 관련된 자료를 공개하였습니다. HPC Advisory Council에서 발표한 자료입니다.

Building an RDMA Capable Application with IB Verbs
RDMA Read and Write with IB Verbs

위의 논문과 관련된 소스들입니다.

RDMA Read/Write Sample Code

이상의 논문을 온라인으로 보시고자 하면 아래의 블로그를 방문하시면 됩니다.

The Geek in the Corner

블로그를 보시면 DAPL을 이용하여 어플리케이션을 개발하는 것은 시간과 비용의 낭비라고 주장합니다. 쉽지 않다는 말입니다.

3.
InfiniBand를 시험하려면 작지 않은 비용이 듭니다. Infiniband HCA도 비싸고 네트워크케이블도 무척 비쌉니다. 대부분 물 건너 수입하여야 합니다. 들리는 말에는 HCA 제조업체별로 달라서 맞는 케이블을 구해야 한다고 하네요. 현재 RJ45처럼 표준화하려면 시간이 덜 필요할 듯 합니다.

OFED를 사이트에서 받아서 리눅스에 설치하고 시험을 하려고 하면 아래의 사이트를 참조하세요.

HOWTO: Getting Started with InfiniBand on Redhat/Centos Linux
Activating InfiniBand stack in Linux

10G Ethernet을 도입하는 증권사가 늘고 있습니다. InfiniBand를 도입하고자 검토하는 회사도 있습니다. 혹 InfiniBand를 도입한다고 하더라도 앞서 세가지모델중 IPoIB를 이용한 모델이 효과적이지 않을까 합니다.

About the author / 

smallake

4 Comments

  1. 박보순 3월 17, 2011 at 1:26 오전 -  응답

    좋은 자료 감사합니다.
    OpenFabric에서 나오는 드라이버를 사용하기 전에는 각 업체별로 드라이버가 달랐고 그 중에서도 Cisco에 합병된 Topspin과 Voltaire가 성능이 가장 잘나왔던것으로 테스트를 해보았습니다.
    그리고 지금은 뭐 다들 같은 구조라서 그렇게 성능의 차이는 없지만 SM의 기능이 중요한 것으로 알고 있습니다.

    • smallake 3월 18, 2011 at 4:17 오전 -  응답

      늦었습니다. 귀한 댓글 감사합니다.

      혹 시험한 결과가 있으면 공유하면 어떨지?그냥 저의 의견입니다.(^^)

  2. 박보순 3월 17, 2011 at 1:27 오전 -  응답

    참 그리고 Xsigo는 기반은 infinband이지만 그 회사가 주창하는 바는.
    I/O 가상화입니다. 실제로 network+storage I/O를 한 곳에서 관장을 하고 연결은 20G의 속도가 나오는
    Infinband HCA를 이용하는 것입니다.

    • smallake 3월 18, 2011 at 4:18 오전 -  응답

      Xsigo라는 회사에 관심을 갖지 않아서.그냥 Infiniband와 관련된 자료를 제공하고 PPT로 잘 정리된 듯 해서 소개했습니다.

댓글달기

최신 댓글

트윗

  • "문 전 대표가 정치적 리더감이 아니다" 오래전 노무현과 김근태를 떠오르게 하는 안희정과 문재인. 조직내 리더들의 관계맺기, 쉽지 않습니다. 불신을 헤치고 나갈 수 있는 공동경험, 결국 협업이 중요할 듯. https://t.co/65qfoWiwKq

    4 hours ago
  • 롬살롱에 갔던 우버 CEO. 해외기업들의 기업문화를 배우자는 기사를 볼 때 물 건너오면 탱자가 되는 그들의 문화를 종종 경험하며 그들과 우리사이에 만리장성은 없고 배우려면 실체를 잘 알아야 합니다 https://t.co/NHcqB9aVf9

    4 hours ago
  • 민주10년 보수 9년. 이젠 정의당 심상정 “더불어민주당 대세론으로 묻지마 정권교체로 선거가 끝나버린다면 새로운 대한민국은 시작도 하기 전에 좌초한다.당장의 정권교체를 위해 민주당에 비판적 지지를 해왔던 많은 시민들이 있다. 비판적 지지를 거두어달라”

    5 hours ago
  • 금융투자회사의 데이타관리, FIGI와 FIBO. 전 세계 자본시장에서 거래하는 상품을 관리하는 표준코드체계, 시만텐 웹 온톨로지를 금융업무에 적용한 FIBO.… https://t.co/tKJhMd2ySo https://t.co/WQFhbIjKSP

    2 days ago
  • “중요한 것은 왜 교회가 박해를 당하는가 하는 점이다. 공격받은 이들은 모두 시민들의 편에 서고자 한 이들이었다. 핵심은 빈자에 대한 태도다” 오늘은 로메로 축일입니다. https://t.co/WtjxHep2AQ

    3 days ago