ভার্চুয়ালাইজড এসআর-আইওভি ইনফিনিব্যান্ড ইন্টারফেস ইউপি কীভাবে পাবেন?


9

আমি এখন এটিতে বেশ কয়েকটি দিন অতিবাহিত করেছি এবং আমি সর্বশেষতম ফার্মওয়্যারটি ব্যবহার করে মেল্লাক্স ইনফিনিব্যান্ড কার্ডের সাথে এসআর-আইওভকে কাজ করতে সক্ষম হয়েছি।

ভার্চুয়াল ফাংশনগুলি ডোম0-তে প্রদর্শিত হবে

06: 00.1 নেটওয়ার্ক কন্ট্রোলার: মেলানক্স টেকনোলজিস এমটি 27500 পরিবার [কানেক্টএক্স -3 ভার্চুয়াল ফাংশন] 06: 00.2 নেটওয়ার্ক কন্ট্রোলার: মেলানোক্স টেকনোলজিস এমটি 27500 পরিবার [কানেক্টএক্স -3 ভার্চুয়াল ফাংশন] 06: 00.3 নেটওয়ার্ক কন্ট্রোলার: মেলানক্স টেকনোলজিস এমটি 27500 পরিবার [কানেক্টএক্স -3 ভার্চুয়াল ফাংশন ] 06: 00.4 নেটওয়ার্ক কন্ট্রোলার: মেলানক্স টেকনোলজিস এমটি 27500 পরিবার [কানেক্টএক্স -3 ভার্চুয়াল ফাংশন]

এরপরে আমি ডোম0 থেকে 06: 00.1 কে বিচ্ছিন্ন করে এটিকে জেন-পিসিব্যাকে অর্পণ করেছি।

আমি এটি একটি জেন ​​পরীক্ষার ডোমেনে পাস করেছি।

এলএসপিসিআই পরীক্ষার ভিতরে ডমইউ দেখায়:

00: 01.1 নেটওয়ার্ক কন্ট্রোলার: মেলানক্স টেকনোলজিস এমটি 27500 পরিবার [কানেক্টএক্স -3 ভার্চুয়াল ফাংশন]

আমি ডোমুতে নিম্নোক্ত মডিউলগুলি লোড করেছি

mlx4_ib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib

mlx4 ড্রাইভারের জন্য dmesg আউটপুট প্রদর্শন করে:

[   11.956787] mlx4_core: Mellanox ConnectX core driver v1.1 (Dec, 2011)
[   11.956789] mlx4_core: Initializing 0000:00:01.1
[   11.956859] mlx4_core 0000:00:01.1: enabling device (0000 -> 0002)
[   11.957242] mlx4_core 0000:00:01.1: Xen PCI mapped GSI0 to IRQ30
[   11.957581] mlx4_core 0000:00:01.1: Detected virtual function - running in slave mode
[   11.957606] mlx4_core 0000:00:01.1: Sending reset
[   11.957699] mlx4_core 0000:00:01.1: Sending vhcr0
[   11.976090] mlx4_core 0000:00:01.1: HCA minimum page size:512
[   11.976672] mlx4_core 0000:00:01.1: Timestamping is not supported in slave mode.
[   12.068079] <mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v1.0 (April 4, 2008)
[   12.184072] mlx4_core 0000:00:01.1: mlx4_ib: multi-function enabled
[   12.184075] mlx4_core 0000:00:01.1: mlx4_ib: operating in qp1 tunnel mode

এমনকি আমি আইবি0 ডিভাইসটি উপস্থিত পেয়েছি।

ib0       Link encap:UNSPEC  HWaddr 80-00-05-49-FE-80-00-00-00-00-00-00-00-00-00-00  
          inet addr:10.10.10.10  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST MULTICAST  MTU:2044  Metric:1
          RX packets:117303 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:256 
          RX bytes:6576132 (6.5 MB)  TX bytes:0 (0.0 B)

এমনকি আমি স্থানীয়ভাবে 10.10.10.10 পিং করতে পারি।

তবে এই পিংগুলি ইনফিনিব্যান্ড ফ্যাব্রিকের বাইরে পাঠানো হয় না।

লিঙ্কটি নিচে থাকার কারণে এটি প্রদর্শিত হচ্ছে। ইবস্টাত শো:

CA 'mlx4_0'
    CA type: MT4100
    Number of ports: 1
    Firmware version: 2.30.3000
    Hardware version: 0
    Node GUID: 0x001405005ef41f25
    System image GUID: 0x002590ffff175727
    Port 1:
        State: Down
        Physical state: LinkUp
        Rate: 10
        Base lid: 9
        LMC: 0
        SM lid: 1
        Capability mask: 0x02514868
        Port GUID: 0x0000000000000000

আমি কীভাবে এটি ইউপি পেতে পারি? ডোমু লিঙ্কটি ইউপি তবে ভিএফের নয়?


এবং উত্তরটি এখানে প্রকৃতপক্ষে পাওয়া গেছে: এই লিঙ্ক অনুসারে: http://www.spinics.net/lists/linux-rdma/msg13307.html

স্লেভ ভিএফ এর বন্দরটি সক্রিয় হওয়ার জন্য আমার কী প্রয়োজন? আমি একটি ভিন্ন বাক্সে 3.3.13 খোলামেলা চালাচ্ছি, এটি কি যথেষ্ট নতুন? (এসআর-আইওভের কি কোনও এসএম সমর্থন দরকার?)

হ্যাঁ, হ্যাল হিসাবে উল্লেখ করা হয়েছে, সর্বনিম্ন আপনার দরকার 3.3.14 ( http://marc.info/?l=linux-rdma&m=133819320432335&w=2 ) কারণ এটি উপনাম-গাইড এবং আল স্টাফ সমর্থন করার জন্য প্রথম সংস্করণ এসআরআইওভি, ৩.৩.১৫ এখন বাইরেও রয়েছে, সুতরাং আপনি এটির দ্বিতীয় সংস্করণটি চান যা এটি সমর্থন করে ... মূলত পিপিএফ এবং স্লেভের জন্য এটির জন্য এসএম @ এর জন্য একটি উপাত্ত গাইড নিবন্ধিত করার জন্য আইবি লিংক আপনার প্রয়োজন। আমরা (আইএল দল) ছুটির দিন হিসাবে মঙ্গল / বুধের বাইরে ছিলাম, আজ রাতে আপনাকে আরও বিশদ জানাতে চেষ্টা করব এবং যদি না হয় তবে আগামীকাল, নিশ্চিত।

আমি এখন ওপেনএসএম আপগ্রেড করেছি এবং শীঘ্রই রিপোর্ট করব।


সম্পাদনা: ঠিক আছে, এখন এটি কাজ করছে। তবে আমি ওপেনসেমের জন্য একটি লগ ব্লাউট পাচ্ছি। ওপেনএসএম প্রক্রিয়া ফর্মের প্রতি সেকেন্ডে কয়েকশো প্রবেশ লিখছে:

Sep 30 20:36:26 707784 [7DC1700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 707810 [7DC1700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708096 [8DC3700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708119 [8DC3700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708391 [FF5B0700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708421 [FF5B0700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708696 [3DB9700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708719 [3DB9700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID

এবং পুনরায় বুট করার সময় এবং ডোমকে আরও মেমরি দেওয়ার সময় উপরের ত্রুটি বার্তাগুলি চলে গেল। আমার কাছে এটিতে অটোবালুনিং বন্ধ রেখে 2 জিবি বরাদ্দ রয়েছে। দুর্ভাগ্যক্রমে, তারা কোন স্পষ্ট কারণ সঙ্গে ফিরে এসেছেন। সুতরাং আমি একটি নতুন প্রশ্ন জিজ্ঞাসা করেছি যে এখানে এর সাথে সম্পর্কিত

কেন এটি ডোম0-এ কাজ করে তা আমি সত্যিই নিশ্চিত নই তবে আমার ক্ষেত্রে আমার ওপেনএসএম ডোম0-তে চলছে যা ভিএফ-এর রয়েছে। আমার ধারণা এই কারণটি যে ডোম0-তে চলমান ওপেনএসএম উদাহরণটি ভিএফ-র সম্পর্কে জানে এবং অন্য বিজ্ঞাপনে কোনও নোডের সাবনেট ম্যানেজার না করে তাদের বিজ্ঞাপন দিতে পারে? এটা আমার অনুমান আমি আশা করি অন্য জেন নোড এটির ভিএফ-এরও পছন্দ করবে। এটি অন্য প্রশ্নে পরিণত হতে পারে। আপাতত এটি একটি একক জেন নোড নিয়ে কাজ করছে।


"স্মিনফো" কী দেখায়?
ড্যানিলা লাডনার

ডোম0-তে স্মিনফো: এসএম লিড 1 এস এম গাইড 0x2590ffff1758d1, ক্রিয়াকলাপ গণনা 40515 অগ্রাধিকার 0 রাজ্য 3 এসএমআইএনএফও_মাস্টার
ম্যাট

ঠিক আছে, পুনরায় বুট করা এবং Dom0 কে আরও মেমরি দেওয়া (2 জিবি) মনে হচ্ছে এই ত্রুটিগুলি চলে গেছে। আমি নিশ্চিত নই যে এটি আরও মেমরি বা রিবুট ছিল যা মনে হয় এটির সমাধান হয়েছে।
ম্যাট

অনেক ধন্যবাদ! এই আমাকে বাঁচায়! আমার সুইচটিতে একটি এসএম চলছিল, তবে এটি পর্যাপ্ত ছিল না। আমি নোডের একটিতে এসএম শুরু করার পরে (পুরো সিএসএফএস যাদু করার পরে) আমার এখন ভিএমগুলিতে আইবি আছে!
জৌনাথাইন

1
@ জৌনাথেন - খুশি যে কেউ এই কাজে লাগল। আমি ভেবেছিলাম সেই সময় আমি নতুন জমি ভাঙ্গছি। যেখানে আগে কেউ যায়নি সেখানে।
ম্যাট

উত্তর:


1

রাষ্ট্রটি উপরে আনতে ওপেনএসএম অবশ্যই হাইপারভাইজার হোস্টে ইনস্টল করা এবং শুরু করতে হবে। তারপরে অপশন সহ ওপেনএসএম শুরু করুন: পোর্টস = "সমস্ত"।


1
ওপেনএসএম ইতিমধ্যে ফ্যাব্রিকের অন্য হোস্টে চলছে।
ম্যাট

আপনার মূল প্রশ্নের নীচে আরও তথ্য যুক্ত হয়েছে
ম্যাট

সুইচলেস কনফিগারেশনে ওপেনএসএম উভয় হোস্টে চলতে হবে।
ড্যানিলা লাডনার

দুটি সুইচ আছে। যদিও আমি মনে করি না তারা পরিচালিত হয়েছে
ম্যাট

1
কেন পোর্ট জিইউইডি: 0x000000000000000000 ??? শুধু দেখেছি। এটি 0 হওয়ার কথা নয়।
ড্যানিলা লাডনার
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.