Скачать презентацию
Идет загрузка презентации. Пожалуйста, подождите
Презентация была опубликована 11 лет назад пользователемlit.jinr.ru
1 dCache у нас.
2 dCache: обзор dCache это система доступа к данным, ориентированная на хранение больших объёмов экспериментальной информации в GRID среде. Может использоваться независимо от GRID. Основная идея: представить множество дисковых серверов как дисковое пространство под центральным управлением с автоматической оптимизацией и иерархической системой имён с одним корнем. Отличие от AFS – может включать MSS, акцент на оптимизацию. Авторы: dCache/SRM is a joined efort between the Deutsches Elektronen- Synchrotron (DESY), Fermi National Accelerator Laboratory (FermiLab) and support from the University of California, INFN, Bari, GridPP Rutherford Appleton Laboratory, CERN.
3 dCache: масштаб (Patrick Fuhrmann et al BE-grid)
4 dCache: внутренняя структура Несколько десятков или сотен дисковых партиций объединяются в одно пространство и разделяется на именованные пулы, которые скрыты от пользователя. Имена файлов объединяются в одно пространство с единственным корнем (это скорее недостаток), для хранения метаинформации используется база данных. Файл может иметь несколько копий, это выравнивает нагрузку, повышает надёжность. Использование пространства оптимизируется. Пулы привязаны к IP c которого производится доступ к файлу и к директории в которую попадает файл. Доступ к системе производится через выделенные серверы (двери)
5 dCache: с точки зрения пользователя Основной принцип: информация один раз записывается, много раз читается, никогда не модифицируется, так в GRID. Прозрачно поддерживаются команды LINUX, работающие с метаинформацией (ls, chmod, du…). Для чтения файла средствами ОС, он должен быть скопирован в локальное дисковое пространство. Приложение собиранное с библиотекой dcap, которая обеспечивает POSIX - доступ (open, read, write…) работает с файлами без промежуточного копирования. dCache автоматически оптимизирует использование дискового пространства, может хранить несколько копий файла.
6 dCache: методы доступа Локальное управление пространством имён через nfs 2/4. Из локальной сети - dCap и его клоны (обычный, защищённый Kerberos, ssl, gsi), очень шустрый протокол. Из WAN - ftp (обычный, защищённый gsi gFTP). Storage Resource Manager 2.2 (Storage Element на основе dCache), это не протокол, а организатор передачи между сайтами. XROOT – пока толком не работает.
7 dCache: как это у белых людей
8 dCache: статистика Т1 FNAL. Кстати е+13 это 10 ТВ.
9 dCache: как это у нас
10 dCache в ЦИВК ЛИТ тех. структура Интернет / GRID lxfs07 lxpub01 lxfs07 wn… lxfs07 lxfs71 RAID 82 TB Admin Doors local WNs граница нашей сети Протоколы gFTP, SRM, XROOT dCарPNFS lxfs07 rda02 Pools
11 dCache протоколы работающие в ОИЯИ. У нас доступны следующие: dCap, аналог команды cp. Доступен с локальной сети ОИЯИ, не требует GRID сертификата; gFTP, аналог ftp, требует сертификат; в ОИЯИ на основе dCache построен SE, для доступа к которому используется SRM; дверь для всех одна lxfs07.
12 dCache: доступ к файлу из сети (ОИЯИ) Всё растёт из корня /pnfs/jinr.ru Синтаксис простой, но утомительный Можно монтировать на локальный компутер mount -o …. lxfs07.jinr.ru:/pnfs /pnfs/jinr.ru После монтирования работают команды LINUX ls, mv, rm…. Если директория /pnfs/jinr.ru смонтирована, то можно указывать файл как в LINUX (аналог AFS) dccp $HOME/nobel_price.row /pnfs/jinr.ru/user/i/i_am Если директория не монтируется – то URL нотация dccp dcap://lxfs07.jinr.ru:22125/pnfs/jinr.ru/data/cms/file \ ~/destinationfile
13 dCache для членов виртуальных организаций Для всех протоколов, кроме dСар /pnfs/jinr.ru/data/ /….. использовать команды gFTP: globus-url-copy file:/tmp/test \ gsiftp://lxfs07.jinr.ru:2811/pnfs/jinr.ru/data/dteam/testfile2 или srmcp: srm://lxfs07.jinr.ru:8443/pnfs/jinr.ru/data/dteam/testfile2 \ file:////tmp/backtest Осторожно использовать локальные команды Linux, поскольку это может привести к противоречиям в LFC
14 dCache о скоростях: к чему надо быть готовым, когда качаешь файлы.
15 dCache: кто и сколько к нам обращается unknown | /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=mlassnig/CN=663551/CN=Mario Lassnig | /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=jnovak/CN=582979/CN=Judit Novak | /C=RU/O=RDIG/OU=users/OU=sinp.msu.ru/CN=Olga Kodolova | /C=IT/O=INFN/OU=Personal Certificate/L=Milano/CN=Davide | /C=IT/O=INFN/OU=Personal Certificate/L=Milano/CN=Guido Negri 2 | /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=samoper/CN=582979/CN=Judit Novak | /C=CH/O=CERN/OU=GRID/CN=Piotr Nyczyk Atlas | /C=CH/O=CERN/OU=GRID/CN=Judit Novak ops | /DC=org/DC=doegrids/OU=People/CN=Sanjay Padhi | /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=teodoro/CN=664016/CN=Douglas Teodoro | /C=IT/O=INFN/OU=Personal Certificate/L=Roma 1/CN=Alessandro Di Girolamo | /C=CH/O=CERN/OU=GRID/CN=Piotr Nyczyk 6217 | /C=PL/O=GRID/O=Cyfronet/CN=Lukasz Flis - SAM | /C=IT/O=INFN/OU=Personal Certificate/L=Napoli/CN=Michela Biglietti | /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=pnyczyk/CN=626004/CN=Piotr Nyczyk | 9998 /O=GRID-FR/C=FR/O=CNRS/OU=IBCP/CN=Jaipehessa Ibecepe | 9335 /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=pgoglov/CN=662561/CN=Pavel Goglov | 8683 /C=IT/O=INFN/OU=Personal Certificate/L=Milano/CN=Silvia | 7494 /C=TW/O=AS/OU=PHYS/CN=suijian | 7076 /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=sciaba/CN=430796/CN=Andrea Sciaba | 6569 /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=asciaba/CN=430796/CN=Andrea Sciaba | 5539 /C=CA/O=Grid/OU=westgrid.ca/CN=Rodney Walker | 5483 /C=CH/O=CERN/OU=GRID/CN=Judit Novak 0973 | 4443 /C=CH/O=CERN/OU=GRID/CN=Andrea Sciaba 8968 | 3250 /C=RU/O=RDIG/OU=users/OU=jinr.ru/CN=Mikalai Kutouski | 3099 /C=DE/O=GermanGrid/OU=MPPMU/CN=Oliver Kortner | 2786 /O=GRID-FR/C=FR/O=CNRS/OU=LAPP/CN=Stephane Jezequel | 1914 /DC=org/DC=doegrids/OU=People/CN=Alessandro DI Mattia | 1237 /C=IL/O=IUCC/OU=Technion/CN=shikma bressler | 1143 /C=CH/O=CERN/OU=GRID/CN=Miguel De Oliveira Branco 2423 | 1132
16 dCache: на этом месте мог бы быть Ваш файл СВОБОДНО!
17 dCache что надо знать для начала Это единственный способ получить на дисках ЦИВК место объёмом несколько ТB. Краткое руководство есть на Выбирайте – или работать в GRID или локально. Система ориентирована на GRID. 82 ТB сейчас без квот. По спецификации Т2 хранение ROW на Т1. По плану 2008 г до 400 ТВ (нереально) но будет наращиваться быстрее, чем пространство AFS. Квоты по VO к весне будут, а то и раньше.
Еще похожие презентации в нашем архиве:
© 2024 MyShared Inc.
All rights reserved.