CERN分室計算機について
CERN satellite system ("CERN Bunshitsu")

PLEASE USE "WYSIWYG" TO EDIT THIS PAGE

(A button of "WYSIWYG" can be found in the bottom of this page.)

(We may need to use both Japanese and English.)

システムの利用方法

概要

• 基本的にCERN標準仕様です（LXPLUSとほぼ同じですが若干の違いはあります）
  • セキュリティなどはCERN ITの方針( CERN Computer Security)に従います。
• CERNが管理するAFS パスワードでログインします
• ログイン用マシンは lxatutXX です。(XX=1,2,3,4..., 01,02,...)
• 主に解析のためのシステムです。メール、Web、その他のサービスはCERNのものを利用して下さい。
• システムに軽度の問題発生時 こちらのMattermostチャンネルで、できるだけリアルタイムに情報共有します。

注意

• 卒業等でATUTのユーザーと認められなくなって半年後、データ等は連絡なしにこちらで削除致します(data, maxi, eos, scratch等すべて)。

利用できる計算機と役割

• ログインノード: lxatutXX
  • XX=1,2....,01-35 (故障中のマシンもあるのでログインできなければ諦めてください)
  • CERN所内のネットワークからしかログインできません。
    • 日本から接続する場合は、一度lxplus.cern.chにログインしてから。
  • CentOS7 と Alma9 です。
• バッチノード: lxatutbs1 (Alma9), lxatutbs3 (CentOS7)
  
  • バッチシステムの親分ノードです。
  • コード開発をしないでください。
  • 使い方は AtlasJapanCondorHowTo を参照。
• GPUノード: lxatutgpu01, 02, 03
  • gpu01 ... Tesla K20c 5GB x 1
  • gpu02 ... Tesla V100 16GB x 2
  • gpu03 ... RTX V6000 48GB x 6
  • CUDA 12.3 with cudnn is available. (see /usr/local/cuda-12.3)
  • use nvidia-smi to see GPU
• プリンター
  • b188の1Fと5Fに設置してあります。

ファイルやデータ保存場所

• Home directory
  • lxplusと共用です。
  • ホームにはスクリプト、解析用ソースコードなど、比較的小さなファイルを置いて下さい。
• /data/dataN/zp/$USER
  • 原則500GBまで利用可能(各dataNについて)
  • データファイル等を置くための領域です。
  • バックアップは一切ありません。
  • RAID6で構成しています。
  • /data/dataN/zp/$USER(N=1,2,3,...)を作れる場所は自由に利用して構いません。
    • 例: mkdir /data/data2/zp/$USER
• /data/maxiN/atljphys/$USER
  • 博士課程の大学院生や各検出器のためのデータ領域です。
  • 必要な方は管理者に相談してください。
  • バックアップは一切ありません。
  • RAID6で構成しています。
• /local/scratch/
  • バッチノードには必ず存在する一時的作業領域です。
  • バックアップは一切ありません。
  • 50日で自動的に削除します。
  • 20GBのquotaをかけています。全体で40GB程度です。ジョブが終わったら一時ファイルを消すようにしてください。
  • この中に置くdirectoryやfileにルールはありませんが、毎回$USERを作って作業することをお推めします。
  • 個々のDisk serverのI/Oを考えるとこの領域を利用した方が圧到的に速い場合があります。
    • 自分のスクリプトを工夫してください。また、ジョブが終わるときは削除するようにしてください。
      • 例: mkdir -p /local/scratch/$USER/UniqueID; cd /local/scratch/$USER/UniqueID; 作業; cd; rm -rf /local/scratch/$USER/UniqueID
  • ここを利用せずにシステム全体をheavy loadにする場合はジョブを削除する可能性があります。
• EOS: /eos/atlas/unpledged/group-tokyo/users/
  • 使い方はCERNのEOSと同じです。
  • 保存する場所の確保方法
    • /home/atljphys/eos/bin/eos-showInfo.sh を実行して、その内容に従ってください。
    • 原則25TBですが、必要があれば増やします。管理者に連絡ください。
  • Fuseマウントされているので、(lxplusと同様に)ターミナルから直接/eos/にアクセすることもできます。

  • 年1回程度(毎年1月初旬)、ファイルの所有者をすべてusers/以下のアカウント名に上書きします。(たとえば、/eos/atlas/unpledged/group-tokyo/users/darekasan/の配下にあるディレクトリやファイルはすべてdarekasanが所有者になる。)

  • もしAJ以外のユーザーに書き込みを許して貸し出す場合は、随時管理者まで連絡ください。個別に対応致します。

データセットの配置(SUSY)

SUSYのデータセットはまとめて/eos/atlas/unpledged/group-tokyo/datafiles/SUSY/におくことにしていました。今はもうやっていませんが、記録のために以下の情報を残しています。

• /eos/atlas/unpledged/group-tokyo/users/下の自分のディレクトリにデータセットをダウンロードする。
  • もし自分のディレクトリがなければlxatutで /home/atljphys/eos/bin/eos-mkMYTokyoDir.sh を実行する。
• 以下のコマンドでACLをセットする。-rがついているので、サブディレクトリも再帰的に設定される。

  • eos attr -r set user.acl="egroup:atlas-eos-access-group-tokyo-admins:rwxmc,egroup:atlas-eos-access-group-tokyo:rx" directory_name

• atut-susy-dataprep@cernNOSPAMPLEASE.ch 宛のメールでEOSのSUSYディレクトリへの配置を依頼する。

2020年の移行インストラクション

2020年に行われるEOSやAFSへの移行の インストラクションです。

2024年のOS移行インストラクション

2024年に行われるOS移行の インストラクションです。

システムの目的と利用申請 (Purpose of this system and application for use)

目的 (Purpose)

• CERN現地での解析などのための計算機資源
  Computing resource for ATLAS data-analysis at CERN

利用申請 (How to apply for use)

• 特に素敵なシステム／書式はありません。管理者に口頭もしくはメールで申請して下さい。
  Please contact the administrator of this system (not CERN IT but UTokyo ICEPP people: Sawada or Tanaka).
• 学生の場合は、以下のいずれかの方法をとってください。
  • 利用者のスーパーバイザー（先生／上司／後見人等）が申請する
  • 利用者のスーパーバイザーが事前に管理者に話を通した上で、利用者本人が必要事項を管理者に知らせる

申請条件

• アトラス日本の一員であること(例外あり)
• CERNに(半)常駐していること、もしくは上記の目的のために使う事
• CERNの計算機アカウント(AFS)を取得している事
• CERNのメールアカウント <username>@mail.cern.ch に届くメールを読むこと

申請の際に必要な情報

• 利用者の氏名
• 利用者の所属と身分(大学院生であれば学年等)
• スーパーバイザーの氏名
• 利用目的
• CERN計算機アカウント名（LXPLUS/AFS） (LXPLUSと同じアカウント名しか利用できません)
• ホームディレクトリをlxplusと共有するかどうか. (特別な理由がなければ共有にしてください)

申請先

• 管理者: 澤田、田中(純) (SPAM防止のためメールアドレスは書きません。スーパーバイザーが知っているものと想定します)