{"id":786,"date":"2016-05-07T22:01:03","date_gmt":"2016-05-07T21:01:03","guid":{"rendered":"http:\/\/platyna.org\/blog\/?p=786"},"modified":"2016-05-07T22:21:51","modified_gmt":"2016-05-07T21:21:51","slug":"jak-korzystac-z-dbgap-controlled-access-data","status":"publish","type":"post","link":"https:\/\/platyna.info\/blog\/2016\/05\/07\/jak-korzystac-z-dbgap-controlled-access-data\/","title":{"rendered":"Jak korzysta\u0107 z dbGaP Controlled Access Data"},"content":{"rendered":"

Wpis ten jest do\u015b\u0107 specjalistyczny bo dotyczy os\u00f3b, kt\u00f3re maj\u0105 dost\u0119p do danych genetycznych pacjent\u00f3w udost\u0119pnianych przez Narodowe Instytuty Zdrowia (NIH). Postanowi\u0142am, r\u00f3wnie\u017c na \u017cyczenie u\u017cytkownik\u00f3w, takie wpisy pope\u0142nia\u0107 (oczywi\u015bcie wraz z popularnonaukowymi). Tutaj b\u0119dziemy operowa\u0107 na przyk\u0142adzie dost\u0119pu do genomu HeLa. Zauwa\u017cy\u0142am \u017ce z tym s\u0105 problemy gdy\u017c procedura jest niestety do\u015b\u0107 skomplikowana. <\/p>\n

\"dbgap_logo_vb_cloud\"<\/a><\/p>\n

Sugerowana przegl\u0105darka: Firefox. Zazwyczaj u\u017cywam Opery i nie mie\u015bci\u0142o mi si\u0119 w g\u0142owie \u017ce w XXI wieku istniej\u0105 jeszcze (poza Windows Update) strony wymagaj\u0105ce konkretnej przegl\u0105darki, ale w tym przypadku tak w\u0142a\u015bnie jest. I tak jest post\u0119p gdy\u017c jeszcze niedawno logowanie do dbGaP dzia\u0142a\u0142o wy\u0142\u0105cznie z Internet Explorera.<\/p>\n

Oczywi\u015bcie zak\u0142adam \u017ce wszelkie formalno\u015bci zwi\u0105zane z dost\u0119pem do danych zosta\u0142y za\u0142atwione i dostali\u015bmy upragniony email:<\/p>\n

“APPROVAL of your request [#41795-3] for access phs000640\/HMB”<\/strong><\/p><\/blockquote>\n

Co ciekawe, tzw. “downloadery” tak wros\u0142y w ameryka\u0144sk\u0105 \u015bwiadomo\u015b\u0107 i\u017c nawet NIH ich u\u017cywa. Aby \u015bci\u0105gn\u0105\u0107 dane nale\u017cy pobra\u0107 i zainstalowa\u0107 Asper\u0119 Connect – wtyczk\u0119 do przegl\u0105darek opartych na Chrome. Pobra\u0107 j\u0105 mo\u017cna ze strony:
\nhttp:\/\/downloads.asperasoft.com\/connect2\/<\/a>. Je\u015bli kto\u015b u\u017cywa Opery albo Firefoksa to otrzyma informacj\u0119 i\u017c wtyczka ta nie jest kompatybilna z t\u0105 wersj\u0105 Chrome, mo\u017cna to zignorowa\u0107 i klikn\u0105\u0107 poni\u017cej na: “See all installers”<\/strong>
\nI tam wybra\u0107 z rozwijanego menu odpowiedni\u0105 wersj\u0119. W moim przypadku jest to “v3.6.2 – Linux x86_64”<\/strong>. Do \u015bci\u0105gania plik\u00f3w z NIH najlepiej u\u017cy\u0107 najnowszej wersji Aspery Connect (minimum to wersja 3.0.1).<\/p>\n

Po \u015bci\u0105gni\u0119ciu rozpakowujemy plik:<\/p>\n

tar -zxf aspera-connect-3.6.2.117442-linux-64.tar.gz<\/strong><\/p><\/blockquote>\n

Po czym uruchamiamy skrypt: <\/p>\n

.\/aspera-connect-3.6.2.117442-linux-64.sh<\/strong><\/p><\/blockquote>\n

Aspera Connect zostanie zainstalowana dla u\u017cytkownika, kt\u00f3ry uruchomi\u0142 instalacj\u0119. Nast\u0119pnie nale\u017cy zrestartowa\u0107 Firefoksa. Aby upewni\u0107 si\u0119 \u017ce wtyczka zosta\u0142a zainstalowana mo\u017cna ponownie wej\u015b\u0107 na stron\u0119, z kt\u00f3rej j\u0105 \u015bci\u0105gn\u0119li\u015bmy, powinna si\u0119 nam ukaza\u0107 informacja: “You have the latest Aspera Connect. Thank you for using Aspera.”<\/strong>.<\/p>\n

Po uporaniu si\u0119 z Asper\u0105 mo\u017cemy wr\u00f3ci\u0107 do dbGaP loguj\u0105c si\u0119 na stron\u0119:
\nhttps:\/\/dbgap.ncbi.nlm.nih.gov\/aa\/wga.cgi?page=login<\/a>. Po zalogowaniu w “My Projects”<\/strong> klikamy na temat naszego projektu a nast\u0119pnie w “My Requests”<\/strong>:<\/p>\n

\"dbgap01\"<\/a><\/p>\n

Dalej w kolumnie “Actions”<\/strong> klikamy na “Request Files”<\/strong>.<\/p>\n

\"dbgap02\"<\/a><\/p>\n

Nast\u0119pnie wybieramy paczk\u0119 plik\u00f3w, kt\u00f3r\u0105 chcemy \u015bci\u0105gn\u0105\u0107, w moim przypadku by\u0142o to WGA (Whole Genome Assembly) po czym klikamy przycisk “Create download request”<\/strong>:<\/p>\n

\"dbgap03\"<\/a><\/p>\n

Otrzymamy informacj\u0119 o numerze \u017c\u0105dania, o tym, \u017ce konieczna jest Aspera itd. Nale\u017cy d\u0142u\u017csz\u0105 chwil\u0119 zostawi\u0107 stron\u0119 otwart\u0105 i poczeka\u0107 na przekierowanie na stron\u0119 z list\u0105 \u017c\u0105da\u0144 plik\u00f3w. Przyjdzie te\u017c emailowe potwierdzenie utworzenia \u017c\u0105dania dost\u0119pu do plik\u00f3w. Po przekierowaniu klikamy na “Download”<\/strong>.<\/p>\n

\"dbgap04\"<\/a><\/p>\n

Uka\u017ce si\u0119 nam ponownie strona z informacj\u0105 o numerze \u017c\u0105dania oraz (je\u015bli Aspera jest prawid\u0142owo zainstalowana) dwie mo\u017cliwo\u015bci \u015bci\u0105gni\u0119cia pliku przez wtyczk\u0119 oraz poni\u017cej informacje jak \u015bci\u0105ga\u0107 pliki z linii komend bezpo\u015brednio za pomoc\u0105 ascp (Windows) lub za pomoc\u0105 skryptu Perla. Skrypt Perla niestety wymaga wielu modu\u0142\u00f3w Perla, kt\u00f3rych normalnie nie u\u017cywam wi\u0119c z niego zrezygnowa\u0142am. Klikamy wi\u0119c na opcj\u0119 “new directory”<\/strong>:<\/p>\n

\"dbgap05\"<\/a><\/p>\n

Otworzy si\u0119 nam okno wyboru dowolnego katalogu (viva la liberte!) a nast\u0119pnie okienko Aspery. Zazwyczaj pojawia si\u0119 b\u0142\u0105d “Server aborted session: No such file or directory”<\/strong>. Nie przejmujemy si\u0119 nim i klikamy w okienku Aspery ikonk\u0119 “Retry”<\/strong>. Jest to w pe\u0142ni powtarzalny problem wi\u0119c zak\u0142adam \u017ce to b\u0142\u0105d oprogramowania.<\/p>\n

\"dbgap06-aspera\"<\/a><\/p>\n

Gdy pliki si\u0119 \u015bci\u0105gaj\u0105 mo\u017cemy zacz\u0105\u0107 konfigurowa\u0107 narz\u0119dzia SRA<\/strong>, kt\u00f3re s\u0105 potrzebne by odkodowa\u0107 pobrane dane. <\/p>\n

Oprogramowanie \u015bci\u0105gamy ze strony: http:\/\/www.ncbi.nlm.nih.gov\/Traces\/sra\/sra.cgi?view=software<\/a>. U\u017cywam Fedory na x86_64 wi\u0119c u\u017cy\u0142am linka w “CentOS Linux 64 bit architecture”<\/strong> i \u015bci\u0105gn\u0119\u0142am pakiet: sratoolkit.2.6.2-centos_linux64.tar.gz<\/p>\n

Instalacja tego oprogramowania jest bardzo prosta. Polega na rozpakowaniu pliku do dowolnego katalogu, w moim przypadku \/home\/platyna\/Progamy:<\/p>\n

tar -zxf sratoolkit.2.6.2-centos_linux64.tar.gz -C \/home\/platyna\/Programy<\/strong><\/p><\/blockquote>\n

A nast\u0119pnie na zmodyfikowaniu zmiennej $PATH np. przez dopisanie do ~\/.bash_profile linijki:<\/p>\n

export PATH=$PATH:$HOME\/.local\/bin:$HOME\/bin:$HOME\/Programy\/sratoolkit.2.6.2-centos_linux64\/bin<\/strong><\/p><\/blockquote>\n

W tym miejscu wr\u00f3\u0107my na chwil\u0119 na stron\u0119 z list\u0105 \u017c\u0105da\u0144 pobrania plik\u00f3w (https:\/\/dbgap.ncbi.nlm.nih.gov\/aa\/wga.cgi?page=downloads<\/a>) i \u015bci\u0105gnijmy klucz repozytorium naszego projektu klikaj\u0105c na “get dbGaP repository key”. W moim przypadku plik ten to prj_10203.ngc, kt\u00f3ry umie\u015bci\u0142am w katalogu \/home\/platyna\/Pobrane. Plik ten zawiera has\u0142o do konta dbGaP, niestety jest ono tam wpisane zwyk\u0142ym tekstem, dlatego je\u015bli korzystamy ze wsp\u00f3\u0142dzielonego systemu, np. klastra to nale\u017cy zadba\u0107 o uprawnienia:<\/p>\n

chmod 400 \/home\/platyna\/Pobrane\/prj_10203.ngc<\/strong><\/p><\/blockquote>\n

Gdy ju\u017c mamy wszystko co potrzebne mo\u017cemy uruchomi\u0107 konfigurator pakietu SRA wpisuj\u0105c na konsoli komend\u0119:<\/p>\n

vdb-config -i<\/strong><\/p><\/blockquote>\n

Nale\u017cy zaimportowa\u0107 klucz repozytorium – po wybraniu opcji “Import Repository Key” nale\u017cy wskaza\u0107 katalog zawieraj\u0105cy plik ngc oraz ustawi\u0107 katalogi robocze – najlepiej zostawi\u0107 proponowane opcje domy\u015blne, mo\u017cna te\u017c skonfigurowa\u0107 proxy je\u015bli potrzebne:<\/p>\n

\"dbgap06\"<\/a><\/p>\n

Gdy pliki si\u0119 \u015bci\u0105gn\u0105 mo\u017cna je zdekodowa\u0107 u\u017cywaj\u0105c komendy vdb-decrypt<\/strong>. Ja zdecydowa\u0142am si\u0119 zdekodowa\u0107 wszystkie pliki od razu (nie zawsze jest to dobry pomys\u0142 – zw\u0142aszcza je\u015bli danych jest du\u017co a mamy ograniczon\u0105 przestrze\u0144 na dysku). Wykorzysta\u0142am nast\u0119puj\u0105cy jednolinijkowiec: <\/p>\n

for i in `find \/home\/platyna\/Dokumenty\/Badania\/hela-genome\/49989\/ -name ‘*.ncbi_enc’`; do echo $i; vdb-decrypt –decrypt-sra-files $i; done<\/strong><\/p><\/blockquote>\n

W ten spos\u00f3b mo\u017cemy cieszy\u0107 si\u0119 plikami, kt\u00f3re mo\u017cemy normalnie rozpakowa\u0107 (z regu\u0142y s\u0105 spakowane tarem lub tarem i gzipem) za pomoc\u0105 komendy gzip -d<\/strong> albo tar -zxf<\/strong>. Mo\u017cna u\u017cy\u0107 nast\u0119puj\u0105cych jednolinijkowc\u00f3w by rozpakowa\u0107 wszystkie pliki:<\/p>\n

for i in `find \/home\/platyna\/Dokumenty\/Badania\/hela-genome\/49989\/ -name ‘*.gz’`; do echo $i; gzip -d $i; done<\/strong><\/p><\/blockquote>\n

for i in `find \/home\/platyna\/Dokumenty\/Badania\/hela-genome\/49989\/ -name ‘*.tar’`; do echo $i; tar -xf $i; done<\/strong><\/p><\/blockquote>\n

That’s all folks!<\/p>\n","protected":false},"excerpt":{"rendered":"

Wpis ten jest do\u015b\u0107 specjalistyczny bo dotyczy os\u00f3b, kt\u00f3re maj\u0105 dost\u0119p do danych genetycznych pacjent\u00f3w udost\u0119pnianych przez Narodowe Instytuty Zdrowia (NIH). Postanowi\u0142am, r\u00f3wnie\u017c na \u017cyczenie u\u017cytkownik\u00f3w, takie wpisy pope\u0142nia\u0107 (oczywi\u015bcie wraz z popularnonaukowymi). Tutaj b\u0119dziemy operowa\u0107 na przyk\u0142adzie dost\u0119pu do genomu HeLa. Zauwa\u017cy\u0142am \u017ce z tym s\u0105 problemy gdy\u017c procedura jest niestety do\u015b\u0107 skomplikowana. Sugerowana […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[322],"tags":[438,115,434,435,437,436,117],"class_list":["post-786","post","type-post","status-publish","format-standard","hentry","category-naukowe","tag-bioinformatyka","tag-biologia","tag-dbgap","tag-fenotypy","tag-genomika","tag-genotypy","tag-nauka"],"_links":{"self":[{"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/posts\/786"}],"collection":[{"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/comments?post=786"}],"version-history":[{"count":13,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/posts\/786\/revisions"}],"predecessor-version":[{"id":807,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/posts\/786\/revisions\/807"}],"wp:attachment":[{"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/media?parent=786"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/categories?post=786"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/platyna.info\/blog\/wp-json\/wp\/v2\/tags?post=786"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}