This page aims at creating a "copy-paste"-like tutorial to familiarize with HDFS commands . It mainly focuses on user commands (uploading and downloading data into HDFS).
Requirements
- SSH (for Windows, use PuTTY and see how to create a key with PuTTY)
- An account in the DAPLAB, and send your ssh public key to Benoit.
- A browser -- well, if you can access this page, you should have met this requirement :)
Resources
While the source of truth for HDFS commands is the code source, the documentation page describing the
hdfs dfs
commands is really useful:Basic Manipulations
Listing a folder
Your home folder
$ hdfs dfs -ls Found 28 items ... -rw-r--r-- 3 bperroud daplab_user 6398990 2015-03-13 11:01 data.csv ... ^^^^^^^^^^ ^ ^^^^^^^^ ^^^^^^^^^^^ ^^^^^^^ ^^^^^^^^^^ ^^^^^ ^^^^^^^^ 1 2 3 4 5 6 7 8
Columns, as numbered below, represent:
- Permissions, in unix-style syntax
- Replication factor (RF in short), default being 3 for a file. Directories have a RF of 0.
- Owner
- Group owning the file
- Size of the file, in bytes. Note that to compute the physical space used, this number should be multiplied by the RF.
- Modification date. As HDFS is mostly a write-once-read-many filesystem, this date often means creation date
- Modification time. Same as date.
- Filename, within the listed folder
Listing the /tmp folder
$ hdfs dfs -ls /tmp
Uploading a file
In /tmp
$ hdfs dfs -copyFromLocal localfile.txt /tmp/
The first arguments after
-copyFromLocal
point to local files or folders, while the last argument is a file (if only one file listed as source) or directory in HDFS.
Note:
hdfs dfs -put
is doing about the same thing, but -copyFromLocal
is more explicit when you're uploading a local file and thus preferred.Downloading a file
From /tmp
$ hdfs dfs -copyToLocal /tmp/remotefile.txt .
The first arguments after
-copyToLocal
point to files or folder in HDFS, while the last argument is a local file (if only one file listed as source) or directory.hdfs dfs -get
is doing about the same thing, but -copyToLocal
is more explicit when you're downloading a file and thus preferred.Creating a folder
In your home folder
$ hdfs dfs -mkdir dummy-folder
In /tmp
$ hdfs dfs -mkdir /tmp/dummy-folder
Note that relative paths points to your home folder,
/user/bperroud
for instance.
Nice information about the HDFS my sincere thanks for sharing this post and please continue to share this post
ReplyDeleteHadoop Training in Chennai
Hi, Great.. Tutorial is just awesome..It is really helpful for a newbie like me.. I am a regular follower of your blog. Really very informative post you shared here. Kindly keep blogging. If anyone wants to become a Java developer learn from Java Training in Chennai. or learn thru Java Online Training India . Nowadays Java has tons of job opportunities on various vertical industry.
DeleteGreat Article
DeleteIEEE Final Year Projects for CSE
IEEE Project Centers in Chennai
Thank you for excellent article.Great information for new guy like antimalware service executable
ReplyDeleteI am glad that I saw this post. It is informative blog for us and we need this type of blog thanks for share this blog, Keep posting such instructional blogs and I am looking forward for your future posts.It is my work checkout one time- Error 0X000003EB
ReplyDeleteGarmin Express Update can also track your fitness records. One can use the Garmin connect to link the Garmin the monitor to their respective device and easily use. We are available 24x7!
ReplyDeleteHey There. I discovered your weblog the usage of msn. That is a really well written blog. I will be sure to bookmark it and come back to learn extra of your useful information. Thanks for the post. Know about Garmin.com/Express.
ReplyDeleterastgele görüntülü konuşma - kredi hesaplama - instagram video indir - instagram takipçi satın al - instagram takipçi satın al - tiktok takipçi satın al - instagram takipçi satın al - instagram beğeni satın al - instagram takipçi satın al - instagram takipçi satın al - instagram takipçi satın al - instagram takipçi satın al - binance güvenilir mi - binance güvenilir mi - binance güvenilir mi - binance güvenilir mi - instagram beğeni satın al - instagram beğeni satın al - polen filtresi - google haritalara yer ekleme - btcturk güvenilir mi - binance hesap açma - kuşadası kiralık villa - tiktok izlenme satın al - instagram takipçi satın al - sms onay - paribu sahibi - binance sahibi - btcturk sahibi - paribu ne zaman kuruldu - binance ne zaman kuruldu - btcturk ne zaman kuruldu - youtube izlenme satın al - torrent oyun - google haritalara yer ekleme - altyapısız internet - bedava internet - no deposit bonus forex - erkek spor ayakkabı - webturkey.net - karfiltre.com - tiktok jeton hilesi - tiktok beğeni satın al - microsoft word indir - misli indir
ReplyDeleteyoutube abone satın al
ReplyDeletecami avizesi
cami avizeleri
avize cami
no deposit bonus forex 2021
takipçi satın al
takipçi satın al
takipçi satın al
takipcialdim.com/tiktok-takipci-satin-al/
instagram beğeni satın al
instagram beğeni satın al
btcturk
tiktok izlenme satın al
sms onay
youtube izlenme satın al
no deposit bonus forex 2021
tiktok jeton hilesi
tiktok beğeni satın al
binance
takipçi satın al
uc satın al
sms onay
sms onay
tiktok takipçi satın al
tiktok beğeni satın al
twitter takipçi satın al
trend topic satın al
youtube abone satın al
instagram beğeni satın al
tiktok beğeni satın al
twitter takipçi satın al
trend topic satın al
youtube abone satın al
takipcialdim.com/instagram-begeni-satin-al/
perde modelleri
instagram takipçi satın al
instagram takipçi satın al
takipçi satın al
instagram takipçi satın al
betboo
marsbahis
sultanbet
instagram takipçi satın al
ReplyDeleteinstagram takipçi satın al
instagram takipçi satın al
instagram takipçi satın al
instagram takipçi satın al
instagram takipçi satın al
instagram takipçi satın al
toptan iç giyim tercih etmenizin sebebi kaliteyi ucuza satın alabilmektir. Ürünler yine orjinaldir ve size sorun yaşatmaz. Yine de bilinen tekstil markalarını tercih etmelisiniz.
ReplyDeleteDigitürk başvuru güncel adresine hoşgeldiniz. Hemen başvuru yaparsanız anında kurulum yapmaktayız.
tutku iç giyim Türkiye'nin önde gelen iç giyim markalarından birisi olmasının yanı sıra en çok satan markalardan birisidir. Ürünleri hem çok kalitelidir hem de pamuk kullanımı daha fazladır.
nbb sütyen hem kaliteli hem de uygun fiyatlı sütyenler üretmektedir. Sütyene ek olarak sütyen takımı ve jartiyer gibi ürünleri de mevcuttur. Özellikle Avrupa ve Orta Doğu'da çokça tercih edilmektedir.
yeni inci sütyen kaliteyi ucuz olarak sizlere ulaştırmaktadır. Çok çeşitli sütyen varyantları mevcuttur. iç giyime damga vuran markalardan biridir ve genellikle Avrupa'da ismi sıklıkla duyulur.
iç giyim ürünlerine her zaman dikkat etmemiz gerekmektedir. Üretimde kullanılan malzemelerin kullanım oranları, kumaşın esnekliği, çekmezlik testi gibi birçok unsuru aynı anda değerlendirerek seçim yapmalıyız.
iç giyim bayanların erkeklere göre daha dikkatli oldukları bir alandır. Erkeklere göre daha özenli ve daha seçici davranırlar. Biliyorlar ki iç giyimde kullandıkları şeyler kafalarındaki ve ruhlarındaki özellikleri dışa vururlar.
İnstagram takipçi satın al! İnstagram takipçi sitesi ile takipçi satın al sende sosyal medyada fenomen olmaya bir adım at. Sende hemen instagram takipçi satın almak istiyorsan tıkla:
ReplyDelete1- takipçi satın al
2- takipçi satın al
3- takipçi satın al
dfg
ReplyDelete
ReplyDeleteThanks
Artical is very informative.
aomei partition assistant crack voicemod pro crack
Good Work!!!
ReplyDeletepc repair crack
Keeep it up!!!!
This comment has been removed by the author.
ReplyDeletekeep it up!!!!
ReplyDeleteFastCopy Crack