Data set
Explanation
The file is a .txt and contains a four rows headers.
MeteoSchweiz / MeteoSuisse / MeteoSvizzera / MeteoSwiss stn|time|rhs150m0|ths200m0 ||[mm]|[°C]
Data are separated by a "|" and do not contains blankspace.
# | Name | Example | Description |
---|---|---|---|
1 | stn | BAS | Station's names BAS: Basel / Binningen BER: Bern / Zollikofen CHM: Chaumont CHD: Château-d'Oex GSB: Col du Grand St-Bernard DAV: Davos ENG: Engelberg GVE: Genève-Cointrin LUG: Lugano PAY: Payerne SIA: Segl-Maria SIO: Sion SAE: Säntis SMA: Zürich / Fluntern |
2 | time | 201503 | Year and months of the measure. Format: yyyyMM |
3 | rhs150m0 | 36.9 | Sum of precipitation in mm at 1.5 meter |
4 | ths200m0 | 4.5 | Mean temperature in degree Celsius at 2 meters |
Data update
On OpenData, the files are created every day, however the data set changes monthly.
Data Access
Warnings
Some of stations do not have data like Payerne or others stations did not exist in 1864. In consequence, data must be filtered before used for statistics.
Hive
Creating a database, a table and loading data
Note: In order to have this tutorial to work for everybody, it will create a database prefixed by your username (${env:USER] inside hive)
1. Downloading the data and remove the header
8. Run a more complex query. Summerize the precipitation by station and year
1. Downloading the data and remove the header
$ wget http://data.geo.admin.ch.s3.amazonaws.com/ch.meteoschweiz.homogenereihen/VQAA60.txt $ tail -n +5 VQAA60.txt > VQAA60.txt.new && mv VQAA60.txt.new VQAA60.txt2. Copy the locally unzipped data into your home folder in HDFS (the tailing "." points you to /user/$(whoami)). See HDFSHelloWorld if you're not familiar with HDFS.
$ hdfs dfs -copyFromLocal VQAA60.txt3. Create a database in Hive
$ hive create database ${env:USER}_meteo;4. Create a temp table to load the file into
$ hive use ${env:USER}_meteo; create table temp_meteo (col_value STRING); LOAD DATA INPATH '/user/${env:USER}/VQAA60.txt' OVERWRITE INTO TABLE temp_meteo;5. Create the final table and insert the data into. The date are in format YYYYMM, they will be cast in string because of the request language. It is easier to extract the year from a string than an int
$ hive use ${env:USER}_meteo; create table meteo (station STRING, date STRING, precipitation FLOAT, temperature FLOAT); insert overwrite table meteo SELECT regexp_extract(col_value, '^(?:([^\|]*)\.){1}', 1) station, regexp_extract(col_value, '^(?:([^\|]*)\.){2}', 1) date, regexp_extract(col_value, '^(?:([^\|]*)\.){3}', 1) precipitation, regexp_extract(col_value, '^(?:([^\|]*)\.){4}', 1) temperature from temp_meteo;6. Run your first query
$ hive --database ${USER}_meteo SELECT station, avg(precipitation) as mean_precipitation, avg(temperature) as mean_temperature FROM meteo GROUP BY station;7. Woot!
8. Run a more complex query. Summerize the precipitation by station and year
$ hive --database ${USER}_meteo SELECT station, dateYear, sum(precipitation) as sumPre FROM (SELECT substring(date,1,4) as dateYear, precipitation, station FROM meteo) as T1 GROUP BY dateYear, station ORDER BY sumPre desc
Thank You for sharing your article, This is an interesting & informative blog. It is very useful for the developer like me. Kindly keep blogging. Besides that Wisen has established as Best Corporate Training in Chennai .
ReplyDeleteNowadays JavaScript has tons of job opportunities on various vertical industry. Know more about JavaScript Framework Training visit Corporate Training Companies in India.
This post gives me detailed information about theechnology. corporate training companies in india
Great Article
DeleteIEEE Final Year Projects for CSE
IEEE Project Centers in Chennai
العزل الإيجابي: هو العزل المائي الذي يتم اعتماده في غالبية الأوقات، والهدف منه منع قطرات المياه من الدخول إلى الجسم المرغوب عزله. العزل السلبي: هو عزل يتم من الجهة المقابلة لجهة نزول المياه في الجسم المرغوب عزله، ويلجأ لهذه الطريقة عند مواجهة صعوبة في العزل الإيجابي.
ReplyDeleteشركة عزل خزانات بالقصيم
شركة عزل خزانات بخميس مشيط
شركة عزل خزانات بالخبر
But there are many ways to get rid of ants completely from home:
ReplyDeleteThe termite control company in Dammam uses some types of soap, especially laurel soap, as it emits a strong smell that is not tolerated by ants and we put it directly at the source of the ants. شركة مكافحة حشرات
شركة مكافحة النمل الابيض بالقصيم
شركة مكافحة حشرات بالقصيم
شركة رش مبيدات بالقصيم
Must I say to thank you for sharing the very useful and informative post. I hope a lot of ideas from your blog...
ReplyDeleteGraphic Design Courses in Chennai
graphic design institute in chennai
Advanced Excel Training in Chennai
Linux Training in Chennai
Oracle Training in Chennai
Oracle DBA Training in Chennai
Power BI Training in Chennai
Tableau Training in Chennai
Pega Training in Chennai
Appium Training in Chennai
This Blog is really informative!! keep update more about this...
ReplyDeleteAviation Academy in Chennai
Air Hostess Training in Chennai
Airport Management Courses in Chennai
Best Aviation Academy in Chennai
Ground Staff Training in Chennai
Air Hostess Academy in Chennai
Airport Management Training in Chennai
Airport Ground Staff Training Courses in Chennai
It's very useful blog post with inforamtive and insightful content and i had good experience with this information.I have gone through CRS Info Solutions Home which really nice. Learn more details About Us of CRS info solutions. Here you can see the Courses CRS Info Solutions full list. Find Student Registration page and register now. Go through Blog post of crs info solutions. I just read these Reviews of crs really great. You can now Contact Us of crs info solutions. You enroll for Pega Training at crs info solutions.
ReplyDeleteUseful article which was very helpful. also interesting and contains good information.
ReplyDeleteto know about python training course , use the below link.
Python Training in chennai
Python Course in chennai
Wow its a very good post. The information provided by you is really very good and helpful for me. Keep sharing good information. I bookmark your blog because I found very good information on your blog ?
ReplyDeleteJava Training in Chennai
Java Course in Chennai
เว็บแทงบอล
ReplyDeleteufabet
ufa
พวงหรีด
โควิด
บาคาร่า
ReplyDeleteคาสิโนออนไลน์
ufabet
ufa
เว็บบอล
With special privileges and services, UEFA BET offers opportunities for small capitalists. Together ufa with the best websites that collect the most games With a minimum deposit starting from just 100 baht, you are ready to enjoy the fun with a complete range of betting that is available within the website
ReplyDeleteufabet , our one another option We are a direct website, not through an agent, where customers can have great confidence without deception The best of online betting sites is that our Ufa will give you the best price
หาคุณกำลังหาเกมส์ออนไลน์ที่สามารถสร้างรายได้ให้กับคุณ เรามีเกมส์แนะนำ เกมยิงปลา รูปแบบใหม่เล่นง่ายบนมือถือ คาสิโนออนไลน์ บนคอม เล่นได้ทุกอุปกรณ์รองรับทุกเครื่องมือ มีให้เลือกเล่นหลายเกมส์ เล่นได้ทั่วโลกเพราะนี้คือเกมส์ออนไลน์แบบใหม่ เกมยิงปลา
อีกทั้งเรายังให้บริการ เกมสล็อต ยิงปลา แทงบอลออนไลน์ รองรับทุกการใช้งานในอุปกรณ์ต่าง ๆ HTML5 คอมพิวเตอร์ แท็บเล็ต สมาทโฟน คาสิโนออนไลน์ และมือถือทุกรุ่น เล่นได้ตลอด 24ชม. ไม่ต้อง Downloads เกมส์ให้ยุ่งยาก ด้วยระบบที่เสถียรที่สุดในประเทศไทย
สตีฟ บรูซ ได้รับรางวัลผู้จัดการทีมยอดเยี่ยม พรีเมียร์ลีก ประจำเดือนเมษายน ผู้จัดการทีม นิวคาสเซิล ยูไนเต็ด นำทีมของเขาเก็บไปได้ 8 แต้มจากการแข่งขันทั้ง 4 นัดโดยไม่เลยแม้แต่เกมเดียวช่วยให้ทีมของเขาการันตีการอยู่รอดบนลีกสูงสุดไปต่อได้อีกฤดูกาล เดอะ แม็กพายส์ ตามตีเสมอ...ufa
ReplyDeleteBaccarat is money making and it's spectacular availability. The best In your case it's found that you will find quite interesting options. And that is thought to be a thing that's rather varied And it's very something that's rather prepared to strike with Probably the most good, as well, is a genuinely good option. Moreover, it's a truly interesting alternative. It's the simplest way which could generate profits. Superbly ready The number of best-earning baccarat will be the accessibility of making by far the most money. As much as achievable is very ideal for you An alternative which could be guaranteed. To a wide variety of supply and performance And find out excellent benefits also..บาคาร่า
ReplyDeleteufa
ufabet
แทงบอล
แทงบอล
แทงบอล
pgslot ซึ่งเกมคาสิโนออนไลน์เกมนี้เป็นเกมที่เรียกว่าเกม สล็อตเอ็กซ์โอ คุณรู้จักเกมส์เอ็กซ์โอหรือไม่ 90% ต้องรู้จักเกมส์เอ็กซ์โออย่างแน่นอนเพราะในตอนนี้เด็กนั้นเราทุกคนมักที่จะเอาก็ได้ขึ้นมา สล็อต เล่นเกมส์เอ็กซ์โอกับเพื่อนเพื่อนแล้วคุณรู้หรือไม่ว่าในปัจจุบันนี้เกมส์เอ็กซ์โอนั้นกลายมาเป็นเกมซะลอสออนไลน์ที่ให้บริการด้วยเว็บคาสิโนออนไลน์คุณสามารถเดิมพันเกมส์เอ็กซ์โอกับเว็บคาสิโนออนไลน์ได้โดยที่จะทำให้คุณนั้นสามารถสร้างกำไรจากการเล่นเกมส์เดิมพันออนไลน์ได้เราแนะนำเกมส์ชนิดนี้ให้คุณได้รู้จักก็เพราะว่าเชื่อว่าทุก
ReplyDeleteProbably the most genuine football betting UFABET that's beyond description Find fun, excitement and excitement with slot video games, hundred totally free recognition, quick withdrawal. If you desire to have fun slots for money No need to deposit a great deal, no minimum, no need to share, squander moment for the reason that UFABET is in fact reduced, given seriously, many great offers are waiting for you. Prepared to ensure pleasurable, regardless of whether it's Joker SlotXo fruit slot, we are able to phone it an internet slot website for you personally especially. Ready to have fun Like the support staff which is going to facilitate slot formulas as well as techniques of actively playing So you will be certain that each minute of fun and pleasure We will be there for one to give your customers the best appearance as well as fulfillment.
ReplyDeleteบาคาร่า
สล็อต
ufa
แทงบอล
Tamiloneindia is a computer-generated news site. Their platform amasses headlines from other news sources, groups similar stories together, and then displays them based on user interest. Once you click on a headline, Tamiloneindia.net then takes you directly to the site that published the story. If you enjoy researching different topics and getting stories from multiple sources, Tamil One India is for you.
ReplyDelete