资源收藏!用数据读懂地球——地球科学数据研究优质项目汇总
从自然地理到人类社会,从气候变化到人口增长,从遥感卫星到城市交通,从南极到北极,从赤道到寒带,地球正在发生着前所未有的迅速变化,而地球和人类活动最伟大的意义是周而复始,生生不息,一切都有迹可循。这是一个万物都可以被测量、划分和记录的时代,人类对于用数据去理解自然,量化和探索地球科学的热情始终高涨。
我们精选了 和鲸社区 内所有 地球科学领域的优质项目 ,期待越来越多的地球科学研究者和爱好者持续用数据去挖掘价值,揭示出新的深刻洞见,迎接大数据时代下地球科学所面临的机遇和挑战。
Tips:推荐使用 数据科学分析协同工具 ModelWhale ,确保所有资源的可复现性!(部分代码已隐藏,搭载对应镜像,一键复刻运行,获取完整代码)
地理
1、数据获取/数据下载/数据格式读取
2、数据处理/数据分析/数值计算和可视化
地理空间数据分析入门:GeoPandas 和 Shapely
可视化
Cartopy | 绘制不同投影的地图 2019新型冠状病毒
强大的地形可视化工具箱(Relief Visualization Toolbox,RVT)
【GEO】通过Pyecharts实现【微博签到中国】可视化作品
3、课程资源
【 地球与环境数据科学 - Ryan Abernathey 】 课程翻译
Python核心语法
Python 基础 Python 函数和类 Python 项目的组织和打包 作业:基础Python
科研中的Python基础知识
Numpy 和 Matplotlib 作业3:Numpy和Matplotlib 更多Matplotlib的内容 作业4:更多的Matplotlib的内容
高级数据分析框架
Pandas
Pandas基础知识 作业5:Pandas基础知识与地震数据 Pandas: Groupby 作业6:Pandas Groupby与飓风数据
用于多维网格化数据的Xarray
Xarray基础知识 作业7:使用大气辐射数据的Xarray基础知识 Xarray内插法、Groupby、重采样、滚动和粗化 作业:使用厄尔尼诺-南方涛动(ENSO)数据的更多Xarray Xarray技巧和窍门
地球科学的包
地球科学研究中的地图 作业:用Cartopy制作地图 使用xesmf和xgcm处理一般循环模型的输出结果
大数据
气象
1、数据获取/数据下载/数据格式读取
气象之批量下载气象数据(EC;NCEP;CMIP)(python)
用 python 轻松提取 grib 文件数据,只用 3 个步骤
2、数据处理/数据分析/数值计算和可视化
【气象数据处理】利用pygrib解码GRIB数据,以GFS为例
气象 Python 训练营 ⑤ xarray 使用笔记(一)
气象 Python 训练营 ⑤ xarray 使用 笔记(二)
极地& Robinson投影画one-point correlation map
基于xeofs模块实现S-EOF、T-EOF、REOF和weight-EOF
2012年3月2日美国强对流天气形势与WSR-88D雷达观测
Cartopy绘图
说明:Cartopy 适合于地球科学家,特别是气象学家和海洋学家的需求。Cartopy常用于地理空间数据处理,以便生成地图和其他地理空间数据分析,对于大尺度/小比例尺数据制图特别有用,它自带的数据(Shapefile 以及栅格数据)会在进行时下载并缓存。Cartopy的关键特性是它面向对象的投影定义,以及在这些投影之间转换点、线、向量、多边形和图像的能力。 我们可以基于 数据科学分析协同工具 ModelWhale 运行,确保所有资源的可复现性!
Metpy绘图
说明:Metpy 是应用于气象领域的开源Python包,可以进行气象数据的处理,可视化以及气象要素的计算等。在气象数据处理方面,可以读取并处理很多格式的数据。在可视化方面,提供了绘制 Skewt 和 站点图的函数,可以非常方便的创建图形。当然,也支持很多气象要素的计算。 我们可以基于 数据科学分析协同工具 ModelWhale 运行,确保所有资源的可复现性!
大气科学可视化示例——AWS S3 NEXRAD 档案存取和绘图
Matplotlib绘图
说明:Matplotlib 是 Python 最著名的绘图库,十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件,使用在Python脚本、Jupyter notebook,Web应用程序服务器和各种图形用户界面工具包等上面。 我们可以基于 数据科学分析协同工具 ModelWhale 运行,确保所有资源的可复现性!
气象可视化案例
Xarray实例
说明:由于气象数据大多为多维数据,Xarray 提供了一种高效读取和处理多维数据的方式方法,它特别适合处理 netCDF 文件,在类似于 NumPy 的原始数组上以尺寸、坐标和属性的形式引入标签,从而能提供给研究人员更直观,更简洁和更少出错的体验。该软件包包括一个庞大且不断增长的功能库,使用这些数据结构可以实现对 气象数据的高级分析和可视化 。我们可以基于 数据科学分析协同工具 ModelWhale 运行,确保所有资源的可复现性!
摸鱼大佬的项目集
说明: 摸鱼 气象学在读博士,主攻极端天气气候事件等方向,擅长使用 Python 实现数据处理与可视化,同时也是优秀的 B 站 UP 主【 摸鱼今天在摸鱼吗 】。 我们可以 基于 数据科学分析协同工具 ModelWhale 运行,确保所有资源的可复现性!
摸鱼气象Python - 2.Numpy内容太多了看完这点足够了
摸鱼气象Python - 3.复杂算法实现:波通量和平流计算
摸鱼气象Python - 6.数据结构,合成分析,显著性检验
摸鱼气象Python - 7.CDO, Python+CDO和python-cdo
摸鱼气象Python - 12.气候序列突变检测(滑动t&M-K)
摸鱼气象Python - 13.Matplotlib和Cartopy绘图基础
3、数据建模与应用
机器学习/深度学习/人工智能
降水临近预报 Precipitation Nowcasting
气象世界 | 利用sklearn中的回归算法预测光伏电站功率
在用于降雨短临预报的深度学习模型中合并雷达雨图像和风预测:训练程序
WRF模式
说明:WRF 模式是国内外应用最为广泛的气象模式,使用该模式进行高精度甚至几百米的模拟应用也越来越多。另一方面,WRF 模式不断扩展模式模块,现在已经可以实现对气溶胶及化学过程(WRF-CHEM)、资料同化(WRF-DA)、水文过程(WRF-HYDRO)、城市化(URBAN)等过程的精细模拟,其应用范围及实际业务及科研应用也越来越多。 但 WRF 模式运行于 Linux 平台,不管是编译、安装、前处理、运行还是分析,其中过程都十分复杂、难度大。编译 WRF 及其依赖库这步是比较复杂的,也需要很多经验。ModelWhale 在镜像中已事先安装了 WRF 及其依赖库。我们可以基于 和鲸 ModelWhale 平台 运行 WRF,并对模式结果进行后处理。如有相关需求,欢迎咨询 产品顾问MoMo 。
4、和鲸社区气象系列活动
海洋
1、数据获取/数据下载/数据格式读取/可视化
2、数据处理/数据分析
3、数据建模与应用
遥感
1、数据获取/数据下载/数据格式读取/可视化
2、数据处理/数据分析
欢迎进入 ModelWhale , 【联系MW】 了解数据科学平台 ModelWhale 在个人、团队及机构的科研、教研场景下的更多深度应用。