对接对象存储 TOS

在批式计算 Spark 版中已经默认配置了对象存储服务相关配置，如 provider、endpoint、access.key 等信息，可以直接使用 tos:// 前缀表明使用 TOS 服务，然后按需填写文件路径即可。

场景介绍 #

本文提供一个示例代码，代码表示读取 TOS 路径下的数据文件，然后统计数据的条数。
您只需在 Spark 任务中使用 tos:// 前缀表明使用 TOS 服务，然后填写存储桶和文件路径即可访问到数据文件。

from __future__ import print_function
import sys
import time
from random import random
from operator import add
import os.path
import os
from pyspark.sql import SparkSession
from pyspark import SparkFiles
if __name__ == "__main__":
    spark = SparkSession\
        .builder\
        .appName("TestTos")\
        .getOrCreate()
    path = "tos://tos-example/spark-demo"
    df = spark.read.parquet(path)
    df.count()
    spark.stop

创建Notebook #

1. 登录 批式计算 Spark 版控制台 。

2. 在顶部菜单栏选择目标地域。

3. 在左侧导航栏选择 项目管理 ，在搜索框中根据项目名称进行模糊搜索，然后单击项目区块进入项目。

4. 在项目左侧导航栏选择 任务开发 > Notebook 。

5. 在 Notebook 首页，单击页面中的 Create New Note 。

6. 在 Create New Note 对话框，设置 Note Name ，选择需要的 Interpreter ，然后单击 Create 。
   

   参数	说明
   Note Name	自定义设置 Notebook 的名称，如“doctest/tos”。 如果要创建目录存放多个 Notebook，则在名称中使用左斜线（/） 。 例如： "aaa/bbb" 则会创建出目录 "aaa"，并在目录 aaa 下创建名为 "bbb"的 Notebook。
   Default Interpreter	默认解释器，Zeppelin 为 Spark 任务提供以下解释器： %spark-submit ：提供一个 spark-submit client，用户可以直接基于该解释器写 Spark 任务的提交命令，可以使用该解释器用来提交 jar 包任务。 %spark : 该解释器会创建 SparkContext 和 SparkSession，同时提供一个 Scala 的环境作为入口。 此处以选择 spark 解释器为例。

开发任务 #

1. 在 Notebook 首页，选择并单击目标 Notebook，如“doctest > tos”。
   
2. 在 Paragraph 中编写任务代码，可直接使用背景中的示例代码。

   说明

   Notebook 中包含多个 Paragraph，每个 Paragraph 包含一段代码片段。 鼠标悬浮在 Paragraph 底部则会出现 Add Paragraph ，可按需添加。如需了解更多关于使用 NoteBook 开发的信息，请参见 使用NoteBook开发作业 。
   本文中的示例代码只需一个 Paragraph。

   
3. 任务代码开发完成后，单击 Paragraph 右侧三角形图标，执行任务。
4. 等待任务执行。
   根据数据量的大小不同，任务执行时间不同，请耐心等待。