Skip to main content
Version: 1.0.0

BOS Filesystem

这个页面描述了如何让你的Hudi任务使用Baidu BOS存储。

Baidu BOS 部署​

为了让Hudi使用BOS，需要增加两部分的配置:

  • 为Hudi增加Baidu BOS的相关配置
  • 增加Jar包到classpath

Baidu BOS 相关的配置​

新增下面的配置到你的Hudi能访问的core-site.xml文件。使用你的BOS bucket name替换掉fs.defaultFS，使用BOS endpoint地址替换fs.bos.endpoint，使用BOS的key和secret分别替换fs.bos.access.key和fs.bos.secret.access.key，这样Hudi就能读写相应的bucket。

<property>
    <name>fs.defaultFS</name>
    <value>bos://bucketname/</value>
</property>

<property>
    <name>fs.bos.endpoint</name>
    <value>bos-endpoint-address</value>
    <description>Baidu bos endpoint to connect to,for example : http://bj.bcebos.com</description>
</property>

<property>
    <name>fs.bos.access.key</name>
    <value>bos-key</value>
    <description>Baidu access key</description>
</property>

<property>
    <name>fs.bos.secret.access.key</name>
    <value>bos-secret-key</value>
    <description>Baidu secret key.</description>
</property>

<property>
    <name>fs.bos.impl</name>
    <value>org.apache.hadoop.fs.bos.BaiduBosFileSystem</value>
</property>

Baidu BOS Libs​

新增Baidu hadoop的jar包添加到classpath.

  • com.baidubce:bce-java-sdk:0.10.165
  • bos-hdfs-sdk-1.0.2-community.jar

可以从这里 下载bos-hdfs-sdk jar包，然后解压。