在 Azure HDInsight 中配合使用 SCP 与 Apache Hadoop
本文介绍如何安全地与 HDInsight 群集传输文件。
复制文件
scp
实用工具可以用来将文件复制到群集中的单个节点,或者从单个节点进行复制。 例如,以下命令将 test.txt
目录从本地系统复制到头主节点:
scp test.txt sshuser@clustername-ssh.azurehdinsight.cn:
由于未在 :
后指定路径,因此会将文件置于 sshuser
主目录。
以下示例将 test.txt
文件从头主节点上的 sshuser
主目录复制到本地系统:
scp sshuser@clustername-ssh.azurehdinsight.cn:test.txt .
scp
只能访问群集中单个节点的文件系统。 它不能用来访问适用于群集且兼容 HDFS 的存储中的数据。
需要通过 SSH 会话上传要使用的资源时,请使用 scp
。 例如,上传一个 Python 脚本,然后通过 SSH 会话运行该脚本。
若要了解如何将数据直接加载到兼容 HDFS 的存储中,请参阅以下文档: