Руководство разделено на три этапа.
- Загрузить сжатый пакет из локальных данных в личные данные платформы
- Загрузить личные данные платформы в инстанс
- Выполняйте обучение и автоматически загружайте результаты и отключайтесь
Процесс работы примерно такой:
Загружать личные данные локально
Во-первых, обучающие данные сначала помечаются локально.zip,tar.gzСжатые пакеты в распространенных форматах. Затем загрузите и установите локально [инструмент командной строки oss], используйте этот инструмент для загрузки сжатого пакета в [личные данные]середина.
В качестве локальной среды здесь используется система Windows. Для других систем см. [инструмент командной строки oss] установить.
скачать [OSS (Windows)]запускаемый файл. После завершения загрузки появитсяoss_windows_x86_64.exeИзмените имя файла наoss.exe. Откройте CMD (командная строка) или PowerShell под Windows.
использовать cdкоманда переключиться наoss.exeКаталог, в котором он находится, здесьoss.exeсохранено вD:\Download Вниз. Здесь он выполняется с помощью терминала PowerShell.
PS C:\Users\windows> cd D:\Download
PS D:\Download>
Выполните .\oss в этом каталоге, чтобы выполнить команду. Перед загрузкой необходимо авторизоваться. Учетная запись для входа — это имя и пароль учетной записи облачной платформы Hengyuan, а не экземпляр. Имя учетной записи — это номер мобильного телефона. Если это номер мобильного телефона за пределами материкового Китая, вам необходимо добавить номер страны с помощью +.
# 执行 .\oss login
PS D:\Download> .\oss login
Username:139********
Password:***********
139******** login successfully!
После успешного входа в систему будет выполнена операция передачи файла, и локально созданный сжатый пакет будет загружен в [личные данные]середина. Обратите внимание, что расширение загружаемого файла поддерживает только распространенные форматы архивов. Путь сжатого пакета здесьD:\Datasets\MNIST.zip.
# 执行 .\oss cp D:\Datasets\MNIST.zip oss://
PS D:\Download> .\oss cp D:\Datasets\MNIST.zip oss://
Start at 2021-10-22 06:21:48.2061924 +0000 UTC
[-------------------------------------] 100.00% 52.34MB/s 76.55MB/76.55MB 1.53s
Upload successfully, 76.55MB, n/a, D:\Datasets\MNIST.zip --> oss://MNIST.zip, cost [7020], status [200], request id [0000017CA6A9BE01901395D26CE9A228]
После успешной загрузкиличные данныеФайл можно посмотреть на странице.
Пример загрузки личных данных
После того, как платформа создаст или запустит экземпляр, передайте [JupyterLab] страницу в терминал или [SSH-клиент] для подключения терминала.
В терминале также используйтеossСначала войдите. Учетная запись для входа — это имя и пароль учетной записи облачной платформы Hengyuan, а не экземпляр. Имя учетной записи — это номер мобильного телефона. Если это номер мобильного телефона за пределами материкового Китая, вам необходимо добавить номер страны с помощью +.
# 执行 oss login
~# oss login
Username:139********
Password:***********
139******** login successfully!
После успешного входа в систему будет выполнена операция загрузки файлов, и только что загруженные файлы будут загружены в /hy-tmp (модели с общим хранилищем могут использовать /hy-nas).
# 执行 oss cp oss://MNIST.zip /hy-tmp
~# oss cp oss://MNIST.zip /hy-tmp
Start at 2021-10-22 06:37:17.227649376 +0000 UTC
[-------------------------------------] 100.00% 62.85MB/s 76.55MB/76.55MB 1.42s
Waiting to rename temporary file...
Download successfully, 76.55MB, n/a, oss://MNIST.zip --> /hy-tmp/MNIST.zip, cost [2422], status [206], request id [0000017CA6B7D6419012DB7767D11959]
После успешной загрузки перейдите по пути загрузки и распакуйте сжатый пакет.
# 执行 cd /hy-tmp 进入该目录
~# cd /hy-tmp
# 执行 unzip -q MNIST.zip 解压该压缩包
/hy-tmp# unzip -q MNIST.zip
Выключение после выполнения обучения и автоматическая загрузка результатов
Данные уже существуют в экземпляре, и следующим этапом является выполнение обучения. можно использовать [JupyterLab]или [VSCode] и другие инструменты для написания кода. Обратите внимание, что путь к данным, указанный в коде, необходимо изменить на путь к данным внутри экземпляра, который используется в приведенном выше примере./hy-tmp. Трудоемкие тренировочные задания нужно пройти [Tmux] для работы в фоновом режиме, чтобы можно было выключить локальный компьютер, не прерывая обучение.
Для экземпляров с оплатой по мере использования вы можете загрузить результаты в личные данные после завершения обучения, а затем закрыть и прекратить выставление счетов. Эта операция может снизить стоимость использования с оплатой по мере использования и избежать затрат, связанных с занятостью машины./hy-tmpДанные не могут быть просмотрены и загружены.
Для работы примера сценария требуются следующие предварительные условия, а некоторые операции корректируются в соответствии с фактическими потребностями.
- Результат обучения есть
/hy-tmp/resultсередина - В этом случае номер мобильного телефона и пароль учетной записи платформы необходимо использовать заранее для выполнения
oss loginуспешный вход в систему
существует /rootСоздайте каталог с помощью vimupload.shсценарий.
cd
vim upload.sh
Содержимое сценария выглядит следующим образом: используйте редактор vim, чтобы вставить следующее содержимое и сохранить его.
#!/bin/bash
set -e
cd /hy-tmp
# 压缩包名称
file="result-$(date "+%Y%m%d-%H%M%S").zip"
# 把 result 目录做成 zip 压缩包
zip -q -r "${file}" result
# 通过 oss 上传到个人数据中的 backup 文件夹中
oss cp "${file}" oss://backup/
rm -f "${file}"
# 传输成功后关机
shutdown
Добавьте разрешение на выполнение скрипта.
chmod u+x upload.sh
Этот скрипт реализует /hy-tmp/result в zip-архив, а затем загружает этот файл в личные данные. Выполните операцию отключения после успешного выполнения.
Скрипт /root/upload.sh можно вызвать в конце кода обучающей задачи для запуска, рекомендуется протестировать его в первый раз. Как указано в коде Python:
import os
os.system('/root/upload.sh')
Когда выполнение обучения завершено и закрыто, его можно использовать локально.ossИнструмент командной строки загружает упакованный файл результатов. Когда машина экземпляра занята и не может быть включена, вы также можете создать новый экземпляр на других машинах и передатьossЗагрузите данные в новый экземпляр. Конкретно оossСправочные документы по связанным операциям [командный инструмент OSS].
# 登陆恒源云账号，使用恒源云的账号名与密码，账号名为手机号
# 如果是非中国大陆手机号码，需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!
# 查看文件和文件夹，-s 表示只显示文件名
~# oss ls -s oss://
Folder list:
oss://
oss://backup/
Object list:
oss://backup/result-20211018-164323.zip
# 下载个人数据中的 result-20211018-164323.zip 文件到当前目录
~# oss cp oss://backup/result-20211018-164323.zip .
Download successfully, 310B, n/a, oss://backup/result-20211018-164323.zip --> /root/result-20211018-164323.zip, cost [57], status [200], request id [0000017C92929EF49014BE16738685B7]