Documentation Oracle Cloud Infrastructure

Transfert de données vers et depuis File Storage

De nombreux cas d'emploi courants pour Oracle Cloud Infrastructure (OCI) File Storage incluent le transfert d'une grande quantité de données. En fonction de l'origine, de la destination et de la direction du transfert de données, la meilleure méthode pour y parvenir peut varier.

Le tableau suivant fournit des recommandations pour les scénarios courants de transfert de données File Storage, y compris la migration de données sur site, la copie de données File Storage d'une région vers une autre, la copie de données File Storage dans une région et la copie de données File Storage vers Object Storage.

Pour obtenir des informations générales sur les connexions privées entre OCI et les données sur site, reportez-vous à FastConnect et VPN site à site.

Scénarios de transfert de données File Storage
Transférer les données depuis... A... Méthode recommandée Prérequis et remarques
Stockage sur site File Storage sur OCI

Les utilisateurs Linux peuvent utiliser la transmission en continu d'instance à instance et l'outil fpsync.

Les utilisateurs Windows peuvent monter le partage de fichiers sur site Windows en tant que partage CIFS (Common Internet File System) sur une instance Oracle Linux OCI et utiliser un outil de copie tel que fss-parallel-tools ou fpsync pour transférer des données.

Pour plus d'informations, reportez-vous à Transfert de données on-premise vers File Storage.

Assurez-vous que la connectivité réseau est établie entre les instances source et de destination.
Stockage de fichiers OCI File Storage dans une autre région

Utilisez l'une des méthodes suivantes, en fonction des spécificités du cas d'emploi :

  1. Utilisez la réplication de système de fichiers. Pour plus d'informations, reportez-vous à Utilisation de la réplication pour le transfert de données.

  2. Utilisez la transmission en continu d'instance à instance et l'outil fpsync. Pour plus d'informations, reportez-vous à Utilisation de la transmission en continu d'instance à instance pour transférer des données File Storage.

Si vous utilisez la réplication, reportez-vous à la section Limitations and Considerations de la réplication.

Si vous utilisez la transmission en continu d'instance à instance, assurez-vous que la connectivité réseau est établie entre les instances source et de destination.
Stockage de fichiers OCI File Storage dans le même domaine de disponibilité

Utilisez l'une des méthodes suivantes, en fonction des spécificités du cas d'emploi :

  1. Utilisez la réplication de système de fichiers. Pour plus d'informations, reportez-vous à Utilisation de la réplication pour le transfert de données.

  2. Utilisez la commande parcp dans notre suite d'outils parallèles pour transférer des données.

    Reportez-vous aux exemples d'utilisation de parcp dans Utilisation des outils parallèles File Storage, en particulier à la section Utilisation de parcp comme alternative efficace pour rsync.

Si vous utilisez la réplication, reportez-vous à la section Limitations and Considerations de la réplication.

Si vous utilisez parcp, assurez-vous que les systèmes de fichiers source et de destination sont montés dans l'instance.
Stockage de fichiers OCI OCI Object Storage

Utilisez rclone. Pour plus d'informations, reportez-vous à Sauvegarde de clichés dans Object Storage à l'aide de rclone.

L'instance doit pouvoir se connecter au bucket Object Storage.

Transfert de données on-premise vers File Storage

Les scénarios suivants se sont révélés efficaces pour les utilisateurs de Linux et Windows lors du transfert de grandes quantités de données d'un stockage sur site vers OCI File Storage. Elles peuvent ne pas s'appliquer à tous les environnements ou répondre à toutes les exigences.

Pour les utilisateurs Linux

Utilisez l'outil fpsync pour effectuer une copie initiale des données sur site vers OCI File Storage. Les modifications de données incrémentielles peuvent ensuite être synchronisées à l'aide de rsync car fpsync ne peut pas supprimer les fichiers et dossiers de la destination qui n'existent pas dans la source.

L'outil fpsync est un wrapper parallèle de rsync. Les utilisateurs Linux peuvent télécharger fpsync à partir d'un référentiel yum. Les commandes varient en fonction de la version de Linux.

  1. Télécharger à partir du référentiel.

    Les utilisateurs de Linux 7 peuvent installer l'outil à l'aide de la commande suivante :

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

    Les utilisateurs de Linux 8 peuvent installer l'outil à l'aide de la commande suivante :

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
  2. Installer l'outil :
    sudo yum install fpart -y

Avant de commencer le transfert de données, effectuez les prérequis suivants :

  • Assurez-vous que la connectivité réseau est établie entre la source de données sur site et OCI. Utilisez la connexion FastConnect ou VPN site à site pour activer la diffusion rapide instance à instance via SSH.
  • Créez une instance Oracle Linux dans OCI.
  • Attachez ou montez le partage de stockage sur site sur un serveur Linux. Une instance dédiée est recommandée.

Dans ce scénario, nous suggérons que la copie initiale utilise fpsync. Par la suite, les synchronisations incrémentielles utilisent rsync car fpsync ne dispose pas de l'option --delete.

  1. Montez le système de fichiers dans l'instance Oracle Linux.
  2. Exécutez la commande suivante à partir du serveur Linux sur site où le partage source est attaché ou monté pour effectuer la copie initiale : 
    fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress --log-file fpsync.log -e ssh" /<source>/ <user>@<oci_linux_instance>:/file_storage_destination/
  3. (Facultatif) Si vous devez exécuter une synchronisation incrémentielle jusqu'à une date spécifique, vous pouvez programmer la commande rsync suivante en tant que travail CRON : 
    rsync -arxH --delete --progress --log-file rsync.log -e ssh" /source/ <user>@<oci_linux_instance>:/file_storage_destination/
Pour plus d'options fpsync, reportez-vous à la page de manuel fpsync man page.

Pour les utilisateurs Windows

N'utilisez pas les utilitaires de copie Windows pour les copies de données volumineuses vers File Storage. Utilisez plutôt une instance Linux OCI et copiez les grands volumes à l'aide des outils parallèles fournis avec cette instance. Montez le partage Windows en tant que partage CIFS (Common Internet File System) et utilisez un outil de copie tel que parcp ou fpsync pour transférer des données.

Etant donné que le protocole SMB et le protocole NFS utilisés par File Storage ne sont pas compatibles, une instance qui peut monter à la fois le système de fichiers NFS et le partage SMB est utilisée pour créer un pont entre eux.

  1. Identifiez ou créez dans Oracle Cloud Infrastructure une instance Linux qui dispose d'un accès réseau au système de fichiers File Storage et au partage SMB de Windows.
  2. Ouvrez un terminal sur l'instance.

  3. Saisissez la commande suivante pour installer l'utilitaire CIFS (Common Internet File System) et vérifier son installation :

    $sudo yum install -y cifs-utils
$rpm -qa|grep cifs

  4. Montez le partage SMB de Windows en tant que partage CIFS .

    1. Créez un répertoire de point de montage. Par exemple :

      sudo mkdir /mnt/win_share

    2. Montez le partage CIFS :

      sudo mount -t cifs -o username=<win_share_user> //<win_IP_address/hostname>/<share_name> /mnt/<win_share_dir>

      Par exemple : 

      $sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share
  5. Copiez les fichiers du partage CIFS vers le système de fichiers monté à l'aide de l'utilitaire parcp de la suite d'outils de fichiers parallèles pour File Storage ou de fpsync. Pour obtenir des informations d'installation relatives à parcp, reportez-vous à Utilisation des outils de fichiers parallèles pour File Storage. Pour plus d'informations sur fpsync, visitez la page de manuel fpsync.

    Par exemple :

    parcp -P 32 /mnt/win_share /mnt/MyFilesystem
    fpsync -v -n 8 -f 101 -o "-lptgoD -v --numeric-ids -e ssh" /mnt/win_share /mnt/MyFilesystem

Utilisation de la transmission en continu d'instance à instance pour transférer des données File Storage

L'outil fpsync est un wrapper parallèle de rsync. Vous pouvez utiliser fpsync et la transmission en continu d'instance à instance pour transférer des données entre des systèmes de fichiers File Storage montés.

Pour installer fpsync, activez le référentiel de développeurs Oracle Linux, qui inclut l'utilitaire fpsync, sur l'instance OCI à l'aide d'une commande telle que la suivante. La commande diffère en fonction de la version d'Oracle Linux utilisée :

yum --enablerepo ol7_developer_EPEL install -y fpart
yum --enablerepo ol8_developer_EPEL install -y fpart

Après avoir installé l'outil, utilisez une commande de transmission en continu d'instance à instance comme celle-ci pour diffuser les données :

fpsync -o "-e ssh --progress" /<fss_src_region>/test <ssh_user>@<remote_ip>:/<fss_dest_region>/

Pour plus d'informations et d'options, reportez-vous à la page de manuel fpsync.

Voici un exemple illustrant la différence de performances entre les deux approches :

# date; time fpsync -o "-e ssh --progress --log-file ~/speedtest.log" /fss_src_bom/test root@DR_hyd:/fss_dest_hyd/ ; date
Sun Mar 13 15:22:58 GMT 2022

real 0m1.467s
user 0m0.111s
sys 0m0.075s
Sun Mar 13 15:23:00 GMT 2022

# ls -ltrd test
drwxr-xr-x. 2 root root 1 Mar 13 15:22 test
# du -sh test
1001M test
# cp -r test test1

# date; time fpsync -o "--progress --log-file ~/speedtest1.log" /fss_src_bom/test1 /fss_dest_hyd/ ; date
Sun Mar 13 15:25:16 GMT 2022

real 1m28.847s
user 0m3.688s
sys 0m1.439s
Sun Mar 13 15:26:44 GMT 202