9 comandos y ejemplos de AWS S3 para administrar depósitos y datos

El control y la gestión de datos puede ser una tarea abrumadora. Estos comandos de AWS S3 lo ayudarán a administrar sus depósitos y datos de AWS S3 de manera rápida y eficiente.

AWS S3 es un servicio de almacenamiento de objetos proporcionado por AWS. Es el servicio de almacenamiento más utilizado por AWS y puede contener cantidades de datos casi ilimitadas. Es altamente disponible, duradero y fácil de integrar con varios otros servicios de AWS.

AWS S3 está disponible para cualquier persona con cualquier necesidad, como almacenamiento de aplicaciones móviles/web, almacenamiento de big data, almacenamiento de datos de aprendizaje automático, alojamiento de sitios web estáticos y más.

Si ha estado usando S3 en sus proyectos, sabe que administrar más de 100 depósitos y los terabytes de datos en esos depósitos puede ser un trabajo abrumador dado el gran volumen de almacenamiento. Tenemos una lista y ejemplos de comandos de AWS S3 que puede usar para administrar de manera eficiente sus depósitos y datos de AWS S3.

Configuración de la CLI de AWS

Después de descargar e instalar con éxito la CLI de AWS, debe configurar sus credenciales de AWS para acceder a su cuenta y servicios de AWS. Echemos un vistazo rápido a cómo configurar la CLI de AWS.

El primer paso es crear un usuario con acceso programático a la cuenta de AWS. Recuerde marcar esta casilla al crear el usuario para la CLI de AWS.

Otorgar permisos y crear usuarios. En la última pantalla, después de haber creado correctamente este usuario, copie el ID de la clave de acceso y la clave de acceso secreta de este usuario. Usaremos estas credenciales para iniciar sesión a través de la CLI de AWS.

Ahora ve a la terminal de tu elección y ejecuta el siguiente comando.

aws configure 

Ingrese el ID de la clave de acceso y la clave de acceso secreta cuando se le solicite. Elija cualquier región de AWS y formato de salida de comandos de su elección. Personalmente prefiero usar el formato JSON. Esto no es gran cosa, siempre puede cambiar estos valores más tarde.

Ahora puede ejecutar cualquier comando de AWS CLI en la consola. Ahora veamos los comandos de AWS S3.

c.p.

El comando cp simplemente copia datos hacia o desde un depósito S3. Se puede usar para copiar archivos de local a S3, de S3 a local y entre dos cubos de S3. Puede proporcionar muchos otros parámetros con el comando.

Por ejemplo, el parámetro -dryrun se usa para los comandos de prueba, el parámetro -storage-class se usa para especificar la clase de almacenamiento de los datos en S3, otros parámetros se usan para configurar el cifrado, etc.Esta comando cp Le brinda un control completo sobre cómo se configura la seguridad de los datos en S3.

uso

aws s3 cp   [--options]

ejemplo

Copie datos de local a S3

aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt

Copie datos de S3 a local

aws s3 cp s3://bucket_name/file_name_2.txt file_name.txt

Copie datos entre depósitos S3

aws s3 cp s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt

Copie datos de local a S3 – IA

aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA 

Copie todos los datos en la carpeta local a S3

aws s3 cp ./local_folder s3://bucket_name --recursive

ls

Esta ls comando Se utiliza para enumerar el contenido de cubos o cubos. Entonces, si solo desea ver información sobre sus depósitos o los datos en esos depósitos, puede usar el comando ls.

uso:

aws s3 ls NONE or  [--options]

ejemplo

Enumerar todos los cubos en una cuenta

aws s3 ls

Output:
2022-02-02 18:20:14 BUCKET_NAME_1
2022-03-20 13:12:43 BUCKET_NAME_2
2022-03-29 10:52:33 BUCKET_NAME_3

Este comando enumera todos los depósitos en su cuenta junto con la fecha de creación del depósito.

Enumerar todos los objetos de nivel superior en un cubo

aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 

Output:
                           PRE samplePrefix/
2021-12-09 12:23:20       8754 file_1.png
2021-12-09 12:23:21       1290 file_2.json
2021-12-09 12:23:21       3088 file_3.html

Este comando enumera todos los objetos de nivel superior en el depósito de S3. Tenga en cuenta que los objetos con el prefijo samplePrefix/ solo muestran objetos de nivel superior aquí.

Enumerar todos los objetos en un cubo

aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 --recursive

Output:
2021-12-09 12:23:20       8754 file_1.png
2021-12-09 12:23:21       1290 file_2.json
2021-12-09 12:23:21       3088 file_3.html
2021-12-09 12:23:20      16328 samplePrefix/file_1.txt
2021-12-09 12:23:20      29325 samplePrefix/sampleSubPrefix/file_1.css

Este comando enumera todos los objetos en el depósito de S3. Tenga en cuenta que los objetos con el prefijo samplePrefix/ y todos los subprefijos también se muestran aquí.

megabyte

Esta comando mb Solo se usa para crear nuevos depósitos S3. Este es un comando bastante simple, pero para crear un nuevo depósito, el nombre del nuevo depósito debe ser único en todos los depósitos de S3.

uso

aws s3 mb 

ejemplo

Crear un nuevo depósito en una región específica

aws s3 mb myUniqueBucketName --region eu-west-1

MV

Esta comando mv Simplemente mueva los datos dentro y fuera de los depósitos de S3. Al igual que el comando cp, el comando mv se usa para mover datos de local a S3, de S3 a local o entre dos depósitos de S3.

La única diferencia entre los comandos mv y cp es que cuando se usa el comando mv, los archivos se eliminan de la fuente. AWS moverse este archivo al destino. Puede especificar muchas opciones con el comando.

uso

aws s3 mv   [--options]

ejemplo

Mover datos de local a S3

aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt

Mover datos de S3 a local

aws s3 mv s3://bucket_name/file_name_2.txt file_name.txt

Mover datos entre depósitos S3

aws s3 mv s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt

Mover datos de local a S3 – IA

aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA 

Mueva todos los datos del prefijo en S3 a la carpeta local.

aws s3 mv s3://bucket_name/somePrefix ./localFolder --recursive

presagio

El comando presign genera una URL prefirmada para la clave en el depósito S3. Puede usar este comando para generar una URL que otros puedan usar para acceder a los archivos en la clave de depósito de S3 especificada.

uso

presagios aws s3 – Fecha de caducidad en

ejemplo

Genere URL prefirmadas válidas durante 1 hora para los objetos del depósito.

aws s3 presign s3://bucket_name/samplePrefix/file_name.png --expires-in 3600

Output:
https://s3.ap-south-1.amazonaws.com/bucket_name/samplePrefix/file_name.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIA4MCZT73PAX7ZMVFW%2F20220314%2Fap-south-1%2Fs3%2Faws4_request&X-Amz-Date=20220314T054113Z&X-Amz-Expires=3600&X-Amz-SignedHeaders=host&X-Amz-Signature=f14608bbf3e1f9f8d215eb5b439b87e167b1055bcd7a45c13a33debd3db1be96

rb

El comando rb solo se usa para eliminar depósitos S3.

uso

aws rb 

ejemplo

Elimine el depósito S3.

aws s3 mb myBucketName
# This command fails if there is any data in this bucket.

Elimine el depósito de S3 y los datos del depósito de S3.

aws s3 mb myBucketName --force

RM

El comando rm solo se usa para eliminar objetos en el depósito S3.

uso

aws s3 rm 

ejemplo

Elimine un archivo del depósito S3.

aws s3 rm s3://bucket_name/sample_prefix/file_name_2.txt

Elimine todos los archivos con un prefijo específico en el depósito S3.

aws s3 rm s3://bucket_name/sample_prefix --recursive

Elimine todos los archivos en el depósito S3.

aws s3 rm s3://bucket_name --recursive

Sincronizar

Al igual que el comando cp, el comando sync copia y actualiza archivos desde el origen al destino. Es importante comprender la diferencia entre los comandos cp y sync. Cuando usa cp, copiará los datos del origen al destino incluso si los datos ya existen en el destino.

Si elimina un archivo del origen, tampoco elimina el archivo del destino. Sin embargo, la sincronización mira el objetivo antes de copiar los datos y solo copia los archivos nuevos y actualizados.Esta comando de sincronización Similar a confirmar y enviar cambios a sucursales remotas en git. El comando de sincronización proporciona muchas opciones para personalizar el comando.

uso

aws s3 sync   [--options]

ejemplo

Sincronizar carpeta local con S3

aws s3 sync ./local_folder s3://bucket_name

Sincronizar datos S3 a la carpeta local

aws s3 sync s3://bucket_name ./local_folder

Sincronizar datos entre dos cubos S3

aws s3 sync s3://bucket_name s3://bucket_name_2

Mueva datos entre dos depósitos S3, excluyendo todos los archivos .txt

aws s3 sync s3://bucket_name s3://bucket_name_2 --exclude "*.txt

sitio web

Puede usar un depósito S3 para alojar sitios web estáticos. El comando del sitio web se usa para configurar el alojamiento de sitios web estáticos de S3 para su depósito.

Usted especifica los archivos de índice y error, y S3 le proporciona una URL donde puede ver el archivo.

uso

aws s3 website  [--options]

ejemplo:

Configure el alojamiento estático para el depósito S3 y especifique los archivos de índice y error

aws s3 website s3://bucket_name --index-document index.html --error-document error.html

En conclusión

Espero que lo anterior le haya dado una idea de algunos comandos comunes de AWS S3 para administrar depósitos. Si está interesado en obtener más información, puede ver los detalles de la certificación de AWS.