Hoe Amazon Web Services S3-buckets te gebruiken met Python

Inhoudsopgave:

Hoe Amazon Web Services S3-buckets te gebruiken met Python
Hoe Amazon Web Services S3-buckets te gebruiken met Python

Video: Hoe Amazon Web Services S3-buckets te gebruiken met Python

Video: Hoe Amazon Web Services S3-buckets te gebruiken met Python
Video: Ársfundur 2019 - Í landi endurnýjanlegrar orku 2024, April
Anonim

In deze zelfstudie wordt uitgelegd hoe u Python kunt gebruiken om de cloudopslagmogelijkheden van Amazon Web Services te gebruiken. Amazon Web Services (AWS) is een cloudplatform waarmee gebruikers 'virtuele computers' kunnen huren om programma's uit te voeren en gegevens op te slaan. Python is een van de meest veelzijdige en meest gebruikte programmeertalen voor studenten, de industrie en de academische wereld. De mogelijkheid om Python en AWS samen te gebruiken, stelt u in staat rekenintensieve datawetenschapsproblemen op te lossen zonder te investeren in een dure supercomputer.

Stappen

AWS stap 1
AWS stap 1

Stap 1. Maak een account aan voor Amazon Web Services via deze link:

portal.aws.amazon.com/billing/signup#/start..

AWS Stap 2
AWS Stap 2

Stap 2. Download de AWS-opdrachtregelinterface via deze link:

aws.amazon.com/cli/. Zorg ervoor dat u de versie kiest die overeenkomt met uw besturingssysteem. Er is momenteel een optie voor Linux, MacOS en 64-bit Windows. Nadat u uw besturingssysteem hebt gekozen, moet een.msi-bestand worden gedownload. Wanneer het downloaden is voltooid, opent u het bestand en volgt u de instructies van de installatiewizard.

AWS stap 3
AWS stap 3

Stap 3. Open de opdrachtprompt van uw computer

Typ het commando "aws --version" en druk op enter. Als de installatie is gelukt, geeft de opdrachtprompt een bericht weer dat lijkt op: "aws-cli/1.18.136 Python/3.8.3 Windows/10 botocore/1.17.59" Als een soortgelijk bericht niet wordt weergegeven, herhaalt u de vorige stap.

AWS stap 4
AWS stap 4

Stap 4. Ga naar de pagina AWS Identity Access and Management (IAM)

Krijg toegang tot deze service door "IAM" in de AWS-zoekbalk te typen of door naar IAM te zoeken in het gedeelte Beveiliging, identiteit en naleving op de pagina met AWS-services.

Stap 5. Maak een gebruiker aan met IAM

Klik hiervoor op het tabblad "Gebruikers" aan de linkerkant van de IAM-pagina en druk vervolgens op de blauwe "Gebruiker toevoegen" bovenaan de pagina "Gebruikers".

AWS Stap 6
AWS Stap 6

Stap 6. Configureer de gebruiker door een naam en toegangstype op te geven

Geef de gebruiker een betekenisvolle naam voor later gebruik. Er zijn 2 toegangstypes. Zorg ervoor dat u voor onze doeleinden "Programmatic Access" kiest. Dit geeft deze gebruiker toegang tot alle AWS-ontwikkeltools.

AWS stap 7
AWS stap 7

Stap 7. Geef de gebruiker beheerderstoegangsrechten

Kies onder "Machtigingen instellen" de optie "Bestaand beleid direct bijvoegen". Dit opent een grote lijst met mogelijke machtigingstypen om deze gebruiker te verstrekken. Vink het vakje aan van de eerste optie genaamd "Beheerderstoegang". Dit geeft de gebruiker volledige toegang tot alle AWS-services en -gegevens. Als u klaar bent, drukt u op de blauwe knop "Volgende: Tags".

AWS stap 8
AWS stap 8

Stap 8. Bekijk het gebruikersbeleid

Sla de pagina "Tags" over door op de blauwe knop "Volgende: Review" te klikken. Op dit scherm kunt u controleren of de naam, het toegangstype en de rechten correct zijn. Als het goed is, drukt u op de blauwe knop "Gebruiker maken".

AWS stap 9
AWS stap 9

Stap 9. Download toegangssleutel-ID en geheime toegangssleutel

Druk hiervoor op de knop "Download.csv" in het midden van de pagina. Het is uiterst belangrijk om deze twee codes bij te houden. Ze kunnen niet worden hersteld en er moet een nieuwe gebruiker worden gemaakt.

AWS stap 10
AWS stap 10

Stap 10. Configureer de AWS-opdrachtregelinterface

Open de opdrachtregel van uw computer opnieuw. Voer het commando "aws configure" in. Voer uw toegangssleutel-ID en geheime toegangssleutel in uit het.csv-bestand dat u in de vorige stap hebt gedownload. Druk op type "us-west-2" voor de standaardregio bij de derde prompt en druk op enter voor de laatste prompt. Uw computer is nu officieel verbonden met AWS.

AWS stap 11
AWS stap 11

Stap 11. Pip Installeer de Boto3-pythonbibliotheek

Boto3 is de gratis python-bibliotheek die interactie met Amazon Web Services mogelijk maakt. Om te installeren, typt u "pip install boto3" in de opdrachtprompt. Als dit lukt, verschijnt een reeks berichten en een laadbalk in de opdrachtprompt. Wanneer het laden is voltooid, is het tijd om python te gebruiken.

Stap 12. Open je favoriete python-editor

Start een nieuw python-script en importeer de boto3-bibliotheek door op de eerste regel "import boto3" te typen.

Stap 13. Maak een S3-emmer

S3 staat voor Simple Storage Service en een bucket is een map in de cloud waarin u bestanden kunt opslaan. Zorg ervoor dat u de bucket vervangt door de naam die u maar wilt.

s3_client = boto3.client('s3') s3_client.create_bucket(Bucket="")

Stap 14. Upload een bestand naar AWS

Voeg de volgende twee opdrachten toe aan je script:

client = boto3.client("s3") client.upload_file(, , )

De eerste regel bereidt uw code voor om bestanden naar S3 te uploaden. De volgende regel vereist dat u,, en vervangt. Het lokale bestandspad is het pad naar een bestand op uw computer, bijvoorbeeld "/users/tim/photos/puppy.jpg". De bucketnaam is de naam van uw bucket die u in de vorige stap hebt gemaakt en S3-bestandsnaam is de naam van uw bestand in de cloud.

Stap 15. Download het bestand van AWS

Gebruik de volgende 3 opdrachten om een bestand van AWS te downloaden:

s3 = boto3.resource("s3") bucket = s3. Bucket("") bucket.download_file("", "")

Gebruik dezelfde waarden voor en van de vorige stappen. moet nu aangeven waar u het bestand wilt downloaden en hoe het wordt genoemd.

    Tips

    boto3.amazonaws.com/v1/documentation/api/1.10.46/guide/quickstart.html

    • U kunt hier meer leren over het gebruik van meer AWS-services met python:.

Aanbevolen: