Làm cách nào để chạy tập lệnh python trong aws?

Đôi khi bạn cần rất nhiều tài nguyên máy tính hoặc tài nguyên máy tính rất chuyên dụng và máy tính xách tay của bạn không đáp ứng được yêu cầu. Lần đầu tiên tôi học được điều này khi cố gắng tối ưu hóa các siêu tham số cho một bộ phân loại rừng ngẫu nhiên. Bạn có thể đọc thêm về bộ phân loại đó tại đây, đó là một dự án thú vị trong đó đào tạo một mô hình để dự đoán người chiến thắng trong U. S. bầu cử sơ bộ

Vậy là bạn đã thiết lập và chạy một phiên bản EC2 trên AWS [Nếu bạn chưa có phiên bản này, hãy xem bài đăng này. https. //Trung bình. com/@praneeth. jm/khởi chạy và kết nối với một aws-ec2-instance-6678f660bbe6]

Bây giờ hãy xem cách chúng ta có thể thiết lập môi trường python, chuyển tập lệnh python từ máy cục bộ của bạn sang phiên bản từ xa và chạy chúng

Phiên bản AWS EC2 trên PuTTY

Để xem mọi thứ được cài đặt trong phiên bản của bạn, hãy nhập các lệnh sau

cd /usr/bin/
ls

1. Bạn có thể sẽ thấy python 2. 7 đã được cài đặt, đây là phiên bản cũ hơn, vì vậy hãy tiếp tục và cài đặt python 3. 6

sudo yum install python36

Ngay cả sau khi cài đặt python 3. 6, chạy

sudo yum install python36

4 trong thiết bị đầu cuối PuTTY vẫn trỏ đến python 2. 7, hãy thay đổi điều đó

alternatives --set python /usr/bin/python3.6python --version

Những gì chúng tôi đã làm ở đó là thay đổi python mặc định thành phiên bản mới hơn, bây giờ nó sẽ trỏ đến python 3. 6

2. Tiếp theo, chúng tôi muốn cài đặt pip3 mà chúng tôi sẽ sử dụng để cài đặt các gói python

cd /tmp
curl -O //bootstrap.pypa.io/get-pip.py
python3 get-pip.py --user
pip3 --version

Bây giờ chúng ta có thể sử dụng pip3 để cài đặt các gói python. Nếu bạn muốn cài đặt gói selen, hãy chạy phần sau trong thiết bị đầu cuối PuTTY của bạn

pip3 install selenium --user

Hãy chuyển tập lệnh python từ máy cục bộ của chúng ta sang phiên bản EC2 và thử chạy tập lệnh đó

1. Trước tiên hãy mở một thiết bị đầu cuối windows trên máy của bạn bằng cmd
2. Sử dụng scp [Giao thức sao chép an toàn] để truyền tệp giữa máy cục bộ và máy chủ từ xa. Lệnh scp có ba đối số, đối số đầu tiên là đường dẫn tệp đến khóa riêng “. pem”, đối số thứ hai là đường dẫn đến vị trí của tệp bạn muốn sao chép từ máy của mình và đối số thứ ba là đường dẫn đến vị trí trên phiên bản mà bạn muốn sao chép tệp đó

scp -i path/to/.pem_file path/to/file   username@host_address.amazonaws.com:/path_to_copy

sudo yum install python36

5 trong đoạn mã trên không là gì ngoài tên miền của phiên bản mà bạn có thể tìm thấy trên trang “Xem phiên bản” trên aws

Ví dụ: tôi có tệp khóa riêng “kiểm tra. pem” và tập lệnh python “kiểm tra. py” ở vị trí “D. /ec2/” và tôi muốn sao chép chúng từ máy cục bộ của mình vào thư mục chính của phiên bản ec2

scp -i D:/ec2/test.pem D:/ec2/test.py ec2-user@ec2-18-191-31-0.us-east-2.compute.amazonaws.com:/home/ec2-user

Đảm bảo rằng bạn chạy cái này trong thiết bị đầu cuối dòng lệnh của windows chứ không phải thiết bị đầu cuối PuTTY,. Ghi chú. Nếu bạn gặp lỗi cho biết “Quyền bị từ chối” hoặc “Quyền quá mở”, thì chúng tôi cần thay đổi quyền cho “. pem” tệp khóa riêng tư sao cho chỉ chủ sở hữu mới có quyền truy cập vào tệp đó

3. Nhấp chuột phải vào “. pem” > Chọn Thuộc tính > Nhấp vào tab “Bảo mật” > Nhấp vào “Nâng cao” > Nhấp vào “Vô hiệu hóa kế thừa”. Điều này sẽ xóa tất cả các mục nhập Quyền

4. Bây giờ bạn cần thêm quyền cho chủ sở hữu, vì vậy hãy ghi lại tên người dùng hiển thị là chủ sở hữu trên màn hình. Sau đó Nhấp vào “Thêm” > Nhấp vào “Chọn hiệu trưởng” > Nhập tên chủ sở hữu vào hộp văn bản có nội dung “Nhập tên đối tượng để chọn” > Nhấp vào “Kiểm tra tên”. Bây giờ, tên Chủ sở hữu sẽ xuất hiện trong hộp đó > Nhấp vào OK > Kiểm tra “Kiểm soát hoàn toàn” > Nhấp vào OK

5. Chạy lại lệnh scp ngay bây giờ và bạn sẽ thấy các tệp của mình được chuyển sang phiên bản EC2

Bây giờ hãy kết nối với phiên bản EC2 trong PuTTY và nhập vào

sudo yum install python36

6 , thao tác này sẽ cung cấp cho bạn danh sách tất cả các tệp trong thư mục làm việc hiện tại, bây giờ bạn sẽ thấy phần “kiểm tra. py” là tập lệnh python để in “Xin chào thế giới”. Chạy tập lệnh đó bằng cách sử dụng

sudo yum install python36

0 và bạn sẽ thấy đầu ra

Nếu bạn muốn mở tệp python, xem nội dung của nó và thay đổi nó, bạn có thể sử dụng các lệnh Linux sau trong thiết bị đầu cuối PuTTY

sudo yum install python36

1 mở tập lệnh python để xem. Nếu bạn muốn chỉnh sửa tệp, hãy nhấn

sudo yum install python36

2, sau đó chỉnh sửa tệp bằng bàn phím của bạn, sau khi thực hiện xong các thay đổi, hãy nhấn phím thoát, sau đó nhập

sudo yum install python36

3 và nhấn phím enter, để ghi các thay đổi vào tệp và thoát

Bạn cũng có thể thiết lập một công việc định kỳ để tự động chạy các tập lệnh python tại một khoảng thời gian hoặc khoảng thời gian cụ thể trong phiên bản ec2 của bạn. Để làm điều này

1. Bắt đầu dịch vụ cron

   sudo yum install python36

   4
2. Chỉnh sửa tệp crontab bằng cách sử dụng

   sudo yum install python36

   5
3. Thêm đường dẫn tệp của tệp bạn muốn chạy. Nhấn phím “i” để bắt đầu chỉnh sửa tệp và sau đó thêm

   sudo yum install python36

   6. Đảm bảo rằng bạn cung cấp đường dẫn đầy đủ tới tập lệnh python mà bạn muốn chạy

Chuỗi thời gian cron là năm giá trị được phân tách bằng dấu cách, mỗi giá trị chỉ định phút [0–59], giờ [0–23], ngày trong tháng [1–31], tháng [1–12] và ngày trong tuần [0

Nếu bạn thêm dấu gạch chéo [ / ] và một số nguyên vào ký tự đại diện ở bất kỳ vị trí ký tự nào, bạn có thể định cấu hình tác vụ định kỳ để chạy theo khoảng thời gian đều đặn

Nếu bạn muốn thực hiện một số thao tác quét web bằng Selenium và ChromeDriver, hãy xem bài đăng tiếp theo của tôi. https. //Trung bình. com/@praneeth. jm/running-chromedriver-and-selenium-in-python-on-an-aws-ec2-instance-2fb4ad633bb5