Đọc tệp CSV từ lưu trữ Azure blob python

SQL

Sử dụng câu lệnh

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

1. Trong bảng điều khiển Google Cloud, hãy truy cập trang BigQuery

   Truy cập BigQuery

2. Trong trình chỉnh sửa truy vấn, hãy nhập câu lệnh sau

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   5

3. Nhấp vào play_circle Chạy.

Để biết thêm thông tin về cách chạy truy vấn, hãy xem Chạy truy vấn tương tác

bq

Sử dụng lệnh

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

[Tùy chọn] Cung cấp cờ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Các cờ tùy chọn khác bao gồm

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  20. Khi được chỉ định, hãy chấp nhận các hàng trong tệp CSV bị thiếu các cột tùy chọn ở cuối. Các giá trị bị thiếu được coi là null. Nếu không được chọn, các bản ghi bị thiếu cột theo sau được coi là bản ghi không hợp lệ và nếu có quá nhiều bản ghi không hợp lệ, lỗi không hợp lệ sẽ được trả về trong kết quả công việc. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  10

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  22. Khi được chỉ định, cho phép các phần dữ liệu được trích dẫn có chứa ký tự dòng mới trong tệp CSV. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  10

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  24. Ký tự chỉ ranh giới giữa các cột trong dữ liệu. Cả

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  25 và

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  26 đều được phép sử dụng dấu phân cách tab. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  27

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  28. Chuỗi tùy chỉnh tùy chọn đại diện cho giá trị NULL trong dữ liệu CSV

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  29. Chỉ định số hàng tiêu đề cần bỏ qua ở đầu tệp CSV. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  31. Ký tự trích dẫn được sử dụng để đính kèm bản ghi. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  32. Để biểu thị không có ký tự trích dẫn, hãy sử dụng một chuỗi rỗng

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  33. Một số nguyên xác định số bản ghi lỗi tối đa được phép trước khi toàn bộ công việc không thành công. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17. Nhiều nhất, năm lỗi thuộc bất kỳ loại nào được trả về bất kể giá trị

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  33

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  36. Khi được chỉ định, cho phép và bỏ qua các giá trị bổ sung, không được nhận dạng trong dữ liệu CSV hoặc JSON

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17. Khi được chỉ định, hãy bật tính năng tự động phát hiện lược đồ cho dữ liệu CSV và JSON

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  38. Cho phép phân vùng dựa trên thời gian trên bảng và đặt loại phân vùng. Các giá trị có thể là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  39,

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  20,

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  21 và

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  22. Cờ này là tùy chọn khi bạn tạo bảng được phân vùng trên cột

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  3,

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  24 hoặc

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  6. Loại phân vùng mặc định cho phân vùng dựa trên thời gian là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  20. Bạn không thể thay đổi đặc tả phân vùng trên một bảng hiện có

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  27. Một số nguyên chỉ định [tính bằng giây] khi nào nên xóa phân vùng dựa trên thời gian. Thời gian hết hạn ước tính theo ngày UTC của phân vùng cộng với giá trị số nguyên

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  28. Cột

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  3 hoặc

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  6 được sử dụng để tạo bảng được phân vùng. Nếu phân vùng dựa trên thời gian được bật mà không có giá trị này, thì một bảng được phân vùng theo thời gian nhập sẽ được tạo

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  501. Khi được bật, tùy chọn này yêu cầu người dùng bao gồm mệnh đề

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  502 chỉ định các phân vùng để truy vấn. Yêu cầu bộ lọc phân vùng có thể giảm chi phí và cải thiện hiệu suất. Để biết thêm thông tin, hãy xem Truy vấn các bảng được phân vùng

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  503. Danh sách được phân tách bằng dấu phẩy gồm tối đa bốn tên cột được sử dụng để tạo bảng nhóm

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  504. Khóa Cloud KMS để mã hóa dữ liệu bảng

  Để biết thêm thông tin về lệnh

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  14, hãy xem
  • Tham chiếu dòng lệnh

  Để biết thêm thông tin về các bảng được phân vùng, hãy xem

  • Tạo các bảng được phân vùng

  Để biết thêm thông tin về các bảng nhóm, hãy xem

  • Tạo và sử dụng các bảng nhóm

  Để biết thêm thông tin về mã hóa bảng, hãy xem

  • Bảo vệ dữ liệu bằng khóa Cloud KMS

Để tải dữ liệu CSV vào BigQuery, hãy nhập lệnh sau

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Ở đâu

• vị trí là vị trí của bạn. Cờ

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  19 là tùy chọn. Ví dụ: nếu bạn đang sử dụng BigQuery ở khu vực Tokyo, thì bạn có thể đặt giá trị của cờ thành

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  507. Bạn có thể đặt giá trị mặc định cho vị trí bằng cách sử dụng. tập tin bigqueryrc
• định dạng là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  15
• tập dữ liệu là một tập dữ liệu hiện có
• bảng là tên của bảng mà bạn đang tải dữ liệu vào
• path_to_source là URI lưu trữ đám mây đủ điều kiện hoặc danh sách URI được phân tách bằng dấu phẩy. Ký tự đại diện cũng được hỗ trợ
• lược đồ là một lược đồ hợp lệ. Lược đồ có thể là tệp JSON cục bộ hoặc có thể được nhập nội tuyến như một phần của lệnh. Bạn cũng có thể sử dụng cờ

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17 thay vì cung cấp định nghĩa lược đồ

ví dụ

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

blob_container = 'yourblobcontainername'
filePath = "wasbs://" + blob_container + "@" + storage_account_name + ".blob.core.windows.net/Sales/SalesFile.csv"
salesDf = spark.read.format["csv"].load[filePath, inferSchema = True, header = True]

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ nhiều tệp trong

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ nhiều tệp trong

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

API

1. Tạo công việc

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   547 trỏ đến dữ liệu nguồn trong Lưu trữ đám mây

2. [Tùy chọn] Chỉ định vị trí của bạn trong thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   548 trong phần

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   549 của tài nguyên công việc

3. Thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   550 phải đủ điều kiện, ở định dạng

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   551. Mỗi URI có thể chứa một ký tự đại diện '*'

4. Chỉ định định dạng dữ liệu CSV bằng cách đặt thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   552 thành

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   15

5. Để kiểm tra trạng thái công việc, hãy gọi

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   554, trong đó job_id là ID của công việc được yêu cầu ban đầu trả về
   • Nếu

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     555, công việc đã hoàn thành thành công
   • Nếu có thuộc tính

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     556, yêu cầu không thành công và đối tượng đó sẽ bao gồm thông tin mô tả những gì đã xảy ra. Khi yêu cầu không thành công, không có bảng nào được tạo và không có dữ liệu nào được tải
   • Nếu không có

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     556, công việc đã hoàn tất thành công, mặc dù có thể có một số lỗi không nghiêm trọng, chẳng hạn như sự cố khi nhập một vài hàng. Các lỗi không nghiêm trọng được liệt kê trong thuộc tính

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     558 của đối tượng công việc được trả lại

ghi chú API

• Công việc tải là nguyên tử và nhất quán;

• Cách tốt nhất là tạo một ID duy nhất và chuyển ID đó thành

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  559 khi gọi

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  560 để tạo công việc tải. Cách tiếp cận này hiệu quả hơn đối với sự cố mạng vì khách hàng có thể thăm dò hoặc thử lại trên ID công việc đã biết

• Gọi

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  560 trên ID công việc nhất định là idempotent. Bạn có thể thử lại bao nhiêu lần tùy thích trên cùng một ID công việc và nhiều nhất một trong các thao tác đó sẽ thành công

C#

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Đi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Java

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Nút. js

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

PHP

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

con trăn

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

hồng ngọc

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Đi

Trước khi dùng thử mẫu này, hãy làm theo hướng dẫn thiết lập Go trong phần bắt đầu nhanh BigQuery bằng thư viện máy khách. Để biết thêm thông tin, hãy xem tài liệu tham khảo API BigQuery Go .

Xem trên GitHub Phản hồi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Java

Trước khi dùng thử mẫu này, hãy làm theo hướng dẫn thiết lập Java trong hướng dẫn bắt đầu nhanh BigQuery bằng thư viện máy khách. Để biết thêm thông tin, hãy xem tài liệu tham khảo API BigQuery Java .

Xem trên GitHub Phản hồi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Nút. js

Trước khi thử mẫu này, hãy làm theo Nút. js hướng dẫn thiết lập trong bắt đầu nhanh BigQuery bằng thư viện máy khách. Để biết thêm thông tin, hãy xem Nút BigQuery. js Tài liệu tham khảo API.

Xem trên GitHub Phản hồi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

con trăn

Trước khi dùng thử mẫu này, hãy làm theo hướng dẫn thiết lập Python trong hướng dẫn bắt đầu nhanh BigQuery bằng thư viện máy khách. Để biết thêm thông tin, hãy xem tài liệu tham khảo API BigQuery Python .

Xem trên GitHub Phản hồi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Bảng điều khiển

1. Trong bảng điều khiển Google Cloud, hãy truy cập trang BigQuery

   Truy cập BigQuery

2. Trong ngăn Explorer, hãy mở rộng dự án của bạn rồi chọn một tập dữ liệu
3. Trong phần Thông tin tập dữ liệu, hãy nhấp vào add_box Tạo bảng.
4. Trong bảng Tạo bảng, chỉ định các chi tiết sau
1. Trong phần Nguồn, chọn Google Cloud Storage trong danh sách Tạo bảng từ. Sau đó, làm như sau
   1. Chọn một tệp từ nhóm Lưu trữ đám mây hoặc nhập URI lưu trữ đám mây. Bạn không thể bao gồm nhiều URI trong bảng điều khiển Google Cloud, nhưng các ký tự đại diện được hỗ trợ. Bộ chứa Lưu trữ đám mây phải ở cùng vị trí với tập dữ liệu chứa bảng mà bạn muốn tạo, nối thêm hoặc ghi đè.
   2. Đối với Định dạng tệp, hãy chọn CSV
Ghi chú. Có thể sửa đổi lược đồ của bảng khi bạn nối thêm hoặc ghi đè lên nó. Để biết thêm thông tin về các thay đổi lược đồ được hỗ trợ trong quá trình hoạt động tải, hãy xem Sửa đổi lược đồ bảng
2. Trong phần Đích, chỉ định các chi tiết sau
   1. Đối với Tập dữ liệu, hãy chọn tập dữ liệu mà bạn muốn tạo bảng
   2. Trong trường Bảng, nhập tên của bảng mà bạn muốn tạo
   3. Xác minh rằng trường Loại bảng được đặt thành Bảng gốc
3. Trong phần Lược đồ, nhập định nghĩa lược đồ. Để bật tính năng tự động phát hiện lược đồ, hãy chọn Tự động phát hiện. Bạn có thể nhập thông tin lược đồ theo cách thủ công bằng cách sử dụng một trong các phương pháp sau
   • lựa chọn 1. Nhấp vào Chỉnh sửa dưới dạng văn bản và dán lược đồ ở dạng mảng JSON. Khi bạn sử dụng một mảng JSON, bạn tạo lược đồ bằng quy trình tương tự như tạo tệp lược đồ JSON. Bạn có thể xem lược đồ của một bảng hiện có ở định dạng JSON bằng cách nhập lệnh sau.

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     7
   • Tùy chọn 2. Nhấp vào add_box Thêm trường và nhập lược đồ bảng. Chỉ định Tên, Loại và Chế độ của từng trường.
   Ghi chú. Có thể sửa đổi lược đồ của bảng khi bạn nối thêm hoặc ghi đè lên nó. Để biết thêm thông tin về các thay đổi lược đồ được hỗ trợ trong quá trình hoạt động tải, hãy xem Sửa đổi lược đồ bảng
4. Không bắt buộc. Chỉ định cài đặt phân vùng và cụm. Để biết thêm thông tin, hãy xem Tạo các bảng được phân vùng và Tạo và sử dụng các bảng được phân cụm. Bạn không thể chuyển đổi bảng thành bảng được phân vùng hoặc nhóm bằng cách nối thêm hoặc ghi đè lên bảng đó. Bảng điều khiển Google Cloud không hỗ trợ nối thêm hoặc ghi đè lên các bảng được phân vùng hoặc nhóm trong một tác vụ tải
5. Nhấp vào Tùy chọn nâng cao và thực hiện các thao tác sau
   • Đối với tùy chọn Viết, hãy chọn Thêm vào bảng hoặc Ghi đè lên bảng
   • Đối với Số lượng lỗi được phép, hãy chấp nhận giá trị mặc định của

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     17 hoặc nhập số hàng tối đa chứa lỗi có thể bỏ qua. Nếu số lượng hàng có lỗi vượt quá giá trị này, công việc sẽ dẫn đến thông báo

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     18 và không thành công. Tùy chọn này chỉ áp dụng cho các tệp CSV và JSON
   • Nếu bạn muốn bỏ qua các giá trị trong một hàng không có trong lược đồ của bảng, hãy chọn Giá trị không xác định
   • Đối với Dấu phân cách trường, hãy chọn ký tự phân tách các ô trong tệp CSV của bạn. Dấu phẩy, Tab, Ống hoặc Tùy chỉnh. Nếu chọn Custom thì điền dấu phân cách vào ô Custom field delimiter. Giá trị mặc định là Dấu phẩy
   • Để bỏ qua các hàng Tiêu đề, hãy nhập số hàng tiêu đề cần bỏ qua ở đầu tệp CSV. Giá trị mặc định là

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     17
   • Đối với các dòng mới được trích dẫn, hãy kiểm tra Cho phép các dòng mới được trích dẫn để cho phép các phần dữ liệu được trích dẫn có chứa các ký tự dòng mới trong tệp CSV. Giá trị mặc định là

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     10
   • Đối với các hàng có răng cưa, hãy chọn Cho phép các hàng có răng cưa chấp nhận các hàng trong tệp CSV bị thiếu các cột tùy chọn ở cuối. Các giá trị bị thiếu được coi là null. Nếu không được chọn, các bản ghi bị thiếu cột theo sau được coi là bản ghi không hợp lệ và nếu có quá nhiều bản ghi không hợp lệ, lỗi không hợp lệ sẽ được trả về trong kết quả công việc. Giá trị mặc định là

         bq load \
         --source_format=CSV \
         mydataset.mytable \
         gs://mybucket/mydata.csv \
         ./myschema.json
     

     10
   • Đối với Mã hóa, hãy nhấp vào Khóa do khách hàng quản lý để sử dụng khóa Dịch vụ quản lý khóa đám mây. Nếu bạn rời khỏi tùy chọn cài đặt khóa do Google quản lý, thì BigQuery sẽ mã hóa dữ liệu ở trạng thái lưu trữ
6. Nhấp vào Tạo bảng

SQL

Sử dụng câu lệnh

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

1. Trong bảng điều khiển Google Cloud, hãy truy cập trang BigQuery

   Truy cập BigQuery

2. Trong trình chỉnh sửa truy vấn, hãy nhập câu lệnh sau

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   83

3. Nhấp vào play_circle Chạy.

Để biết thêm thông tin về cách chạy truy vấn, hãy xem Chạy truy vấn tương tác

bq

Sử dụng lệnh

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Cung cấp lược đồ nội tuyến, trong tệp định nghĩa lược đồ hoặc sử dụng tính năng tự động phát hiện lược đồ. Nếu bạn không chỉ định lược đồ và

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Chỉ định cờ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Có thể sửa đổi lược đồ của bảng khi bạn nối thêm hoặc ghi đè lên nó. Để biết thêm thông tin về các thay đổi lược đồ được hỗ trợ trong quá trình vận hành tải, hãy xem Sửa đổi lược đồ bảng

[Tùy chọn] Cung cấp cờ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Các cờ tùy chọn khác bao gồm

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  20. Khi được chỉ định, hãy chấp nhận các hàng trong tệp CSV bị thiếu các cột tùy chọn ở cuối. Các giá trị bị thiếu được coi là null. Nếu không được chọn, các bản ghi bị thiếu cột theo sau được coi là bản ghi không hợp lệ và nếu có quá nhiều bản ghi không hợp lệ, lỗi không hợp lệ sẽ được trả về trong kết quả công việc. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  10

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  22. Khi được chỉ định, cho phép các phần dữ liệu được trích dẫn có chứa ký tự dòng mới trong tệp CSV. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  10

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  24. Ký tự chỉ ranh giới giữa các cột trong dữ liệu. Cả

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  25 và

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  26 đều được phép sử dụng dấu phân cách tab. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  27

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  28. Chuỗi tùy chỉnh tùy chọn đại diện cho giá trị NULL trong dữ liệu CSV

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  29. Chỉ định số hàng tiêu đề cần bỏ qua ở đầu tệp CSV. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  31. Ký tự trích dẫn được sử dụng để đính kèm bản ghi. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  32. Để biểu thị không có ký tự trích dẫn, hãy sử dụng một chuỗi rỗng

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  33. Một số nguyên xác định số bản ghi lỗi tối đa được phép trước khi toàn bộ công việc không thành công. Giá trị mặc định là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17. Nhiều nhất, năm lỗi thuộc bất kỳ loại nào được trả về bất kể giá trị

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  33

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  36. Khi được chỉ định, cho phép và bỏ qua các giá trị bổ sung, không được nhận dạng trong dữ liệu CSV hoặc JSON

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17. Khi được chỉ định, hãy bật tính năng tự động phát hiện lược đồ cho dữ liệu CSV và JSON

•     bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  504. Khóa Cloud KMS để mã hóa dữ liệu bảng

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

ở đâu

• vị trí là vị trí của bạn. Cờ

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  19 là tùy chọn. Bạn có thể đặt giá trị mặc định cho vị trí bằng cách sử dụng. tập tin bigqueryrc
• định dạng là

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  15
• tập dữ liệu là một tập dữ liệu hiện có
• bảng là tên của bảng mà bạn đang tải dữ liệu vào
• path_to_source là URI lưu trữ đám mây đủ điều kiện hoặc danh sách URI được phân tách bằng dấu phẩy. Ký tự đại diện cũng được hỗ trợ
• lược đồ là một lược đồ hợp lệ. Lược đồ có thể là tệp JSON cục bộ hoặc có thể được nhập nội tuyến như một phần của lệnh. Bạn cũng có thể sử dụng cờ

      bq load \
      --source_format=CSV \
      mydataset.mytable \
      gs://mybucket/mydata.csv \
      ./myschema.json
  

  17 thay vì cung cấp định nghĩa lược đồ

ví dụ

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Lệnh sau tải dữ liệu từ

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

API

1. Tạo công việc

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   547 trỏ đến dữ liệu nguồn trong Lưu trữ đám mây

2. [Tùy chọn] Chỉ định vị trí của bạn trong thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   548 trong phần

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   549 của tài nguyên công việc

3. Thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   550 phải đủ điều kiện, ở định dạng

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   551. Bạn có thể bao gồm nhiều URI dưới dạng danh sách được phân tách bằng dấu phẩy. Lưu ý rằng ký tự đại diện cũng được hỗ trợ

4. Chỉ định định dạng dữ liệu bằng cách đặt thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   820 thành

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   15

5. Chỉ định tùy chọn ghi bằng cách đặt thuộc tính

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   822 thành

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   570 hoặc

       bq load \
       --source_format=CSV \
       mydataset.mytable \
       gs://mybucket/mydata.csv \
       ./myschema.json
   

   567

Đi

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Java

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

Nút. js

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

con trăn

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json