MENU
  1. Início
  2. Python
  3. Como Integrar SQLite e Arquivos CSV Usando Python: Guia Prático

Como Integrar SQLite e Arquivos CSV Usando Python: Guia Prático

Python

Este guia explica como integrar SQLite e arquivos CSV usando Python, desde o básico até as técnicas avançadas. Aqui, vamos detalhar como criar um banco de dados, inserir e recuperar dados, além de ler e escrever arquivos CSV, passo a passo. Este é um guia ideal para iniciantes, oferecendo procedimentos fáceis de entender e ajudando a adquirir habilidades para gerenciar dados de forma eficiente.

Índice

Fundamentos de Python e SQLite

Para usar o SQLite no Python, você deve primeiro importar a biblioteca SQLite. O Python inclui sqlite3 como parte de sua biblioteca padrão, o que facilita a manipulação de bancos de dados SQLite.

Importando a Biblioteca SQLite

Primeiro, importe a biblioteca sqlite3 no seu script Python. Isso permitirá interagir com o banco de dados SQLite.

import sqlite3

Estabelecendo Conexão com o Banco de Dados

Em seguida, conecte-se ao banco de dados SQLite. Se o arquivo do banco de dados não existir, ele será criado automaticamente.

# Conectando ao banco de dados
conn = sqlite3.connect('example.db')

Criando o Cursor

Para executar operações no banco de dados, você precisa criar um cursor. O cursor é usado para executar comandos SQL e recuperar resultados.

# Criando o cursor
cur = conn.cursor()

Criando uma Tabela

Execute um comando SQL para criar uma tabela. Neste exemplo, vamos criar uma tabela chamada ‘users’ para armazenar informações sobre os usuários.

# Comando SQL para criar a tabela
create_table_sql = '''
CREATE TABLE IF NOT EXISTS users (
    id INTEGER PRIMARY KEY,
    name TEXT NOT NULL,
    age INTEGER
)
'''
# Executando o comando SQL
cur.execute(create_table_sql)

Salvando as Alterações no Banco de Dados

As alterações feitas no banco de dados devem ser salvas usando o método commit().

# Salvando as alterações
conn.commit()

Fechando a Conexão com o Banco de Dados

Depois de concluir as operações no banco de dados, feche a conexão para liberar recursos.

# Fechando a conexão
conn.close()

Esta seção descreveu os passos básicos para usar o SQLite com Python. Na próxima seção, vamos detalhar como criar um banco de dados específico.

Criando um Banco de Dados SQLite

Nesta seção, vamos detalhar o processo de criação de um novo banco de dados SQLite usando Python. Através de exemplos de código, aprenderemos como configurar o banco de dados e realizar operações básicas.

Criando um Novo Banco de Dados

Para criar um novo banco de dados SQLite usando Python, basta seguir os passos descritos anteriormente, utilizando a biblioteca sqlite3.

import sqlite3

# Criando ou conectando ao novo banco de dados example.db
conn = sqlite3.connect('new_example.db')

Criando o Cursor e Definindo a Tabela

Depois de se conectar ao banco de dados, crie a tabela desejada. A definição da tabela é feita através de um comando SQL.

# Criando o cursor
cur = conn.cursor()

# Definindo o SQL para a nova tabela
create_table_sql = '''
CREATE TABLE IF NOT EXISTS products (
    id INTEGER PRIMARY KEY,
    name TEXT NOT NULL,
    price REAL
)
'''
# Executando o comando SQL para criar a tabela
cur.execute(create_table_sql)

Criando Múltiplas Tabelas

É possível criar várias tabelas dentro de um único banco de dados. O exemplo abaixo cria uma tabela adicional chamada ‘categories’.

# Definindo o SQL para a tabela categories
create_categories_table_sql = '''
CREATE TABLE IF NOT EXISTS categories (
    id INTEGER PRIMARY KEY,
    name TEXT NOT NULL
)
'''
# Executando o comando SQL para criar a tabela categories
cur.execute(create_categories_table_sql)

Verificando as Tabelas Criadas

Para verificar as tabelas criadas, podemos consultar a lista de tabelas no banco de dados.

# Consultando as tabelas no banco de dados
cur.execute("SELECT name FROM sqlite_master WHERE type='table';")

# Obtendo e exibindo os resultados
tables = cur.fetchall()
print("Tabelas no banco de dados:", tables)

Salvando as Alterações e Fechando a Conexão

Após criar as tabelas, você pode salvar as alterações e fechar a conexão com o banco de dados.

# Salvando as alterações
conn.commit()

# Fechando a conexão
conn.close()

Esta seção explicou como criar um novo banco de dados SQLite e definir tabelas. A próxima seção detalha como inserir dados no banco de dados criado.

Inserindo Dados no Banco de Dados

Nesta seção, vamos aprender como inserir dados em um banco de dados SQLite. Vamos ver como adicionar dados de maneira eficiente usando Python.

Preparando a Inserção de Dados

Primeiro, conecte-se ao banco de dados e crie um cursor.

import sqlite3

# Conectando ao banco de dados
conn = sqlite3.connect('new_example.db')
cur = conn.cursor()

Inserindo uma Linha de Dados

Usando o comando SQL INSERT, você pode inserir uma única linha de dados em uma tabela. Vamos inserir um produto na tabela ‘products’.

# Dados a serem inseridos
product_data = (1, 'Laptop', 1200.99)

# Comando SQL para inserir os dados
insert_product_sql = 'INSERT INTO products (id, name, price) VALUES (?, ?, ?)'

# Executando o comando SQL
cur.execute(insert_product_sql, product_data)

Inserindo Múltiplas Linhas de Dados

Você pode usar o método executemany() para inserir múltiplas linhas de dados de uma vez.

# Dados a serem inseridos
multiple_products_data = [
    (2, 'Smartphone', 799.99),
    (3, 'Tablet', 499.99),
    (4, 'Monitor', 199.99)
]

# Inserindo os dados em massa
cur.executemany(insert_product_sql, multiple_products_data)

Verificando os Dados Inseridos

Para verificar se os dados foram inseridos corretamente, você pode consultar e exibir os dados da tabela.

# Consultando os dados inseridos
cur.execute('SELECT * FROM products')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Tratamento de Erros

Para garantir que erros durante a inserção de dados sejam tratados corretamente, você pode implementar um bloco try-except.

try:
    # Inserindo dados
    cur.execute(insert_product_sql, (5, 'Keyboard', 49.99))
    conn.commit()
except sqlite3.Error as e:
    print("Ocorreu um erro:", e)
    conn.rollback()

Salvando as Alterações e Fechando a Conexão

Depois de inserir os dados, salve as alterações e feche a conexão com o banco de dados.

# Salvando as alterações
conn.commit()

# Fechando a conexão
conn.close()

Esta seção explicou como inserir dados no banco de dados SQLite. A próxima seção aborda como recuperar dados do banco de dados.

Como Recuperar Dados do Banco de Dados

Esta seção descreve como recuperar dados de um banco de dados SQLite. Usaremos o Python para pesquisar e exibir os dados de maneira eficiente.

Estabelecendo a Conexão com o Banco de Dados e Criando o Cursor

Primeiro, conecte-se ao banco de dados e crie um cursor.

import sqlite3

# Conectando ao banco de dados
conn = sqlite3.connect('new_example.db')
cur = conn.cursor()

Recuperando Todos os Dados

Para recuperar todos os dados, use o comando SELECT. Aqui, vamos recuperar todos os dados da tabela ‘products’.

# Recuperando os dados
cur.execute('SELECT * FROM products')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Recuperando Dados com Condições Específicas

Use a cláusula WHERE para recuperar dados que atendem a uma condição específica. Por exemplo, vamos recuperar produtos com preço superior a 500 dólares.

# Recuperando dados com condição
cur.execute('SELECT * FROM products WHERE price >= 500')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Recuperando Colunas Específicas

Também é possível recuperar apenas colunas específicas. Vamos recuperar apenas os nomes dos produtos e seus preços.

# Recuperando colunas específicas
cur.execute('SELECT name, price FROM products')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Ordenando os Dados

Use a cláusula ORDER BY para ordenar os dados de acordo com uma coluna específica. Vamos ordenar os dados pelos preços de forma ascendente.

# Recuperando dados em ordem crescente de preço
cur.execute('SELECT * FROM products ORDER BY price ASC')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Limitando os Resultados

Use a cláusula LIMIT para limitar o número de linhas retornadas. Por exemplo, vamos recuperar apenas as duas primeiras linhas.

# Limitando os resultados
cur.execute('SELECT * FROM products LIMIT 2')

# Exibindo os resultados
rows = cur.fetchall()
for row in rows:
    print(row)

Fechando a Conexão

Depois de recuperar os dados, feche a conexão para liberar recursos.

# Fechando a conexão
conn.close()

Esta seção explicou como recuperar dados de um banco de dados SQLite. A próxima seção aborda como ler arquivos CSV com Python.

Lendo Arquivos CSV

Nesta seção, vamos aprender como ler arquivos CSV com Python. O formato CSV é comumente usado para armazenar dados e pode ser manipulado facilmente com a biblioteca padrão do Python.

Importando o Módulo csv

Para manipular arquivos CSV, você precisa importar o módulo csv do Python.

import csv

Lendo um Arquivo CSV

Use csv.reader para ler um arquivo CSV. Aqui, vamos ler o arquivo sample.csv como exemplo.

# Lendo o arquivo CSV
with open('sample.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)

    # Lendo o cabeçalho
    header = next(csvreader)
    print('Cabeçalho:', header)

    # Lendo os dados
    for row in csvreader:
        print(row)

Obtendo o Conteúdo do CSV como Lista

Usando csv.reader, você pode obter os dados do CSV como uma lista.

# Lendo o arquivo CSV e obtendo os dados como lista
with open('sample.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)

    # Obtendo os dados como lista
    data = list(csvreader)
    for row in data:
        print(row)

Obtendo o Conteúdo do CSV como Dicionário

Usando csv.DictReader, você pode obter o conteúdo de um arquivo CSV no formato de dicionário, onde cada linha é tratada como um dicionário.

# Lendo o arquivo CSV como dicionário
with open('sample.csv', newline='') as csvfile:
    csvreader = csv.DictReader(csvfile)

    # Lendo os dados
    for row in csvreader:
        print(row)

Tratamento de Erros ao Ler Arquivos CSV

Se ocorrer um erro ao ler o arquivo CSV, você pode implementar um bloco try-except para tratá-lo.

try:
    with open('sample.csv', newline='') as csvfile:
        csvreader = csv.reader(csvfile)

        # Lendo o cabeçalho
        header = next(csvreader)
        print('Cabeçalho:', header)

        # Lendo os dados
        for row in csvreader:
            print(row)
except FileNotFoundError:
    print("Arquivo CSV não encontrado.")
except Exception as e:
    print("Ocorreu um erro:", e)

Esta seção explicou como ler arquivos CSV com Python. A próxima seção detalha como inserir dados de arquivos CSV em um banco de dados SQLite.

Inserindo Dados de Arquivos CSV em SQLite

Nesta seção, vamos aprender como inserir dados de arquivos CSV em um banco de dados SQLite. Você usará Python para importar os dados de um arquivo CSV e inseri-los no banco de dados de forma eficiente.

Lendo o Arquivo CSV

Primeiro, leia o arquivo CSV. Usaremos o método descrito na seção anterior para isso.

import csv
import sqlite3

# Lendo o arquivo CSV
with open('sample.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)
    header = next(csvreader)  # Lendo o cabeçalho
    data = list(csvreader)  # Obtendo os dados como lista

Conectando-se ao Banco de Dados SQLite

Agora, conecte-se ao banco de dados SQLite e crie um cursor.

# Conectando-se ao banco de dados SQLite
conn = sqlite3.connect('new_example.db')
cur = conn.cursor()

Preparando a Tabela

Antes de inserir os dados, verifique se a tabela já existe. Vamos usar a tabela ‘products’.

# Criando a tabela, se não existir
create_table_sql = '''
CREATE TABLE IF NOT EXISTS products (
    id INTEGER PRIMARY KEY,
    name TEXT NOT NULL,
    price REAL
)
'''
cur.execute(create_table_sql)

Inserindo os Dados

Agora, vamos inserir os dados do arquivo CSV no banco de dados SQLite. Usaremos o método executemany() para inserir várias linhas de uma vez.

# Comando SQL para inserir os dados
insert_product_sql = 'INSERT INTO products (id, name, price) VALUES (?, ?, ?)'

# Inserindo os dados em massa
cur.executemany(insert_product_sql, data)

Verificando os Dados Inseridos

Depois de inserir os dados, verifique se tudo foi inserido corretamente, recuperando e exibindo os dados do banco de dados.

# Consultando os dados inseridos
cur.execute('SELECT * FROM products')
rows = cur.fetchall()
for row in rows:
    print(row)

Tratamento de Erros

Caso ocorra um erro durante a inserção dos dados, implemente um tratamento de erro com um bloco try-except.

try:
    # Inserindo os dados
    cur.executemany(insert_product_sql, data)
    conn.commit()
except sqlite3.Error as e:
    print("Ocorreu um erro:", e)
    conn.rollback()

Salvando as Alterações e Fechando a Conexão

Depois de inserir os dados, salve as alterações e feche a conexão com o banco de dados.

# Salvando as alterações
conn.commit()

# Fechando a conexão
conn.close()

Esta seção descreveu como inserir dados de um arquivo CSV em um banco de dados SQLite. A próxima seção aborda como exportar dados de um banco de dados SQLite para um arquivo CSV.

Exportando Dados de um Banco de Dados SQLite para um Arquivo CSV

Nesta seção, vamos aprender como exportar dados de um banco de dados SQLite para um arquivo CSV. Usaremos Python para recuperar os dados e salvá-los em formato CSV.

Conectando-se ao Banco de Dados SQLite

Primeiro, conecte-se ao banco de dados SQLite e crie um cursor.

import sqlite3

# Conectando-se ao banco de dados SQLite
conn = sqlite3.connect('new_example.db')
cur = conn.cursor()

Recuperando os Dados

Recupere os dados a partir do banco de dados SQLite. Aqui, vamos recuperar todos os dados da tabela ‘products’.

# Recuperando os dados
cur.execute('SELECT * FROM products')

# Obtendo os resultados
rows = cur.fetchall()

Criando o Arquivo CSV e Escrevendo os Dados

Agora, vamos salvar os dados recuperados em um arquivo CSV. Usaremos o módulo csv.writer para escrever os dados no arquivo.

import csv

# Criando o arquivo CSV
with open('exported_data.csv', 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # Escrevendo o cabeçalho
    header = ['id', 'name', 'price']
    csvwriter.writerow(header)

    # Escrevendo os dados
    csvwriter.writerows(rows)

Tratamento de Erros

Se ocorrer um erro durante a exportação dos dados, implemente um tratamento de erro adequado.

try:
    # Criando o arquivo CSV
    with open('exported_data.csv', 'w', newline='') as csvfile:
        csvwriter = csv.writer(csvfile)

        # Escrevendo o cabeçalho
        header = ['id', 'name', 'price']
        csvwriter.writerow(header)

        # Escrevendo os dados
        csvwriter.writerows(rows)
except Exception as e:
    print("Ocorreu um erro ao exportar os dados:", e)

Verificando os Dados Exportados

Após exportar os dados, verifique o conteúdo do arquivo CSV para garantir que a exportação foi bem-sucedida.

# Lendo o arquivo CSV para verificar o conteúdo
with open('exported_data.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)
    for row in csvreader:
        print(row)

Fechando a Conexão

Depois de exportar os dados, feche a conexão com o banco de dados para liberar recursos.

# Fechando a conexão
conn.close()

Esta seção explicou como exportar dados de um banco de dados SQLite para um arquivo CSV. A próxima seção apresentará exemplos de análise de dados e criação de relatórios usando SQLite e CSV.

Exemplos Práticos: Análise de Dados e Criação de Relatórios

Nesta seção, apresentaremos exemplos práticos de como usar SQLite e arquivos CSV para análise de dados e criação de relatórios. Usaremos Python para analisar dados e gerar insights.

Importação e Pré-processamento dos Dados

Primeiro, importe os dados do arquivo CSV para o banco de dados SQLite. Em seguida, execute o pré-processamento dos dados.

import csv
import sqlite3

# Lendo o arquivo CSV
with open('sample.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)
    header = next(csvreader)
    data = list(csvreader)

# Conectando ao banco de dados SQLite
conn = sqlite3.connect('analysis_example.db')
cur = conn.cursor()

# Criando a tabela
cur.execute('''
CREATE TABLE IF NOT EXISTS sales (
    id INTEGER PRIMARY KEY,
    product_name TEXT NOT NULL,
    quantity INTEGER,
    price REAL,
    date TEXT
)
''')

# Inserindo os dados
insert_sql = 'INSERT INTO sales (id, product_name, quantity, price, date) VALUES (?, ?, ?, ?, ?)'
cur.executemany(insert_sql, data)

# Salvando as alterações
conn.commit()

Analisando os Dados

Usando funções de agregação do SQLite, podemos analisar os dados. Por exemplo, vamos calcular as vendas totais por produto.

# Calculando as vendas totais por produto
cur.execute('''
SELECT product_name, SUM(quantity * price) as total_sales
FROM sales
GROUP BY product_name
ORDER BY total_sales DESC
''')

# Exibindo os resultados
results = cur.fetchall()
for row in results:
    print(f"Produto: {row[0]}, Vendas Totais: {row[1]}")

Analisando Dados Temporais

Agora, vamos analisar dados temporais. Por exemplo, vamos calcular as vendas mensais.

# Calculando as vendas mensais
cur.execute('''
SELECT strftime('%Y-%m', date) as month, SUM(quantity * price) as monthly_sales
FROM sales
GROUP BY month
ORDER BY month
''')

# Exibindo os resultados
monthly_sales = cur.fetchall()
for row in monthly_sales:
    print(f"Mês: {row[0]}, Vendas Mensais: {row[1]}")

Visualizando os Dados

Usando matplotlib, podemos visualizar os dados. Por exemplo, vamos criar um gráfico das vendas mensais.

import matplotlib.pyplot as plt

# Exibindo o gráfico das vendas mensais
months = [row[0] for row in monthly_sales]
sales = [row[1] for row in monthly_sales]

plt.plot(months, sales, marker='o')
plt.title('Vendas Mensais')
plt.xlabel('Mês')
plt.ylabel('Vendas')
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

Criando um Relatório

Agora, vamos criar um relatório com os resultados da análise. O relatório incluirá texto e gráficos.

# Criando o relatório
report = """
Relatório de Análise de Dados

1. Vendas Totais por Produto
------------------
"""
for row in results:
    report += f"Produto: {row[0]}, Vendas Totais: {row[1]}\n"

report += "\n2. Vendas Mensais\n------------------\n"
for row in monthly_sales:
    report += f"Mês: {row[0]}, Vendas Mensais: {row[1]}\n"

# Salvando o relatório em um arquivo
with open('sales_report.txt', 'w') as report_file:
    report_file.write(report)

Resumo

Esta seção demonstrou exemplos práticos de análise de dados e criação de relatórios usando SQLite e arquivos CSV. Usamos Python para analisar dados e gerar insights significativos.

Na próxima seção, fornecemos exercícios práticos para ajudá-lo a aplicar o que aprendeu.

Exercícios

Esta seção fornece exercícios para ajudá-lo a praticar o que aprendeu. Resolvendo esses exercícios, você poderá aprimorar suas habilidades na integração do SQLite com arquivos CSV e análise de dados.

Exercício 1: Importando Dados de um Novo Arquivo CSV

Criar um arquivo CSV com novos dados de produtos (new_products.csv) e importar para o banco de dados SQLite. Crie uma nova tabela e insira os dados.

  1. Conteúdo do arquivo CSV: id,product_name,quantity,price,date 6,Headphones,150,99.99,2024-01-05 7,Smartwatch,200,199.99,2024-02-10 8,Speaker,100,149.99,2024-03-15
  2. Passos:
    • Conectar-se ao banco de dados SQLite
    • Criar uma nova tabela (ex: new_products)
    • Ler os dados do CSV e inseri-los na nova tabela

Exercício 2: Recuperando Dados com Condições Específicas

Recupere dados da tabela sales, com base em uma condição específica, como produtos com preço superior a 100 dólares.

  1. Condição:
    • Recuperar produtos com preço superior a 100 dólares
  2. Passos:
    • Conectar-se ao banco de dados SQLite
    • Usar SQL SELECT para recuperar dados que atendam à condição
    • Exibir os resultados

Exercício 3: Analisando e Visualizando Dados de Vendas Mensais

Calcule as vendas mensais e crie um gráfico de barras para exibir as variações sazonais nas vendas.

  1. Passos:
    • Recuperar dados de vendas mensais do banco de dados SQLite
    • Usar matplotlib para criar um gráfico de barras
    • Exibir o gráfico

Exercício 4: Exportando Dados para CSV

Exporte os dados da tabela sales para um arquivo CSV. Verifique o conteúdo do arquivo exportado.

  1. Passos:
    • Conectar-se ao banco de dados SQLite
    • Recuperar dados da tabela sales
    • Salvar os dados em um arquivo CSV
    • Verificar o conteúdo do arquivo CSV

Exercício 5: Criando um Relatório de Vendas

Analise as vendas de um período específico (ex: de janeiro a março de 2024) e crie um relatório. O relatório deve incluir os resultados da análise e gráficos.

  1. Passos:
    • Recuperar dados do banco de dados para o período específico
    • Realizar a análise e agregação dos dados
    • Gerar um relatório com os resultados
    • Incluir gráficos no relatório

Esses exercícios ajudarão a aprofundar seu conhecimento sobre a integração do SQLite com arquivos CSV e o uso de Python para análise de dados.

Resumo

Este guia cobriu como integrar SQLite e arquivos CSV usando Python. Aprendemos desde operações básicas de banco de dados até importação, exportação, análise de dados e geração de relatórios.

  • Criação e operação básica de bancos de dados SQLite
  • Inserção e recuperação de dados
  • Leitura de arquivos CSV e inserção no banco de dados
  • Exportação de dados e análise

Essas habilidades ajudarão a melhorar o gerenciamento e a análise de dados, permitindo que você execute tarefas de manipulação de dados com eficiência. Pratique resolvendo os exercícios fornecidos e continue a desenvolver suas habilidades em análise de dados com Python e SQLite.

Esperamos que este guia tenha contribuído para o seu aprendizado e aprimoramento das habilidades de gerenciamento de dados e análise.

Python
Análise de dados Banco de Dados CSV Exportação CSV Gestão de Dados Operações SQLite Python SQLite
Índice