Plataforma de documentação operacional e gerencial da SETIC
Aqui você vê as diferenças entre duas revisões dessa página.
Ambos lados da revisão anterior Revisão anterior Próxima revisão | Revisão anterior | ||
start:projetos:projetos_dev:sedi_data_mart_emprego:documentacao [2019/10/16 13:08] Abdenildo Deividy Sobreira dos Santos [Tratar os dados] |
start:projetos:projetos_dev:sedi_data_mart_emprego:documentacao [2022/01/25 15:26] (atual) |
||
---|---|---|---|
Linha 1: | Linha 1: | ||
====== Documentação do Projeto ====== | ====== Documentação do Projeto ====== | ||
- | ^ Histórico de Alterações | + | ^ Histórico de Alterações |
- | ^ Data ^ Versão | + | ^Data ^Versão ^Descrição ^Autor |
- | | 04/ | + | |04/09/2019 |1.0 |Criação da documentação modelo |[[: |
- | | 11/ | + | |11/09/2019 |1.1 |Documentação da Dimensão CNAE |[[: |
- | | 11/ | + | |11/09/2019 |1.2 |Documentação da Dimensão IBGE Subsetor |[[: |
- | | 13/ | + | |13/09/2019 |1.3 |Documentação da Dimensão Empregado (Cargas dimensões) |[[: |
- | | 16/ | + | |16/09/2019 |1.4 |Correção da Documentação da Dimensão Empregado - Correção visual da tabela Dimensão x Indicadores |[[: |
- | | 18/ | + | |18/09/2019 |1.5 |Documentação da Dimensão Ocupação |[[: |
- | | 20/ | + | |20/09/2019 |1.6 |Inclusão da periodicidade da fonte de dados |[[: |
- | | 23/ | + | |23/09/2019 |1.7 |Documentação da Dimensão Tempo |[[: |
- | | 09/ | + | |09/10/2019 |1.8 |Atualização das dimensões |[[: |
- | | 11/ | + | |11/10/2019 |1.9 |Atualização das dimensões e inserção da fato emprego |[[: |
- | | 14/11/2019 | 1.10 | Documentação da Tabela Fato, da Dimensão Tempo e Revisão das demais dimensões com inserção de novos prints das mesmas. | + | |14/10/2019 |1.10 |Documentação da Tabela Fato, da Dimensão Tempo e Revisão das demais dimensões com inserção de novos prints das mesmas. |[[: |
+ | |16/10/2019 |1.11 |Atualização da documentação, | ||
===== Canvas ===== | ===== Canvas ===== | ||
Linha 41: | Linha 42: | ||
**DIMENSÕES** | **DIMENSÕES** | ||
- | {{: | + | {{: |
---- | ---- | ||
Linha 47: | Linha 48: | ||
===== Identificação e Validação das fontes ===== | ===== Identificação e Validação das fontes ===== | ||
- | {{ : | + | {{ : |
---- | ---- | ||
Linha 71: | Linha 73: | ||
==== Tratar os dados ==== | ==== Tratar os dados ==== | ||
- | **ETL - Dimensões** | + | **ETL - Dimensões**{{ |
- | {{ : | + | |
- | **ETL - Dimensão tempo** | + | |
- | {{ : | + | |
- | **Carga Fato** | + | |
- | {{ : | + | |
- | ==== Construir o metadado ==== | + | {{ : |
- | ==== Elaborar Dicionário de Dados ==== | + | ==== Carregar as dimensões |
- | ==== Script | + | ^ dim_cbo_2002_ocupacao |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | | codigo | Código referente a Classificação Brasileira de Ocupações disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout do CAGED. | int | - | PK, Identity | | | ||
+ | | descricao | Descrição referente a Classificação Brasileira de Ocupação disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout | ||
- | <file sql script_dim_cbo_2002_ocupacao.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_cbo_2002_ocupacao | + | |
- | codigo int8 NULL, | + | |
- | descricao VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_classe_10 |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | | codigo | Código referente a Classificação Nacional de Atividades Econômicas (CNAE). Apresentada na tabela de layout do CAGED | varchar | 15 | PK | | ||
+ | | descricao | Descrição referente a Classificação Nacional de Atividades Econômicas (CNAE). Apresentada na tabela de layout do CAGED | varchar | 200 | Not null | | ||
- | <file sql script_dim_cbo_94_ocupacao.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_cbo_94_ocupacao ( | + | |
- | codigo int8 NULL, | + | |
- | descricao VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_cnae_20_subclas |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | | codigo | Código referente a CNAE disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout do CAGED | varchar | 15 | PK | | ||
+ | | descricao | Descrição referente a CNAE disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout do CAGED | varchar | 200 | Not null | | ||
- | <file sql script_dim_classe_10.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_classe_10 ( | + | |
- | descricao VARCHAR(200) NULL, | + | |
- | codigo VARCHAR(15) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_cnae_2_classe |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |codigo |Código referente a CNAE disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout do CAGED |varchar |15 |PK | | ||
+ | |descricao |Descrição referente a CNAE disponibilizada na tabela de Layout do CAGED. Apresentada na tabela de layout do CAGED |varchar |200 |Not null | | ||
- | <file sql script_dim_cnae_20_subclas.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_cnae_20_subclas ( | + | |
- | descricao VARCHAR(200) NULL, | + | |
- | codigo VARCHAR(15) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_ibge_subsetor |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |valor_na_fonte |Código referente ao subsetor determinado pelo IBGE. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |categoria |Descrição referente ao subsetor determinado pelo IBGE. Apresentando na tabela de layout do CAGED |varchar |67 |Not null | | ||
- | <file sql script_dim_cnae_2_classe.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_cnae_2_classe ( | + | |
- | codigo VARCHAR(15) NULL, | + | |
- | descricao VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_mesorregiao |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |codigo |Código referente a mesorregião determinada pelo IBGE. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |descricao |Descrição referente a mesorregião determinada pelo IBGE. Apresentando na tabela de layout do CAGED |varchar |200 |Not null | | ||
- | <file sql script_dim_empregados.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_empregados ( | + | |
- | cod_sexo int8 NULL, | + | |
- | cod_ano int8 NULL, | + | |
- | sexo VARCHAR(9) NULL, | + | |
- | cod_grau_instrucao int8 NULL, | + | |
- | grau_instrucao VARCHAR(23) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_microrregiao |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |codigo |Código referente a microrregião determinada pelo IBGE. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |descricao |Descrição referente a microrregião determinada pelo IBGE. Apresentando na tabela de layout do CAGED |varchar |200 |Not null | | ||
- | <file sql script_dim_ibge_subsetor.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_ibge_subsetor ( | + | |
- | categorias VARCHAR(67) NULL, | + | |
- | valor_na_fonte int4 NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_empregados |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |idade |Valor referente a idade do empregado |int |- |PK | | ||
+ | |cod_sexo |Código do sexo apresentado na Tabela de Layout do CAGED |int |- |Pk | | ||
+ | |cod_grau_instrucao |Código da escolaridade apresentado na Tabela de Layout do CAGED |int |- |Pk | | ||
+ | |sexo |Descrição do sexo, conforme apresentado na Tabela de Layout do CAGED |varchar |9 |Not null | | ||
+ | |grau_instrucao |Descrição do grau de instrução, | ||
- | <file sql script_dim_mesorregiao.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_mesorregiao ( | + | |
- | codigo int8 NULL, | + | |
- | descricao VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </file> | + | ^ dim_raca_cor |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |cod_raca_cor |Código da raça/cor conforme apresentado na tabela layout do CAGED. |int |- |PK | | ||
+ | |raca_cor |Descrição da raça/cor conforme apresentado na tabela layout do CAGED |varchar |9 |Not null | | ||
- | <file sql script_dim_microrregiao.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_microrregiao ( | + | |
- | codigo int8 NULL, | + | |
- | descricao VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_municipios |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |codigo |Código referente ao município. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |estado |Sigla do estado referente ao município. Apresentado na tabela de layout do CAGED |varchar |2 |Not null | | ||
+ | |cidade |Nome do município Apresentado na tabela de layout do CAGED. |varchar |200 |Not null | | ||
- | <file sql script_dim_municipios.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_municipios | + | |
- | codigo int8 NULL, | + | |
- | estado VARCHAR(2) NULL, | + | |
- | cidade VARCHAR(200) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_tipo_mov_desgregado |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |cod_tipo_mov_desgregado |Código do tipo de movimentação do desgregado. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |tipo_mov_desgregado |Descrição do tipo de movimentação do desgregado. Apresentado na tabela de layout do CAGED |varchar |45 |Not null | | ||
- | <file sql script_dim_raca_cor.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_raca_cor ( | + | |
- | cod_raca_cor int8 NULL, | + | |
- | raca_cor VARCHAR(9) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_tipo_defic |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |cod_tipo_defic |Código referente ao tipo de deficiência. Apresentado na tabela de layout do CAGED |int |- |PK | | ||
+ | |tipo_defic |Descrição do tipo de deficiência. Apresentado na tabela de layout do CAGED |varchar |20 |Not null | | ||
- | <file sql script_dim_tipo_defic.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_tipo_defic | + | |
- | cod_tipo_defic int8 NULL, | + | |
- | tipo_defic VARCHAR(20) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_tipo_estab |
+ | ^ Classificação | ||
+ | ^ Descrição | ||
+ | ^ Nome ^ Descrição | ||
+ | |cod_tipo_estab |Código do tipo de estabelecimento. Apresentando na tabela de Layout do CAGED |int |- |PK | | ||
+ | |tipo_estab |Descrição do tipo de estabelecimento. Apresentado na tabela de layout do CAGED |varchar |11 |Not null | | ||
- | <file sql script_dim_tipo_estab.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_tipo_estab | + | |
- | cod_tipo_estab int8 NULL, | + | |
- | tipo_estab VARCHAR(11) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ^ dim_tempo |
+ | ^Classificação |**Dimensão (X)** |||| | ||
+ | ^Descrição |Armazena os dados referente ao tempo. Nesta tabela está concentrada os dados para analise temporal, a menor granularidade é dia e a maior é ano. |||| | ||
+ | ^Nome ^Descrição ^Tipo de dado ^Tamanho ^Restrições de Domínio (PK, FK, Not Null, Check, Default, Identity) | | ||
+ | |sk_tempo |Surrogate da tabela dim_tempo; |float8 |- |PK, Identity | | ||
+ | |cod_dia |Chave primaria da tabela, formada a partir da concatenação do ano + mês + dia; |int |- |default | | ||
+ | |data |Armazena o dia. Representa a menor granularidade dos dados da tabela dim tempo. Formato ISO 8601; |timestamp without time zone |- |default | | ||
+ | |cod_semana |Código referente a quantidade de semanas compreendidas em um ano. Todo ano tem 53 semanas; |bigin |- |default | | ||
+ | |nome_dia_semana |Descrição em formato referente ao nome do dia da semana. Não é utilizado o sufixo " | ||
+ | |cod_mes |Código numeral referente a ordem em que os meses são dispostos ao longo do ano; |bigint |- |default | | ||
+ | |nome_mes |Descrição em formato referente ao nome do mês; |varchar |9 |default | | ||
+ | |cod_mes_ano |Código referente ao mês e ano. Resultado da concatenação de mês + ano. Formato MM-AAAA; |varchar |7 |default | | ||
+ | |nome_mes_ano |Descrição em formato de texto referente ao nome do mês e ano; |varchar |14 |default | | ||
+ | |cod_trimestre |Código numeral referente a ordem em que os trimestres estão dispostos ao longo do ano; |bigint |- |default | | ||
+ | |nome_trimestre |Descrição em formato de texto referente ao nome do trimestre. Não possui números; |varchar |18 |default | | ||
+ | |cod_trimestre_ano |Código referente ao trimestre do ano. Resultado da concatenação entre cod_trimestre e ano. Formato TT-AAAA; |varchar |7 |default | | ||
+ | |nome_trimestre_ano |Descrição em formato de texto a representação do cod_trimestre_ano; | ||
+ | |cod_semestre |Código numeral referente a ordem em que os semestres estão dispostos ao longo do ano; |bigint |- |default | | ||
+ | |nome_semestre |Descrição em formato de texto referente ao nome do semestres. não possui números; |varchar |17 |default | | ||
+ | |cod_semestre_ano |Código referente ao semestre do ano.Resultado da concentração entre cod_semestre e ano. Formato SS-AAAA; |varchar |7 |default | | ||
+ | |ano |Representa o ano em formato numeral; |bigint |- |default | | ||
+ | |tipo_dia |Representa em formato de texto se o dia é útil o fim de semana. |varchar |13 |default | | ||
- | <file sql script_dim_tipo_mov_desgregado.sql> | + | {{ : |
- | CREATE TABLE dm_emprego.dim_tipo_mov_desgregado ( | + | |
- | cod_tipo_mov_desgregado int8 NULL, | + | |
- | tipo_mov_desgregado VARCHAR(46) NULL | + | |
- | ); | + | |
+ | ---- | ||
- | </ | + | ==== ==== |
- | <file sql procedure.concat.sinonimos.sql> | + | ^ ft_emprego |
- | CREATE OR REPLACE FUNCTION f_concat_sinonimos() RETURNS setof cbo_ocupacao_concat AS $$ | + | ^ Classificação |
- | | + | ^ Descrição |
- | cont INT := 8388;--(select count(*) from st1.cbo_sinonimos); | + | ^ Nome ^ Descrição |
- | i INT := 1; | + | |admitidos_desligados |codigo referente às admissões ou desligamentos. 1 para admissão e 2 para desligamento |int |- |PK | |
- | | + | |competencia_declarada |Código do ano concatenado ao mês do registrado. |varchar |2 |Not null | |
- | | + | |municipio |Nome do município Apresentado na tabela de layout do CAGED. |varchar |200 |Not null | |
- | | + | |ano_declarado |Ano registrado |int |- |Not null | |
+ | |cbo_2002 |Codigo referente à CBO de 2002 |int |- |Not null | | ||
+ | |cnae_10_classe |Código da classe do CNAE 1.0 |int |- |Not null | | ||
+ | |cnae_20_classe |Código da classe do CNAE 2.0 |int |- |Not null | | ||
+ | |cnae_20_subclas |Código da sub-classe do CNAE 2.0 |int |- |Not null | | ||
+ | |faixa_empr_inicio_jan |Tamanho do estabelecimento em janeiro do ano de referência |int |- |Not null | | ||
+ | |grau_instrucao |Grau de instrução ou escolaridade |int |- |Not null | | ||
+ | |qtd_hora_contrat |Quantidade de horas contratuais por semana |int |- |Not null | | ||
+ | |ibge_subsetor |Subsetor Econômico segundo IBGE |int |- |Not null | | ||
+ | |idade |Idade do trabalhador | ||
+ | |ind_aprendiz |Indicador de movimentação referente a contrato de aprendizagem |int |- |Not null | | ||
+ | |ind_portador_defic |Indicador se o empregado/ | ||
+ | |raca_cor |Raça e Cor do Trabalhador |int |- |Not null | | ||
+ | |salario_mensal |Salário mensal em moeda corrente |numeric |(10,2) |Not null | | ||
+ | |saldo_mov |Saldo de movimentação (1 para admissão e -1 para desligamento) |int |- |Not null | | ||
+ | |sexo |Sexo |int |- |Not null | | ||
+ | |tempo_emprego |Tempo de emprego do trabalhador | ||
+ | |tipo_estab |Tipo de estabelecimento |int |- |Not null | | ||
+ | |tipo_defic |Tipo de deficiência/ | ||
+ | |tipo_mov_desgregado |Tipo de movimento |int |- |Not null | | ||
+ | |uf |Município de localização do estabelecimento |int |- |Not null | | ||
+ | |mesorregiao |Messoregião |int |- |Not null | | ||
+ | |microrregiao |Microrregião |int |- |Not null | | ||
- | BEGIN | + | {{ :start:projetos: |
- | while (i <= cont) loop | + | |
- | cod_ocup | + | |
- | cod_sino | + | |
- | IF (cod_ocup = cod_sino) THEN | + | ---- |
- | IF((SELECT t.cod_sinonimo FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon | + | ==== Arquitetura atual do Projeto ==== |
- | sinonimos := (SELECT t.titulo_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon | + | |
- | END IF; | + | |
- | IF ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i ) | + | {{ : |
- | <> (SELECT t.cod_sinonimo FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i-1)) THEN | + | |
- | INSERT INTO st1.cbo_ocupacao_concat (cod_ocupacao, | + | ---- |
- | VALUES ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i-1 ), sinonimos); | + | |
- | sinonimos := (SELECT t.titulo_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i); | + | |
- | END IF;-- fim do 1° IF | + | ==== Construção dos Dashboards ==== |
- | sinonimos := concat(sinonimos, | + | |
- | ELSE | + | {{ : |
- | IF( ((SELECT t.cod_sinonimo FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i-1) | + | |
- | = (SELECT t.cod_sinonimo FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i-1)) | + | |
- | AND (SELECT t.cod_sinonimo FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i) IS NULL ) THEN | + | |
- | | + | Dashboards publicados [[https:// |
- | VALUES ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon | + | |
- | END IF; | + | ---- |
- | + | ||
- | INSERT INTO st1.cbo_ocupacao_concat (cod_ocupacao, | + | |
- | VALUES ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i ), | + | |
- | (SELECT t.titulo_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = i )); | + | |
- | END IF; | + | |
- | + | ||
- | IF ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = 8388 ) = 992225) THEN | + | |
- | INSERT INTO st1.cbo_ocupacao_concat (cod_ocupacao, | + | |
- | VALUES ((SELECT t.cod_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = 8388 ), | + | |
- | (SELECT t.titulo_ocupacao FROM st1.cbo_ocupac_c_sino t WHERE t.sk_ocup_sinon = 8388 )); | + | |
- | END IF; | + | |
- | i := i 1; | + | |
- | + | ||
- | END loop; | + | |
- | END; | + | |
- | $$ LANGUAGE plpgsql; | + | |
- | + | ||
- | DELETE FROM st1.cbo_ocupacao_concat; | + | |
- | + | ||
- | SELECT f_concat_sinonimos(); | + | |
- | + | ||
- | + | ||
- | </ | + | |
- | + | ||
- | <file sql dim_tempo.sql> | + | |
- | + | ||
- | + | ||
- | </ | + | |
- | + | ||
- | ===== Validar informações ===== | + | |
==== Construir o metadado ==== | ==== Construir o metadado ==== | ||
Linha 488: | Linha 508: | ||
</ | </ | ||
- | ===== Validar informações | + | ===== Integrantes do projeto |
+ | |||
+ | * [[: | ||
+ | * [[: | ||
+ | * [[: | ||
+ | * [[: | ||
\\ | \\ | ||