O PROCESSO DE AVALIAÇÃO DO PRIMEIRO TREINAMENTO A DISTÂNCIA PARA GERENTES DA DATAPREV

ABRIL/2004

 

Maria Isabel Ferraz Rodriguez
DATAPREV - Desenvolvimento e Relações de Trabalho
isabel.rodriguez@previdencia.gov.br

 

A – Formação de Profissionais para Educação a Distância
3. Educação Corporativa

Resumo:
O aumento da competência de gerentes e líderes de projeto é desafio crescente, na medida em que esbarra nas rotinas pouco previsíveis deste público, que dificultam seu comprometimento em eventos de capacitação. O que já era difícil, é agravado pela profusão de informações que demandam a atenção destes profissionais neste início da era do conhecimento, ao mesmo tempo em que uma atualização permanente é deles exigida. Para sanar este problema, a DATAPREV já oferece opções híbridas, e assim atende em parte as necessidades do público. No intuito de aperfeiçoar este atendimento, o trabalho em questão relata uma tentativa inovadora, que ofereceu treinamento totalmente a distância, ao mesmo tempo em que capacitava técnicos da empresa na prática e no planejamento, desenvolvimento, monitoração e avaliação de treinamento a distância. As lições aprendidas no amplo processo de avaliação qualitativa confirmaram questões sobre criação de competências e cultura organizacional, percebidas ao longo da implementação-piloto do treinamento. Estas questões serão submetidas ao público no 11º Congresso Internacional da ABED sob forma de sessão participativa, visando maior êxito na difusão/disseminação de programas a distância adequados às necessidades e à cultura própria das organizações.

Palavras-chave:
avaliação - EaD - qualidade -
lições - ensino-aprendizagem - treinamento - educação corporativa

 


1. Introdução

Caixa de texto: “Educar é colaborar para que professores e alunos – nas escolas e organizações- transformem suas vidas em processos permanentes de aprendizagem.” Moran

Este trabalho relata o intenso aprendizado iniciado em um programa de capacitação corporativa, onde foi gerado um projeto de treinamento a distância. Um amplo processo de avaliação foi implementado – perpassando todo o processo de ensino-aprendizagem - sendo concluído com a meta-avaliação.

O treinamento em questão foi planejado para atender aos gerentes da DATAPREV - Empresa de Tecnologia e Informações da Previdência Social, com pouca disponibilidade de tempo para atualização de conhecimentos. A estratégia escolhida resultou em um evento que promoveu, com o uso de tecnologias da informação e comunicação, a construção participativa de conhecimento e desenvolveu – ao mesmo tempo - competências variadas, tanto do lado do ensino, quanto no lado do aprendizado.

Apesar do reduzido número de envolvidos, os resultados atestaram que um projeto bem planejado e um amplo processo de avaliação são fortes aliados da qualidade, e contribuem de forma inequívoca para a excelência das organizações. Isto porque, além de contribuírem para a melhoria do produto e do processo, fornecem indícios inequívocos sobre aspectos culturais, facilitando o desenvolvimento de soluções e a tomada de decisões.

Os resultados do projeto e os aspectos culturais, que emergiram nos processos de ensino-aprendizagem e de avaliação, serão relatados e discutidos com o público, em sessão participativa, no 11º Congresso Internacional da ABED. A idéia é gerar um esforço cooperativo no desenvolvimento de competências para coordenação, ensino e aprendizagem a distância.

 

2. Histórico do Projeto

Em programa de capacitação em Gerência de Projetos realizado no início de 2003, uma equipe multidisciplinar optou pela criação e implementação–piloto de um treinamento a distância, para atender ao corpo gerencial e aos gerentes de projetos da organização.

A idéia de fazer um evento instrucional totalmente a distância teve como inspiração a necessidade de trazer uma solução para o desenvolvimento contínuo dos gerentes, que alegam não se engajarem em treinamentos tradicionais (presenciais), devido à rotina intensa, de difícil programação.

Ao mesmo tempo em que trazia uma solução para atender a este público, a equipe de projeto identificou o evento como oportunidade de desenvolvimento de competências diversas e partiu, então, em busca de cliente (área de Planejamento) e patrocinador (área de Desenvolvimento de RH) internos, zelando pelo comprometimento dos mesmos com o projeto desde o início.

Diversos formatos de EaD fizeram parte do projeto, de modo a oferecer uma experiência rica aos diferentes grupos de envolvidos. Conteúdo impresso, on-line e tutorial multimídia (na intranet) foram reunidos em um programa de atividades colaborativas síncronas e assíncronas, exercícios auto-instrucionais, bibliografia e webliografia, além de muita troca de correspondência eletrônica. Este conjunto compôs o primeiro treinamento totalmente à distância da DATAPREV, e foi denominado “MiniCurso a Distância sobre Gerência de Projetos e o uso do SGP”.

O projeto pedagógico do treinamento foi fundamentado no trabalho de diversos teóricos: Perrenoud (teoria das Competências), Piaget (Psicogênese e desenvolvimento cognitivo), Vygotsky (construção social do aprendizado) e Gagné (Condições de Aprendizagem). Além destes, devido às características do público-alvo, a teoria da Atribuição (de Weiner) foi considerada bem como o trabalho do filósofo Pierre Lévy, por sua contemporaneidade e adequação ao projeto.

É importante observar que a DATAPREV já faz uso do processo de treinamento a distância, tendo realizado alguns eventos em formato híbrido (presencial e a distância, inclusive através de vídeo-conferência). Assim sendo, se tornava indispensável um consistente embasamento teórico e, ao mesmo tempo, desenvolver competências para maior controle do processo de ensino-aprendizagem totalmente a distância e do uso dos resultados do mesmo.

A equipe do projeto colocou em prática o que estava aprendendo no programa de capacitação em gerência de projetos – especialmente o novo conhecimento sobre as áreas específicas (PMBoK) da gerência estratégica. Do trabalho de pesquisa sobre cada uma das áreas de conhecimento, obteve-se como resultado um conjunto de informações relevantes, reunido sob a forma de cartões de referência (impressos) para apoiar consultas em gerenciamento de projetos após o término do evento.

A estratégia definiu a necessidade do treinamento ser estruturado em dois módulos, um sobre “Gerência de Projetos” e outro sobre a ferramenta: SGP - Sistema de Gestão de Projetos, desenvolvido na Empresa. Para o módulo “Gerência de Projetos”, optou-se por parte do treinamento ser impresso e parte via Web - com atividades auto-instrucionais e outras para serem feitas cooperativamente pela comunidade de ensino-aprendizagem. Além dos objetos digitalizados, foi criado um tutorial multimídia, disponível pela intranet.

O conteúdo virtual do treinamento foi desenvolvido para permanecer disponível de forma contínua durante todo o teste e o treinamento foi produzido de forma simples e descomplicada, com o objetivo de disseminar informações básicas sobre o gerenciamento de projetos junto ao corpo gerencial, de forma ampla.

De modo a oferecer um ambiente rico em informações, além do conteúdo disponível, o Minicurso incluiu referências sobre outras fontes para aprofundamento no assunto. O material foi redigido de forma coloquial, geralmente contextualizando os conteúdos, trazendo-os para o dia a dia na organização, de modo a apoiar a transferência do novo conhecimento.

O treinamento foi planejado para atender a diferentes estilos cognitivos de aprendizagem (pedagogia diferenciada) e o produto seguiu princípios básicos de usabilidade e comunicabilidade, de modo a atrair o interesse, promover a persistência do grupo de alunos e facilitar o aprendizado.

Os convites para participação no teste do piloto do Minicurso ficaram a cargo do cliente, tendo sido convidados gerentes/líderes de diferentes áreas da empresa, utilizando-se como critério níveis diferenciados de conhecimento das novas técnicas de gerenciamento estratégico. Os testandos foram conhecidos uma semana antes do início do teste, sendo necessário destacar que o convite foi feito nominalmente a um grupo maior de gerentes, permanecendo apenas aqueles que se interessaram em participar e contribuir para o projeto.

É relevante destacar que identificou-se logo de início que, no lado da aprendizagem, o grupo de testandos detinha conhecimento sobre EaD, mas nenhum deles havia participado de eventos a distância, até então. Do lado do ensino, a coordenação do teste-piloto reuniu um grupo de pessoas que atuaria como time de apoio, e verificou que, igualmente, a maioria destes não havia participado de nenhum treinamento totalmente a distância até então.

Com isto, foi iniciado um rico processo de ensino-aprendizado, que contou com um amplo processo de avaliação, que será o tema de nossa apresentação no 11º Congresso da ABED.

 

3. O Produto Minicurso a Distância sobre Gerência de Projetos

O produto foi desenvolvido em seus diferentes formatos (objetos digitais e cartões impressos sobre as gerências) na própria DATAPREV, sendo a parte on-line inserida no LS - LearningStudio, um LCMS – Learning Content Management System – Sistema de Conteúdo e Gerenciamento de Aprendizagem desenvolvido na Incubadora de Projetos da PUC-Rio.

A Figura 1, que segue, mostra a tela inicial da parte on-line do treinamento.


Figura 1 – Tela inicial do MiniCurso, no portal LearningStudio

Cerca de sessenta objetos, reunidos em 2 módulos, compunham o conteúdo digitalizado e inserido no ambiente on-line do Minicurso, conforme a Figura 2, que apresenta o índice expandido dos roteiros.


Figura 2 – Índice expandido do conteúdo on-line

Em seguida, a Figura 3 mostra um objeto, pertencente ao Módulo sobre Gerência de Projetos.


Figura 3 - Conteúdo enfocando o gerenciamento de projetos

O Módulo 2 do treinamento aborda o SGP – Sistema de Gestão de Projetos. Sendo uma das finalidades do treinamento ampliar o conhecimento sobre o uso do SGP, foi criado um tutorial para simulação das funcionalidades disponíveis no sistema. Abaixo, a tela inicial do tutorial, na intranet.


Figura 4 – Tela inicial do Tutorial Multimídia SGP.

Na Figura 5, que segue, exemplo de acesso às informações no tutorial.


Figura 5 – Simulação do uso do SGP

 

4. Implementação e Teste-Piloto do Minicurso

A implementação do Minicurso ocorreu sob forma de teste-piloto, sendo a parte on-line no LS - LearningStudio. Este ambiente demonstrou ser adequado no atendimento das necessidades do público-alvo e do projeto. A equipe do LS trabalhou em parceria com a DATAPREV até o fim do teste-piloto (30 dias).

O teste-piloto ocorreu de 20 de maio a 20 de junho 2003 e dele participaram doze gerentes/líderes de projeto, sendo que a coordenação manteve contacto com o grupo durante uma semana antes do início do teste.

Para apoiar o processo de auto-reconhecimento enquanto aprendiz autônomo – essencial ao êxito da aprendizagem a distância – estiveram disponíveis endereços com informações sobre estilos cognitivos, múltiplas inteligências, dentre outras, de modo a aumentar o controle do grupo em relação ao processo de aprendizagem. Além disto, foram criadas cinco pesquisas simples, implementadas no portal do LS, para serem respondidas pelos testandos.

Adicionalmente a estas ações visando ampliar a percepção dos testandos em relação à sua responsabilidade no processo de aprendizagem, a coordenação do projeto buscou apoiar o desenvolvimento do conhecimento do time de apoio sobre as características do público e aprendizagem a distância. 

 

5. Acompanhamento e Controle do teste-piloto

Para acompanhar a implantação do treinamento-piloto, uma equipe de apoio foi constituída, parte composta de membros da equipe que desenvolveu o projeto do MiniCurso, parte da área de desenvolvimento de RH (promotora) e parte da área de planejamento (cliente) juntamente com representantes do ambiente on-line. A coordenação do teste ficou sob a responsabilidade da equipe do projeto.

Este grupo ficou conhecido como Time de Apoio e o endereço eletrônico dos  membros do time foi divulgado profusamente, inclusive permanecendo em um dos objetos do treinamento durante todo o teste.

Foram trocadas cerca de 100 mensagens entre o grupo de testandos, a coordenação e o time de apoio ao longo do teste, visando não apenas acompanhar sua evolução e antecipar a solução de eventuais problemas mas também apoiar o planejamento e a programação de cada testando em relação ao modo de conduzir o aprendizado através do teste-piloto do Minicurso.

 

6. O processo de Avaliação Qualitativa do Minicurso

Romiszowski (2003) sugere com razão que, se hoje temos novos paradigmas educacionais, precisamos também de novos paradigmas de avaliação, que não estão prontos para serem usados em todas as situações de ensino-aprendizagem. A Educação a Distância está, podemos dizer, ainda engatinhando no Brasil e, portanto, apenas buscar modelos na literatura internacional não garante atendimento à nossa realidade.

O processo de avaliação implementado no Minicurso, então, resultou da cultura da equipe, de pesquisa, de seleção de melhores práticas avaliativas e de discussão entre os envolvidos. Ao ser construído ao longo do tempo, foi comprometendo a todos com a melhoria do processo de ensino-aprendizagem a distância e do produto propriamente dito.

A Figura 6, que segue, apresenta o modelo do processo de avaliação desenvolvido pela coordenação, ratificado pelos envolvidos e utilizado na implementação do Minicurso.


Figura 6 – Processo de Avaliação Qualitativa

6.1. Objetivo da Avaliação

O processo de Avaliação do Minicurso visou essencialmente julgar o valor do produto, do ambiente de ensino-aprendizagem e das estratégias projetadas para atendimento das necessidades de conhecimento em Gerência de Projetos, em EaD e no processo de aprendizagem a distância do público-alvo (gerentes/líderes de projeto da DATAPREV). Como sugere Goodyear (1999), “agora é tempo de uma tecnologia educacional centrada no usuário, que comece a trabalhar métodos através dos quais possamos entender suas reais necessidades e a projetar tecnologia que os ajude a enfrentar desafios reais”.

O processo visou, ainda, criar oportunidades de aprendizagem em avaliação de eventos a distância, para todos os envolvidos com o projeto do Minicurso.

6.2. Envolvidos com a Avaliação

Estiveram envolvidos com o processo de avaliação cerca de vinte e seis pessoas: o cliente e o patrocinador do produto, a equipe responsável pelo projeto, o time de apoio ao teste, além dos gerentes testandos.

6.3. Descrição Sucinta do Processo

O processo de Avaliação ocorreu durante cerca de 09 meses e envolveu 4 etapas (Formativa, Somativa, Confirmativa e Meta-Avaliação), permeando todo o processo, como segue:

6.4. Critérios usados

O critério usado para a avaliação (formativa, somativa e confirmativa) do aprendizado no tema, realizada unicamente pelos próprios testandos, seria o acerto das questões do teste auto-instrucional bem como a aplicação efetiva do novo conhecimento no gerenciamento de projetos (na Empresa ou na vida).

Os critérios usados para a avaliação (formativa e somativa) do processo de aprendizagem a distância e sobre EaD foram baseados nos objetivos instrucionais e de aprendizado. Não foram atribuídos pesos porque a preocupação era identificar a efetividade e eficácia do produto e das estratégias de ensino na facilitação do aprendizado

Os critérios usados para a avaliação (formativa, somativa e confirmativa) do produto, de seus componentes e do processo de ensino foram os objetivos instrucionais e de aprendizado e envolviam a eficácia e efetividade dos mesmos para o aprendizado no tema, para o processo de aprendizagem a distância e para a aplicação do novo conhecimento no trabalho. Não foram atribuídos pesos para estes critérios porque todos os aspectos seriam importantes na facilitação do aprendizado.

A meta-avaliação visava julgar o valor do processo avaliativo em geral, e das metodologias e dos instrumentos em função de sua utilidade, objetividade, praticidade (exequibilidade), ética e acurácia.

6.5. Procedimento de síntese e resultados da avaliação

Comentários e observações dos diferentes grupos de avaliadores foram reunidos e organizados em relatórios executivos para todos os envolvidos. Nos relatórios foram sugeridos procedimentos a serem implementados no sentido de otimizar o processo de ensino-aprendizagem, o produto e o processo de avaliação em futuros eventos totalmente a distância na DATAPREV.

 

7. Conclusões e Lições Aprendidas

O projeto do Minicurso sobre Gerência de Projetos resultou de intenso planejamento e apesar disto, muito teve que ser improvisado e alterado ao longo da implementação do mesmo, posto se tratar do primeiro treinamento a distância para os gerentes da DATAPREV e, portanto, ser uma inovação.

Do mesmo modo, o amplo processo de avaliação (produto e processo de ensino-aprendizagem) foi planejado, mas esbarrou em problemas e obstáculos culturais. Ele também estava sendo uma inovação, a partir de certo ponto. Além da questão da novidade, a preocupação era fazer algo simples, (KISS – Keep It Simple, Stupid...), com perguntas certas, para poder alcançar conclusões e resultados válidos (Scriven, 1991).

Várias lições foram aprendidas pelos diferentes grupos de envolvidos, sendo a maior parte delas referentes ao processo de difusão/disseminação de inovações, sendo que cada dificuldade gerava troca, colaboração e aprendizado entre os envolvidos.

Os aspectos culturais da organização – que afloraram como de esperado ao longo do processo – foram, então, ao mesmo tempo obstáculos e oportunidade de crescimento, apoiando a criação de competências variadas que possibilitarão maior êxito nos empreendimentos futuros.

Ficou claro que não basta haver conteúdo de qualidade; os recursos tecnológicos funcionarem bem e existir um sério projeto pedagógico por trás de um treinamento a distância, para que ele seja bem sucedido. O que ocorre realmente é que cada aprendiz é um júri, que acaba dando o veredicto final.

Para concluir, consideramos que o grande mérito do projeto – além de levar a Empresa a avançar na implantação da EaD - foi ter colocado, desde o início, um grupo de profissionais de diferentes áreas, para colaborar em torno da questão da qualidade da educação corporativa. E, para uma organização voltada para a aprendizagem, colaborar e aprender a gerenciar conhecimento (Formiga, 2003) é fundamental nos tempos atuais.

 


Bibliografia – Webliografia – Referências

. Moran, J. 2000. Ensino e aprendizagem inovadores com tecnologia. Novas Tecnologias e mediação Pedagógica. 7ª Edição. São Paulo: Papirus, 2000. http://www.eca.usp.br/prof/moran/inov.htm, última visita em 12/04/2004;

. Perrenoud, P. 2002. Entrevista: Opinião – Philippe Perrenoud - Impressão Pedagógica. Em http://estudepelainternet.com.br/textos/perrenoud/2.html. Última visita em 12/04/2004;

. Goodyear, P. (1999). Environments for Lifelong Learning -Ergonomics, Architecture and Educational Design. Faculty of Educational Science and Technology (TO) - University of Twente, Netherlands;

. Avaliação de Desempenho e Aprendizagem: Um enfoque sistêmico. Ajuda de Trabalho. TTS #6. RBAAD;
. Romiszowski, L. 2004. Avaliação no Design Instrucional e Qualidade da Educação a Distância: qual a relação? RBAAD.Volume 2. Numero 4.;
. Romiszowski, L. 2003. Domínios, Competências e Padrões de Desempenho do Design Instrucional (tradução das Competências do IBSTI). RBAAD.; 

. Cortelazzo,I. 2000. Ensinar e Aprender – As Duas Faces da Educação. Em  http://www.boaaula.com.br/iolanda/tese/ensinar.htm) - visitado em 13/04/2004;

. The Program Evaluation Standards. 2nd edition. 1994. The Joint Committee on Standards. Thousands Oaks: Sage Publications;

. Scriven, M. 1991. Evaluation Thesaurus. Fourth Edition. Newbury Park: SAGE Publications;

. Formiga, M. 2003. Educação a Distância no Brasil: O que está acontecendo nas Empresas e Escolas. RBAAD. 2003.;

. material resultante de discussões do 1º curso on-line da ABED. EaD - Planejamento de Programas. Coordenação: Adylles Castelo Branco. 2003;

. material resultante de discussões do Grupo de Estudo sobre Pierre Lévy, coordenado por Wilson Azevedo. Promovido pela Aquifolium. 2003;

  material resultante de discussões dos cursos Planejamento Educacional para Educação a Distância, ministrado por Alexander Romiszovwski e AVALIAÇÃO ONLINE, ministrado por Stella Porto, coordenados por W. Azevedo. Promovidos pela Aquifolium. Janeiro e Abril 2004;

 material resultante de discussões do 1º Seminário Virtual de Estudos Pedagógicos, promovido pela UNIEAD, UNICAMP. Abril 2004.

. Valeriano, D. 2002. Gerenciamento Estratégico e Administração por Projetos. São Paulo: Pearson Education do Brasil;

. PMBoK – Project Management Body of Knowledge. Edição de 2000. Carolina do Norte: PMI – Project Management Institute.