Question? Leave a message!

Experimental Research Design

Experimental Research Design 12
Zainal A. Hasibuan, PhD  (  STUDY PROGRAM: MAGISTER INFORMATION TECHNOLOGY, COMPUTER SCIENCE FACULTY, UNIVERSITY OF INDONESIA Research Methods   (upon which methodologies can be built)  Case Study Types of Research Methods Experimental Research Experimental Group Designs  Three Types  Experimental Quasiexperimental Nonexperimental lll What is Experimental Design  •  An experimental design:   “Is the tradional approach to conducng  quantave research”  Sumber: Creswell, J.C. 2005 Experimental Design  •  Treatment, control, comparison  •  do something to subjects (guinea pigs)   •  who are randomly selected and randomly assigned to  groups  •  for the purpose of determining the cause of an effect  (difference between groups) CharacterisDcs of Experiments  •  Random assignment  •  Control over extraneous variables  •  Manipulaon of the treatment condions  •  Outcome measures  •  Group comparisons  •  Threats to Validity Random Assignment  •  Random assignment is the process of assigning individuals to  the treatments.  •  The random assignment of individuals to groups (or condion  within a group) disnguishes a rigorous’ “true” experiment  from an adequate, but less‐than‐rigorous, “quasi‐experiment”. Experimental Research  •  Experiment: The invesgaon of the  relaonship between two or more variables by  deliberately producing a change in one  variable in a situaon and observing the  effects of that change on other aspect of the  situaon.  •  Cause‐and‐effect Experimental Research  •  Experimental manipulaon: Change that an  experimenter deliberately produces in a  situaon  •  Treatment: the manipulaon implemented by  experimenter  •  Experimental group: any group receiving a  treatment in an experiment Experimental Research  •  In an observa(onal study , measurements of variables  of interest are observed and recorded, without  controlling any factor that might influence their  values.  •  An experiment, on the other hand, deliberately  imposes some treatment on individuals in order to  observe their responses.  •  In principle, only experiments can give good evidence  for causaon. Steps In ConducDng Experimental Research  •  Step 1. Decide if an experiment addresses your research problem  •  Step 2. Form hypotheses to test Cause‐and‐effect Relaonships  •  Step 3. select an Experimental Unit and Idenfy Study parcipants  •  Step 4. Select an Experimental Treatment and Introduce it  •  Step 5. Choose a Type of Experimental design  •  Step 6. Conduct the Experimental  •  Step 7. Organize and Analyze the Data  •  Step 8. Develop an experimental Research Report  Sumber: Creswell, J.C. 2005 The Road to Experimental Research Types of Experimental Designs  •  Between‐Group Designs  – True experiments (pre‐and posaest, posaest only)  – Quasi‐experiments (pre‐and posaest, posaest only)  – Factorial Design  •  Within‐Group or Individual Designs  – Time series experiments (interrupted, equivalent)  – Repeated measures experiments  – Single‐subject experiments Types of Experimental Design  True Quasi Factorial Time Series Repeated Single Subject Experiment Experiment Measures Random assignment Yes No May be Used No No No Number of groups/ Two or more Two or more Two or more One group One group One individual individuals compared studied at a time Number of One or more One or more Two or more One or more Two or more One or more interventions used interventions interventions interventions interventions interventions interventions Number of times the Once Once Once After each After each Multiple points dependent variables intervention intervention measured/observed Controls typically Pretest Pretest Pretest Group Covariates Individuals used matching, matching, matching, becomes its become their blocking, blocking, blocking, own control own controls covariates covariates covariates Types of Between‐Group Designs  (True Experimental Designs)  Preand Posttest Design Time Random Control Pretest No Treatment Posttest assignment Group Random Experimental Pretest Experimental Posttest assignment Group Treatment PosttestOnly Design Time Random Control Group No Treatment Posttest assignment Random Experimental Experimental Posttest assignment Group Treatment Types of Between‐Group Designs  (Quasi Experimental Designs)  Preand Posttest Design Time Select Control Pretest No Treatment Posttest Group Select Experimental Pretest Experimental Posttest Group Treatment PosttestOnly Design Time Select Control Group No Treatment Posttest Select Experimental Experimental Treatment Posttest Group Experiment Example  •  New “instant breakfast” product.  •  To assess its nutrional quality, researchers in the lab  feed 30 newly weaned male white rats and measure  their weight gains over a 28‐day period.  •  They randomly select 15 rats and feed them using  the new product.  •  The other 15 rats receive a standard diet. Design of Experiments  •  Experimental units: individuals on which the experiment is  done, also called subjects when the units are human beings.  –  The rats  •  Treatment: the specific experimental condion applied to the  units.  –  “instant breakfast” diet  •  Factors: the explanatory variables, which ogen have levels.  –  the diet Principles of Experimental Design  •  Control  – Researcher decides which subjects areassigned to the  treatment group  •  Randomizaon  – Imparal and objecve  •  Replicaon  – Reduces chance variaon in the results and can help  achieve stascal significance Experimental Research  •  Experimental Research: research that allows for the causes of behaviour  to be determined  •  Experiment: a carefully regulated procedure where one or more factors  are deliberately manipulated and all other factors are held constant.  •  Cause‐effect relaonship occurs if:  –  The cause is correlated with the effect.  –  The cause occurred before the effect.  –  We can rule out other plausible explanaons of the causal relaonship  •  Example: Learning effecveness of e‐Learning system Experimental Research: Factors  •  Independent Variable (IV): factor that is manipulated  •  Dependent Variable (DV): factor that is measured  •  Experimental condiDon: subjects that are manipulated  •  Control condiDon: subjects that are not manipulated  •  Confounding variable: an extraneous variable that should be  controlled, but is not. Can lead to false/spurious conclusions  •  Anecdote:  –  Day 1: drink water + beer. Result Drunk  –  Day 2: drink water + wine. Result Drunk  –  Day 3: drink water + whiskey. Result Drunk  –  Conclusion Examples of Experimental Research Design Examples of Experimental Research Design (Adopted from : Efficient  and Effecve Keyword Searching in P2P System, Nizar 2007)  •  Problem: A variety of peer‐to‐peer (P2P) systems for sharing documents  are currently available. The challenging is how to design a roung strategy  that leads the user finding the documents needed.   •  Research Queson: What mechanisms to effecve and efficient keyword‐ based searching for documents in unstructured P2P system   •  Purpose: To explore the efficiency and effecveness of keyword‐based  searching of documents in P2P system by proposing reinforcement  learning mechanism.   •  The efficiency is measured in term of response me, and effecveness is  measured in term of relevant documents. Experimental Research Methodology (Adopted  from Nizar, 2007)  •  Problem analysis  –  Comparing several learning algorithm  –  Choose the algorithm  •  Simulaon set up  –  Technological sepng  •  Running in PC Penum 4  –  Experimental sepng  •  Apply simple keyword‐based roung on…….  •  Control the searching process  •  Run several mes  •  Data Analysis  –  Record the amount of me used and the number of document relevant  –  Tabulated the data  •  Data Interpretaon  –  Based on the chart  –  Based on efficiency and effecveness Another Example: The Use of Maximal Frequent Sequences to Improve  Document Ranking in Informaon Retrieval System for Indonesian Language  (Dwi Astu, 2006)  •  Background and Problem  –  The amount of textual informaon available through the World Wide  Web has increased dramacally in recent years   –  Web users need effecve search mechanism in order to find useful  informaon from the enormous quanes of available text data   –  Very ogen, users are precision‐oriented, they prefer a small set of  documents containing a good proporon of useful documents to a  large set of documents that contains a lot of useful informaon, but a  fair amount of irrelevant informaon as well. Thus, there has been a  growing interest in high‐precision IR systems in recent mes. Experimental Research Methodology, AstuD  (2006)   •  Data Sets  –  The data sets used in this experiment were comprised of 2  Indonesian corpuses, a news corpus and a scienfic corpus.  –  The news corpus is a collecon of on‐line news from famous  Indonesian newspapers, consists of 3000 documents, and is  formaaed in the TREC‐like format. The corpus comes with 20 set  of queries and their relevancies ASI04.   •  Programming Language and Libraries  –  We implemented most of the method and algorithm in Python, a  high‐level, interpreted object‐oriented programming language  well‐known within the UNIX and internet community (hap://  Experimental Research Methodology, AstuD  (2006)   •  Collecon Preprocessing  –  The reindexed collecon was then subjected to word filtering to remove  punctuaon, one‐leaer words, numbers, word repeon, and about  250 stop words   –  The filtered collecon then underwent stemming using an Indonesian  stemmer ASI03   •  Term‐Frequency Processing  –  Use a u‐normalized version of the uc (term frequency cosine) term‐ weighted components with the following formula SAL88: Experimental Research Methodology, Astuti (2006) •  Applying The Process of MFS Discovery  –  Pair Discovery   –  MFS Discovery   –  MFS Indexing  •  Evaluaon of Retrieval System  –  Boolean Term Frequency Model  –  Term Frequency Cosine Model  –  MFS Model  –  Hybrid (Term Frequency Cosine/MFS) Model  –  Evalua(on Strategy  The Experimental Results  •  The Process of MFS Discovery  –  The results of searching frequent word pairs (2‐grams) between  stemmed and non‐stemmed version of each collec(on  (figure 1 and 2).  –  The results of MFS discovery for different threshold were shown in  figure 3 and 4. Because of space limita(on, we cannot provide all  results from different combina(on of threshold, parameter g and  collec(on version (stemmed and non‐stemmed). Figure 1. Result Of Word Pair Searching For News  CollecDon Figure 2. Results Of Word Pair Searching For ScienDfic  CollecDon Discussion and InterpretaDon  •  The Discovery of MFS  –  The process of discovering MFS for each collec(on started with the  search of frequent word pairs (or 2‐gram)  –  Using a bigger parameter g results in more pairs being constructed   –  The search for frequent pairs proved to be a major challenge for BsdDB  component of the retrieval system   –  The discovery of MFS proved to be cpu and memory intensive process   –  Smaller threshold spreads the distribu(on of MFS   –  Smaller threshold increases the processing (me substan(ally Discussion and InterpretaDon  •  Evaluaon of Retrieval System  –  Term frequency method with Tc (term frequency cosine) scoring  scheme gave a respectable results .  –  A modified Tc with correc(on factor (Tc2) improves the precision of  the term frequency cosine model for the scien(fic collec(on  .  –  More MFS represen(ng document usually improves the precision of  the retrieval algorithm.  –  Stemming improves the precision of all retrieval models. Conclusion and SuggesDon  •  An improved method for u(lizing MFS in calcula(ng the rank of document  should be formulated   •  To be prac(cal in the real‐word applica(on, a new algorithm for doing  incremental MFS discovery needs to be developed  Quasi Experimental Research Quasi‐Experimental Designs  •  A research design in which an experimental  procedure is applied but all extraneous  variables are not controlled CharacterisDcs of Quasi‐Experimental  Research  •  There is a control or comparison group  •  Intact groups are used  •  The treatment is randomly assigned to groups. Nonequivalent Control Group Design  •  A quasi – experimental design in which the  results obtained from nonequivalent  experimental and control groups are  compared Quasi‐Experimental Research  Parametric Tests  Stascal Analysis:  The t Test   For tes(ng the significance of difference between two sample  means  Basic Assumpons   1‐Scores form an interval or ra(o scale   2‐Scores are normally distributed   3‐Score variances for the popula(ons under study are equal  (SD=SD) Quasi‐Experimental (Cont’d)  Analysis of Variance (ANOVA)   Comparison of two or more group means  Mulvariate Analysis of Variance (MANOVA)   Sta(s(cal technique for determining whether groups differ on more than  one dependent variable.  Basic Assumpons   1‐Scores form an interval or ra(o scale   2‐Scores are normally distributed   3‐Score variances for the popula(ons under study are equal (SD=SD)  Quasi‐Experimental (Cont’d)  Nonparametric Tests   Nonparametric sta(s(cs tests sta(s(cal significance that do not rely on  any assump(ons about shape or variance of popula(on scores.   Used with measures that yield categorical or rank scores,  or do not have  equal intervals. Nonparametric tests are less powerful, they require larger  samples to yield the same level sta(s(cal significance.   1‐The Chi‐Square Test = used to determine whether research data in the  form of frequency counts are distributed differently for different samples. Quasi‐Experimental (Cont’d)  Nonparametric Tests (Cont’d)   2‐The Mann‐Whitney U test=used to determine whether the distribu(ons  of scores of two independent samples differ significantly from each other.     3‐The Wilcox signed rank test=used to determine whether the distribu(ons  of scores of two samples differ significantly from each other when the  scores of the samples are correlated.   Quasi‐Experimental (Cont’d)  Nonparametric Tests (Cont’d)   4‐The Kruskal‐Wallis test=If more than two groups of subjects are to be  compared, a nonparametric one‐way analysis of variance (Kruskal‐Wallis)  can be used. Quasi‐Experimental Research  •  Quasi‐experimental research  –  Almost but not quite real experiments  –  No manipulaon of the variables (so no IV)  –  Compare groups biased on naturally occuring variables  •  Two types of natural variables  –  Subject variable: Characteriscs that vary between parcipants, but can  not be manipulated   –  Time variable: Comparing individuals at different points in me (age 3  and 6)  •  One‐shot post‐test, no control group  •  Example: The impact of markeng strategy  Diagramming Research  •  To illustrate research designs, a number of symbols are used  – X  = Treatment  1 – X  = Control Group  2 – O = Observaon (pretest or posaest)  – R = Random Assignment A Sample Research Design  •  Single‐Group Pretest‐Treatment‐Posaest Design  R O X  O  1 This means subjects are randomly assigned to a group, which is then given a pretest, then there is a treatment, then there is a posttest. Classification of Research Design (Causal Comparative) O1 X O2 Onegroup pretestposttest design Group 1: O1 X O2 Nonequivalent control group Group 2: O3 O4 X2 X1 O1 O2 Equivalent timesamples design Research design with more power (Dme series)  •  Pre‐test post‐test   O  O  O  X  O  O  O   1 2 3 4 5 6   •  Pre‐test post‐test with control group   O  O  O  X  O  O  O 1 2 3 4 5 6  O  O  O    O  O  O 1 2 3 4 5 6 Changes to Look For   No effect Change in the rate or slope Change in the intercept X TIME NonExperimental Research Research Designs by SimilariDes  Experimental  Quasi‐experimental   ‐Involves Researcher Intervenon  Non‐experimental    ‐ Examines phenomena as they exist     Descrip(ve, Causal‐Compara(ve, and                       Correla(onal  DescripDve Research  •  Purpose  –  To describe the way things are  –  Or “what is”  •  Many of the methods used, can also be used for  correlaonal research  – Difference is the purpose  •  describing v. examining a relaon  •  Two main types  –  Surveys  –  Observaons Basic of DescripDve Research  •  Objecve: Describe market characteriscs or funcons  •  Characteriscs:   –  Marked by the prior formulaon of specific hypotheses   –  Preplanned and structured design  •   Methods: Secondary data  –  Surveys  –  Panels  –  Observaon and other data Causal‐ComparaDve Research  The Purpose   Purpose of explaining educa(onal phenomena through the  study of cause‐and‐effect rela(onships.  The presumed cause  is called the independent variable and the presumed effect is  called the dependent variable.  Designs where the researcher  does not manipulate the independent variable are called ex  post facto research.   Causal‐ComparaDve Research  Ex Post Facto = Causal‐ComparaDve Research  •  Explores possible causes and effects  •  The independent variable is not manipulated, it has already  been applied  •  Focuses first on the effect, then aaempts to determine what  caused the observed effect.  •  Seeks to explain differences between two groups that have  occurred  •  Example: Why are IT mulnaonal companies are more  innovave than local firms CorrelaDonal Designs  The Purpose   To discover rela(onships between variables through the use of  correla(onal sta(s(cs. Involves correla(ng data on two or more variables  for each individual in a sample and compu(ng a correla(on coefficient.   Two major purposes:   1‐To explore causal rela(onships between variables;   2‐To predict scores on one variable from research par(cipants’ scores on  other variables. CorrelaDon Research Design  Advantages   1‐Enables researchers to analyze the rela(onships among a large number  of variables in a single study.    2‐They provide informa(on concerning the degree of the rela(onship  between the variables being studied.  Parametric Test   Pearson r sta(s(cal procedure     Basic Assumpons     1‐Scores form an interval or ra(o scale     2‐Scores are normally distributed     3‐Score variances for the popula(ons under study are                         equal (SD=SD) Scaergrams RepresenDng Different Degrees and DirecDons of  CorrelaDon between Two Variables  Positive correlation (r=.99) Negative correlation (r=.73) Grade point I.Q. Age Computer use Conclusion Experimental Research Design  Experimental Research Design Design with Requirements of Pretesting True Research Choice of Threats to Experimental Participant Design Research Design Internal Validity Research Design OneGroup PosttestOnly PretestPosttest Research Question PosttestOnly OneGroup Control BetweenParticipants PretestPosttest Mixed Models Within Participants Nonequivalent Between Vs. Within Simple Randomized PosttestOnly Participants design Factorial Sumber: Christensen, Larry B. 2007 Question
Website URL