Research 

Management Review, Volume 21, Number 1 (2016) 
 
 
 

 
Return on Investment and Grants:  
A Review of Present Understandings 
and Recommendations for Change  
 
Michael Preuss 
Hanover Research 
 
 
ABSTRACT
 
The need to understand efficacy and outcomes from grant‐funded activity is common to 
funders, the academic community, and the public. Yet, few articles in the research 
administration corpus offer details on and considerations of applying the concept of return 
on investment (ROI) to grant activity. To determine the volume of material available aside 
from publications specific to research administration that considers systematic assessment of 
ROI for grants, a review was undertaken of the periodic literature available on the ProQuest 
database. A Boolean search for “grant” AND “return on investment” produced over 2,700 
results. Following review, 34 of these sources were found to be relevant to a discussion of the 
systematic application of ROI to grant activity. These articles make it clear that interest in ROI 
for grants is not isolated to a few disciplines or areas of professional practice and that two 
categories of use are common for ROI with respect to grants: “econometric calculation” 
(Frank & Nason, 2009, p. 528) and “impact of…activities” (Weiss, 2007, p. 206). A second 
substantial theme in the literature is the misalignment of fiscal return on investment and 
assessment of grant‐supported projects. Establishing assessment patterns that consider 
benefits derived is a preferable pattern. While government agencies in a number of countries 
have initiated processes of this type, their foci will not facilitate local, institution‐specific 
benefit analysis. Two patterns for measuring and assessing impacts of grant‐funded activity 
are recommended: Uttam and Venugopal’s “assessment of benefits from sponsored research” 
(2008, p. 57) (developed for the Indian National Chemical Laboratory) and the rubric‐based, 
balanced scorecard approach commonly employed in business settings. 
 
 
   

 
1
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
RATIONALE   Have systems been developed for the 

The desire to understand the efficacy  application of this principle to grant‐

and outcome of an investment is both  funded projects? 

common and wise. The need for such  In addressing these questions, the 

understanding extends to grant‐funded  researcher considered all digitally accessible 

activity for all stakeholder categories and  sources on the ProQuest database through 

especially for the funder, the research  June 2015. 

community, and the public (Weiss, 2007).   DEFINITIONS 
Prior to his work on this study, the  Return on investment (ROI) is a 
author knew of only two publications on  financial measure that has long been 
the systematic application of return on  employed in the business world to monitor 
investment (ROI) to grant activity. This  performance (Wheelen & Hunter, 2004). It is 
understanding was formed during a  a simple calculation. “To calculate ROI, the 
research administration literature review on  benefit (return) of an investment is divided 
the measurement of grant capacity and  by the cost of the investment; the result is 
readiness (Preuss, 2015). In an effort to  expressed as a percentage or a ratio” 
determine whether sources addressing  (Investopedia, 2015, para. 1). Mansfield’s 
assessment of the ROI of grants existed in  1991 study of research is a pertinent 
the general scholarly literature, a review  example—he calculated the annual rate of 
was undertaken of the periodic literature  return for academic research to be 28%, a 
available on the ProQuest database.   figure current authors have called into 
PURPOSE  question (McIlwain, 2010, p. 683; Mansfield, 

The literature review was designed to  1991).  

answer three questions:   The second key concept in the literature 

 How has the concept return on  review, grant‐funded activity, was defined 

investment been applied in periodic  as an undertaking for which a scope of 

literature with respect to grant‐funded  work, timeline, and performance objectives 

activity?   have been defined and a sum of money has 

 Is there a consensus regarding whether  been provided by a third party for 

and how this construct should be  expenditure only on a particular 

applied?  undertaking by an individual or 
organization. 

 
2
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
METHOD  “grant” AND “return on investment” 

A modification of the PRISMA pattern  produced over 2,700 results. The listing of 

for systematic review (Moher et al.., 2009)  publication dates had a natural break at the 

was employed in developing the  year 2000. Only one potentially relevant 

investigative method and as a guide in  source had been published between 1980 

reporting. The PRISMA pattern consists of  and 1989. A total of 101 articles published in 

“a 27‐item checklist…and a four‐phase flow  the 1990s contained the word “grant” and 

diagram” (Liberati et al.., 2009, para. 6),  the phrase “return on investment”, with a 

detailing the Preferred Reporting Items for  total of 35 between 1990 and 1996, 16 in 

Systematic reviews and Meta‐Analyses.  1997, 24 in 1998, and 26 in 1999. However, 

This pattern originated as an approach to  58 articles published in the year 2000 

reporting on literature reviews in the health  contained both terms, with a rapidly 

sciences and is described in the following  increasing number each year from that 

way by its creators:   point onward. The researcher elected to 

A systematic review attempts to collate  include only articles from 2000 to 2015 in 

all empirical evidence that fits pre‐ order to pare down the number of possible 

specified eligibility criteria to answer a  sources, to respect the point at which 

specific research question. It uses  interest in the topic seemed to catch hold 

explicit, systematic methods that are  and accelerate, and to place the 

selected to minimize bias, thus  consideration in a fairly recent context. 

providing reliable findings from which  Between January 2000 and June 2015, 2,479 

conclusions can be drawn and decisions  documents were listed across the eight 

made (Liberati et al., 2009, para. 3).   types of publications available on ProQuest. 

The review was conducted between late  In descending order, 1,223 scholarly articles, 

2014 and early summer 2015, beginning  435 dissertations or theses, 358 trade journal 

with consideration of every source available  articles, 256 reports, 201 newspaper articles, 

on the ProQuest database containing the  3 conference proceedings, 2 working 

word “grant” and the phrase “return on  papers, and 1 publication not otherwise 

investment.”      classified were identified. Of these, 
newspaper articles were excluded from 
DATA SOURCES AND SELECTION 
consideration. This decision was taken 
ProQuest classifies sources within 
because newspapers are popular media 
publication categories. A Boolean search of 

 
3
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
rather than scholarly media and therefore  the number of those from each category 
highly unlikely to report professional  initially thought to be relevant to the 
understandings of the application of ROI to  investigation, and the number ultimately 
grants or to describe systems intended to  judged to be applicable are presented in 
analyze grant activity ROI. The titles and  Table 1.  
abstracts for the remaining 2,278 potential  More sources were thought to be 
sources were read as a means of identifying  relevant in the initial culling than actually 
articles relevant to the topic.   proved to be applicable. The most frequent 
An article was classified as a potentially  cause of this was the use of the term grant 
relevant source if it appeared to apply the  exclusively as a verb rather than as a noun. 
concept return on investment to an individual  Authors of works considering the concept 
grant project, to grants in general, or as part  return on investment often used the word 
of a systematic consideration of grant  grant to communicate giving, allowing, 
activity. Examples of terms considered  admitting, permitting, conceding, and other 
indicative of this type of content included:  possible synonyms, rather than employing 
assessing, measuring, evaluating, calculating,  the term to refer to externally‐funded 
factors, variables, return on investment, ROI,  projects, as in the present review. There 
grant, foundation funding, government  were also whole categories of potential 
funding, and external funding. If an abstract  source material that yielded no relevant 
was not present, as is frequently the case  sources. None of the potential sources from 
with material published in trade journals,  the reports, conference proceedings, 
the initial pages of the piece were read to  working papers, or “other” category proved 
identify the article’s purpose. The  to be applicable to the purpose of this 
judgments regarding the relevance of each  review. A common reason for the 
article to the purpose of this review were  elimination of these possible sources was 
made by one researcher. All source  mention of return on investment in the 
decisions were made by the same  same work as information about grants 
researcher, eliminating potential for inter‐ without seeking to provide the details of the 
reviewer bias.   connection between the two ideas or a 
The number of articles considered as  system for calculating the ROI. Among the 
possible sources, arranged by the  reports, 216 Federal Register announcements 
classification system employed in ProQuest,  were eliminated because they mentioned 

 
4
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
ROI without describing an approach or  sort identified 93 of the 2,278 search results 
prescribing a pattern of calculation.    as potentially relevant. A closer reading of 
DATA GATHERING AND ANALYSIS  the 93 documents eliminated another 59 of 

The title and abstract, or title and initial  these as sources. Table 2 lists the reasons 

pages of articles without abstracts, were  these articles were removed from 

read to identify possible sources. The initial  consideration.  

 
  Table 1 
  Source Material 
  # Articles  # Articles 
 
  # Articles  Thought  Judged 
  Source Type   Available  Relevant  Applicable 
  Scholarly publications  1,223  29  14 
Dissertations/theses  435  18  7 
  Trade journal articles  358  46  13 
  Reports  256  0  N/A 
Conference proceedings  3  0  N/A 
 
Working papers  2  0  N/A 
  Other  1  0  N/A 
  Total    2,278  93  34 

 
Note: Excluded sources—articles published prior to 2000; newspaper articles 
 
 
Table 2 
Winnowing Potential Source Material 
  # Articles  # Articles   
  Thought  Judged   
Source Type  Relevant  Relevant  Reason Sources Classified as Irrelevant 
Scholarly  •Grant activity was described but the concept of ROI was applied to a 
29  14 
publications  different topic that was also discussed. 
Dissertations/  •While financial or other outcomes were discussed, no attempt was made to 
18  7 
theses  associate them with the concept of ROI.  
•Grant activity was described but the concept of ROI was applied to a 
different topic that was also discussed. 
•Were announcements or descriptions of funded projects that made very 
Trade journal 
46  13  general statements. 
articles 
•One article from the Baltimore Sun was categorized by ProQuest as a trade 
journal article. It was removed from consideration since it was a newspaper 
item. 
   

 
5
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
A simple form of content analysis (Gall,  science disciplines (4), health (3), promotion 
Gall & Borg, 2010; Neuendorf, 2002) was  of the uptake of research findings (2), and 
employed to consider the material  psychiatry (1). Three of the pieces from 
ultimately judged to be applicable to the  scholarly journals were editorials or opinion 
purpose of this review. Each of the articles  statements rather than research reports. The 
was read in its entirety, with the particulars  applicable dissertations were written in the 
of the application of ROI to grants noted.  United States and Canada, at institutions in 
The material captured for each source was  five states and two provinces. The authors 
the type of publication, author(s), year of  had received degrees from schools in the 
publication, title of the article, methodology  Ivy League, Big Ten, and Atlantic Coast 
or evidence pattern employed, and quotes  Conference, from prestigious private 
or summaries portraying the application of  research‐intensive institutions, and from 
the concept return on investment utilized in  state/province universities. Dissertation 
the article with respect to grant activity.  topics addressed the fields of corporate 
Patterns in the quotes and summaries were  culture, institutional change, federal 
sought and descriptive themes identified.   funding guidelines and patterns, 
RESULTS  community colleges that pursue large 

The sources identified as relevant  grants, research administration and 

appeared in a wide variety of publications  proposal development, corporate 

and addressed a diverse set of topics. This  philanthropy, project sustainability, and 

indicates that interest in ROI for grants is  information technology.  

not isolated to a few disciplines or areas of  The trade journal sources were 

professional practice.    distributed across the fields of healthcare 

All of the relevant articles in the  (6), library science (4), education (2), 

“scholarly publications” set were from peer‐ criminal justice (1), and government (1). 

reviewed journals. The 14 relevant scholarly  Statements of expert opinion were the most 

articles represented 11 publications, with  common form of trade journal content (6), 

The Lancet as the most frequent publisher (3  followed by case studies (5), a report of 

articles) and Implementation Science as the  original survey research (1), a summary of 

second most frequent (2 articles). Four of  topics and outcomes from a national 

the 11 publications focused on medicine,  association meeting (1), and a report 

with the remainder distributed across  regarding published research (1).    

 
6
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
In the Canadian Medical Association  research investments globally and in 
Journal, Frank and Nason (2009) suggested  Canada, … 2 main approaches have 
been used over the past 20 years to 
that there are two basic orientations to 
measure return on investments….’top‐
“proof of value‐for‐money” in the grant  down’ econometric calculation…[and] a 
world. Given:   ‘bottom‐up’…’payback’ model…[which] 
has involved logic‐model tracking of 
intense interest in defining the social, 
new knowledge” (Frank & Nason, 2009, 
health and economic impacts of health 
p. 528). 
 

Table 3 
Topics of, Publications for, and Fields of Journal Articles 
Author(s) and Year  Topic  Journal Journal’s Field(s)
Bisias, Lo & Watkins  Primary research in science 
Allocation of NIH funds  PLoS ONE 
(2012)  and medicine 
Chan et al. (2014)  Impacts of research  The Lancet   Medicine 
Couee (2014)  Economic impact of research   EMBO Reports  Microbiology 
Measuring the benefits of  Canadian Medical 
Frank & Nason (2009)  Medicine 
research  Association Journal 
American Journal of 
Glasgow et al. (2012)  Improving research process  Public health 
Public Health 
Scientific study of methods 
Holmes, Scarrow &  Translating evidence into 
Implementation Science  to promote the uptake of 
Schellenberg (2012)  science 
research findings 
Johnston, Rootenberg, 
Costs and benefits to society 
Katrak, Smith & Elkins  The Lancet  Medicine 
of NIH clinical trials 
(2011) 
Kalutkiewicz & Ehman  Science and business of 
Metrics for NIH activity  Nature Biotechnology 
(2014)  biotechnology 
Reasons to financially support 
The Lancet (2011)  The Lancet  Medicine 
the Global Fund 
International weekly journal 
McIlwain (2010)  Economic return of research  Nature 
of science 
Benefits derived from 
Nicol (2008)  Health Law Journal  Health law 
dissemination knowledge  
Suggestions for reorganizing 
Rettig (2004)  the National Institutes of  Health Affairs  Health 
Health 
Scientific study of methods 
Stone & Lane (2012)  Beneficial impacts of research  Implementation Science  to promote the uptake of 
research findings 
Measuring the impacts of  American Journal of 
Weiss (2007)  Psychiatry 
medical research  Psychiatry 
 
 

 
7
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
This description parallels the orientations  journal sources did not clearly define the 
described by Weiss (2007): “financial  intended meaning of return on investment 
outcomes measures” and “impact…on the  even though they connected the idea 
end user” (p. 206). These two definitions  directly to grant activity. The dissertations 
proved to be accurate representations of the  did not depart from the usage pattern 
content of the scholarly publications (Table  described by Frank and Nason (2009) and 
4), that of the trade journals (Table 5), and  Weiss (2007) that has been illustrated here 
that found in the dissertations. Some  with the scholarly and trade publication 
authors used both meanings in their  content.  
presentation. There were also some  A small but focused subset of the 
idiosyncratic applications of ROI, such as  scholarly and trade journal articles 
Bisias, Lo, and Watkins’ use as “impact on  considered the effectiveness of applying the 
U.S. years of life lost” (2012, p. 1) but each  concept of ROI to grant activity. These 
of these fit within Frank and Nason’s  concerns were the primary topic of five of 
“payback” (benefit derived) category.   the 34 sources considered in this review, 
The shortest article from a scholarly  and formed a substantial concern in two 
journal, an editorial board opinion  other sources. The seven sources that 
statement, did not clearly define the  critiqued application of ROI in the context 
intended meaning of return on investment.  of grant‐funded activity were all opinion 
Eight of the 14 sources used both of the  pieces, with five appearing in scholarly 
observed patterns of meaning for ROI  journals (Couee, 2013; Frank & Nason, 2009; 
within one article, five used just one  McIlwain, 2010; Nicol, 2008; Weiss, 2007) 
definition of the phrase (one econometric  and the other two in trade journals (Corbyn, 
and four benefit derived), and three of the  2009; Moriarty, 2010).  
14 sources were written to critique use of  Multiple authors suggested categories in 
the ROI concept in evaluating grant‐funded  which the outcomes and benefits of grant‐
activity. Five of the trade journal sources  funded activity could be considered. These 
used return on investment with respect to  categories generally described broad themes 
grants in a strictly financial sense, three  summarizing types of derived benefits. 
applied the concept strictly as a  However, several authors extended their 
consideration of benefits derived, and three  treatment beyond simple categorization to 
used both meanings. Two of the trade   

 
8
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
 

Table 4 
Uses of the Phrase “Return on Investment” in the Scholarly Literature   
Author(s)    
and Date  Topic  Pattern of Use for “Return on Investment”  
Econometric Orientation (including authors arguing against this pattern) 
Proof‐of‐concept for a 
Bisias, Lo, &  “…is analogous to managing an investment portfolio: in both cases, there are 
quantitative method of 
Watkins (2012)   competing opportunities to invest limited resources” (p. 2). 
allocating NIH funds 
Opinion regarding 
 “…governments and funding agencies are increasingly interested in the 
“procedures and standards, 
performance and cost efficiency of specific research institutes, projects, teams 
such as applying economic 
Couee (2013)  and individuals. To make these ‘value‐for‐money’ assessments, many countries 
principles of quality 
rely on agencies and define criteria to evaluate research and carry out academic 
assurance to research” 
benchmarking” (p. 222). 
(from abstract) 
“…intense interest in defining the social, health and economic impacts of health 
research investments globally and in Canada as proof of value‐for‐money” (p. 
Measuring social, health, 
Frank & Nason  528). 
and economic benefits of 
(2009)   
research 
“ …model that “monetized improvements in life expectancy and quality of life” 
(p. 528). 
Johnston, 
Rootenberg, Katrak,  Effect of NIH clinical trials  “…at a total cost of $3.6 billion…net benefit to society at ten years was $15.2 
Smith & Elkins  on public health   billion” (p. 1319). 
(2011) 
“…economically productive use of taxpayer dollars…. It has been estimated 
Kalutkiewicz &  that approximately 30% of the total value of the NASDAQ has roots in academic 
Metrics for NIH activity 
Ehman (2014)  research. More specifically, a 2008 study concluded that every $1 spent on NIH 
research results in $2.21 in local economic impact” (p. 536). 
Considers case for  “Collins has recently cited a report by Families USA, a Washington DC‐based 
McIlwain (2010)  economic return of  health advocacy group, which found that every US $1spent by the NIH typically 
research  generates $2.21 in additional economic output within 12 months” (p. 682). 
“…provides return on investment, potentially allowing them to 
Types of return for 
reduce…monetary contribution” (p. 210).  
Nicol (2008)  dissemination of 
 
knowledge generated 
“…benefits in terms of financial return on investment” (p. 234). 
Proposes logic model‐
“…a return on the public investment can be realized through three outcomes: 
based system for 
broad and economical…, revenue from sales captured as profit…, and 
Stone & Lane (2012)  consideration of “the 
generation of new tax revenue” (p. 16). 
intended beneficial 
 
impacts” 

Measuring the impact of  “…financial outcomes measures seem removed from the core mission of 
Weiss (2007) 
medical research  academic medical research” (p. 206). 

Payback (Benefit Derived) Orientation 
Proof‐of‐concept for a 
Bisias, Lo, &  ROI as “impact on U.S. years of life lost” (p. 1). 
quantitative method of 
Watkins (2012)    
allocating NIH funds 

 
9
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
“Because unreported studies do not contribute to knowledge, they do not 
Opinion about improving 
provide returns on the investment of research resources or the contributions of 
Chan et al. (2014)  understanding of research 
participants” (p. 257). 
and its impact 
 
Measuring social, health,  “’…bottom‐up’…’payback model’…has involved logic‐model tracking of new 
Frank & Nason 
and economic benefits of  knowledge in phases from knowledge production at the researcher level…to 
(2009) 
research  secondary outputs and adoption to final outcomes” (p. 528). 
Proposes ways to improve 
“…true return on research investment requires improvements in the adoption 
progress from idea 
Glasgow et al. (2012)  and implementation of effective interventions within discrete clinical and 
dissemination to 
community settings” (p. 1277). 
implementation research 
Description of “how one 
funding agency 
Holmes, Scarrow &  determined its [knowledge  “…return on investments in health research in the form of societal and health 
Schellenberg (2012)  translation] role  system benefits” (p. 1). 
and…developed a model” 
(p. 1)  
Johnston, 
Effect of a NIH program of 
Rootenberg, Katrak, 
clinical trials on public   “…effect of trial results on medical care and health” (p. 1319). 
Smith & Elkins 
health and resulting costs 
(2011) 
“…the return on investment for NIH research should be measured in terms of 
Kalutkiewicz & 
Metrics for NIH activity  extended human life expectancy, reduced burden of disease, and long‐term 
Ehman (2014) 
economic impact” (p. 537).  
Considers case for 
“Biomedical research has generally been looked at for its health benefits”  
McIlwain (2010)  economic return of 
(p. 682).  
research 
Types of return for 
“…10% social rate of return based on building of the basic knowledge stock” (p. 
Nicol (2008)  dissemination of 
215). 
knowledge generated 
Discusses 
recommendations made  ROI as “improved health of the American public” (p. 257). 
Rettig (2004) 
regarding reorganization of   
NIH  
Proposes logic model–
based system for 
“…bibliometrics about research outputs (published discoveries),…transfer 
Stone & Lane (2012)  consideration of “intended 
metrics about development outputs (patented prototypes)” (p. 1). 
beneficial impacts” (from 
abstract) 
ROI “aligned with the amelioration of disease” (p. 206). 
Measuring the impact of   
Weiss (2007) 
medical research  “…impact of these activities on the end user…[as] measurement of outcomes” 
(p. 206). 
Unclear What Pattern is Meant 
Five reasons to financially 
The Lancet (2011)  Uses “largest and broadest return on investment” in undefined sense (para. 2). 
support the Global Fund 
 
   

 
10
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
Table 5 
Uses of the Phrase “Return on Investment” in Trade Journals   
Author(s) and 
Topic  Pattern of use for “Return on Investment”  
Date 
Econometric Orientation (including authors arguing against this pattern) 
Dept. of Energy reporting  “…return on investment (ROI) and could help make the case for utilities to further 
Anonymous 
about ARRA’s impact on  invest…[because] the savings from increased efficiency make up for the 
(2011) 
the smart grid  investment” (para. 6). 
     
Transformation of  “…the program allowed savings or reallocation of over $3.56 million in Canadian 
Berry (2014)  Alberta’s Edmonton Public  dollars…to Edmontonʹs downtown…with an initial investment of $630,000 
Library   Canadian” (para. 8). 
Sinai Health System’s 
“…for every dollar we invest…we have precluded spending up to $15 in hospital 
Channing  community health educator 
emergency department visits or inpatient admissions ‐ an incredible return on 
(2012)  program in pediatric 
investment” (para. 10).  
asthma 
Discusses the absence of  “…what level of economic return can taxpayers reasonably expect for their 
Corbyn (2009) 
metrics in ARRA funding  investment” (para. 7).  
Report on American  “LSTA funding…reached an estimated value of over $21 million –  a 13‐to‐1 return 
Flagg (2005) 
Library Council meeting  on investment” (para. 28).  
McCune (2007)  Tips for grant success  “…funders view their financial support as an investment in your library” (para. 25). 
“…prioritise research areas on the basis of their perceived impact on the economy” 
Critique of changes in  the 
(para. 3). 
Moriarty (2010)  British government’s grant‐
 
funding patterns 
“…direct, short‐term effect on the economy” (para. 9).  
Proposed changes to 
STEM Cell  “…potential to diminish a granteeʹs return on investment, increasing financial risk” 
intellectual property 
Week (2007)  (para. 3) 
regulations 
Payback (Benefit Derived) Orientation 
Evaluation of an 
Bawden et al.  emergency medicine  “…dedicated EM research funding should be continued to stimulate productivity” 
(2010)  national research grant  (p. 33).  
competition  
Report on a nursing grant  “…maximizing use of current and preparing for future technology”  
Brunell (2009) 
project  (para. 8). 
Discusses the absence of 
Corbyn (2009)  “quality‐of‐life or public‐policy benefits” (para. 15). 
metrics in ARRA funding 
“…actual return on investment …. Although not all results 
McCune (2007)  Tips for grant success  are quantifiable, you should have some sort of evaluation to determine if your 
proposal will have made an effect or a positive change” (para. 19). 
Critique of changes in the  “J.J. Thomson, discoverer of the electron, said.…’Research in pure science is made 
Moriarty (2010)  British government’s grant‐ without any idea of application to industrial matters, but solely with the view of 
funding patterns  extending our knowledge of the laws of Nature’” (para. 10).  
Considerations related to  “…share data points ‐ qualitative and quantitative about return on investment, both 
Raths (2009) 
seeking grants  in terms of patient health and improved efficiencies” (para. 27). 
Unclear What Pattern is Meant 
Advocates seeking “grants because the return on investment (ROI) can be huge” 
Gavigan (2008)  Police communications 
(para. 16). 
Learning taking place at  “We have to keep our ears to the community to make sure weʹre providing the best 
McGill (2013) 
HRSA‐funded centers  return on investment we can for the funding we do get” (p. 3).  

 
11
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
suggesting systems for analysis of benefits  to grant‐funded activity, “econometric” 
derived from grant‐funded research.  (Frank & Nason, 2009, p. 528) and the 
LIMITATIONS  broader set of benefits derived (“impact of 

The primary limitation applicable to this  these activities;” Weiss, 2007, p. 206), brings 

review is that it is the work of one person.  an issue into focus.  

Any bias he had regarding the topic could  Corbyn (2009) cites Mansfield’s 1991 

have influenced data‐gathering, data  study, which showed $0.28 annual return in 

analysis, and presentation of results. The  perpetuity for every $1 in grant funds 

methodology employed, incorporating  distributed. McIlwain (2010) referenced  

comprehensive consideration of the  “a report by Families USA…which found 

literature available on the ProQuest  that every US $1 spent by the NIH typically 

database, pre‐specified criteria, organic  generates $2.21 in additional economic 

development of categories and labels, and  output within 12 months” (2010, p. 682). 

frequent crosschecks of data and results,  According to no lesser authority than Dr. 

was chosen as a means of minimizing both  Francis Collins, the director of the National 

bias and human error.   Institutes of Health, “[b]iomedical research 
has generally been looked at for its health 
DISCUSSION AND CONCLUSIONS 
benefits, but the case for it generating 
The purely fiscal sense of return on 
economic growth is pretty compelling” (p. 
investment is unlikely to disappear from the 
682). However, a small but noteworthy 
discussion of grants. Several of the sources 
cohort of authors believes this perspective is 
cited in this review described governments’ 
based on a flawed application of ROI 
increasing emphasis on the economic 
(Collins quoted in McIlwain, 2010). 
impact of the research they fund; in the U.S. 
That “academic research has a direct, 
(Kalutkiewicz & Ehman, 2014; McIlwain, 
short‐term effect on the economy” 
2010), in Canada (Frank & Nason, 2009; 
(Moriarty, 2010, para. 9) is the basis of the 
Joosse, 2009), and in the United Kingdom 
objections to a solely economic perspective 
(Corbyn, 2009; Moriarty, 2010). The issue is 
of grant ROI. McIlwain noted that, “some 
and is likely to remain, “what level of 
economists question the basic assumption 
economic return can taxpayers reasonably 
behind such models” (2010, p. 682) (i.e., 
expect for their investments” (Corbyn, 2009. 
direct linear relationships between grant 
para. 7)? Yet the presence of two patterns of 
funds invested and economic output). In 
usage for return on investment in reference 

 
12
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
fact, McIlwain also stated that no one can  impact may not be direct and certainly is 
assert “a certain amount of research input  not linear.  
will generate corresponding economic  Due to the lack of linear relationships, 
outputs” (p. 682) of a known degree or  the foremost argument against the 
breadth. This is the case as “[t]he economic  application of fiscal ROI to grant activity is 
impact of research is felt in myriad ways,  that it does not conform to the patterns 
both direct and indirect” (Corbyn, 2009,  necessary for the calculation. Corbyn stated 
para. 20). Even should one be able to plan  that, “[m]easuring the economic return on 
and capture measures of all direct impacts,  investment from scientific research is a 
preparing a plan to measure indirect or  difficult, if not impossible, task” (2009, para. 
spillover impact implies a prescience that  9) and “[t]rying to put a number on it is a 
simply is not possible. A related  ‘pretty fruitless task,’ particularly if quality‐
consideration is the presence of  of‐life or public‐policy benefits are being 
confounding influences. It is possible for  fitted with pound signs” (para. 15). As 
short‐term impact to be blunted or blocked  McIlwain (2010) noted, “[a] key 
by circumstances external to a project such  problem…has been economists’ inability to 
as institutional reallocation of resources or  measure the costs of research as well as the 
personnel, competing initiatives, and social  benefits” (p. 684). This circumstance 
or cultural pressures that affect  prevents accurate calculation of return on 
participation. Long‐term impacts, like the  investment as one must know and take into 
success or failure of a business venture  account the inputs (costs) and the outcomes 
developed from a grant‐funded project, can  (benefits). If the factors included in the 
also be influenced by multiple factors. A  calculation fall short of a “full accounting” 
lack of success “could be just as much to do  or are skewed based upon preference or 
with a failed marketing campaign as the  perspective, “the resulting ROI figures can 
innovation itself” (Corbyn, 2009, para. 25),  be meaningless” (Wheelen & Hunger, 2004, 
thereby violating the notion of direct, linear  p. 258). One need only consider 
relationships between funding and its  Bloomgarden’s suggestion of “prestige 
impacts. Even the abbreviated list of  generation” (2008, p. 19) or the descriptions 
examples shared here indicates that the  of grant ROI selected from some of the 
relationship of grant project or process to  sources for this review (Table 6) to see the 
variety of perspectives regarding grant 

 
13
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
outcomes—many of the suggested  in a manner that would facilitate monetary 
outcomes would be a challenge to measure  valuation and ROI calculation.  
 
Table 6 
Selected Phrases Used by Sources to Describe ROI  
Source  Description Applied Source  Description Applied
Extended human life 
Berry (2014)  Social return 
expectancy  
Bisias, Lo, & Watkins  Kalutkiewicz & Ehman  Reduced burden of 
Years of life lost 
(2012)  (2014)  disease 
Long‐term economic 
Bradford (2008)  Cultural ROI 
impact 
Corbyn (2009)  Economic return  Litwin (2008)  Change in market share 
Indications of desired 
McCune (2007)  Measured outcomes 
impact 
Social and business 
Eckert (2011)  Health benefits 
value 
McIlwain (2010) 
Generating economic 
Customer loyalty 
growth 
Life expectancy   Mills (2008)  Tangible products 
Frank and Nason (2009)  Direct, short‐term effect 
Quality of life  Moriarty (2010) 
on the economy 
Chan et al. (2014); 
Gavigan (2008)  Benefit derived  Extending knowledge 
Moriarty (2010)  
Data regarding patient 
Societal benefits 
Raths (2009)  health  
Glasgow et al. (2012) 
   Data regarding 
Health system benefits 
improved efficiencies 
Johnston, Rootenberg,  Improved health of the 
Effects on medical care   Rettig (2004) 
Katrak, Smith & Elkins  U.S. public 
(2011)  Effects on health  Weiss (2007)  Amelioration of disease 
 
Nicol (2008) noted the possibility of a  driver for industry is product development” 
variance of perspectives regarding a single  (Nicol, 2008. p. 212). This can produce a 
project, saying that individuals with  “clash of cultures” (ibid.) around what 
differing sets of responsibilities and  constitutes acceptable and desirable 
backgrounds are “likely to bring quite  outcomes and measures. Litwin (2008) 
different interests and experience to  addressed this issue clearly in his 
the…table. University administrators are  dissertation: “If there is no generally 
likely to focus on cost recovery whereas the  accepted method of measuring 

 
14
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
success…then return on investment in  and can be consistently measured is flawed. 
research capacity cannot be measured” (p.  Without common understanding of what 
93).   “impact” entails and how to capture a 
It is a practical impossibility to track and  reliable measurement of it, even the most 
assign a monetary value to all direct and  meticulous of calculations become limited 
indirect inputs and outcomes that occur in  and overly context‐specific. 
grant‐related activity, from proposal  The application of fiscal ROI to grant‐
production to project implementation and  funded projects assumes simple, uniform 
management and on to long‐term impacts  measurement. Yet the measurements taken 
(both anticipated and unanticipated). As a  cannot be simple, as they address complex 
result, values calculated for grant ROI are  and sometimes conflicting constructs (Table 
speculative or context‐limited at best and  6). The complication of comparing ROI 
may even be spurious. This conclusion has  across research contexts and projects is an 
been reached by multiple parties. Frank and  apt illustration. As a UK expert, Ben Martin 
Nason (2009) directly stated that no  of the Institute of Science and Technology 
validated method for measuring return on  Policy Research at the University of Sussex, 
investments for grants exists. Stone and  has asked, “‘How do you weigh up Pounds 
Lane (2012) concurred, noting “the absence  1 billion of spin‐off increases against a 
of comprehensive models and metrics” (p.  potential policy outcome of 100,000 fewer 
1), as do Corbyn (2009), Couee (2013),  people becoming obese’” (Martin, quoted in 
McIlwain (2010), Moriarty (2010), and Nicol  Corbyn, 2009, para. 40)? In addition, the 
(2008).  measures of process and products in grant 
The second line of argument against  activity are not uniform. Research practice 
calculation of fiscal ROI for grant‐funded  is dynamic, with new developments 
activity is the presence of erroneous  occurring annually and with a variety of 
assumptions. As has just been noted, “there  tools and applications available to 
is no consensus about what constitutes  accomplish similar purposes. While 
impact” (Corbyn, 2009, para. 9; see also  scientific enquiry dictates consistency in 
Table 6), nor is there consensus about which  process within an investigation or 
potential impacts should be considered for  intervention, it is possible for advancements 
various types of projects. Thus, the  and alterations to occur between funding 
assumption that grant impacts are known  cycles. The support facilities, research 

 
15
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
venues, and project personnel may change  undermining the applicability of fiscal ROI 
for a single continuous project from one  calculation.  
funding cycle to the next, introducing  Comparing calculated ROI between 
variations in resource inputs as well as in  projects or programs assumes that the 
expertise and insight. Lead investigators  inputs, processes, and outcomes are 
and their colleagues continue to learn and  transferable from setting to setting. Yet 
to be influenced by the work of others as it  “[l]ittle is known about…the extent to 
becomes available, altering their  which the benefits of research done in one 
understanding and perspectives. These  country or region are specific to that area” 
phenomena call into question the  (McIlwain, 2010, p. 684). Ignoring this 
assumption that ROI calculations completed  principle when seeking to summarize 
even three years ago will represent the same  impact contradicts what is considered by 
set of inputs and behaviors as calculations  funders to be best practice. Funding 
for the same project or similar projects at  organizations do not generally assume 
present. Even changes in funder reporting  uniformity from one setting to the next.  
standards can impact practice in currently  This is the reason for inclusion of proof of 
funded projects. Corbyn (2009) provided an  replicability in proposals and for the 
example of rapid change of this type. When  funding of validation, replication, and 
the British government “made the number  dissemination studies.  
of spin‐offs a key indicator of the success of  Another flawed assumption in applying 
knowledge‐transfer activities …. Numbers  a fiscal concept of ROI to grant activity is 
increased nearly threefold” (para. 27) in one  the ability to establish appropriate periods 
year. But that “’did not mean that [the  in which to measure impacts, especially in 
researchers] suddenly became three times  respect to research outcomes. There can be 
better at technology transfer and generating  extended waits before a research product 
economic impact…it meant…that once it  has a discernable impact (Kalutkiewicz & 
became a performance indicator, everybody  Ehman, 2014; Nicol, 2008). Indeed, “[l]ittle is 
started maximising their score’” (Corbyn,  known about how long the economic 
2009, para. 28). Variation and malleability of  benefits of research take to accrue” 
the kind described above decidedly limits  (McIlwain, 2010, p. 684). Since little is 
the ability to argue for simple, uniform  known about the period of time necessary 
measurement with respect to grant projects  for economic benefit to be derived, any 

 
16
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
pattern utilized becomes a best guess.  favorably biased. Mansfield’s work is not an 
Chance or ancillary outcomes are a related  isolated instance. Robert Topel of the 
concern. It is not uncommon for grant‐ University of Chicago observes, “‘It is very 
funded projects of all types to have  hard to take changes in public health and 
unexpected outputs or outcomes. Many  attribute their cause’” (McIlwain, 2010, p. 
research discoveries from “antibiotics to  684). Yet this is the overt purpose of 
nuclear magnetic resonance have had huge  frequently cited reporting regarding ROI of 
economic impact, but were both  funded research. Several examples are 
serendipitous and did not hit pay dirt for  Exceptional returns: The economic value of 
many years” (Corbyn, 2009, para. 23).   America’s investment in medical research and 
Those citing well‐known reports and  Rising above the gathering storm (National 
studies in support of calculating fiscal ROI  Academies, 2007), publications compiled by 
for grants appear to ignore the  lobbyists and government‐funded 
shortcomings of the reports they cite. Dr.  committees. McIlwain’s view is that the 
Benjamin Martin professor of science and  “economic benefits of research have been 
technology studies at the University of  extrapolated from a small number of 
Sussex describes the classic example,  studies, many of which were undertaken 
Mansfieldʹs 1991 analysis, as ʺtoo good to be  with the explicit aim of building support for 
trueʺ indicating it “rested on ‘heroic  research investment, rather than being 
assumptions’ and ‘flawed methodology’ʺ  objective assessments” (McIlwain, 2010, p. 
(Corbyn, 2009, para. 17). McIlwain (2010)  682). The American (Kalutkiewicz & 
agrees: Mansfield’s data was developed “by  Ehman, 2014; McIlwain, 2010), Canadian 
interviewing chief executive officers, asking  (Frank & Nason, 2009; Joosse, 2009), and 
them what proportion of their companies’  British governments (Corbyn, 2009; 
innovation was derived from university  Moriarty, 2010) are actively gathering 
research work” (McIlwain, 2010, p. 683). It  information in these areas and it is hoped 
is essentially a summary estimate based on  that they can improve on the current state 
individual estimates provided by a limited  of affairs.  
convenience sample, 76 CEOs, “who were  It is naturally important to employ some 
pushed by the economist to give answers”  form of measurement for the eventual 
(Corbyn, 2009, para. 17) in an arena of  benefits of grant‐funded activity. Weiss 
activity about which they were likely to be  (2007) proposed three reasons for this:  

 
17
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
(1) “measuring outcomes provides a clear  valid metrics, resulting in what is unlikely 
and meaningful message regarding the  to be a simple system of measurement or 
return on investment to the major funders”  one that is chiefly focused on fiscal ROI.  
(p. 207); (2) outcomes measurement “serves  Weiss’ statement of reasons to compile 
as a compass to keep our research efforts,  ROI information, referring to both the fiscal 
individually and collectively, on track”  outcomes and benefits‐derived definitions 
(ibid.); and (3) this measurement “makes  of ROI, summarizes the need for clear and 
explicit the societal good embedded  balanced activity in this area. Having a 
in…research” (ibid.). However, “[t]he  means of chronicling “the outcomes 
absence of comprehensive models and  of…work would provide…funders with 
metrics skews evidence gathering” (Stone &  clearer mission‐central return‐on‐
Lane, 2012, p. 1) toward the proximal and  investment feedback, would make explicit 
the easily chronicled. This becomes  the benefits of science to an increasingly 
“problematic…as most measurable  skeptical public, and would serve as a… 
socioeconomic benefits” (ibid.) occur  guide the scientific community” (Weiss, 
through “commercial innovation” (ibid.),  2007, p. 206). 
and, as a result, are very long‐term  RECOMMENDATIONS 
measures without readily predictable paths.   Consideration of return on investment 
Even with respect to socioeconomic  has a place in the grant world, even though 
benefits, there will be a wide variety of  fiscal ROI should be viewed as a tool that is 
possible measures. Dr. Benjamin Martin of  limited in accuracy, scope, and 
the University of Sussex believed that “you  applicability. Therefore, it is incumbent on 
can capture economic impact, but…need a  grant professionals to utilize the most 
‘vast array’ of indicators ‐ about 65”  appropriate patterns and understandings 
(Martin, quoted in Corbyn, 2009, para. 26).  for assessment of the benefits of grant‐
This matches the system described by Frank  funded activity, rather than the most 
and Nason *(2009) which includes “a  convenient, and to advocate for the most 
starting menu of 66 preferred indicators  appropriate patterns with administrators, 
designed to answer a number of potential  government officials, faculty, and peers so 
impact questions” (p. 532) and the potential  that these patterns become and remain the 
for development of other indicators. Nicol  “best practice” in research administration.  
(2008) agreed that there are a variety of 

 
18
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
Toward this end, the benefits derived  strong example of identified purpose of 
perspective on ROI should become the  assessment: “[a]ccording to the Canadian 
preferred perspective in a grants context.  Academy of Health Sciences, evaluation of 
This is the view of the Research Councils of  research is carried out for three main 
the United Kingdom, which suggested “a  purposes: accountability purposes, 
broad approach to describing the impact of  advocacy purposes, and learning purposes” 
research” (Research Councils of the United  (p. 2). Several authors of dissertations 
Kingdom, quoted in Corbyn, 2009, para. 35).  suggested different patterns for organizing 
The goal is to look “at economic effects,  the basic purposes of grants: Mills (2008) 
[but]…also consider social benefits such as  suggested that institutions of higher 
improved public‐policy and quality‐of‐life  education (IHE) assess tangible products in 
outcomes” (Corbyn, 2009, para. 15) by  three areas, “core mission areas of 
integrating case studies in order to “achieve  instruction, research, and public service” (p. 
an ‘ever more persuasive’ evidence base for  30) while Eckert (2011) suggested that 
the impact of research council funding”  corporate funders are attuned to achieving 
(Corbyn, 2009, para. 38). Methodology in  “both social and business value” (p. 71).  
gathering qualitative accounts and in  Nicol (2008) noted that each stakeholder or 
making generalizations from these accounts  group is likely to have “quite different 
becomes a concern in this approach, but a  interests and experience” (p. 211), which 
purely quantitative fiscal mode of  will influence their perspective of the 
consideration poses equal, if not greater,  benefits to be considered. The most direct 
concerns and limitations, as argued above.   way to resolve differences of this type is to 
In order to forego a “clash of cultures”  clearly identify the entity’s purposes for the 
(Nicol, 2008, p. 212) around what  enterprise and seek to measure according to 
constitutes acceptable and desirable  these purposes.  
measures, it would be wise to follow the  As highlighted in Nicol (2008), different 
focus on the purpose behind measurement  purposes for grant‐funded activity exist 
stressed by Weiss (2007), Moriarty (2010),  with respect to each stakeholder and 
and Couee (2013). Put simply, assessment  organization, specific undertakings, and 
will be ineffective without an identified  each funder. In several countries, funding 
purpose for the measurement and analysis  agencies supported by the national 
conducted. Thonon et al. (2015) provided a  government are actively engaged in the 

 
19
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
development or early implementation of  “potential benefits index” (p. 59). The 
reporting systems that seek to capture more  contract value index is a simplified ROI 
and more relevant data related to projects  calculation, the “ratio of the actual contract 
they fund. However, this does not resolve  fee realized from a [project] to the 
the matter for institutions of higher  prevailing man‐year rates of the 
education, non‐profits, healthcare entities,  organization” (p. 60). The man‐year rate 
or other organizations receiving grants  comprises all known organizational costs 
specific to their own unique interests.  for the program, staff time, direct costs, and 
Funding‐program‐level or even national‐ indirect cost, calculated as a yearly average. 
level summation of impacts does not  While as described above, this is likely 
address institutional, local, partnering  inadequate for an accurate ROI calculation, 
organization, or individual outputs and  utilizing this pattern for all projects will 
outcomes, unless very few projects are  allow comparison of similar sets of 
being funded at the national level. IHEs and  summary data (known costs). Potential 
other funded parties must resolve this  benefits ratings result from consideration of 
challenge for and within their own  a ten‐item list that can be weighted in favor 
purposes and setting. Two immediately  of primary purposes while still considering 
accessible approaches can be taken, or even  other goals. In the process, organizations 
combined, to meet this need. These are an  rate projects according to known 
institutional values‐specific benefit analysis  institutional priorities. Both scores are then 
process and a balanced scorecard approach.   plotted on a four‐quadrant graph allowing 
Uttam and Venugopal (2008) developed  comparison of projects. To aid with 
a quantitative benefit analysis system that  comparison and characterization of projects, 
takes institutional purposes into account.  categorical descriptions for each quadrant 
While the system was devised in India for a  of the graph were created (“move away,” 
research laboratory, its basic structure and  “futuristic,” “desirable,” and “beneficial” 
essential elements are easily adaptable for  [Uttam & Venugopal, 2008, p. 65]). Uttam 
organizations that receive grant funding in  and Venugopal completed a proof‐of‐
any part of the world. Uttam and  concept study with historical data from 
Venugopal’s system plots points on a four‐ their organization and used the data from 
quadrant graph by using values from a  that pilot for their 2008 publication. Their 
“contract value index” (p. 60) and a  system allows quantitative comparison of 

 
20
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
projects and aids in determining the relative  pattern or on its own. This is rubric‐based 
value of each project to the organization,  evaluation or a “balanced scorecard,” a 
from nominal value without the potential  pattern long employed in business settings 
for long‐term impact (“move away”) to a  (Wheelen & Hunger, 2004). This system 
“high level of…long‐term benefits  includes “nonfinancial as well as financial 
and…substantial revenues upfront”  measures” (p. 250), requires measurable 
(“desirable”) (Uttam & Venugopal, 2008, p.  objectives (e.g., SMART goals) and key 
65).   performance indicators for each objective, 
Another immediately applicable  and as a result is customizable, with 
assessment system can be used in  institutional goals directing the formation of 
conjunction with Uttam and Venugopal’s  the scorecard.  
 
Table 7 
Illustration of Project Purposes Divided Categorically 
Spheres of Measurement  Possible Considerations 
Fiscal   Fiscal purposes for grants are limited to input concerns like volume, 
resourcing, and consistency (e.g., gradually decreasing institutional dollars 
supporting the project, provision of all equipment required to initiate the 
project) and results in two categories: outputs (e.g., licensable product 
developed) and outcomes (e.g., spin‐off company established).  
Stakeholder   A variety of stakeholders exist who may have identifiable purposes related to 
a grant‐funded project. Examples are the funder, the awardee 
organization, the research team, the entity of which the awardee 
organization is a member (e.g., state university system office), student 
workers, participants, and the public.  
Innovation and learning  Innovation and learning purposes are limited to the behavioral (e.g., process 
initiated, contacts made, counseling provided) and result spheres (e.g. 
increased performance, completion of a credential).  
Impact  Impact purposes can occur in respect to the setting (e.g., improved process, 
facilitating multiple projects through acquisition of a large item of 
equipment), the field of the investigation (e.g., new method or knowledge), 
or society (e.g., improved healthcare delivery).    
 
To employ a balanced scorecard system,  impact. It should be noted that a project 
the first topic to consider is the purpose(s)  may have more than one purpose in a 
for the project or initiative. These can be  category or purposes in several of the 
classified in four categories: fiscal,  categories. A SMART goal should be 
stakeholder, innovation and learning, and  written for each identified purpose. To 

 
21
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
establish the key performance indicators for  answered for each goal, a simple table can 
the SMART goal(s), a series of questions are  be constructed listing the project objectives 
asked starting with identification of the  (SMART goals) in the left‐hand column and 
purpose. These are: (1) What is the purpose  the performance indicator (the standard 
(or what are the purposes) for undertaking  against which performance will be 
this project and the associated standard(s)  compared) in a middle column, leaving 
by which success will be measured?; (2) Is  room in the right‐hand column for the 
this measurement a process (chronicling  material generated by completing the 
activity) or product (chronicling results)  measurement. The result is a clearly defined 
consideration?; (3) Is this a fiscal,  rubric for assessing performance in a 
stakeholder, innovation and learning, or  project. In this system, it is only possible to 
impact measure?; (4) Does the measure  compare performance data between projects 
require monitoring of inputs, activities, or  should they have exactly the same set of 
results?; (5) If a result is in view, is this an  purposes and performance measures, which 
output or an outcome concern?; (6) What  is unlikely. However, the system does make 
data will be required for the proposed  it possible to summarize project results that 
measurement, and are they qualitative,  are associated with various institutional 
quantitative, or are both needed?; and (7)  purposes and note the achievements in each 
How will the data be processed or  area.
analyzed? Once these questions have been 
 
Table 8 
Example of a Balanced Scorecard for a Grant Project 
SMART Objective  Performance Indicator  Measure
Fiscal Purposes 
1. SMART Objective for the first fiscal measure.   Baseline or standard  Measure taken 
2. SMART Objective for the second fiscal measure.  Baseline or standard  Measure taken 
Stakeholder Purposes 
1. SMART Objective for the first stakeholder measure.   Baseline or standard  Measure taken 
2. SMART Objective for the second stakeholder measure.  Baseline or standard  Measure taken 
Innovation and Learning Purposes 
1. SMART Objective for the first innovation and learning  Baseline or standard  Measure taken 
measure.  
2. SMART Objective for the second innovation and learning  Baseline or standard  Measure taken 
measure. 
Impact Purposes 
1. SMART Objective for the first impact measure.   Baseline or standard  Measure taken 
2. SMART Objective for the second impact measure.  Baseline or standard  Measure taken 

 
22
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
 
Organizations receiving grant funding  thoughtfully prepared and applied system 
are called upon by the funder, the  is a must for completing this process. While 
organization’s internal and external  this task is not as simple as some would like 
stakeholders, and the public to demonstrate  for it to be, consistent application of well‐
responsible use of resources, including  constructed approaches can produce 
noting benefits derived from the projects. A  meaningful results.  

 
LITERATURE CITED 
Anonymous. (2011, August 6). Clinical research; UCSF receives $112 million to help translate 
science into cures. Obesity, Fitness, and Wellness Week. 
Bawden, J., Manouchehri, N., Villa‐Roel, C., Grafstein, E., & Rowe, B. (2010). Important returns 
on investment: An evaluation of national research grants competition in emergency 
medicine. Canadian Journal of Emergency Medicine, 12(1), 33–38. 
Bisias, D., Lo, A., & Watkins, J. (2012). Estimating the NIH efficient frontier. PLoS ONE, 7(5), 1–
10. 
Berry, J. N. (2014). Transformed by teamwork. Library Journal, 139(11), 30–35. 
Bloomgarden, A. H. (2008). Prestige culture and community‐based faculty work. Unpublished 
doctoral dissertation. Retrieved from the ProQuest database. UMI number: 3336986.   
Bradford, C. S. (2008). Significance of institutional performance factors in the allocation of state 
appropriations to public research universities. Unpublished doctoral dissertation. Retrieved 
from the ProQuest database. UMI number: 3337342. 
Brunell, M. L. (2009, September). Florida receives Partners Investing in Nursingʹs Future grant. 
The Florida Nurse, 17. 
Chan, A‐W., Song, F., Vickers, A., Jefferson, T., Dickersin, K., Gotzsche, P., Krumholz, H., 
Ghersi, H. & van der Worp, H. (2014). Increasing value and reducing waste: addressing 
inaccessible research. Lancet, 383, 257–266.   
Channing, A. H. (2012, March/April). Overcoming barriers through community engagement. 
Healthcare Executive, 27(2), 64–66. 
Corbyn, Z. (2009, April 30). Bang for your bucks. The Times Higher Education Supplement, 32. 
Couee, I. (2013). The economics of creative research. EMBO reports, 14(3), 222–225. 

 
23
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
Eckert, L. M. (2011). Private dollars in public education: corporate philathropy in K–12. Unpublished 
doctoral dissertation. Retrieved from the ProQuest database. UMI number: 3486023. 
Flagg, G. (2005, August). ALA Council. American Libraries, 37(7), 73–75. 
Frank, C. & Nason, E. (2009). Health research: Measuring the social, health and economic 
impacts. Canadian Medical Association Journal, 180(5), 528–534.  
Funding First. (2001). Exceptional returns: the economic value of Americaʹs investment in medical 
research. New York, NY: The Lasker Foundation.  
Gall, M. D., Gall, J. P. & Borg, W. R. (2010). Applying educational research (6th ed.). Boston, MA: 
Person Education, Inc. 
Gavigan, J. (2008, November). The state‐of‐the‐art police agency: information technology. Law 
and Order, 56(11), 24–26, 28–31. 
Glasgow, R. E., Vinson, C., Chambers, D., Khoury, M. J., Kaplan, R. & Hunter, C. (2012). 
National Institutes of Health approaches to dissemination and implementation science: 
current and future directions. American Journal of Public Health, 102(7), 1274–1281. 
Holmes, B., Scarrow, G., & Schellenberg, M. (2012). Translating evidence into practice: The role 
of health research funders. Implementation Science, 7, 1–10. 
Investopedia. (2015). Return on investment ‐ ROI. Retrieved from: 
http://www.investopedia.com/terms/r/returnoninvestment.asp  
Johnston, S. C., Rootenberg, J. D., Katrak. S., Smith, W. S., & Elkins, J. S. (2006). Effect of a US 
National Institutes of Health programme of clinical trials on public health and costs. The 
Lancet, 367, 1319–1327. 
Joosse. G. (2009). Revolutionary changes in Alberta post‐secondary funding: Comparison of two 
collegeʹs responses. Unpublished doctoral dissertation. Retrieved from the ProQuest database. 
ISBN: 978‐0‐494‐49644‐2. 
Kalutkiewicz, M. J., & Ehman, R. L. (2014). Patents as proxies: NIH hubs of innovation. Nature 
Biotechnology, 32(6), 536–538. 
The Lancet. (2011). Five reasons to fund the Global Fund. The Lancet, 378, 1198. 
Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P. C., Ioannidis, J. A. P., Clarke, 
M., Devereaux, P. J., Kleijnen, J. & Moher, D. (2009). The PRISMA statement for reporting 
systematic reviews and meta‐analyses of studies that evaluate healthcare interventions: 
explanation and elaboration. BMJ, 399(b2700). doi:10.1136/bmj.b2700 

 
24
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
Litwin, J. M. (2008). The efficacy of strategy in the competition for research funding in higher education. 
Unpublished doctoral dissertation. Retrieved from the ProQuest database. ISBN: 978‐0‐494‐
39945‐3.  
McIlwain, C. (2010). What science is really worth. Nature, 465(10), 682–684.  
Mansfield, E. (1991). Academic research and industrial innovation. Research Policy, 20, 1–12. 
McCune, B. (2007, July/August). 10 tips for getting grants to keep your library afloat. Computers 
in Libraries, 27(7), 10–12.  
McGill, N. (2013). Training centers keep public health workers knowledgeable. The Nationʹs 
Health, 43(2), 1, 12. 
Mills, G. E. (2008). An exploration of the factors that influence the use of information technology for 
institutional effectiveness in terms of the research and learning productivity of a college or university. 
Unpublished doctoral dissertation. Retrieved from the ProQuest database. UMI number: 
3321505.  
Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. (2009). Preferred reporting items for systematic 
reviews and meta‐analyses: The PRISMA statement. BMJ, 332–336. 
Moriarty, P. (2011, August 4). False economies. The Times Higher Education Supplement, 2010, 26. 
National Academy of Sciences. (2007). Rising above the gathering storm: Energizing and empowering 
America for a brighter economic future. Washington, DC: The National Academies Press.  
Neuendorf, K. (2002). The content analysis guidebook. Thousand Oaks, CA: Sage Publications. 
Nicol, D. (2008). Strategies for dissemination of university knowledge. Health Law Journal, 16, 
208–235. 
Preuss, M. (2015). Assessing grant capacity and readiness: A systematic review of the periodical 
literature of research administration. Research Management Review, 20(2), 1–18.  
Raths, D. (2009, January). Ask nicely. Healthcare informatics, 26(1), 42–45. 
Rettig, R. A. (2004, January/February). Reorganizing the National Institutes of Health. Health 
Affairs, 23(1), 257–262. 
Stem Cell Week. (December 3, 2007). Regenerative medicine: California Healthcare Institute 
submits statement to California Institute for Regenerative Medicine Revised Intellectual 
Property Regulation. Stem Cell Week, 137. 
Stone, V. I., & Lane, J. P. (2012). Modeling technology innovation: How science, engineering, 
and industry methods can combine to generate beneficial socioeconomic impacts. 
Implementation Science, 7(1), 44–62. 

 
25
 Research Management Review, Volume 21, Number 1 (2016) 
 
 
 
Thonon, F., Boulkedid, R., Delory, T., Rousseau, S., Saghatchian, M., van Harten, W., OʹNeill, C., 
& Albertu, C. (2015, April 2). Measuring the outcomes of biomedical research: a systematic 
literature review. PLoS ONE, 1–14. 
Uttam, S., & Venugopal, P. (2008). Assessment of benefits from sponsored research in publically 
funded organizations: A semi‐empirical model. Research Management Review, 16(1), 57–68. 
Weiss, A. P. (2007). Measuring the impact of medical research: moving from outputs to 
outcomes. The American Journal of Psychiatry, 164(2), 206–214. 
Wheelen, T. L., & Hunter, J. D. (2004). Strategic management and business policy (9th ed.). Upper 
Saddle River, NJ: Pearson/Prentice Hall.  

 
ABOUT THE AUTHOR 
Michael Preuss, Ed.D., is a Grants Consultant at Hanover Research and an adjunct graduate 
faculty member in the School of Education at Liberty University. He has held faculty positions, 
worked in institutional research, administered large grant‐funded programs, served as an 
external evaluator of grant projects, worked in research administration, been the director of 
international non‐profits, and is a frequent presenter at conferences and in professional 
development seminars. Among Dr. Preuss’ notable accomplishments are: receipt of the 2009 
Developmental Education Publication of the Year award from the Journal for Developmental 
Education, two years of service as the co‐editor of the NADE Digest, founding and leading 
European and international non‐profits, faculty positions at six institutions of higher education 
(five American and one European), and service as a consultant for nonprofits in the post‐
communist Czech Republic. He consults full time in higher education for Hanover and remains 
engaged with instruction by teaching graduate research methodology courses and sitting on 
dissertation committees. 
 

 
26