사회복지 평가 조사

분석과 설명

이성은 | 입력 : 2019/11/14 [15:07]

평가 조사

 

사회복지 현장에서 욕구조사와 함께 가장 많이 이루어지고 있는 조사이다. 평가조사는 사회복지 실천을 위해서도 실시되며, 정책에 대한 평가, 기관에 대한 평가, 사업에 대한 평가에 이르기 까지 다양하게 활용되고 있다.

 

0. 평가조사 기초내용정리-> 1. 평가목적 설정 -> 2. 조사설계, 평가대상, 평가모형 혹은 평가기준, 평가자료 수집방법 -> 3. 평가세부지표 개발 -> 4. 세부지표 조사도구 개발, 선정 -> 5. 평가자료 수집 -> 6. 자료 분석 및 정리 -> 7. 평가 수행 -> 8. 평가보고서 작성

 

1. 평가보고서의 필요성과 목적

 

대외적 요구 - 정부, 재정지원 기관

대내적 요구 - 사업의 지속 혹은 중단 결정, 사업의 발전적 방향 모색. 기관의 성장과 발전.

 

2. 평가대상

 

기관 평가 : 기관에 대한 평가로 다음과 같은 세 가지 질문이 핵심이다.

- 설립목적과 비전을 달성하고 있는가

- 내부고객인 직원이 만족하며 전문성을 가지고 일하고 있는가

- 기관의 사업들은 성과를 내고 있는가

 

사업평가 : 특정 사업에 대한 평가로 다음과 같은 두 가지 질문이 핵심이다.

- 사업이 성과를 내고 있는가

- 지역 사회에 영향을 미치고 있는가

 

이를 위해서는 기관의 설립목적과 비전이 명확하게 확립되어있어야 한다. 또한 기관의 리더십과 조직 내 상호작용 및 존재감에 대한 만족도, 가치와 윤리, 지식과 기술 등의 전문성이 확립되어야 한다. 또한 사업이 논리적 체계로 구성되어 있어야 하고 성과에 대한 기준이 구체적이고 명확하게 설정되어 있어야 한다. 사회복지기관에 있어서 지금까지의 사업 평가는 참여자에 대한 성과에 초점을 두는 것이라면 최근 들어서는 지역 사회에 대한 성과에 포함하려는 시도가 이뤄지고 있다.

 

3. 평가 모형과 평가 기준

 

논리 모형 : 투입 - 활동 - 산출 - 성과

 

투입 : 프로그램에 투입된 자원. 인력과 투입시간 재원(예산) 시설 장비와 비품

활동 : 목표달성을 위한 활동/업무 상담/치료 교육/훈련 사례관리 지원서비스

산출 : 활동을 통해 이뤄지는 서비스 총량과 클라이언트 참여량 상담서비스 제공횟수 교육참여 인원수 서비스 연계건수 서비스 제공시간

성과 : 프로그램 종료시에 나타난 참여자 혜택 태도변화 지식습득 행동변화 생활여건과 지위변화

 

평가 기준 : 과정 - 노력성 - 효과성 - 영향

 

과정 : 서비스가 설계대로 수행된 정도 - 목표/ 대상선정 / 서비스 내용

노력성 : 서비스 운영에 투입된 자원과 활동량 - 참여 클라이언트 수 / 인적 자원 투입 정도 / 물적 자원 투입정도 / 업무 수행활동

효과성 : 목표 달성 정도 - 참여자의 변화 정도

영향 : 궁극적 목적 달성 정도 - 지역사회변화 정도

 

평가시기에 따라 : 형성평가 - 총괄평가

 

형성평가 : 사업을 운영하는 과정에서 수행하는 평가로 다음의 두 가지 질문이 핵심이다.

- 사업이 제대로 수행되고 있는가 / 계획된 사업내용이 적절하였는가

 

총괄평가 : 사업 종결 후에 수행하는 평가로 효과성평가와 효율성 평가로 구분된다. 다음의 두 가지 질문이 핵심이다.

- 사업이 효과/성과가 있는가? / 사업이 지역사회에 영향을 미치고 있는가

 

평가자료의 성격에 따라: 양적 평가 - 질적 평가

 

양적 평가 : 양적 자료를 기반으로 하는 평가로 주로 설문조사로 이루어진다

 

질적 평가 : 질적 자료를 기반으로 이루어지는 조사로 주로 관찰이나 면접으로 이루어진다

 

4. 평가조사 과정

 

평가조사의 목적설정과 활용계획을 명확히 한다

평가조사 수행계획을 수립한다

1. 평가대상 결정

2. 평가모형 혹은 평가기준 결정

3. 평가자료 수집방법 결정

평가모형 혹은 평가기준의 세부지표를 개발한다

세부지표를 측정할 수 있는 조사도구를 개발하거나 선정한다

평가자료를 수집한다

수집된 평가자료를 분석하고 정리한다

정리된 평가자료를 토대로 평가를 수정한다

평가보고서를 작성한다

 

 

5. 실제 사례

 

1) 월계종합사회복지관의 사업 평가 예

 

(1) 평가목적 설정

 

사업 평가 : 프로그램의 결과 평가 및 향후 발전방향 마련

(사업이 성과를 내고 있는가/ 지역 사회에 영향을 미치고 있는가)

 

(2) 조사 설계

 

평가대상 : 사업 평가

[당뇨질환어르신의 주말결식보호와 자기건강관리능력 향상 프로젝트 위풍당당]

 

평가모형 및 평가기준 : 평가기준으로서 과정 - 노력성 - 효과성 - 영향

 

평가자료 수집 방법

 

내용분석 - 사업계획서, 사업기록, 결과보고서 등에 대한 내용 분석을 한다

설문조사 - 단기성과 요소 가운데 하나인 만족도를 조사한다

집단실험설계 - 단기성과 요소 가운데 하나인 자기건강관리능력의 향상도를 측정하기 위해서 집단실험설계-단일집단 사전사후 검사설계를 활용한다.

 

(3) 평가 세부 지표 개발

 

과정, 노력성, 효과성, 영향의 네 가지 평가기준을 구성하고 있는 주요한 세부지료로 8개 세부 지표에 대한 평가를 실시한다. 과정의 적절성을 평가하기 위해 목적과 목표의 적절성과 달성 수준, 대상 설정과 선정과정의 적절성, 사업 내용과 운영과정의 적절성의 3가지를, 노력성을 평가하기 위해, 얼마나 많은 인력과 재정이 투입되었는지, 사업 수행을 위한 활동들이 어떻게 계획되고 수행되었는지 2가지를 검토한다. 효과성을 위해, 2 가지 즉 프로그램 수행을 통해 이루어진 산출을 목표와 비교함으로써 달성수준을 확인하고, 사업대상자들에게 나타나는 단기성과를 목표와 비교함으로써 달성수준을 확인할 것이다. 영향 평가는 1가지를 실시해야하는데, 사업계획 시 목표 수립이 되지 않았고, 가족이나 지역사회에 대한 영향을 평가하는 것이 용이 하지 않았기 때문에 실시하지 못했다.

 

(4) 세부지표 조사도구 개발 및 선정

 

자기건강관리능력 향상도 조사도구 : 김영옥(1996)의 자가간호행위 측정도구

만족도 조사도구 : 서울시복지재단(2008)의 사회복지시설 이용자 만족도 척도 활용

 

당뇨환자의 자가간호행위를 파악하기 위해서 개발된 척도로 식이실천, 약물복용, 신체적 운동, 당 검사, 일반적인 건강관리 등 총 20문항으로 되어있고 응답범주는 5점 리커트 척도이다.

만족도를 조사함에 있어 과정품질, 환경품질, 성과품질, 체감만족과 기관 성과 등으로 구성되어있고 5점 리커트 척도로 구성되었다.

 

(5) 평가자료 수집

 

내용분석 : 사업계획서, 사업기록, 결과보고서 - 단기성과를 제외한 나머지 평가정보 확보

설문조사 : 단기성과 요소 가운데 하나인 만족도 측정

집단실험설계 : 단기성과요소 가운데 하나인 자기 건강 관리 능력 향상도 사전 사후 검사.

 

사전검사 28, 검사점수 100점 만점에 59.5

사후검사 22, 검사점수 79.3

 

사전사후값은 통계적인 차이를 보였다. 본 사업은 당뇨어르신들의 자가건강관리능력을 향상시키는데 효과가 있었다.

 

(6) 자료분석 및 정리

 

교과서 306-307쪽 참고

 

(7) 평가수행

 

과정평가, 노력성평가, 효과성평가, 영향평가

 

교과서 308-311쪽 참고

 

(8) 평가 보고서 작성

 

 

 

 

2) 이혼가족지원전문가협의체의 이혼가족 캠프 사업 성과에 대한 양적, 질적 평가 예

 

(1) 평가목적 설정 : 이혼가족캠프의 효과성

 

이혼가족의 가족탄력성강화를 위한 캠프의 가족 강점 강화, 가족 응집력 강화, 가족 의사소통역량 강화에 대한 효과성 평가를 계획하였다.

 

(2) 조사설계

평가대상 : 사업 평가 - 이혼가족의 가족레질리언스 강화를 위한 가족캠프 사업

평가기준 : 효과성

평가자료 수집방법 : 양적 평가, 질적 평가

 

(3) 평가 세부 지표 개발

 

가족 강점, 가족응집력, 가족 의사소통역량의 세 가지 하위목표에 대하여 척도를 활용하고 사전, 사후 변화 수준을 측정하였다. 또한 참여자 스스로가 인식한 프로그램 달성 수준을 파악하고자 프로그램 종결 후 세 하위목표에 대한 자기 기입식 목표 달성도 평가를 실시하고, 마지막으로 참여자들의 인식 변화 과정 및 내용을 세부적으로 파악하고자 집단평가회를 실시하였다.

 

(4) 세부지표 조사 도구 개발 및 선정

 

Olsen의 가족강점척도 중 가족 프라이드와 가족일치성을 김미옥(2001)이 번안한 가족관계척도 활용

Olsen, Potter, Lavee(1985)의 가족 적응성 및 응집성 평가 척도III FACES-III 중 가족응집성 항목 활용

Sixbey(2005)의 가족레질리언스(탄력성) 평가척도의 하위 변수인 의사소통과정을 신미숙(2013)이 재구성한 척도 활용

목표달성도 조사도구 : 가족캠프 프로그램의 세 가지 하위목표를 중심으로 구성된 7개 문항 측정도구 개발하여 활용

집단평가회 조사도구 : 목표달성도 조사도구에 포함된 7개 문항 중심의 면접 지침서 개발하여 활용

 

(5) 평가자료 수집

 

단기성과 요소인 가족강점, 가족 응집성, 가족 의사소통역량 변화 수준 측량

단기성과 요소인 가족 강점, 가족 응집성, 가족 의사소통 역량에 대한 목표 달성도 측정

변화 경험을 집단평가회를 통해 공유하고 그 내용을 녹음, 기록, 녹취하여 자료화

 

(6) 자료분석 및 정리

 

척도 활용 조사 결과

가족강점은 사후점수가 낮아진 음의 순위가 7, 사후점사가 높아진 양의 순위자 13, 동점자 3명이며 z 값이 -1.685, 유의확률 .092.1수준에서 통계적으로 유의한 것으로 나타났다.

가족응집력은 음의 순위자 6, 양의 순위자 14, 동점자 3명이며, z 값이 -1.746, 유의확률 .082.1 수준에서 통계적으로 유의하였다.

가족의사소통역량은 음의 순위자 8, 양의 순위자 11, 동점자 4명이며 z 값이 -.504, 우의확률 .614로 통계적으로 유의하지 않았다.

 

이러한 결과는 본 가족캠프를 통하여 참여자들의 가족 강점과 가족 응집력에는 긍정적 변화가 있었지만, 의사소통 역량에는 별다른 변화가 없었음을 나타내는 것이다.

 

자기기입식 목표달성도 조사 결과

 

문항별 평균점수가 7.52에서 8.88점으로 비교적 높아서 캠프를 통해 상당히 도움을 받은 것으로 인식하였다.

가족의사소통역량의 경우 척도활용 검사에서는 별다른 차이가 없었다고 나타났지만 참여자들의 자기기입식 목표달성도 평가에서는 매우 긍정적 평가가 나타났다. 캠프가 단기간에 진행되었고, 의사소통프로그램이 맨 마지막에 수행되어 측정도구 상에서 유의한 수준의 점수변화가 나타나지는 않았으나, 가족캠프를 통한 가족 간 의사소통의 중요성 인식이나 이후 변화에 대한 기대는 높은 수준임을 보여주는 것이라 하겠다.

 

집단평가회를 통한 질적 분석 결과

 

가족 강점에 주목해볼 기회가 되었고 가족 강점을 새롭게 포착했으며, 역경에 대한 긍정적 의미 부여를 하며, 미래에 대한 긍정적 전망을 획득했다. 가족 관계의 소중함을 깨달았고 가족 관계 향상을 위한 노력을 결심했고, 대화의 필요성을 깨닫고, 새로운 대화법 시도를 결심했다.

 

교과서 325-326쪽 참고

 

(7) 평가수행

 

교과서 327-328쪽 참고

 

 

3) 정릉종합사회복지관의 노숙인 쉼터 사업 성과에 대한 질적 평가-내러티브 방법 예

 

1. 연구문제 형성

 

주제 : 노숙인의 자립과정에 대한 복지관과 상담원의 개입성과 평가

목적 : 노숙인의 자립과정에 대한 복지관과 상담원의 기여, 즉 개입의 효과를 파악하는 것

 

2. 표집

 

복지관 희망의 집에서 성공적으로 자립한 사람들 가운데 자기의 경험을 이야기해주고 그것을 자료화하는데 동의화한 사람 가운데서 선택한다. 즉 의도적 표집을 한다.

 

3. 질적 자료 수집

 

심층면접을 활용한다. 간단한 메모와 함께 녹음을 한다.

 

4. 자료 분류 및 코드화

텍스트를 반복해서 읽고 참여자의 삶의 체계를 총체적으로 이해하려고 노력한다. 이야기를 재조직하여 기승전결의 구조를 가진 하나의 이야기로 이끌어낸다.

 

5. 분석과 설명

 

개입의 성과를 평가하고 그것을 토대로 제언을 한다.

 

사업과 결혼의 실패로 인해 노숙을 반복적으로 하고 알코올 중독 상태에 까지 이르렀지만 정릉종합사회복지관으로 온 이후, 복지관의 지원과 상담원의 적극적인 개입을 통해 마침내 독립을 하였고 경제적으로도 적극적인 삶을 살고 있는 것을 보여주는 사례.

 

 

 

 

 

 

 

 

▲     © 김남웅



 

  • 도배방지 이미지

관련기사목록