home
Nu in vele organisaties kennissystemen het researchstadium voorbij zijn, wordt een goede planning van kennis en kennissystemen noodzakelijk. Daarbij zal niet de technologie het uitgangspunt moeten zijn, maar de bedrijfsbehoeften. Dit artikel is een eerste aanzet om te komen tot een aanpak voor kennisplanning, analoog aan informatieplanning voor conventionele systemen.
Deze eerste aanzet bestaat uit een methode om een overzicht te krijgen van de terreinen waarop een bedrijf kennissystemen zou kunnen inzetten. De bestaande methoden zien een kennissysteem als doel; wij zien het als middel om nieuwe kansen te creëren of bestaande problemen op te lossen.

De methode is, met positieve resultaten, toegepast bij een grote verzekeringsmaatschappij (waar de methode trouwens ook is ontwikkeld). We hebben een aantal knelpunt/kansgebieden ontdekt; sommige beantwoordden aan de verwachtingen in de organisatie, andere waren daarmee in strijd.

Een volgende stap in de ontwikkeling van de methode zal zijn: inpassing in methodieken voor informatieplanning.


Inleiding

Bijna iedere in de literatuur beschreven aanpak voor het ontwikkelen van kennissystemen begint met een fase of activiteit 'domeinselectie' (Prerau, 1989; Liebowitz, 1989; Keller, i987). Hieronder wordt dan verstaan het selecteren van het meest geschikte domein voor toepassing van een kennissysteem uit een verzameling mogelijke domeinen.
In de tijd dat kennissystemen gebouwd werden aan universiteiten, of als researchproject in grote bedrijven, was domeinselectie een zinnige start van het project. Het doet van het project was immers het demonstreren van het nut van een kennissysteem, of het onderzoeken en ontwikkelen van methoden voor kennisanalyse.
In vele organisaties zijn kennissystemen inmiddels het researchstadium voorbij. Denk bijvoorbeeld aan de verzekeringsbranche, waar alle grote maatschappijen kennissystemen een belangrijke plaats geven in hun primaire bedrijfsprocessen. Intermediair-maatschappijen gebruiken kennissystemen bijvoorbeeld voor acceptatie van verzekeringen en direct writers voor telefonische verkoopadviezen.
In dergelijke situaties ligt een ander uitgangspunt voor de hand: gegeven de problemen en de kansen moet worden nagegaan wat goede oplossingen zijn. De nadruk ligt daarmee niet op het toepassen van de technologie, maar op het oplossen van problemen en het creëren van kansen.
Ook in de praktijk blijkt dat alleen kennissystemen die met dit doel zijn gebouwd, succesvol zijn (Wognum & Lippolt, 1991).
Voor het ontwikkelen van een informatiesysteem is het informatieplan het startpunt (dat op zijn beurt aan de hand van het businessplan wordt opgesteld). Zo dient ook voor kennissystemen een planmatige aanpak te worden gekozen, uitgaande van de bedrijfsbehoeften. Het informatieplan kan zodanig worden opgesteld dat ook de applicatiegebieden waarvoor een kennissysteem de beste oplossing is, uit het plan volgen. Er zijn daarbij wel enkele bemoeilijkende factoren:
  • informatieplanners weten in het algemeen veel van diverse soorten informatiesystemen, maar minder van kennissystemen;
  • methoden voor informatieplanning bieden uit zichzelf nog geen of weinig aanknopingspunten voor kennistechnologie. Hopstaken en Kranendonk bijvoorbeeld onderkennen kennis wel als produktiemiddel, maar verbinden daaraan geen verdere consequenties, afgezien van die welke relevant zijn voor gewone informatieverwerkende systemen (Hopstaken & Kranendonk, 1990);
  • er zijn ook in het bouwtraject van kennissystemen geen uitgekristalliseerde methoden met een bewezen bruikbaarheid (hoewel bijvoorbeeld Turban en Liebowitz (1992) inmiddels goede ideeën op schrift hebben gesteld).
In dit artikel maken we een aanzet tot een methode voor het plannen en ontwikkelen van kennissystemen, met de informatieplanning als uitgangspunt. Omdat het project ten dele een researchproject was (het afstudeerproject van &&n van de auteurs aan de Universiteit Twente) wordt meer nadruk gelegd op kennissystemen dan de bovenstaande redenering zou doen vermoeden. Daarbij komt dat we in deze fase de integratie met het informatieplan met hebben willen (en kunnen) realiseren. Deze integratie zal in een volgend traject worden uitgewerkt. Bruikbaar hierbij zijn onder andere de ideeën over kennisbeheer zoals die zijn opgesteld door Schaefer (1991). De methode zoals we die in dit artikel beschrijven, heeft als belangrijkste doelstelling: vanuit een probleemoplossende optiek in korte tijd bepalen waar kennissystemen in een organisatie kunnen worden toegepast.
De methode is ontwikkeld in een project bij een grote verzekeringsmaatschappij. Het project had een tweeledige doelstelling. Voor beide auteurs en de Universiteit Twente stond het ontwikkelen van de methode voorop. Doelstelling van de verzekeringsmaatschappij, en ook van de eerste auteur, was vast te stellen welke kennisgebieden binnen de organisatie zich lenen voor toepassing van een kennissysteem. Uitgangspunt bij dat laatste was een lijst van geselecteerde kennisgebieden die commercieel en/of strategisch van belang zijn voor de verzekeraar in kwestie. Deze lijst was het resultaat van een eerste analyse van het businessplan door de verzekeraar.
De opbouw van het artikel is als volgt. Eerst geven we een globaal overzicht van de methode. Daarna wordt aangegeven in welke situatie kennissystemen een zinvolle oplossing kunnen zijn. Vervolgens komen de verschillende fasen van de methode aan de orde, waarna we uiteindelijk ingaan op de toepassing van de methode bij de verzekeringsmaatschappij.

Fase-indeling

We onderscheiden in de methode drie verschillende fasen (zie ook figuur 1):
  1. Probleem- en kansidentificatie.
  2. Eerste globale beoordeling op geschiktheid.
  3. Definitieve beoordeling.
In de eerste fase gaan we na in hoeverre er problemen zijn op het gebied van de beschikbaarheid en toegankelijkheid van kennis en in hoeverre betere beschikbaarheid en toegankelijkheid van kennis nieuwe kansen cre6ert. Zijn er dergelijke problemen of kansen, dan wordt een eerste beoordeling gemaakt van de geschiktheid voor een kennissysteem-oplossing (fase 2). Wanneer deze beoordeling een positief resultaat oplevert, voeren we vervolgens in de derde fase een nader onderzoek uit op domeinniveau om tot een definitief oordeel te komen over de geschiktheid voor een kennissysteem-toepassing. Na het uitvoeren van de drie fasen kan ook een globale kwalitatieve inschatting gemaakt worden van de kosten en baten van een eventueel kennissysteem.

Knelpunten en kansen

Eén uitgangspunt bij de ontwikkeling van de methode is dat een kennissysteem een oplossing biedt voor bestaande problemen. Kennissystemen kunnen echter ook kansen-creërend worden ingezet. Zo is het bijvoorbeeld denkbaar dat de toepassing van een kennissysteem een nieuw produkt of dienst mogelijk maakt. Voorbeelden hiervan geven we in figuur 2.
Om bovengenoemd uitgangspunt in de praktijk hanteerbaar te maken onderkennen we de volgende (abstracte) probleem- en kansgebieden, waarvoor een kennissysteem-toepassing een oplossing kan zijn (voorbeelden zijn aangegeven in figuur 2):
  • het creëren van nieuwe produkten en/of diensten;
  • het voorkomen van verlies van belangrijke kennis;
  • het bijdragen aan efficiency-verbeteringen;
  • het bijdragen aan het verspreiden van kennis in de organisatie;
  • het waarborgen van consistentie in beslissingen en werkwijze;
  • het verhogen van het algemene niveau van kennis.
De voordelen van kennissystemen liggen voor een belangrijk deel op het terrein van de effectiviteit; dit in tegenstelling tot traditionele informatiesystemen, waar met name de efficiency een rol speelt.

Fase 1

In de eerste fase proberen we te achterhalen waar in de organisatie (bij welke taken van welke afdelingen) zich &&n of meer van deze probleem- of kansgebieden voordoen. Eén van de bronnen die we hiervoor raadplegen, is het bedrijfsplan, dat een eerste beeld geeft van de doelstelling van de organisatie, de bestaande problemen en mogelijke kansen, In de praktijk zal een dergelijke korte beschrijving niet voldoende zijn om alle probleem- en kansgebieden te identificeren. In ons ideaal zal in een bedrijfsplan en in een informatieplan een kennisbeleid geformuleerd moeten zijn (hetgeen in de praktijk onvolledig gebeurt). Uiteindelijk willen we hiervoor ook in onze aanpak handvatten bieden (zie bijvoorbeeld Hopstaken & Kranendonk (1990), blz. 127, en Schaefer (1991)). Verder hebben we gekozen voor interviews met managers van de verschillende afdelingen. Deze interviews worden uitgevoerd aan de hand van een vaste vragenlijst. Hiermee worden alle mogelijke problemen en kansen - zoals hiervoor omschreven geïdentificeerd, en krijgen we een globaal beeld van het belang van de verschillende toepassingen.

Fase 2

De doelstelling van de tweede fase is het verkrijgen van een globaal beeld van de economische en technische haalbaarheid van een kennissysteem-oplossing. We gaan daarbij uit van de in de eerste fase gevonden probleem- en kansgebieden. Daaruit is een aantal taken te destilleren die we vervolgens op hun geschiktheid voor een kennissysteem-oplossing kunnen onderzoeken. Deze taken hoeven niet noodzakelijkerwijs overeen te komen met bestaande taken, maar kunnen wel zijn opgebouwd uit onderdelen daarvan.
In de literatuur (Prerau, 1989; Liebowitz, 1989; Keller, 1987) worden vele verschillende criteria gegeven waaraan een potentieel taakdomein kan worden getoetst. De auteurs geven hierbij echter aan dat niet in alle situaties alle criteria gelden. Omdat wij wilden komen tot een aantal in alle gevallen noodzakelijke voorwaarden hebben we deze criteria verder uitgediept. Uiteindelijk is de volgende lijst van criteria ontstaan.

Geschiktheid van de taak:
- Geschiktheid voor automatisering.
Bepaalde taken lenen zich niet voor automatisering in bet algemeen, en daarom ook met voor een kennissysteem. Denk hierbij bijvoorbeeld aan taken waarvan de invoer met in de juiste mate kan worden aangeleverd, of aan taken die dermate tijdkritisch zijn dat ze (nog) met door een computer uit te voeren zijn. - Mate van deskundigheid.
Wil men de bouw van een kennissysteem kunnen rechtvaardigen, dan moet bij bet probleemoplossen een hoge mate van expertise komen kijken. Als dat niet bet geval is, is bet efficiënter en minder riskant om bet probleem met conventionele technieken op te lossen (uiteraard onder voorwaarde dat dit mogelijk is).
- Beschikbaarheid van kennisbronnen.
Er moeten voldoende kennisbronnen (experts, handboeken enzovoort) aanwezig zijn, zodat alle voor de probleemoplossing nodige kennis te achterhalen is.

Geschiktheid van de kennis:
- Stabiliteit van de kennis.
Een redelijke mate van stabiliteit van de kennis is noodzakelijk, omdat voortdurende wijzigingen van de kennis ook voortdurend onderhoud van de kennisbank met zich meebrengen.
- Uniformiteit van de kennis.
Bij verschillende bronnen van kennis is bet van belang dat deze elkaar met tegenspreken. Doen ze dat wet, dan meet een belangrijk deel van de tijd voor kennisacquisitie en -analyse besteed worden aan bet bereiken van overeenstemming (als dat at mogelijk is).
- Vereiste kwaliteit van de kennis.
De eisen die aan de kwaliteit van de in bet systeem aanwezige kennis worden gesteld, mogen met hoger liggen dan de kwaliteit die, gegeven de beschikbare kennisbronnen, mogelijk is.
- Complexiteit van de kennis.
De complexiteit van de kennis is een belangrijk criterium, omdat deze een maat is voor de moeite die moet worden gedaan om de kennis te conceptualiseren. Onder conceptualiseren verstaan we bet op een overzichtelijke manier in kaart brengen van de kennis. Voor bet bepalen van de complexiteit is bet noodzakelijk dat de kennis globaal wordt geconceptualiseerd. Wij hebben ervoor gekozen om dit analoog aan bet KADS 'model of expertise' te doen (zie bijvoorbeeld Hickman, 1989). Aan de hand van deze globale conceptualisering is een goed beeld van de complexiteit te verkrijgen. (Voor een verdere uitleg zie fase 3.)
- Representeerbaarheid van de kennis.
We moeten nagaan of bet mogelijk is alle benodigde kennis te representeren in een kennissysteem. In andere bewoordingen: er moet worden bepaald of alle kennis inderdaad in een geautomatiseerd systeem kan worden opgeslagen, op een zodanige wijze dat de beoogde taak kan worden uitgevoerd.

Uitgaande van deze aspecten is een expert-vragenlijst opgesteld. Het bleek echter met mogelijk alleen op grond van deze vragenlijst een goed beeld van alle aspecten te krijgen. Voor een definitief oordeel over de complexiteit en representeerbaarheid moet de kennis dieper worden onderzocht.

Fase 3

Daarom is de methode uitgebreid met een fase waarin we een globale conceptualisatie van de kennis maken (Genesereth & Nilsson, 1987). Deze conceptualisatie komt grotendeels overeen met de interne analyse van KADS (Hickman, 1989). In KADS wordt ervan uitgegaan dat kennis kan worden ingedeeld in vier lagen. Hierop is bet 'four-layer-model of expertise' gebaseerd (Wielinga c.s., 1992). Om te komen tot een volledig model van de kennis (noodzakelijk bij de ontwikkeling van een kennissysteem) meet de kennis op deze vier lagen compleet worden beschreven.

Als beginpunt voor een conceptualisatie heeft KADS de beschikking over interpretatiemodellen; dit zijn generieke modellen van taken die een kennissysteem kan uitvoeren. Aan de hand van de - bij een eerste analyse verkregen kennis kan een geschikt interpretatiemodel gekozen worden. Indien er geen geschikt model voorhanden is, meet men dit zelf opbouwen. Het is mogelijk dat een kennissysteem verschillende taken uitvoert; dan zijn er verschillende interpretatiemodellen nodig. Het interpretatiemodel geeft een globaal beeld van de structuur van een taak en is opgebouwd uit zogenaamde inferenties en kennisbronnen. Inferenties zijn processen die werken op kennisbronnen. Kennisbronnen zijn de in- en uitvoer van de inferenties.
Voor onze methode is bet voldoende om per inferentie na te gaan welke kennis wordt gebruikt, en per kennisbron te bepalen welke gegevens nodig zijn. Een inschatting van de complexiteit is nu te maken op grond van de complexiteit van de volgende onderdelen:
  • de samenhang van verschillende taken;
  • de samenhang van de verschillende inferenties (per taak);
  • iedere inferentie afzonderlijk;
  • de inhoud van de kennisbronnen.
De precieze uitwerking hiervan is beschreven door Van der Veen (1992). Tevens is aan de hand van dit globale model na te gaan of de gebruikte kennis inderdaad representeerbaar is.

Ontwikkeling van de vragenlijsten

Cruciaal bij het samenstellen van een vragenlijst is dat de antwoorden goede houvast bieden bij het beoordelen van de criteria die betrekking hebben op probleem- of aandachtsgebieden en de geschiktheid van de taak en de kennis. Tevens moeten de vragen zijn gesteld in voor de gesprekspartner begrijpelijke en vertrouwde taal. Een afdelingshoofd zal immers met in staat zijn een kennisgebied te beoordelen volgens een schaal van I tot 10, maar kan wel zeggen hoe lang het duurt voordat iemand een taak heeft geleerd, of hoeveel van zijn mensen een taak werkelijk beheersen. Onze methode moet de vertaling bieden van de antwoorden op de vragen naar de beoordelingscriteria.
In figuur 3 geven we een voorbeeld van een aantal vragen en criteria die betrekking hebben op de tweede fase, waarbij in matrixvorm is aangegeven welke vragen inzicht geven in welke criteria.
De huidige vragenlijsten zijn geëvolueerd tijdens het project, uit een eerste vragenlijst die de auteurs hadden opgesteld voordat het project begon. De vragenlijsten zijn steeds zodanig bijgesteld dat één vraag niet op heel veel criteria betrekking heeft en omgekeerd. We realiseren ons dat de vragenlijsten met aan het eind van hun ontwikkeling zijn en waarschijnlijk ook geen uiteindelijke vorm zullen kennen. Bedrijfskunde en informatica zijn voortdurend in beweging - en daarmee ook onze vragenlijsten.

Kosten en opbrengsten

Met behulp van de informatie, zoals deze is verkregen in de uitvoering van de drie fasen, is een globale inschatting te maken van de kwalitatieve kosten en baten van de kennissysteem-oplossing. Onzes inziens is het kwantificeren van kosten en opbrengsten een vereiste bij de beoordeling van de economische haalbaarheid. Op dit moment voorziet de methode hier met in. Onze ideeën hieromtrent worden hieronder uitgewerkt.
Wij zijn van mening dat echt bestaande kwalitatieve baten te vertalen zijn naar (al dan niet harde) guldens. Voor kosten en opbrengsten in de informatietechnologie verwijzen we naar de publikatie van de Butler Cox Foundation (1990), Delahaye & Van Recken (1992) en Van Irsel & Swinkels (1992). Voor kennistechnologie geldt een aantal aanvullende criteria en kosten/baten-factoren. Aan de kostenkant gaat het dan om extra onzekerheden in schattingen. De omvang en complexiteit van een kennissysteem zijn namelijk moeilijker van te voren in te schatten dan die van een informatiesysteem. In onze methode is hierin voorzien. Aan de opbrengstenkant kunnen we met een kennissysteem wat directer ingrijpen in bedrijfsprocessen en hebben we meer factoren die aan de opbrengst bijdragen. Het gaat niet alleen om vergroten van de efficiëntie, maar ook om vergroten van de effectiviteit van het bedrijfsproces en bijvoorbeeld van het marktaandeel. Helaas is er weinig literatuur op dit gebied - toch willen we verwijzen naar Daniëls & Van der Horst (1989), Karman (1993) en artikelen van Rochette, Smith & Dagli en Sipior & Garrity (in Turban & Liebowitz, 1992).

Toepassing

Startpunt voor de verzekeringsmaatschappij was een lijst met acht zeer globale kennisgebieden, waarop het management verwachtte met kennistechnologie strategisch voordeel te kunnen behalen. Deze is opgesteld naar aanleiding van een globale analyse van het businessplan. Eén van de auteurs is nauw betrokken geweest bij het opstellen van deze lijst. Hoewel kennis met was opgenomen in het businessplan, is uit gesprekken en analyse een aantal kennisgebieden gevonden dat van strategisch belang was voor de organisatie. Exacte uitspraken over problemen en kansen zijn hierbij niet gedaan. Bij twee kennisgebieden was men ervan overtuigd dat men met een kennissysteem zowel beter als effici6nter zou kunnen werken.
Fase 1 is uitgevoerd voor alle kennisgebieden die onderwerp van onderzoek waren. Op grond van de resultaten bleek dat voor al deze kennisgebieden één of meer knelpunt- of kanssituaties van toepassing waren. In de praktijk bleek dat problemen en kansen in de praktijk vaak met enkelvoudig voorkomen, maar dat er meestal sprake is van een combinatie van problemen en kansen. In de gevonden gebieden is toepassing van een kennissysteem een zinvolle overweging. Om deze reden hebben we alle kennisgebieden onderworpen aan de volgende fase.
Het onderzoek in de tweede fase leverde twee kennisgebieden op waarbij toepassing van kennissystemen voor de gehele taak zinvol leek. Dit zijn overigens niet dezelfde twee als waarvan de verzekeraar dacht dat ze voordeel zouden opleveren! In de overige gevallen bleek dat met de gehele taak, maar wel delen ervan zinvol ondersteund of vervangen konden worden door een kennissysteem. Kennissystemen voor de gehele taak vielen af om verschillende redenen.
In bepaalde gevallen was (a] in de tweede fase) duidelijk dat de kennis niet representeerbaar zou zijn. een voorbeeld hiervan is het behandelen van schaden op grond van een aansprakelijkheidsverzekering. Aanleidingen tot schaden kunnen dermate divers zijn dat deze met allemaal zinvol te representeren zijn. Delen van deze taak lijken we] geschikt voor toepassing van een kennissysteem. In dat geval moet worden afgewogen in hoeverre deeloplossingen (nog) bijdragen aan het oplossen van de problemen of het cre6ren van de kansen zoals die tijdens de eerste fase zijn geïdentificeerd.
In een ander geval was er sprake van een benodigde hoeveelheid kennis die zodanig laag was dat een traditionele oplossing volstond.
Opmerkelijk is dat er een aantal deelgebieden was waarvan men aanvankelijk verwachtte dat een kennissysteem zeer rendabel zou zijn, terwijl uit het onderzoek bleek dat dit zeker met het geval was. Veelal was dit te wijten aan niet-representeerbare kennis in combinatie met een hoge complexiteit.
De derde fase van de methode is toegepast op één van de twee kennisgebieden die in fase twee een positief resultaat hebben opgeleverd. Na een korte kennisanalyse bleek al snel een geschikt interpretatiemodel te vinden. Gedeeltelijke invulling hiervan bleek de indrukken van de tweede fase te bevestigen. Voor deze toepassing is met succes in korte tijd een klein prototype gebouwd.

De conclusie naar aanleiding van de exercitie is dat toepassing van kennistechnologie met betrekking tot de gevonden (deel-)gebieden strategisch voordeel met zich mee zal brengen. De beoogde systemen zijn complex van aard, zowel uit kennistechnologisch oogpunt als uit het oogpunt van integratie met bestaande systemen.
De resultaten van het onderzoek waren voor de verzekeringsmaatschappij een stimulans om stappen te ondernemen om voor enkele van bovengenoemde kennisgebieden daadwerkelijk een kennisanalyse te beginnen.

Conclusies

De eerste conclusie is dat onze methode nog een eind moet evolueren. We zullen ze breder moeten toepassen, binnen het meewerkende verzekeringsbedrijf en daarbuiten (ook buiten de verzekeringsbranche), voordat we van een algemeen toepasbare methode kunnen spreken.
Een tweede conclusie is dat het helaas met mogelijk blijkt een complete inventarisatie uit te voeren zonder voor een deel van de kennisgebieden een zij het kleine kennisanalyse uit te voeren.

Een derde conclusie is dat binnen de beperkte doelstelling de methode heeft voldaan. Er is een consistent raamwerk gecreëerd voor een methode voor planning van kennissystemen. Voor planning van kennis dient nog aansluiting op de informatieplanning te worden gezocht.

Een vierde conclusie, met name voor de verzekeraar van belang, is dat er een aantal kennisgebieden is geïdentificeerd waar toepassing van een kennissysteem zeer aantrekkelijk is. Daarnaast zijn gebieden gevonden waar we] verwachtingen waren op het gebied van kennistechnologie, maar waar kennistechnologie alleen op deelgebieden toepasbaar blijkt.

Vervolgstappen

De auteurs hebben zich voorgenomen de methode verder te ontwikkelen door bredere toepassing, ook buiten de verzekeringsbranche. In een vervolgartikel zullen wij daarvan verslag doen.
Daarnaast zal de methode ingepast moeten worden in aanpakken en methodologieën voor informatieplanning en andere aanzetten om te komen tot kennisplanning.
Ook een betere uitwerking van de kosten en baten van een kennissysteem en de aansluiting daarvan op de methode zal een punt van onderzoek zijn.

Dankwoord

De auteurs willen Walter van Kampen (BSO) bedanken voor enige nuttige aanvullingen.

Literatuur

Butler Cox Foundation (1990), 'Getting value from information technology', Butler Cox Report 75.

Daniëls, H.A.M. en P. van der Horst (1989), 'Kennissystemen in een bedrijfseconomisch perspectief', Kennissystemen 5, blz. 4-6.

Delahaye, I. en T. van Reeken (1992), 'Waarom investeren in welke informatiesystemen? Een vergelijkende toepassing van "Bedell" en "Parker/Benson/Trainor" bij De Gazet, Informatie, jaargang 34, themanummer. blz. 655-670.

Hickman, F.R., J.L. Killin, L. Land, T. Mullhall, D. Porter en R.M. Taylor (1989), Analysis for knowledge-based systems - A practical guide to the KADS methodology, Ellis Horwood, Chichester.

Hopstaken, B.A.A. en A. Kranendonk (1990), Informatieplanning: puzzelen met beleid en plan, Stenfert Kroese, Leiden.

Irsel, H.P.G. van en G.J.P. Swinkels (1992), 'Investeren in informatietechnologie: Take IT or leave IT', Informatie, jaargang 34, themanummer, blz. 624-636.

Karman, C. (1993), 'Kosten en opbrengsten van kennissystemen'. Kennissystemen 1 en 2.

Keller, R. (I987), Expertsystem technology, development and application, Prentice-Hall, Englewood Cliffs (New Jersey).

Liebowitz, J. (1989), 'Problem selection for expert systems development', in: J. Liebowitz en D.A. De Salvo (eds.), Structuring expert systems. Domain, design and development, Prentice-Hall, Englewood Cliffs (New Jersey).

Prerau, D.S. (1989), 'Choosing an expert system domain', in: G. Guida en C. Tasso (eds.), Topics in expert system design: Methodologies and Tools, North Holland Publishing Company, Amsterdam.

Schaefer, W.F. (1991), Kennis in uitvoering. Een onderzoek naar middelen voor kennisbeheer bij bouwbedrijven, Technische Universiteit Eindhoven.

Turban, E. en J. Liebowitz (red.) (1992), Managing expert systems, Idea
Group Publishing, Harrisburg.

Veen, A.D. van der (1992), Kennistechnologie.- van doel naar gereedschap. Naar een praktische methode voor het inventariseren van kennisgebieden, Universiteit Twente, Enschede.

Wielinga, B.J., A.Th. Schreiber, en J.A. Breuker (1992), 'KADS: a modelling approach to knowledge engineering'. Knowledge Acquisition, Vol. 4, No. I.

Wognum, P.M. en B.J. Lippolt (1991), 'Wat bepaalt het nut van een kennissysteem?', Informatie, jaargang 33, no. to, blz. 668-673.

De auteurs

Drs. C Karman is consultant bij BSO/Artificial Intelligence.
Ir. A.D. van der Veen heeft van 1986 tot 1992 informatica gestudeerd aan de Universiteit Twente. Zijn doctoraalscriptie vormde de basis voor dit artikel. Hij is nu werkzaam bij BSO/Artificial Intelligence.