О проекте
Проект Infocrystal
заявлен как База знаний
естественно-языковой модели мира.
В современном мире объём
информации, доступный человеку, растёт лавинообразно. К сожалению, в
этом объёме очень много пены и откровенной дезинформации, человеку всё
труднее найти достоверную информацию. Результаты поисковых машин
требуют глубокого анализа, предоставляют много дублирующих ссылок.
Достоверность предоставленной информации субъективна. Энциклопедические
статьи wikipedia.org
имеют большое познавательное значение, но очень статичны, хотя и
постоянно пополняются и редактируются энтузиастами со всего мира.
Статьи о материальных объектах почти не имеют физико-химических данных,
в лучшем случае статистические и географические, по которым трудно
смоделировать объект.
В результате реализации проекта Infocrystal
предполагается
получить Базу знаний
с претензиями на искусственный интеллект.
База знаний состоит из Базы объектов, поддерживающих
иерархические связи и наследуемость свойств, и Базы правил
для
объектов. При формировании Базы знаний
предполагается
использовать ситуационные обученные нейросети и средства теории
нечётких множеств.
В результате, на естественно-языковый запрос,База знаний
будет формировать естественно-языковый ответ
энциклопедического качества в объёме охвата знаний в соответствии с
запросом. Возможно формирование актуальных аналитических обзоров по
разнообразным тематикам, решение инженерно-технических задач.
Реализация проекта Infocrystal предполагает несколько самодостаточных промежуточных этапа:
-
Предварительный этап
На этом этапе реализуется трёхзвенная схема клиент-серверного взаимодействия. На данный момент этот этап завершен, сервер приложений реализован. Кроме обслуживания клиентских приложений и авторизации пользователей, сервер приложений выполняет очередь периодических заданий. На данном этапе реализованы задания на Java и PL/SQL. В дальнейшем предполагается поддержка заданий на естественном языке. -
Библиотека
Стратегия формирования Базы знаний состоит в использовании для первоначального формирования достоверной информации. Такой информацией всегда были печатные издания. Поэтому Библиотеке на проекте отводится важная роль. На данный момент файловое хранилище проекта вмещает более 20 миллионов файлов общим объёмом 28Tb. Хранилище пополняется с помощью очереди загрузок и периодических заданий сервера приложений. Удаление копий, аналогов и нежелательного контента происходит во время регистрации в файловом хранилище. Важное направление на этом этапе - OCR сканов книг, а также речевой синтез и распознание речи. Основная задача - классификация книг и конвертация в текстовый формат. Основным форматомБиблиотеки принят FB2, остальные форматы, по возможности, конвертируются. На проекте не планируется предоставлять доступ на скачивание книг, чтобы не нарушать авторские права. На данный момент, проект находится на этом этапе. -
Энциклопедия
После разработки архитектуры Базы объектов начнётся компиляция естественно-языковой информации Библиотеки по словарю и идентификация объектов и свойств, построение сцен взаимодействия объектов. Все объекты и свойства заносятся в Базу объектов, на основе которой происходит обучение нейросети для автоматического распознания новых объектов и слов. По мере формирования Базы объектов, возможна внешняя публикация в виде энциклопедии. -
База знаний
По мере восприятия скомпилированной естественно-языковой информации и построения сцен, происходит заполнение Базы правил на достоверной информации, обучение нейросетей. В результате накопления знаний, появляется возможность воспринимать недостоверную информацию. Важное значение имеет разработка алгоритмов или нейросетей распознания сцен, выявления несоответствий, неточностей и лжи. Данный этап потребует большой научно-исследовательской работы.
Зависимости проекта
- Библиотека нейросети Encog
<dependency>
<groupId>org.encog</groupId>
<artifactId>encog-core</artifactId>
<version>3.3.0</version>
</dependency> - Библиотека работы с PDF iText
<dependency>
<groupId>com.itextpdf</groupId>
<artifactId>itextpdf</artifactId>
<version>5.5.7</version>
</dependency>
<dependency>
<groupId>com.itextpdf</groupId>
<artifactId>itext-pdfa</artifactId>
<version>5.5.7</version>
</dependency>
<dependency>
<groupId>com.itextpdf</groupId>
<artifactId>itext-xtra</artifactId>
<version>5.5.7</version>
</dependency> - Библиотека работы с MS Word, Excel POI
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi</artifactId>
<version>3.13</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.13</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-scratchpad</artifactId>
<version>3.13</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml-schemas</artifactId> - Расширение поддерживаемых форматор изображений TwelveMonkeys
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-core</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-jpeg</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-tiff</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-psd</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-metadata</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-bmp</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-pnm</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-icns</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-pict</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-tga</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-sgi</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-pcx</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-pdf</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-iff</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.common</groupId>
<artifactId>common-image</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.common</groupId>
<artifactId>common-io</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.common</groupId>
<artifactId>common-lang</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-thumbsdb</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.twelvemonkeys.imageio</groupId>
<artifactId>imageio-batik</artifactId>
<version>3.3.2</version>
</dependency> - Библиотека Apache Batik для работы с векторным SVG форматом
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-bridge</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-dom</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-css</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-ext</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-gui-util</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-parser</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-util</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-awt-util</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-gvt</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-transcoder</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-script</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-svg-dom</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-xml</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>org.apache.xmlgraphics</groupId>
<artifactId>batik-svggen</artifactId>
<version>1.7</version>
</dependency> - Файловая БД H2
<dependency>
<groupId>com.h2database</groupId>
<artifactId>h2</artifactId>
<version>1.4.191</version>
</dependency> - Библиотека поисковой машины Lucene
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>5.5.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-common</artifactId>
<version>5.5.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
<version>5.5.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-memory</artifactId>
<version>5.5.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-highlighter</artifactId>
<version>5.5.0</version>
</dependency> - Библиотека индексирования и поска изображений LIRE, немного исправленный.
- Библиотека обработки видео и изображений openCV 3.2.0.