plamen – IT блог

Инсталация и използване на Tika OCR сървър

docker run -it --name tika-server-ocr -d -p 9998:9998 apache/tika:2.9.1.0-full

1	docker run -it --name tika-server-ocr -d -p 9998:9998 apache/tika:2.9.1.0-full

Сървърът е достъпен на

http://localhost:9998/

1	http://localhost:9998/

# За да се промени паролата на вече стартиран контейнер
docker exec -itu 0 tika-server-ocr passwd

# За да се промени паролата на вече стартиран контейнер

docker exec -itu 0 tika-server-ocr passwd

Инсталиране на нов език за Tesseract:

docker exec -it tika-server-ocr /bin/bash
apt-get update
apt-get install tesseract-ocr-bg

docker exec -it tika-server-ocr /bin/bash

apt-get update

apt-get install tesseract-ocr-bg

Извличане на текст от съдържанието на документ:


curl -T document.docx http://localhost:9998/tika --header "Accept: text/plain"

curl -T document.docx http://localhost:9998/tika --header "Accept: text/plain"

Доълнителна информация може да се намери тук: https://medium.com/@masreis/text-extraction-and-ocr-with-apache-tika-302464895e5f

Проверка дали сървърния сертификат е с пълна верига

Ако сървърния SSL не е с пълна верига е възможно мобилни браузъри и приложения да имат проблем със свързването като дават SSL грешки.

Локално това може да се провери с OpenSSL

Например:

openssl.exe s_client -connect example.com:443

1	openssl.exe s_client -connect example.com:443

Ако се получава цялата верига, ще има информация подобна на:

Certificate chain

0 s:CN = *.sofia.bg
i:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Domain Validation Secure Server CA
1 s:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Domain Validation Secure Server CA
i:C = US, ST = New Jersey, L = Jersey City, O = The USERTRUST Network, CN = USERTrust RSA Certification Authority
2 s:C = US, ST = New Jersey, L = Jersey City, O = The USERTRUST Network, CN = USERTrust RSA Certification Authority
i:C = GB, ST = Greater Manchester, L = Salford, O = Comodo CA Limited, CN = AAA Certificate Services

0 s:CN = *.sofia.bg

i:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Domain Validation Secure Server CA

1 s:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Domain Validation Secure Server CA

i:C = US, ST = New Jersey, L = Jersey City, O = The USERTRUST Network, CN = USERTrust RSA Certification Authority

2 s:C = US, ST = New Jersey, L = Jersey City, O = The USERTRUST Network, CN = USERTrust RSA Certification Authority

i:C = GB, ST = Greater Manchester, L = Salford, O = Comodo CA Limited, CN = AAA Certificate Services

Ако по някаква причина се връща само последния сертификат, то ще има резултат от сорта на:

Certificate chain
0 s:C = BG, ST = Sofia, O = Ministry of Education and Science, CN = *.mon.bg
i:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Organization Validation Secure Server CA
---

Certificate chain

0 s:C = BG, ST = Sofia, O = Ministry of Education and Science, CN = *.mon.bg

i:C = GB, ST = Greater Manchester, L = Salford, O = Sectigo Limited, CN = Sectigo RSA Organization Validation Secure Server CA

---

В този случай, трябва да се оправи сървърния сертификат, така че да връща цялата удостоверителна верига

Повреден лог в SQL Server Express

В случай, че база не може да се закачи към SQL Server с подобна грешка:
The log cannot be rebuilt because there were open transactions/users when the database was shutdown, no checkpoint occurred to the database, or the database was read-only. This error could occur if the transaction log file was manually deleted or lost due to a hardware or environment failure.

				1

						The log cannot be rebuilt because there were open transactions/users when the database was shutdown, no checkpoint occurred to the database, or the database was read-only. This error could occur if the transaction log file was manually deleted or lost due to a hardware or environment failure.

и стандартната команда с ATTACH_REBUILD_LOG не работи, може да се използва ATTACH_FORCE_REBUILD_LOG, която ще създаде лог-а при всички ситуации.
Transact-SQL
CREATE DATABASE SQLAuthority ON (FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\DATA\SQLAuthority_original.mdf')
FOR ATTACH_FORCE_REBUILD_LOG

				1
2

						CREATE DATABASE SQLAuthority ON (FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\DATA\SQLAuthority_original.mdf')
FOR ATTACH_FORCE_REBUILD_LOG

Взето от тук:
https://blog.sqlauthority.com/2016/11/04/sql-server-unable-attach-database-file-activation-failure-log-cannot-rebuilt/

Parameter sniffing или защо понякога заявките в SSMS са бързи, а в приложението не

SQL Server има оптимизация, която се нарича parameter sniffing, която запазва и кешира query планове при извикване и компилиране на stored procedure за конкретни параметри.

По подразбиране .NET приложенията използват малко по-различни параметри отколкото SSMS например:

За приложения:

set arithabort off

1	set arithabort off

за SSMS:

set arithabort on

1	set arithabort on

Съответно в някои случаи заявките се оптимизират грешно за .NET приложения (с arithabort off), но в SSMS работят наред, тъй като няма натрупана статистика, за да се оптимизират.

Бързо решение на проблема (временно!) е да се изпълни

DBCC FREEPROCCACHE

1	DBCC FREEPROCCACHE

Това изчиства кеша на сторнатите процедури и започва наново да се съхраняват. Тези статистики се пазят в паметта, поради което рестарт на сървъра също върши работа.

Има и други опции, като да се добавят различни опции към заявката като use recompile, option recompile, optimize for unknown и т.н.

По-глобално решение би било използването на Trace flag 4136 или

<span class="hljs-keyword">ALTER</span> <span class="hljs-keyword">DATABASE</span> SCOPED CONFIGURATION
{
    PARAMETER_SNIFFING <strong>=</strong> { <strong>ON</strong> | OFF | PRIMARY}
}

ALTER DATABASE SCOPED CONFIGURATION

{

PARAMETER_SNIFFING = { ON | OFF | PRIMARY}

}

По-долу има подробна информация за този (и други случаи) и различни решения на проблема:

http://www.sommarskog.se/query-plan-mysteries.html

Сериозен недостатък при .NET приложения и EF е генерирането на dynamic SQL, който използва sp_executesql и лесно може да възникне такъв проблем.

Tile Server за OpenStreetMaps

OpenStreetMaps са прекрасни карти, които са безплатни за използване, могат да се редактират от всеки и допускат да се изтеглят сурови данни.

За да се използват данните е нужен “tile server”, който да ги предоставя. Стандартните mapnik и т.н. са много добри, но и сложни за подкарване.

Тук идва Tile Server GL – лесен за инсталиране като npm пакет или docker контейнер. NPM пакета съществува и в разновидност, която е изцяло javascript (без растер) и включва node сървър.

За работа са необходими mbtiles карти например от OpenMapTiles

Цялото подкарване отнема по-малко от 5 мин и след това it just works 🙂

Генериране на Nuget пакет и качване в локално хранилище

Бърз начин за генериране на nuget пакет и Upload към локално (shared folder) хранилище

nuget.exe spec Kontrax.Egov.Validate.csproj
-- Build project, взима файловете от текущата конфигурация Debug/ Release 
-- Може да се редактира nuspec файла, ако е нужно
nuget.exe pack Kontrax.Egov.Validate.csproj -IncludeReferencedProjects
nuget.exe push Kontrax.Egov.Validate.1.0.3.nupkg -Source \\files\inst\NuGet

nuget.exe spec Kontrax.Egov.Validate.csproj

-- Build project, взима файловете от текущата конфигурация Debug/ Release

-- Може да се редактира nuspec файла, ако е нужно

nuget.exe pack Kontrax.Egov.Validate.csproj -IncludeReferencedProjects

nuget.exe push Kontrax.Egov.Validate.1.0.3.nupkg -Source \\files\inst\NuGet

Криптиране на връзката към MS SQL Server

Бърз начин за осигуряване на криптирана връзка по пътя (data at transit) до MS SQL server е използването на SSL сертификати от сървърна страна.

Ако не може да се издаден валиден SSL сертификат или няма възможност за локален CA, то може да се добави TrustServerCertificate=Yes към connection string-a към базата, за да вярва на сървърния сертификат.

Разбира се по този начин осигуряваме криптирана връзка с лесна конфигурация на цената на риска от използването на self-signed сертификат.

Encrypt=Yes; TrustServerCertificate=Yes

1	Encrypt=Yes; TrustServerCertificate=Yes

Конфигуриране на TDE за SQL Server

SQL скрипт за създаване на TDE (Transparent Data Encryption) и осигуряване на “Encrypt the data at rest”.

Информацията в базата данни е криптирана и ако някой намери backup на базата няма да може да я използва.

Друга положителна страна е, че приложението,което достъпва данните няма нужда се променя и продължава да работи както и досега.

Криптирането на базата е онлайн, прозрачно и може да се проследи до къде е стигнало чрез изпълнение на query към dmv таблица.

Важно е да се запазят ключовете и сертификата, за да може базата данни да се прочете, ако се премести на друг сървър!

-- Създаване на master key със силна парола
USE master;
CREATE MASTER KEY 
ENCRYPTION BY PASSWORD = 'strong_password@!123';
GO

-- Резервно копие
USE master;
GO
OPEN MASTER KEY DECRYPTION BY PASSWORD = 'strong_password@!123';
BACKUP MASTER KEY TO FILE = 'd:\DB\service_master.key'
    ENCRYPTION BY PASSWORD = 'strong_password@!123';
GO

-- Създаване на сертификат
USE master;
CREATE CERTIFICATE TDEEInvoiceCert 
WITH SUBJECT = 'TDE eInvoice Certificate',
EXPIRY_DATE='2030-12-31'
GO

-- Резервно копие на сертификата
BACKUP CERTIFICATE TDEEInvoiceCert TO FILE = 'd:\db\eInvoice.cer'  
    WITH PRIVATE KEY ( FILE = 'd:\db\eInvoice.key' ,   
    ENCRYPTION BY PASSWORD = 'strong_password@!123' );  
GO  

-- Използване на сертификата за криптиране на базата
USE EINVOICE;

CREATE DATABASE ENCRYPTION KEY
WITH ALGORITHM = AES_256
ENCRYPTION BY SERVER CERTIFICATE TDEEInvoiceCert
GO


ALTER DATABASE EINVOICE  
SET ENCRYPTION ON;

-- Статус на криптирането
select percent_complete, * from sys.dm_database_encryption_keys

-- Създаване на master key със силна парола

USE master;

CREATE MASTER KEY

ENCRYPTION BY PASSWORD = 'strong_password@!123';

-- Резервно копие

USE master;

OPEN MASTER KEY DECRYPTION BY PASSWORD = 'strong_password@!123';

BACKUP MASTER KEY TO FILE = 'd:\DB\service_master.key'

ENCRYPTION BY PASSWORD = 'strong_password@!123';

-- Създаване на сертификат

USE master;

CREATE CERTIFICATE TDEEInvoiceCert

WITH SUBJECT = 'TDE eInvoice Certificate',

EXPIRY_DATE='2030-12-31'

-- Резервно копие на сертификата

BACKUP CERTIFICATE TDEEInvoiceCert TO FILE = 'd:\db\eInvoice.cer'

WITH PRIVATE KEY ( FILE = 'd:\db\eInvoice.key' ,

ENCRYPTION BY PASSWORD = 'strong_password@!123' );

-- Използване на сертификата за криптиране на базата

USE EINVOICE;

CREATE DATABASE ENCRYPTION KEY

WITH ALGORITHM = AES_256

ENCRYPTION BY SERVER CERTIFICATE TDEEInvoiceCert

ALTER DATABASE EINVOICE

SET ENCRYPTION ON;

-- Статус на криптирането

select percent_complete, * from sys.dm_database_encryption_keys

-- Инсталиране на сертификата на друг сървър

-- На другия сървър също трябва да се създаде master key
USE master;
CREATE MASTER KEY
ENCRYPTION BY PASSWORD = 'strong_password@!123';
GO

-- Импортиране на сертификата от файловете: http://sqlity.net/en/2384/restore-certificate/
CREATE CERTIFICATE TDEGdinCert FROM FILE ='D:\eInvoice.cer'
WITH PRIVATE KEY ( FILE='D:\eInvoice.key',
DECRYPTION BY PASSWORD='strong_password@!123' );
GO

-- Инсталиране на сертификата на друг сървър

-- На другия сървър също трябва да се създаде master key

USE master;

CREATE MASTER KEY

ENCRYPTION BY PASSWORD = 'strong_password@!123';

-- Импортиране на сертификата от файловете: http://sqlity.net/en/2384/restore-certificate/

CREATE CERTIFICATE TDEGdinCert FROM FILE ='D:\eInvoice.cer'

WITH PRIVATE KEY ( FILE='D:\eInvoice.key',

DECRYPTION BY PASSWORD='strong_password@!123' );

SQL Server 2016/2017 – MS 70-761 Querying data with T-SQL

Подготовката за изпит MS 70-761 Querying data with Transact-SQL задължително минава през новостите в SQL Server 2016, като част от тях са:

Dynamic Data Masking
Row Level Security
Always encrypted
Temporal data
JSON support
Polybase

Долните са по-скоро административни, но така или иначе са полезни

Query Store
Stretch Database