Информационное общество

Проблема кодировок

В данном материале говорится об одной из наиболее обсуждаемых в области ИТ, тем - о проблеме представления (кодирования) символов естественных языков в машинно-читаемом виде. В кругах ИТ-общественности она получила название "проблемы кодировок".

Эта проблема состоит в том, что для решения задачи кодирования символов естественных языков в машиночитаемом виде было принято множество стандартов, в том числе международных, которые несовместимы между собой и противоречат друг другу. В результате возникают многочисленные проблемы при обработке текстовой информации на ряде языков. Эти проблемы в значительной степени препятствуют и свободному обмену такой информацией, в том числе через сеть Internet.

В современном мире сложилась ситуация, когда положение той или иной страны в мировом сообществе напрямую зависит от того, какое положение она занимает в сфере ИТ. Понятно, что поскольку участие страны в существующей сфере ИТ зависит от того, как реализована поддержка работы с информацией на национальном языке, постольку "проблема кодировок" является чрезвычайно, даже стратегически, важной.

К сожалению, в подавляющем большинстве материалов на тему "проблемы кодировок" их авторы (как русские, так и зарубежные) погружаются исключительно в одну тему - в описание многочисленных технических "внутренностей" различных стандартов, из-за которых при работе с тем или иным языком возникают проблемы. Если даже они и предлагают свои собственные варианты решения данной проблемы, то делают это, "не видя за деревьями леса" и не поднимая ряда нетехнических вопросов, которые имеют более глобальный характер. В результате ничего не меняется - несовместимые стандарты лишь продолжают множиться, и "проблема кодировок" остаётся нерешённой.

Для того, чтобы на практике приблизиться к решению "проблемы кодировок", нужно иметь представление о том,